ملخص تقني: خذ فقط ما تحتاجه: تقليل الرتبة كمنظم ضمني للنسيان في التعلم المستمر

تعريف المشكلة

يواجه التعلم المستمر (CL) توتراً جوهرياً بين اللدونة (القدرة على اكتساب معرفة جديدة) والاستقرار (القدرة على الاحتفاظ بالمعرفة السابقة). في سياق النماذج المدربة مسبقاً (PTMs)، تندرج الأساليب الحالية عموماً تحت نظامين:

1. تكملة النموذج: تجميد النموذج المدرب مسبقاً وإضافة وحدات خارجية (مثل المحولات/Adapters، أو المطالبات/Prompts) أو الحفاظ على فضاءات فرعية متعامدة. ورغم استقرار هذه الطرق، إلا أنها لا تحسن حقاً قدرات الهيكل الأساسي (Backbone) وغالباً ما تتطلب توجيهاً خاصاً بالمهام أو أدوات اختيار عند الاستدلال.
2. التعلم المقيد بالمرجع: تحديث أوزان النموذج المدرب مسبقاً مباشرة ولكن مع تقييد التحديثات باستخدام بيانات مخزنة (مخازن إعادة التشغيل/Replay buffers) أو ذاكرة. وهذا يتسبب في تكاليف تدريب عالية، ويتطلب تخزين بيانات سابقة، وغالباً ما يعاني لا يزال من النسيان الكارثي.

التحدي المركزي الذي تعالجه هذه الورقة هو: كيف يمكننا تحديث هيكل مدرب مسبقاً باستمرار لاستيعاب المعرفة الجديدة مع الحفاظ على القدرات الموجودة، دون الاعتماد على البيانات السابقة، أو معرفات المهام، أو الوحدات الخارجية؟

المنهجية: CoDyRA

يقترح المؤلفون CoDyRA (التحكم الديناميكي في رتبة LoRA - Continual Dynamic Rank-Selective LoRA)، وهو نهج يتحكم في السعة، حيث يعامل الرتبة الفعالة لكل تحديث للمعلمات كأداة تصميم أساسية لموازنة اللدونة والاستقرار.

الرؤى الجوهرية

1. الرتبة كأداة تحكم: من خلال التحليل التجريبي على نموذج CLIP، يوضح المؤلفون أن رتبة LoRA تتحكم مباشرة في مقايضة اللدونة والاستقرار. فالرتب الأعلى تسهل تعلم المهام الجديدة (اللدونة) ولكنها تزيد من النسيان، بينما تقلل الرتب الأقل من النسيان (الاستقرار) ولكنها تحد من التكيف. وتوجد "نقطة مثالية" عند رتبة متوسطة تختلف باختلاف الوحدة والمهمة.
2. الحد النظري: تشتق الورقة حداً للنسيان يوضح أن النسيان $F(\theta_t)$ على توزيع مرجعي محكوم بحدود تتضمن معيار فوروبينيوس (Frobenius norm) لتحديث $\Delta W$. والأهم من ذلك، أن $\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$، حيث $\rho$ هي الرتبة الفعالة. وهذا يثبت أن تقليل الرتبة الفعالة $\rho$ يؤدي إلى تضييق حد النسيان، مما يعمل بفعالية على تنظيم النسيان بغض النظر عن التوزيع المحدد لبيانات المرجع.

تصميم الخوارزمية

يدمج CoDyRA تقليل الرتبة مباشرة في عملية تدريب LoRA:

• البنية: يتم إدراج محولات LoRA في جميع وحدات الانتباه (Attention) وMLP في كل من مشفرات الرؤية والنصوص.
• الاختيار الديناميكي للرتبة: بدلاً من رتبة ثابتة $r$، يتم صياغة التحديث كمجموع مرجح لمكونات ذات رتبة واحدة:
  $$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$$
  حيث $w_i$ هي أوزان الأهمية القابلة للتعلم.
• هدف التنظيم: يجمع هدف التدريب بين خسارة الإشراف للمهمة الحالية ($L_{sup}$) مع حد تنظيم $\ell_1$ على أوزان الأهمية:
  $$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$$
  هذا الجزاء $\ell_1$ يعزز التناثر (Sparsity) في أوزان الأهمية $w$. ومع اقتراب $w_i$ من الصفر، يتم حذف مكون الرتبة الواحدة المقابل فعلياً، مما يقلل من الرتبة الفعالة $\rho$.
• التحسين: يتم التعامل مع معيار $\ell_1$ غير القابل للتفاضل عبر طريقة التدرج التقريبي (Proximal Gradient Method) باستخدام التحديد الناعم (Soft-thresholding). ويتم جدولة عتبة $\kappa$ لتزداد من الصفر إلى $\kappa_{max}$، مما يسمح بتحديثات كثيفة في البداية قبل فرض التناثر.

الآلية الرئيسية

من خلال تقليل الرتبة النشطة، يعمل CoDyRA كـ منظم نسيان ضمني. فهو يجبر النموذج على الاحتفاظ فقط بالقدرة الضرورية الدنيا للمهمة الحالية، وبالتالي يحصر تحركات المعلمات في فضاء فرعي صغير، ويمنع التداخل مع القدرات العامة المشفرة في النموذج المدرب مسبقاً والمعرفة من المهام السابقة.

المساهمات الرئيسية

1. التحكم في السعة عبر الرتبة: تحدد الورقة أن الرتبة الفعلة لتحديثات المعلمات هي رافعة مباشرة وقابلة للتحكم لمقايضة اللدونة والاستقرار، وهي ميزة تختلف عن سعة النموذج (عدد المعلمات).
2. الارتباط النظري: تقدم الورقة حداً رسمياً يربط الرتبة الفعالة بالنسيان، مما يثبت أن تقليل الرتبة يقيد حجم وأبعاد التحديثات، وبالتالي يحمي المعرفة السابقة دون الوصول إلى البيانات السابقة.
3. إطار عمل CoDyRA: اقتراح طريقة لتدريب تحديثات LoRA بشكل مشترك مع تقليل الرتبة، مما يحقق توازناً قوياً بين تعلم المهام الجديدة والاحتفاظ بالقدرات المدربة مسبقاً دون الحاجة لمخازن إعادة التشغيل، أو معرفات المهام، أو الوحدات الخارجية.
4. التحقق التجريبي: أظهرت التجارب المكثفة على CLIP (MTIL, X-TAIL) والنماذج اللغوية الكبيرة (LLMs) (اختبار TRACE باستخدام نماذج LLaMA وGemma) أن CoDyRA يتفوق على أو ينافس الأساليب الحديثة في كل من الدقة ومقاييس النسيان.

النتائج التجريبية

تم تقييم الطريقة على:

• CLIP: التعلم المتزايد للمهام متعددة المجالات (MTIL) والتعلم المتزايد للمهام العابر للمجالات وغير المرتبط بالمهام (X-TAIL).
• النماذج اللغوية الكبيرة (LLMs): اختبار TRACE باستخدام نماذج LLaMA وGemma.

النتائج الرئيسية:

• توازن متفوق بين اللدونة والاستقرار: حقق CoDyRA أعلى دقة "نقل" (الاحتفاظ بقدرات الـ zero-shot المدربة مسبقاً على المهام غير المرئية) ودقة "الأخير" (الأداء على جميع المهام بعد انتهاء التدفق) في معظم الإعدادات. على سبيل المثال، في MTIL، تجاوز CoDyRA خط الأساس المرجعي للـ zero-shot (70.1 مقابل 69.4)، بينما كانت الطرق الأخرى إما أقل منه أو مقيدة به.
• أدنى مستويات النسيان: حقق CoCoDyRA أدنى درجات النقل الخلفي (BWT) (على سبيل المثال، 1.87% في CLIP مقابل أكثر من 5% لـ fixed-rank LoRA وأكثر من 8% للطرق المتعامدة)، مما يشير إلى تقليل كبير في النسيان الكارثي.
• الكفاءة: على عكس طرق تكملة النموذج، يقوم CoDyRA بدمج التحديثات في الهيكل الأساسي، مما يعني عدم وجود عبء إضافي عند الاستدلال ولا يتطلب بيانات سابقة مخزنة أو معرفات مهام. كما أنه يستخدم معلمات قابلة للتدريب أقل من العديد من النماذج المرجعية.
• التحول البنائي: أظهر تحليل التحركات التراكمية للمعلمات أن تحديثات CoDyRA تنمو بشكل دون خطي بمرور الوقت، بينما تنمو رتبة Lo-fixed بشكل قريب من الخطي. علاوة على ذلك، وُجد أن التحول المتراكم كان بناءً، حيث حسن قليلاً أداء الـ zero-shot على مجموعات البيانات المحجوزة بدلاً من إضعافه.

الأهمية والادعاءات

تدعي الورقة أن تقليل الرتبة يعمل كمنظم عالمي للنسيان في نظام التعلم المستمر. فمن خلال التحكم في الرتبة الفعلة للتحديثات، يحمي CoDyRA كلاً من القدرات العامة المدربة مسبقاً ومعرفة المهام السابقة تحت معيار واحد يعتمد على التحديث.

ويؤكد المؤلفون أن هذا النهج يلغي الحاجة إلى:

• مخازن إعادة التشغيل أو بيانات المرجع المخزنة.
• تحديد المهام أو آليات التوجيه عند الاستدلال.
• الوحدات المساعدة الخارجية التي تزيد من تكلفة الاستدلال.

يشير العمل إلى أن "أخذ ما تحتاجه فقط" (الرتبة الدنيا) هو وسيلة منهجية لتحديث النماذج المدربة مسبقاً باستمرار، مما يوفر حلاً قوياً لمعضلة اللدونة والاستقرار يكون مؤسساً نظرياً وفعالاً تجريبياً عبر نماذج الرؤية واللغة.