ملخص تقني: التعلم المستمر الموجه بالتعليل للنماذج اللغوية الكبيرة

بيان المشكلة

غالباً ما تعاني النماذج اللغوية الكبيرة (LLMs) التي يتم تدريبها على بيانات ثابتة وواسعة النطاق من النسيان الكارثي عند تكييفها مع مهام جديدة عبر التعلم المستمر. وبينما أظهرت استراتيجيات التخفيف الحالية — مثل إعادة تشغيل البيانات (data replay)، وتنظيم المعلمات (parameter regularization)، وتجميد طبقات محددة — نجاحاً معيناً، إلا أنها تفتقر إلى فهم ميكانيكي لكيفية توزيع المعرفة والسلوكيات الخاصة بالمهام عبر المعلمات الداخلية للنماذج اللغوية الكبيرة. وبالتالي، لا تستطيع هذه الأساليب التمييز بفعالية بين المعلمات التي يجب الحفاظ عليها لاستبقاء المعرفة السابقة والمعلمات التي يجب أن تظل مرنة لاستيعاب المهام الجديدة. يؤدي هذا القصور غالباً إلى التداخل، حيث تؤدي التحديثات الخاصة بمهمة جديدة إلى تعديل المعلمات الحرجة للمهام السابقة دون قصد.

المنهجية

يقترح المؤلفون إطار عمل للضبط الدقيق المستمر الموجه بالتعليل يستفيد من تقدير أهمية المعلمات لتعديل تحديثات التدرج (gradient updates). تتكون المنهجية الأساسية من مرحلتين رئيسيتين:

1. تقدير أهمية المعلمات على مستوى العنصر

يقوم إطار العمل بتكييف انتشار الصلة بالطبقة (Layer-wise Relevance Propagation - LRP) لتعليل "لوجيت" (logit) التنبؤ بالرمز التالي (next-token) لكل معلمة في النموذج ضمن كل طبقة من طبقات المحول (Transformer).

• التكيف مع المحولات (Transformers): يقوم نظام LRP القياسي بتعليل الصلة بالميزات المدخلة. وقد قام المؤلفون بتوسيع ذلك لتقدير مساهمة معلمات النموذج (الأوزان والانحيازات) في وحدات الشبكات الأمامية (FFN) وآليات الانتباه متعدد الرؤوس (MHA).
• التعليل ثنائي الخطية (Bilinear Attribution): للتعامل مع عمليات ضرب المصفوفات المتأصلة في المحولات (مثل $QK^T$ و $WV$)، يستخدم الأسلوب مبدأ التعليل ثنائي الخطية (المستوحى من AttnLRP). يعامل هذا الأسلوب عملية ضرب المصفوفات كعملية ثنائية الخطية، مما يوزع درجات الصلة بين تنشيطات المدخلات ومصفوفات الأوزان مع استيفاء خاصية الحفظ.
• الاشتقاق:
  • الشبكة الأمامية (FFN): يتم نشر الصلة عبر الطبقتين الخطيتين ودالة التنشيط، مما يشتق درجات للأوزان $W_1, W_2$ والانحيازات $b_1, b_2$.
  • الانتباه متعدد الرؤوس (MHA): يتم نشر الصلة عبر آلية الانتباه، مما يشتق درجات لأوزان الاستعلام (query)، والمفتاح (key)، والقيمة (value)، وأوزان إسقاط المخرجات ($W_Q, W_K, W_V, W_O$).
  • دعم LoRA: تمت صياغة الطريقة أيضاً للنماذج المعدلة بـ LoRA، حيث تحسب الصلة لكل من الهيكل الأساسي المجمد ومصفوفات LoRA القابلة للتدريب ($A, B$).

2. الضبط الدقيق الموجه بالتعليل

تُستخدم درجات الأهمية المقدرة لبناء سابقة (prior) خاصة بالمهمة توجه عملية التحسين للمهام الجديدة.

• بناء السابقة: بالنسبة لمهمة جديدة $T_t$، يقدر الأسلوب أولاً خريطة أهمية خاصة بالمهمة $R(W^{(l,t)})$ عن طريق تجميع درجات الصلة المعيارية من العينات المولدة بشكل صحيح.
• التجميع التاريخي: أثناء تعلم المهمة $T_t$، يقوم إطار العمل بتجميع الأهمية من جميع المهام السابقة ($T_1, \dots, T_{t-1}$) عن طريق أخذ القيمة القصوى لكل عنصر لدرجات الأهمية الخاصة بها:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• تعديل التدرج: تعمل خريطة الأهمية المجمعة كبوابة للتدرج. يتم تعديل التدرج القياسي $\nabla W$ كما يلي:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • المعلمات ذات الصلة التاريخية العالية (المهمة للمهام الماضية) تتلقى قيمة بوابة قريبة من 0، مما يؤدي إلى تحديثات أصغر.
  • المعلمات ذات الصلة التاريخية المنخفضة تتلقى قيمة بوابة قريبة من 1، مما يسمح لها بـ التحديث بحرية لتعلم المهمة الجديدة.

المساهمات الرئيسية

1. الرؤية الميكانيكية: يقدم البحث تحليلاً ميكانيكياً يوضح أنه في التعلم المستمر المتسلسل، تصبح مجموعات المعلمات التي تُعتبر "مهمة" لمهام مختلفة متداخلة للغاية في النموذج النهائي، على عكس الضبط الدقيق للمهمة الواحدة المستقل، حيث تظل هذه المجموعات متميزة. يفسر هذا التداخل التداخل الذي يسبب النسيان الكارثي.
2. إطار عمل التعليل: يقدم تطبيقاً مبتكراً لـ LRP لتعليل الصلة مباشرة بـ معلمات النماذج اللغوية الكبيرة بدلاً من المدخلات فقط، مع اشتقاق قواعد انتشار محددة لمكونات المحول (FFN و MHA).
3. استراتيجية تعديل التدرج: يقدم الأسلوب المقترح نهجاً ديناميكياً على مستوى العنصر للتعلم المستمر، حيث يقيّد التحديثات انتقائياً بناءً على أهمية المعلمات المتعلمة، دون الحاجة إلى إعادة تشغيل البيانات أو تجميد المعلمات بشكل صارم.

النتائج التجريبية

تم تقييم إطار العمل على اختبارات معيارية للتعلم المستمر باستخدام نماذج لغوية كبيرة (تحديداً Llama-3.2-Instruct-3B) تحت كل من إعدادات الضبط الدقيق الخاضع للإشراف الكامل وإعدادات التكيف القائم على LoRA.

• الأداء: تفوق الأسلوب باستمرار على النماذج المرجعية الحالية للتعلم المستمر (بما في ذلك أساليب التنظيم، وإعادة التشغيل، والتجميد).
• الاحتفاظ مقابل المرونة: حقق النموذج احتفاظاً فائقاً بالأداء في المهام المتعلمة سابقاً مع الحفاظ على أداء تنافسي في المهام الجديدة.
• الملاحظة: أكدت التجارب أن الطريقة المقترحة تقلل بفعالية من التداخل بين المهام من خلال الحفاظ على مجموعات المعلمات المحددة والحرجة للمعرفة السابقة.

الأهمية والادعاءات

يدعي البحث أنه من خلال الانتقال من الاستراتيجيات التجريبية (مثل إعادة التشغيل العشوائي أو تجميد الطبقات) إلى استخدام تقدير الأهمية القائم على التعليل، يمكن جعل التعلم المستمر للنماذج اللغوية الكبيرة أكثر كفاءة وفعالية. تكمن الأهمية في:

• الوعي الدلالي: يأخذ الأسلوب في الاعتبار صراحةً التوزيع الداخلي للمعرفة داخل النموذج، مميزاً بين المعلمات التي يجب الحفاظ عليها وتلك التي يمكن تكييفها.
• القابلية للتعميم: إطار العمل قابل للتطبيق في كل من الضبط الدقيق لكامل المعلمات وسيناريوهات الضبط الدقيق الفعال للمعلمات (LoRA).
• التأسيس النظري: يجسّر البحث الفجوة بين القابلية للتفسير (أساليب التعليل) والتحسين (التعلم المستمر)، مما يوفر طريقة منهجية للتخفيف من النسيان الكارثي بناءً على التمثيلات التي تعلمها النموذج نفسه.