Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

ملخص تقني: الأصول الميكانيكية للنسيان الكارثي

بيان المشكلة
غالباً ما يؤدي الضبط الدقيق (Fine-tuning) لنماذج اللغات الكبيرة (LLMs) لمهام هبوطية جديدة إلى حدوث نسيان كارثي، حيث تأتي المكاسب في الهدف الجديد على حساب القدرات السابقة. وبينما تشير الدراسات السلوكية الحديثة إلى أن التعلم المعزز (RL) يحافظ على القدرات السابقة بشكل أكثر فعالية من الضبط الدقيق الخاضع للإشراف (SFT) — معزياً ذلك إلى بقاء تحديثات تدرج السياسة (policy-gradient) أقرب إلى السياسة الأساسية من حيث الانحراف التوزيعي (المقاس عبر تباعد KL) — إلا أن الأسباب الميكانيكية الداخلية لهذا الاختلاف لا تزال غير مستكشفة. السؤال المركزي الذي يتناوله البحث هو ما إذا كان امتياز الحفاظ لدى التعلم المعزز ينعكس من خلال حفظ أقوى للدوائر الحسابية الداخلية (رؤوس الانتباه، طبقات MLP، ومسارات المتبقي) التي تنفذ قدرات النموذج.

المنهجية
يتقصى المؤلفون هذا السؤال باستخدام نموذج Qwen2.5-3B-Instruct المُكيف لمهمة الإجابة على الأسئلة العلمية. تتكون سلسلة التجارب من ثلاث مراحل:

1. إعادة الإنتاج السلوكي: تعيد الدراسة الفجوة المعروفة في الحفاظ بين SFT وRL. يتم ضبط النموذج الأساسي ($\pi_{base}$) عبر خسارة الإنتروبيا المتقاطعة المقتصرة على الإكمال لإنشاء نموذج SFT ($\pi_{SFT}$). ثم يتم صقل نموذج $\pi_{SFT}$ باستخدام Dr.GRPO (وهو متغير من تحسين السياسة النسبي للمجموعات) لإنشاء نموذج RL ($\pi_{RL}$). يتم قياس الانحراف السلوكي باستخدام تباعد KL المتوقع على اختبارات الاحتفاظ.
2. تحديد الدائرة: يستخدم المؤلفون القناع الثنائي التفاضلي (DBM) لتحديد الدوائر الحسابية الداخلية على مستوى رؤوس الانتباه. يقوم DBM بتعلم قناع فوق رؤوس الانتباه يقوم بالاستيفاء (interpolation) بين التنشيطات الأساسية والافتراضية المضادة. ومن خلال تحسين هذه الأقنعة لزيادة احتمالية الإجابات المستهدفة مع الحفاظ على الندرة (sparsity)، تعزل الطريقة الشبكات الفرعية السببية (الدوائر) المسؤولة عن سلوكيات محددة.
3. مقارنة الدوائر بين النماذج: تقدم الدراسة مقياس ضعف الدائرة التفاضلي، وهو مقياس على مستوى الرأس يقارن مدى تدهور الدائرة تحت أهداف تدريبية مختلفة. وتشمل المقاييس الرئيسية ما يلي:
   • إخلاص الدائرة (Circuit Faithfulness): نسبة السلوك الذي يتم استرداده بواسطة الرسم البياني الفرعي المستخرج مقارنة بسلوك النموذج الكامل.
   • إزاحات القناع على مستوى الرأس ($\Delta m_h$): مقارنة قيم الأقنعة للنماذج المضبوطة بدقة مقابل النموذج الأساسي لتحديد الرؤوس المحفوظة، أو المعززة، أو الضعيفة.
   • الضرورة والكفاية: تدخلات تقيس انخفاض احتمالية السجل (log-probability) عند تعطيل رأس ما (الضرورة) والسلوك المسترد عندما يكون ذلك الرأس نشطاً فقط (الكفاية).

المساهمات الرئيسية

• ضعف الدائرة التفاضلي: يقدم البحث مقياساً جديداً لتكميم القابلية النسبية لتدهور الدوائر الحسابية الداخلية تحت أهداف تدريبية مختلفة (SFT مقابل RL).
• التفسير الميكانيكي للنسيان: يوسع العمل الحساب السلوكي لتفوق RL على SFT إلى المستوى الميكانيكي، مبرهناً أن RL يحافظ على كسر أكبر من دائرة النموذج الأساسي مقارنة بـ SFT.
• توصيف المقايضة: يحدد البحث مقايضة جوهرية في مرحلة ما بعد التدريب: يتكيف SFT بشكل أسرع مع المهمة المستهدفة ولكنه ينتج اضطراباً كبيراً في الدائرة، بينما يحافظ RL على الدائرة الأساسية على حساب بطء التكيف مع المهمة.

النتائج

• مسارات الاحتفاظ بالدائرة: عبر دورتين تدريبيتين، يتباعد SFT وRL بشكل حاد. يحتفظ SFT بـ 63.5% فقط من رؤوس الانتباه الأساسية بعد الدورة الأولى، وتنخفض إلى 59.0% بحلول الدورة الثانية. في المقابل، يحتفظ RL بـ 69.8% بعد الدورة الأولى ويتعافى إلى 72.5% بحلول الدورة الثانية، محققاً فائدة قدرها 13.5 نقطة مئوية في الاحتفاظ بالدائرة الأساسية.
• الضغط الهيكلي مقابل التكيف الموزع: يحدد DBM دائرة أساسية مكونة من 297 رأساً. يخضع نموذج SFT لضغط هيكلي إلى حوالي 265 رأساً (46.0% من الإجمالي)، بينما يحتفظ نموذج RL بنحو 296 رأساً (51.4%). يركز SFT سلوك المهمة الجديدة في مجموعة أصغر من "المتخصصين الحرجين" (عالي الضرورة والكفاية)، بينما يحافظ RL على بنية موزعة تتداخل بشكل وثيق مع النموذج الأساسي.
• الارتباط السببي: يحافظ RL باستمرار على درجات وسيطة سببية تفاضلية (DCM) أعلى (على سبيل المثال، 15.8 مقابل 10.4 في الدورة الأولى)، مما يشير إلى أن الدائرة المحفوظة في RL تحمل إشارة سببية أقوى فيما يتعلق بسلوك النموذج مقارنة بـ SFT.
• المقاييس الداخلية مقابل مقاييس المخرجات: من الملاحظ أن نموذج RL يظهر تباعد KL أكبر في فضاء المخرجات من نموذج SFT، ومع ذلك يحافظ على المزيد من القدرات السابقة وهيكل الدائرة الداخلية. وهذا يشير إلى أن مقاييس فضاء المخرجات قد لا تتنبأ بالنسيان الداخلي بشكل موثوق.

الأهمية
يزعم البحث أن حفظ الدائرة يقدم تفسيراً ميكانيكياً لسبب كون RL أكثر متانة تجاه النسيان الكارثي من SFT. تشير النتائج إلى أن التكيف المستمر يجب أن يُنظر إليه ليس مجرد تحسين للمعاملات، بل كحفظ وتعديل انتقائي للدوائر التي تشفر المهارات. تشير النتائج إلى وجود مقايضة حيث يعمل SFT كـ "ضاغط" يعيد تشكيل الدوائر بقوة من أجل التخصص السريع، بينما يعمل RL كـ "مكيف موزع" يعيد استخدام التمثيلات الموجودة بشكل محافظ. يوفر هذا المنظور أساساً لفهم الأسباب الداخلية للنسيان ويشير إلى أن طرق التكيف المستقبلية يمكن أن تستفيد من الجمع بين التعلم الفعال والحفاظ الانتقائي على الدوائر.

القصور
يشير المؤلفون إلى أن الدراسة محدودة بهيكل نموذج واحد (Qwen2.5-3B-Instruct) ومجموعة مهام محددة (الإجابة على الأسئلة العلمية). يركز تحليل الدائرة بشكل أساسي على رؤوس الانتباه، مستبعدً طبقات MLP وميزات مسار المتبقي. تظل إمكانية التعميم على بنيات أخرى (مثل Gemma، Mistral، Llama) ومجالات القدرة الأوسع بحاجة إلى التحقق.