(How) Learning Rates Regulate Catastrophic Overtraining

إليك ملخص تقني مفصل للورقة البحثية بعنوان "(How) Learning Rates Regulate Catastrophic Overtraining".

1. بيان المشكلة

تتناول الورقة مشكلة "الإفراط في التدريب الكارثي" (Catastrophic Overtraining) في النماذج اللغوية الكبيرة (LLMs)، وهي ظاهرة تم تحديدها مؤخراً حيث يؤدي التدريب المسبق المطول إلى أداء أسوأ بعد عملية الضبط الدقيق الخاضع للإشراف (SFT)، على الرغم من أن النموذج الأساسي كان يمتلك أداءً أفضل في مرحلة التدريب المسبق.

• السياق: يتم تدريب النماذج اللغوية الكبيرة عادةً عبر التدريب المسبق (غير مُشرف) يليه الضبط الدقيق الخاضع للإشراف (SSF) (اتباع التعليمات).
• المشكلة: بينما يعد الضبط الدقيق (SFT) ضرورياً للمواءمة، إلا أنه غالباً ما يتسبب في "النسيان الكارثي" (Catastrophic Forgetting)، حيث يفقد النموذج قدراته العامة (الأداء خارج التوزيع أو OOD).
• المفارقة: أظهر عمل حديث (Springer et al., 2025) أن زيادة ميزانية التدريب المسبق (المزيد من الرموز/الخطوات) تزيد فعلياً من هذا النسيان. فالنموذج الذي تم تدريبه مسبقاً لفترة أطول ($t_2$) يؤدي أداءً أسوأ في مهام OOD بعد عملية SFT مقارنة بالنموذج الذي تم تدريبه لفترة أقل ($t_1$)، رغم أن النموذج الذي خضع لتدريب مسبق أطول كان أفضل قبل عملية SFT.
• الفجوة في الفرضية: اقترحت الأعمال السابقة أن هذا يعود إلى "الحساسية التدريجية" أو حدود السعة. ومع ذلك، تشير النتائج الأخيرة إلى أن ديناميكيات التحسين (وتحديداً معدلات التعلم) تلعب دوراً حاسماً، وهو ما تهدف هذه الورقة إلى تفسيره ميكانيكياً.

2. المنهجية

يتحرى المؤلفون التداخل بين معدلات التعلم (LR) في كل من التدريب المسبق والضبط الدقيق، ومفهوم "حدة مشهد الخسارة" (Loss Landscape Sharpness).

• الإعداد التجريبي:
  • النماذج: OLMo-1B, OLMo-2-1B, Hubble-1B, Gemma-3-1B, و SmolLM-3B.
  • البيانات: الضبط الدقيق (SFT) على مجموعة بيانات Anthropic-HH (اتباع التعليمات) والتقييم على مهام OOD عبر 6 مهام قياسية (مثل ARC، PIQA، إلخ).
  • المتغيرات:
    • معدل تعلم الضبط الدقيق (Finetuning LR): تم اختبار نطاق من معدلات التعلم الثابتة (من $10^{-6}$ إلى $10^{-4}$) للوصول إلى نفس خسارة SFT النهائية.
    • نقاط فحص التدريب المسبق (Pretraining Checkpoints): تم اختيار نقاط فحص في مراحل مختلفة من التدريب المسبق (مبكرة مقابل متأخرة) لتغيير "حدة" النموذج الأساسي.
  • المقاييس:
    • درجة OOD: متوسط الدقة في المهام العامة لقياس مدى النسيان.
    • متوسط الزاوية الرئيسية (Mean Principal Angle - MPA): مقياس يحدد كمياً الانحراف في تمثيلات مسار المتبقي (residual stream) بين النموذج الأساسي والنموذج الذي خضع للضبط الدقيق. تشير قيمة MPA العالية إلى انحراف أكبر في الميزات (Features).
    • وكيل الحدة (Sharpness Proxy): بما أن حساب القيمة الذاتية لهيسيان (Hessian eigenvalue) غير ممكن للنماذج الكبيرة، فقد استخدموا وكيلًا يعتمد على الاضطراب: وهو تباعد KL بين تنبؤات النموذج الأصلي وتنبؤات نموذج تمت إضافة ضوضاء غاوسية إلى معلماته.
  • التحليل النظري:
    • استخدموا شبكة ثنائية الطبقات قطرية (Two-Layer Diagonal Network) (انحدار متناثر) لنمذجة المقايضة رياضياً بين الحفاظ على ميزات التدريب المسبق وتعلم ميزات SFT الجديدة تحت معدلات تعلم مختلفة.
    • قاموا بتحليل مشهد الخسارة (Loss Landscape) عبر استكمال خطوات التحسين لمراقبة كيفية تطور الخسارة وانحراف الميزات.

3. المساهمات والنتائج الرئيسية

أ. معدل التعلم كمنظم ضمني (في الضبط الدقيق)

• النتيجة: بالنسبة لخسارة SFT ثابتة، فإن النماذج التي يتم ضبطها بدقة باستخدام معدلات تعلم (LR) أقل تحتفظ بقدرات OOD أفضل بكثير من تلك التي تُضبط بمعدلات تعلم عالية.
• الآلية:
  • معدل التعلم العالي: يعمل في نظام "غني" (rich regime)، مما يسبب تعلماً سريعاً للميزات وانحرافات كبيرة عن نقطة البداية. يؤدي هذا إلى متوسط زاوية رئيسية (MPA) كبير، مما يعني أن التمثيلات الداخلية للنموذج تنحرف بعيداً عن حالة التدريب المسبق، مما يسبب النسيان.
  • معدل التعلم المنخفض: يعمل في نظام "كسول" (lazy regime). يظل النموذج قريباً من نقطة البداية، مما يحافظ على ميزات التدريب المسبق مع الاستمرار في ملاءمة بيانات SFT.
• الاستنتاج: تعمل معدلات التعلم المنخفضة كمنظم ضمني يدفع النموذج نحو الحفاظ على القدرات الأساسية.

ب. دور الحدة (Sharpness)

• النتيجة: تحدد "حدة" مشهد الخسارة (المتعلقة بالانحناء/الهيسيان) مدى حساسية النموذج لخطوات التحسين.
• الآلية:
  • في المنطقة الأكثر حدة من مشهد الخسارة، تسبب خطوة معينة (Step size) تغيراً أكبر في ميزات النموذج (MPA أعلى) بالنسبة لتقليل الخسارة.
  • يوضح المؤلفون أن زيادة معدل التعلم (LR) لها تأثير مشابه رياضياً لـ زيادة حدة نقطة البداية: كلاهما يسرع انحراف الميزات.

ج. السبب الجذري للإفراط في التدريب الكارثي

• النتيجة: ظاهرة الإفراط في التدريب الكارثي مدفوعة بـ تلاشي معدل التعلم (LR Decay) أثناء التدريب المسبق.
• السلسلة السببية:
  1. تستخدم جداول التدريب المسبق القياسية تلاشي معدل التعلم (مثل: Warmup-Stable-Decay).
  2. مع تلاشي معدل التعلم، يدخل النموذج في نظام "حافة الاستقرار" (Edge of Stability)، مما يتسبب في زيادة حدة (Sharpness) مشهد الخسارة (يستقر النموذج في نقاط صغرى أكثر حدة).
  3. النموذج الأساسي الأكثر حدة يكون أكثر عرضة لانحراف الميزات عند الضبط الدقيق بمعدل تعلم ثابت.
  4. بناءً على ذلك، فإن نقاط فحص التدريب المسبك المتأخرة (الأكثر حدة) تعاني من نسيان كارثي أكبر أثناء عملية SFT مقارنة بنقاط الفحص المبكرة (الأكثر تسطحاً).
• الدليل: في النماذج التي تستخدم جداول WSD (Warmup-Stable-Decay)، يتزامن ارتفاع النسيان وانحراف الميزات (MPA) تماماً مع المرحلة التي يتلاشى فيها معدل تعلم التدريب المسبق وتزداد فيها الحدة.

د. التحقق النظري

• باستخدام نموذج الشبكة القطرية، أثبت المؤلفون أن معدلات التعلم الكبيرة تدفع النموذج إلى الكتابة فوق ميزات التدريب المسبق (الميزات الخاصة بالتدريب المسبق ولكن ليس بـ SFT)، بينما تسمح معدلات التعلم الصغيرة للنموذج بملاءمة المهمة الجديدة دون مسح الميزات القديمة. وهذا يؤكد فرضية النظام "الكسول مقابل الغني".

4. ملخص النتائج

• الشكل 1: يوضح أنه بالنسبة لنفس خسارة SFT، تؤدي معدلات تعلم الضبط الدقيق الأعلى إلى درجات OOD أقل (نسيان أكثر).
• الشكل 2 و3: يظهران أن MPA (انحراف الميزات) يزداد خطياً مع معدل التعلم، بينما تنخفض الخسارة بشكل محدب. تتسبب معدلات التعلم العالية في جعل النموذج "يتجاوز" (overshoot) الحفاظ على الميزات.
• الشكل 5: يوضح أن حدة النموذج تزددت بشكل كبير خلال مرحلة تلاشي معدل التعلم في التدريب المسبق.
• الشكل 6 و7: يؤكدان أنه مع تقدم التدريب المسبق (وتلاشي معدل التعلم)، تصبح النماذج الأساسية الناتجة أكثر حدة وتظهر نسياناً وانحرافاً أكبر بكثير في الميزات عند الضبط الدقيق.

5. الأهمية والآثار المترتبة

تقدم هذه الورقة تفسيراً ميكانيكياً لسبب كون "زيادة التدريب المسبق" ضارة أحياناً بالأداء اللاحق، حيث تنقل اللوم من مجرد حدود السعة إلى ديناميكيات التحسين.

• التوصيات العملية:
  1. الضبط الدقيق (Finetuning): استخدم أصغر معدل تعلم ممكن يحقق الأداء المقبول داخل التوزيع (in-distribution) لتقليل انحراف الميزات والنسيان.
  2. التدريب المسبق (Pretraining): تجنب التلاشي العدواني لمعدل التعلم (LR Decay) خلال مرحلة التدريب المسبق. يقترح المؤلفون الحفاظ على معدل تعلم مستقر أو إجراء التلاشي فقط خلال مرحلة ما بعد التدريب (SFT/RL) لمنع النموذج الأساسي من أن يصبح شديد الحدة.
• الأثر النظري: تربط الورقة بين نظرية "حافة الاستقرار"، والانتظام الضمني، والنسيان الكارثي، موضحة أن التفاعل بين معلمات التدريب المسبق والضبط الدقيق أمر بالغ الأهمية لاستقرار النموذج.

باختصار، تجادل الورقة بأن الإفراط في التدريب الكارثي ليس نتيجة حتمية لتوسيع حجم البيانات، بل هو أثر جانبي لجداول معدل التعلم القياسية التي تزيد من حدة النموذج، مما يجعله هشاً أمام عمليات الضبط الدقيق اللاحقة.