How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان "ما مدى سرعة التزام النموذج بالإشراف؟ تدريب نماذج الاستدلال على متصل خسارة تساليس (Tsallis Loss Continuum)."

1. بيان المشكلة

تتناول الورقة نمطين حرجين من حالات الفشل عند تدريب نماذج الاستدلال (النماذج التي تولد سلاسل من التفكير الكامن قبل الإجابة) باستخدام الإشراف على مستوى المخرجات فقط:

1. ركود البداية الباردة (Cold-Start Stalling): عندما يكون احتمال النجاح الأولي ($p_0$) منخفضاً جداً، فإن التعلم المعزز من المكافآت القابلة للتحقق (RLVR) والمعايير المرتبطة به (مثل GRPO أو Rao-Blackwellized REINFORCE) غالباً ما تفشل في إحراز تقدم. تكون إشارة التدرج ضعيفة جداً بحيث لا تستطيع الخروج من نظام "البداية الباردة".
2. حفظ الضجيج (Noise Memorization): على العكس من ذلك، فإن الأساليب التي تدفع النموذج بقوة ليتناسب مع توزيع التدريب (مثل الضبط الدقيق الخاضع للإشراف القياسي SFT أو تقدير الاحتمالية القصوى MLE) تميل إلى حفظ أخطاء التسمية والضجيج، مما يقلل من القدرة على التعميم والاتساق الذاتي.

تعامل الأساليب الحالية هذين الأمرين كمسألتين منفصلتين. ويرى المؤلفون أنهما طرفا طيف واحد محكوم بمدى "التزام" (commitment) النموذج بإشارة الإشراف. ويقترحون إطاراً نظرياً موحداً للموازنة بين سرعة الخروج من البدايات الباردة وبين المتانة تجاه الضجيج.

2. المنهجية: متصل خسارة $J_Q$

المساهمة الجوهرية هي تعريف عائلة خسارة، $J_Q$، مشتقة من لوغاريتم تساليس $q$-logarithm. تقوم هذه العائلة بالاستكمال بين قطبين:

• قطب الاستغلال (Exploitation Pole) ($q=0$): يقابل تعظيم دقة التوقع (ما يعادل RLVR مع مكافآت المطابقة التامة). تكون الخسارة محدودة ($1 - P_\theta$).
• قطب تقدير الكثافة (Density-Estimation Pole) ($q=1$): يقابل تعظيم الاحتمالية الهامشية اللوغاريتمية عبر المسارات الكامنة (ما يعادل SFT/ML القياسي). تكون الخسارة غير محدودة ($-\log P_\theta$).

رؤية نظرية رئيسية: تضخيم التدرج

تشترك جميع أعضاء عائلة $J_Q$ في نفس اتجاه التدرج لكل مثال، وتختلف فقط في عامل تضخيم قياسي:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
حيث أن $P_\theta = p_\theta(y^*|x^*)$ هو احتمال نجاح النموذج الشرطي.

• المعلمة $q$ (الالتزام): تتحكم في مقدار تضخيم التدرج للأمثلة "الصعبة" (ذات $P_\theta$ المنخفض).
  • $q$ منخفض (قريب من 0): تضخيم أدنى. يركز النموذج على ما يعرفه بالفعل (متين ضد الضجيج) ولكنه يخرج من البداية الباردة ببطء (بزمن قدره $\Omega(1/p_0)$).
  • $q$ مرتفع (قريب من 1): تضخيم هائل للأمثلة ذات الاحتمالية المنخفضة. يستكشف النموذج الإشراف غير المألوف بقوة، مما يؤدي للخروج من البداية الباردة بسرعة ($\Theta(\log(1/p_0))$)، ولكنه يخاطر بحفظ الضجيج.

مقدرات التدرج

بما أن $P_\theta$ غير قابل للحساب (لأنه يتضمن الجمع عبر جميع المسارات الكامنة)، فقد اشتق المؤلفون مقدّرين لـ مونت كارلو بناءً على التحليل المزدوج للتدرج:

1. GARL (التعلم المعزز بتدرج مضخم):

   • الآلية: يأخذ عينات من المسارات من التوزيع القبلي $p_\theta(z|x^*)$ ويضخم تدرج RL القياسي بمقدار $(\bar{w}_M)^{-q}$.
   • الخصائص: تباين أقل، ويعمم RB-REINFORCE (عند $q=0$) و IWAE (عند $q=1$).
   • حالة الاستخدام: ضروري لسيناريوهات البداية الباردة حيث لا ينتج أخذ العينات من التوزيع اللاحق أي مسارات صالحة.

2. PAFT (الضبط الدقيق المخمد باللاحق):

   • الآلية: يقوم بإعادة أخذ عينات من المسارات من التوزيع اللاحق (تلك التي تتفق مع الإجابة) ويخمد تدرج SFT بمقدار $(\bar{w}_M)^{1-q}$.
   • الخصائص: ينتج تدرجات متماسكة دلالياً (يحدث التحديث فقط على العقلانيات الصالحة) ولكنه يعاني من تباين أعلى بسبب ضجيج إعادة أخذ العينات. يعمم خطوة E في خوارزمية EM (عند $q=1$).
   • حالة الاستخدام: أكثر استقراراً أثناء تدريب البداية الدافئة (warm-start)، مما يمنع "الانهيار" الذي يحدث لـ GARL في مجموعات البيانات المعقدة.

3. المساهمات الرئيسية

1. إطار نظري موحد: تقدم الورقة أول تفسير نظري يوحد بين ركود البداية الباردة وحفظ الضجيج كطيف يتم التحكم فيه بواسطة المعلمة $q$.
2. تحليل سرعة الخروج: تثبت البراهين النظرية (النظرية 5.1 و 5.2) أن الوقت اللازم للخروج من البداية الباردة يتدرج كـ $\Omega(1/p_0)$ عندما يكون $q=0$ ولكنه يتحسن إلى $\Theta(\log(1/p_0))$ عندما يكون $q=1$. وهذا يفسر سبب فشل RLVR القياسي عندما تكون $p_0$ صغيرة.
3. المقدرات المزدوجة (GARL و PAFT): اشتقاق مقدرين عمليين يسمحان للممارسين بضبط مستوى "الالتزام" دون تغيير بنية النموذج.
4. مقايضة الانحياز والتباين: تحليل يوضح أنه بينما يسرع $q$ المرتفع التعلم، فإنه يدخل انحيازاً في المقدر ($O(q/MP_\theta^{q+1})$)، مما يستدعي استخدام قيم متوسطة لـ $q$ لتحقيق الأداء الأمثل.

4. النتائج التجريبية

قيم المؤلفون GARL و PAFT على ثلاث اختبارات للاستدلال (FinQA, HotPotQA, MuSiQue) باستخدام نموذج Qwen 3 0.6B.

• أداء البداية الباردة:

  • فشل كل من GRPO القياسي و $q=0$ (RB-RLOO) تماماً (دقة 0%) في مهام البداية الباردة.
  • نجح GARL مع $q=0.75$ في الخروج من البداية الباردة، محققاً دقة ملموسة (على سبيل المثال، 38.3% maj@16 في FinQA مقابل 0% لـ GRPO).
  • $q=1$ خرج من البداية الباردة ولكنه عانى من حفظ ضجيج أعلى، مما أدى لدقة نهائية أقل من $q=0.75$.

• أداء البداية الدافئة:

  • FinQA: كان التدريب مستقراً عبر جميع قيم $q$. حقق GARL عند $q=0.25$ أفضل النتائج (38.7% maj@16)، متفوقاً على GRPO بمقدار +11.8 نقطة.
  • HotPotQA و MuSiQue: تعرض GAR لـ انهيار (انخفضت دقة التحقق إلى الصفر) أثناء التدريب عند جميع قيم $q$ المختبرة، ويرجع ذلك على الأرجح إلى فساد حد المسار أو الإفراط في التخصيص.
  • استقرار PAFT: لم يتعرض PAFT للانهيار في أي من الاختبارات. حقق PAFT عند $q=0.75$ أفضل النتائج المستقرة على HotPotQA (47.9% maj@16، أي +14.4 عن GRPO) وعلى MuSiQue (22.4% maj@16).

• الاستقلال عن التلقين (Prompt Independence): بشكل لافت، تفوق نموذج GARL للبداية الباردة (الذي تم تدريبه بدون تلقينات خاصة بالمهمة) على نموذج GRPO للبداية الدافئة (الذي تم تدريبه مع تلقينات) في جميع المقاييس، مما يشير إلى أن الالتزام القوي ($q \approx 0.75$) يسمح للنموذج باكتشاف هيكل المهمة مباشرة من أزواج المدخلات والمخرجات.

5. الأهمية والآثار العملية

• حل عقبة البداية الباردة: تثبت الورقة أن العقبة في RLVR ليست مجرد تباين التدرج (الذي يعالجه Rao-Blackwellization) بل هي غياب تضخيم التدرج للأمثلة ذات الاحتمالية المنخفضة. زيادة $q$ تحل هذه المشكلة.
• استراتيجية تدريب ديناميكية: يقترح المؤلفون وصفة عملية:
  • البداية الباردة: استخدم GARL مع $q$ مرتفع ($\approx 0.75$) لإجبار النموذج على الخروج من نظام المكافأة الصفرية.
  • البداية الدافئة: إذا كان التدريب مستقراً (مثل FinQA)، استخدم GARL مع $q$ منخفض ($\approx 0.25$) لتقليل الانحياز. إذا كان التدريب غير مستقر (مثل HotPotQA)، انتقل إلى PAFT مع $q$ مرتفع ($\approx 0.75$) للحفاظ على الاستقرار عبر التدرجات المتماسكة.
• ما وراء RLVR: يقدم هذا الإطار طريقة منهجية للاستكمال بين التعلم المعزز والضبط الدقيق الخاضع للإشراف، متجاوزاً مسار "SFT ثم RL" الجامد نحو طيف مستمر من الالتزام.

باختصار، توضح الورقة أن الالتزام بالإشراف هو معلمة فائقة (hyperparameter) قابلة للضبط. من خلال تعديل $q$، يمكن للممارسين التحكم في المقايضة بين سرعة التعلم (الخروج من البدايات الباردة) ومتانة التعلم (تجنب حفظ الضجيج)، مما يؤدي إلى أداء رائد في مهام الاستدلال المعقدة.