ملخص تقني: مكافحة تدهور دقة الإشراف في التقطير داخل السياسة (On-Policy Distillation)

المشكلة: تدهور دقة الإشراف (SFD)

تحدد الورقة البحثية عقبة حرجة في التقطير داخل السياسة (OPD)، وهو نموذج يتعلم فيه النموذج الطالب من مساراته المولدة باستخدام تغذية راجعة على مستوى الرمز (token) من نموذج معلم. وبينما كان نظام OPD فعالاً في نقل قدرات الاستنتاج، لاحظ المؤلفون أن أداءه يتدهور بشكل كبير مع زيادة طول عملية التوليد (على سبيل المثال، يستقر الأداء حول 16 ألف رمز وينخفض عند 39 ألف رمز).

يعزو المؤلفون ذلك إلى تدهور دقة الإشراف (Supervision Fidelity Decay - SFD). فكلما ولد الطالب تسلسلات أطول، انحرفت مخرجاته تدريجياً عن توزيع تدريب المعلم (خارج التوزيع أو OOD). هذا الانحراف يجعل توزيع الخطوة التالية للمعلم أقل ثقة وأقل تمييزاً.

• الآلية: في عملية تقطير reverse-KL القياسية، تعتمد إشارة التعلم (الميزة/advantage) على الفرق بين لوغاريتم احتمالية الطالب ولوغاريتم احتمالية المعلم. ومع تحول توزيع المعلم إلى توزيع مشتت (عالي الإنتروبيا) بسبب SFD، ينهار التباين في لوغاريتمات احتمالات المعلم.
• النتيجة: تساهم القدرة التمييزية للمعلم في التدرج (gradient) تتلاشى. وتتحول إشارة التعلم فعلياً إلى إشارة "خاصة بالطالب فقط" تعزز الأنماط الموجودة لدى الطالب دون تصحيح. وهذا يخلق حلقة تغذية راجعة تعزز الذات، حيث يتراكم الانحراف، مما يقلص أفق التعلم الفعال ويضع سقفاً لطول الاستنتاج.

المنهجية: مكافأة المجموعة الاستباقية (Lookahead Group Reward - LGR)

لمعالجة SFD، يقترح المؤلفون مكافأة المجموعة الاستباقية (LGR)، وهي طريقة تحافظ بنشاط على جودة الإشراف من خلال التحسين من أجل ثقة المعلم المستقبلية بدلاً من المطابقة المحلية الحالية.

الرؤية الجوهرية

حتى عندما تنهار إشرافات المعلم المحلية عند الموضع $t$ (أي عندما يكون التوزيع قريباً من التوزيع الموحد)، يمكن لخيارات الرموز المختلفة عند $t$ أن تؤدي إلى مستويات مختلفة تماماً من ثقة المعلم عند الموضع التالي ($t+1$). تثبت الورقة نظرياً أن القدرة التمييزية للخطوة التالية الواحدة يمكن أن تظل قائمة حتى عندما تفشل الإشرافات المحلية. ومن خلال اختيار الرموز التي تعظم ثقة المعلم في الخطوة اللاحقة، يمكن للطالب إبطاء معدل الانحراف.

تصميم الخوارزمية

1. مكافأة الثقة: عند كل موضع $t$، تقيم الطريقة ذروة احتمالية الخطوة التالية للمعلم ($\max_v \pi_T(v|x_{<t}, x_t)$) لأفضل $K$ من الرموز المرشحة للطالب. تعمل هذه القيمة كإشارة مكافأة تشير إلى مدى قدرة المرشح على الحفاظ على قدرة المعلم على تقديم إشراف عالي الجودة في الخطوة التالية.
2. التطبيع المجموعي (Group Normalization): للتعامل مع التباين في مستويات الثقة المطلقة عبر المهام والمواضع المختلفة، يتم تطبيع المكافآت الخام ضمن مجموعة أفضل $K$ من المرشحين (على غرار GRPO). هذا يحافظ على الترتيب النسبي للمرشحين مع إزالة ضجيج المقياس المطلق.
3. التنشيط المحفز بالإنتروبيا: حساب مكافأة الاستباق لجميع الرموز مكلف حوسبياً. لاحظ المؤلفون أن SFD والحاجة إلى توجيه استباقي تكون أكثر حرجاً في المواضع ذات الإنتروبيا العالية (حيث يكون الطالب غير متأكد). لذلك، يتم حساب مكافأة الثقة فقط للمواضع التي تتجاوز فيها إنتروبيا توليد الطالب عتبة $\tau$. وهذا يقلل من التكاليف الحوسبية بمقدار 4 إلى 7 مرات.
4. آلية انتباه الشجرة (Tree-Attention Mechanism): لتقييم $K$ من المرشحين لعدة مواضع بكفاءة دون إعادة تشغيل عملية الـ prefill للمعلم لكل مرشح، يستخدم المؤلفون آلية انتباه الشجرة. تقوم هذه الآلية بإنشاء تسلسل ممتد حيث يكون المسار الرئيسي هو مسار الطالب والرموز المرشحة هي فروع مضافة. تسمح قناع انتباه متفرق (sparse attention mask) للمعلم بمعالجة جميع المرشحين في تمريرة أمامية واحدة، مما يحقق تسريعاً نظرياً يصل إلى 1000 ضعف مقارنة بالتنفيذ الساذج.

تجمع دالة الخسارة النهائية بين ميزة reverse-KL القياسية ومكافأة الثقة الاستباقية، الموزونة بمعامل $\gamma$.

المساهمات الرئيسية

1. تحديد SFD: تحدد الورقة رسمياً "تدهور دقة الإشراف" كنمط فشل أساسي لعملية تقطير reverse-KL داخل السياسة، وتثبت أنه يؤدي إلى انهيار التدرج في حلقة انحراف تعزز الذات وتحد من طول الاستنتاج.
2. مكافأة المجموعة الاستباقية (LGR): يقترح المؤلفون علاجاً مبدئياً ينظر خطوة واحدة للأمام. بدلاً من محاولة مطابقة توزيع محلي متدهور، تختار LGR الرموز التي تعظم ثقة المعلم المستقبلية، مما يوجه الطالب بفعالية نحو الحالات التي يظل فيها الإشراف موثوقاً.
3. التنفيذ الفعال: يجعل تصميم آلية انتباه الشجرة المحفزة بالإنتروبيا عملية الاستباق المكثفة حوسبياً أمراً عملياً، مما يسمح بالتدريب على سياقات طويلة (تصل إلى 39 ألف رمز) دون تكاليف باهظة.

النتائج التجريبية

تم تقييم الطريقة على ستة معايير تغطي الاستنتاج الرياضي (AIME-24, AIME-25, AIME-26, HMMT-25, HMMT-26) وتوليد الكود (LiveCodeBench v6).

• مكاسب الأداء: بالنسبة لنموذج طالب بحجم 7B، حسنت LGR درجة mean@8 بمقدار 2.57 نقطة مقارنة بـ OPD القياسي (9 آلاف رمز) في المتوسط.
• توسع السياق الطويل: تتناسب فوائد LGR مع طول التوليد. في معيار AIME-26 عند 39 ألف رمز، حققت LGR زيادة قدرها +4.92 نقطة فوق OPD. في المقابل، تدهور أداء OPD القياسي بشكل كبير عند هذا الطول.
• المقارنة مع الخطوط المرجعية: تفوقت LGR على طرق التقطير الأخرى بما في ذلك JSD وREOPOLD ومتغيرات OPD القياسية. ومن الجدير بالذكر أن الطرق التي تهدف فقط إلى استقرار التدريب (مثل REOPLEO) دون معالجة تدهور جودة الإشراف فشلت في مضاهاة أداء LGR.
• دراسات الاستئصال (Ablation Studies):
  • Max-p مقابل الإنتروبيا: استخدام ذروة احتمالية المعلم (Max-p) كمقياس للثقة تفوق على استخدام الإنتروبيا أو الارتباك (perplexity)، مما يتوافق مع النتيجة النظرية بأن Max-p هو وكيل مباشر للقرب من التوزيع الداخلي للمعلم.
  • حساسية الوزن: أظهر وزن مكافأة الثقة $\gamma$ أداءً أمثل في النطاق من 1.0 إلى 1.5. أدت الأوزان العالية جداً إلى "اختطاف المكافأة" (reward hacking) وإنتاج تسلسلات متكررة.

الأهمية والادعاءات

تدعي الورقة أن LGR توفر حلاً مختلفاً بنيوياً لمشكلة الاستنتاج طويل الأمد في التقطير. فخلافاً للاستراتيجيات التي تتجنب سلبياً مناطق الإشراف الضعيفة (مثل الاقتطاع) أو التي تكتفي باستقرار التحسين، تقوم LGR بتوجيه الطالب بنشاط نحو المسارات التي يحافظ فيها المعلم على دقة إشراف عالية.

يؤكد المؤلفون أن عملهم يعالج السبب الجذري لتدهور الأداء في سلاسل الاستنتاج الطويلة: التأثير التراكمي لانحراف الطالب على ثقة المعلم. ومن خلال تفعيل فكرة أن "الثقة الأعلى في الموضع التالي تعني إشارة تمييزية مستقبلية أفضل"، تكسر LGR الحلقة المفرغة لتدهور الإشراف، مما يسمح للنماذج بالتوسع بفعالية إلى سلاسل استنتاج أطول بكثير (تصل إلى 39 ألف رمز) مما كان ممكناً سابقاً باستخدام التقطير التقليدي داخل السياسة.