Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

إليك ملخص تقني مفصل لورقة البحث "On-Policy Self-Distillation for Large Language Models" (OPSD).

1. بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) طرقاً فعالة لما بعد التدريب (post-training) لتعزيز قدرات الاستنتاج لديها. تواجه النهج السائدة حالياً قيوداً محددة:

• التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR): تعتمد طرق مثل GRPO على مكافآت ثنائية متفرقة على مستوى التسلسل (صحيح/خاطئ). يؤدي هذا إلى تباين عالٍ، وتلاشي التدرجات (vanishing gradients) عندما تكون جميع الاستجابات التي تم أخذ عينات منها خاطئة، وتكاليف حوسبة عالية بسبب الحاجة إلى عمليات توليد (rollouts) متعددة لكل مطالبة (prompt).
• الضبط الدقيق الخاضع للإشراف (SFT): رغم كفاءته، يعاني SFT من انحياز التعرض (exposure bias) وعدم تطابق التوزيع بين بيانات التدريب والتوليد أثناء الاستنتاج.
• التقطير المعتمد على السياسة (On-Policy Distillation) التقليدي: يعتمد هذا النهج على تدريب نموذج "طالب" (student) باستخدام مساراته الخاصة المولدة عبر إشراف كثيف على مستوى الرمز (token-level) من نموذج "معلم" (teacher). ومع ذلك، يتطلب ذلك نموذج معلم خارجياً أكبر غالباً، مما يزيد من تكاليف البنية التحتية والتعقيد.
• الفجوة: هناك حاجة إلى طريقة تجمع بين كفاءة العينات في التدريب المعتمد على السياسة (on-policy)، والتغذية الراجعة الكثيفة للتقطير، وفعالية التكلفة من خلال عدم اشتراط وجود معلم خارجي، مع الاستفادة الصريحة من الحلول الحقيقية (ground-truth) المتاحة في مجموعات بيانات الاستنتاج.

2. المنهجية: التقطير الذاتي المعتمد على السياسة (OPSD)

الحدس الجوهري لـ OPSD هو أن النموذج اللغوي الكبير ذو القدرة الكافية يمكنه "عقلنة" (rationalize) حل صحيح (الحقيقة الأرضية) واستخدام هذا الفهم لتعليم نفسه الأضعف (النسخة التي لا تملك الوصول إلى الحقيقة الأرضية).

الإطار الأساسي

يقوم OPSD بتجسيد نموذج لغوي واحد ($p_\theta$) كـ معلم و طالب في آن واحد عن طريق تغيير سياق الشرط (conditioning context):

1. سياسة المعلم ($p_T$): تشترط على المشكلة $x$ و الحل الصحيح المتميز $y^\star$ (على سبيل المثال، الإجابة الصحيحة أو سلسلة التفكير المرجعية CoT).
   • $p_T(\cdot | x, y^\star) \equiv p_\theta(\cdot | x, y^\star)$
2. سياسة الطالب ($p_S$): تشترط فقط على المشكلة $x$، محاكيةً سيناريو وقت الاستنتاج.
   • $p_S(\cdot | x) \equiv p_\theta(\cdot | x)$

عملية التدريب

1. أخذ العينات المعتمد على السياسة (On-Policy Sampling): يقوم الطالب بتوليد مسار $\hat{y} \sim p_S(\cdot | x)$.
2. التقييم: يقوم كل من المعلم والطالب بتقييم هذا المسار المولد من قبل الطالب. عند كل موضع رمز $n$، ينتجان توزيعات الرمز التالي المشروطة بالسابقة (prefix) الخاصة بالطالب $\hat{y}_{<n}$:
   • الطالب: $p_S(\cdot | x, \hat{y}_{<n})$
   • المعلم: $p_T(\cdot | x, y^\star, \hat{y}_{<n})$
3. الهدف (Objective): يقلل النموذج التباعد (divergence) على مستوى الرمز بين توزيعات المعلم والطالب عبر عمليات التوليد الخاصة بالطالب نفسه.
   • دالة الخسارة: $L_{OPSD}(\theta) = \mathbb{E}_{(x,y^\star)} \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{n=1}^{|\hat{y}|} D(p_T(\cdot | x, y^\star, \hat{y}_{<n}) \parallel p_S(\cdot | x, \hat{y}_{<n})) \right]$
   • مقياس التباعد: يستخدم المؤلفون بشكل أساسي تباعد جينسن-شانون المعمم (JSD)، رغم أن تباعد KL قابل للتطبيق أيضاً.
   • تدفق التدرج (Gradient Flow): يتم تمرير التدرجات للخلف فقط عبر لوجيتات (logits) سياسة الطالب. يعمل المعلم كهدف توزيع ثابت مشروط بمعلومات متميزة.

أهداف بديلة

تستكشف الورقة أيضاً نهج تدرج سياسة الرموز المأخوذة بالعينة (مشابه لـ Lu & Lab, 2025)، حيث يتم حساب الميزة (advantage) فقط على الرمز المأخوذ بالعينة بدلاً من توزيع المفردات الكامل. ومع ذلك، أظهرت التجارب أن تقطير المفردات الكاملة يحقق أداءً أفضل.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم OPSD، وهو إطار للتقطير الذاتي حيث يعمل نموذج واحد كمعلم وطالب معاً، مما يلغي الحاجة إلى نماذج معلم خارجية.
2. إشراف كثيف على مستوى الرمز: على عكس RLVR الذي يوفر مكافآت متفرقة على مستوى التسلسل، يوفر OPSD تغذية راجعة كثيفة على مستوى الرمز من خلال مطابقة توليد الطالب مع توزيع المعلم (الذي يمتلك الوصول إلى الحقيقة الأرضية).
3. الكفاءة: يحقق النهج تحسينات كبيرة في كفاءة الرموز مقارنة بطرق RL.
4. التحقق التجريبي: تقييم شامل على معايير الرياضيات بمستوى المسابقات (AIME, HMMT, AMO-Bench) يوضح أن OPSD يتفوق على SFT ويضاهي أو يتجاوز أداء GRPO بموارد أقل.

4. النتائج التجريبية

قام المؤلفون بتقييم OPSD على عائلة نماذج Qwen3 (بمعلمات 1.7B، 4B، و8B) باستخدام مجموعة بيانات OpenThoughts.

• الأداء:
  • تفوق OPSD باستمرار على نماذج SFT القياسية.
  • في نماذج 4B و8B، ضاهى OPSD أو تجاوز أداء GRPO (تحسين السياسة النسبي للمجموعات).
  • الاعتماد على الحجم (Scale Dependency): أظهر OPSD عوائد متناقصة أو عدم استقرار في نموذج 1.7B، مما يشير إلى أن التقطير الذاتي الناجح يتطلب نموذجاً ذا قدرة كافية لـ "عقلنة" الحقيقة الأرضية.
• كفاءة الرموز (Token Efficiency):
  • حقق OPSD كفاءة رموز أعلى بـ 8 إلى 12 ضعفاً مقارنة بـ GRPO.
  • بينما يتطلب GRPO أخذ 8 استجابات لكل مطالبة مع ميزانيات توليد طويلة (16 ألف رمز)، يحقق OPSD نتائج مماثلة بـ استجابة واحدة وميزانية توليد أقصر (1 ألف رمز).
  • يُعزى ذلك إلى إشارة التغذية الراجعة الكثيفة، والتي تسمح للنموذم بالتعلم من كل رمز بدلاً من الانتظار للحصول على مكافأة نهائية على مستوى التسلسل.
• دراسات الاستئصال (Ablation Studies):
  • طول التوليد: حققت أطوال التوليد الأطول (2048/4096 رمزاً) خلال مرحلة أخذ العينات المعتمدة على السياسة أداءً أفضل من الأطوال الأقصر (1024)، لأنها تعرض الطالب لمزيد من إشارات المعلم.
  • الهدف: تفوق تقطير اللوجيتات للمفردات الكاملة على أهداف تدرج سياسة الرموز المأخوذة بالعينة.

5. الأهمية والأثر

• خفض التكلفة: يقلل OPSD بشكل كبير من تكلفة الحوسبة لنماذج الاستنتاج في مرحلة ما بعد التدريب من خلال إزالة الحاجة إلى نماذج معلم خارجية وتقليل عدد عمليات التوليد المطلوبة لكل مطالبة.
• الجسر بين SFT و RL: يربط بفعالية بين استقرار التعلم الخاضع للإشراف وتعميم التعلم التعزيزي من خلال توفير إشراف كثيف معتمد على السياسة دون مشاكل التباين الناتجة عن المكافآت المتفرقة.
• القابلية للتوسع: يقدم النهج مساراً قابلاً للتوسع لتحسين الاستنتاج في النماذج اللغوية الكبيرة، بشرط أن يمتلك النموذج الأساسي القدرة الكافية لفهم وعقلنة الحلول الصحيحة.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن الطريقة تعتمد على قدرة النموذج على استخدام المعلومات المتميزة؛ ويمكن للأعمال المستقبلية استكشاف التعلم المنهجي (curriculum learning) لزيادة صعوبة المشكلات تدريجياً مع تحسن النموذج.

باخت-صار، يقدم OPSD بديلاً عالي الكفاءة لتدريب الاستنتاج الحالي القائم على RL، حيث يستغل قدرة النموذج نفسه على فهم الإجابات الصحيحة لتوجيه عملية تعلمه، محققاً نتائج رائدة بأقل قدر من التكلفة الحوسبية.