Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم بما يتجاوز المعلم: التقطير على السياسة المعممة مع استقراء المكافأة" (Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation).

1. بيان المشكلة

برز التقطير على السياسة (On-Policy Distillation - OPD) كنموذج قوي لما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، حيث يتعلم نموذج الطالب من توزيع "لوجيت" (logit) المعلم عبر مسارات يولدها الطالب نفسه. وبينما يتفوق OPD تجريبيًا على التقطير خارج السياسة (SFT) والتعلم المعزز (RL) القياسي، إلا أن أسسه النظرية لا تزال غير مستكشفة بشكل كافٍ.

تشمل القيود الرئيسية في مشهد OPD الحالي ما يلي:

• نقص الوضوح النظري: العلاقة بين OPD والتعلم المعزز الكثيف المقيد بـ KL ليست مثبتة تمامًا.
• الوزن الثابت: يفترض OPD القياسي ضمنيًا تثبيت الوزن بين إشارة المكافأة (لوجيتات المعلم) وتنظيم KL (النموذج المرجعي) بنسبة 1:1، مما يحد من المرونة.
• سقف الأداء: في حالات تعدد المعلمين (دمج خبراء المجالات) أو التقطير من نموذج قوي إلى نموذج ضعيف، غالبًا ما يعاني OPD القياسي من صعوبة في تجاوز أداء أفضل معلم أو استعادة قدرات المعلم بالكامل دون حدوث عدم استقرار.
• جمود النموذج المرجعي: اختيار النموذج المرجعي في OPD غالبًا ما يكون عشوائيًا أو ثابتًا على الحالة الأولية للطالب، مما قد يؤدي إلى إدخال الضجيج في سيناريوهات التقطير من القوي إلى الضعيف.

2. المنهجية: التقطير على السياسة المعممة (G-OPD)

يقترح المؤلفون إطار عمل G-OPD، وهو إطار يوحد نظريًا بين OPD والتعلم المعزز الكثيف ويقدم تعميمين رئيسيين: نموذج مرجعي مرن وعامل قياس للمكافأة.

الأساس النظري

استنتج المؤلفون أن OPD القياسي هو حالة خاصة من التعلم المعزز الكثيف المقيد بـ KL حيث:

1. دالة المكافأة هي نسبة اللوغاريتم للمعلم إلى النموذج المرجعي: $r(x, y) = \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)}$.
2. يتم وزن حد المكافلة وتنظيم KL بالتساوي ($\beta = 1$).
3. يمكن أن يكون النموذج المرجعي $\pi_{ref}$ أي نموذج، وليس فقط نقطة التحقق الأولية للسياسة.

هدف G-OPD

لتعميم OPD، قدم المؤلفون عامل قياس المكافأة ($\lambda$) ونموذجًا مرجعيًا مرنًا ($\pi_{ref}$). تمت صياغة دالة الهدف كالتالي:

$$J_{G-OPD}(\theta) = \max_{\theta} \mathbb{E}_{x \sim D, y \sim \pi_\theta} \left[ \lambda \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} - D_{KL}(\pi_\theta(y|x) \parallel \pi_{ref}(y|x)) \right]$$

حيث أن:

• $\pi^*$: سياسة المعلم.
• $\pi_\theta$: سياسة الطالب التي يتم تحسينها.
• $\pi_{ref}$: نموذج مرجعي مرن.
• $\lambda$: معامل فائق يتحكم في الوزن النسبي لحد المكافأة مقابل تنظيم KL.

المتغيرات والرؤى الرئيسية

1. استقراء المكافأة (ExOPD، حيث $\lambda > 1$):

   • عندما تكون $\lambda > 1$، يتم تشجيع الطالب على ملاءمة "حد إزاحة إضافي" يتجاوز احتمالات اللوغاريتم للمعلم.
   • الفرضية: يسمح هذا للطالب بالتعلم بما يتجاوز حدود قدرة المعلم، مما قد يجعله يتفوق على المعلم في مجالات محددة.
   • التطبيق: فعال بشكل خاص في تقطير تعدد المعلمين، حيث يتم تدريب طالب موحد لدمج المعرفة من عدة نماذج RL متخصصة في المجالات.

2. تصحيح المكافأة (التقطير من القوي إلى الضعيف):

   • عند تقطير معلم كبير إلى طالب صغير، يكون النموذج المرجعي الافتراضي هو النموذج الأساسي للطالب ($\pi_{student\_base}$).
   • الرؤية: يمكن أن تكون المكافأة الضمنية $\log \frac{\pi^*}{\pi_{student\_base}}$ مشوشة بسبب الفجوة الجوهرية في السعة بين المعلم والطالب.
   • التصحيح: إذا كان النموذج الأساسي للمعلم قبل الـ RL متاحًا ($\pi_{teacher\_base}$)، فإن استخدامه كنموذج مرجعي يوفر إشارة مكافأة أنقى وأكثر دقة ($\log \frac{\pi^*}{\pi_{teacher\_base}}$)، مما يعزز الأداء بشكل أكبر.

3. المساهمات الرئيسية

1. التوحيد النظري: إثبات أن OPD هو حالة خاصة من التعلم المعزز الكثيف المقيد بـ KL مع أوزان ثابتة، مما يوفر أساسًا نظريًا صارمًا لتوسيع نطاقه.
2. إطار عمل G-OPD: اقتراح هدف معمّم مع عامل قياس مكافأة قابل للضبط ($\lambda$) واختيار مرن للنموذج المرجعي.
3. اكتشاف ExOPD: إثبات أن ضبط $\lambda > 1$ (استقراء المكافأة) يتفوق باستمرار على OPD القياسي ويمكن أن يمكّن الطالب من تجاوز جميع معلمي المجال في سيناريوهات تعدد المعلمين.
4. استراتيجية تصحيح المكافأة: تحديد أن استخدام نسخة المعلم ما قبل الـ RL كنموذج مرجعي في التقطير من القوي إلى الضعيف يقلل من الضجيج ويحسن فعالية التقطير.

4. النتائج التجريبية

أُجريت التجارب على مهام الاستدلال الرياضي (AIME, HMMT) وتوليد الكود (HumanEval, MBPP, LiveCodeBench).

أ. التقطير بنفس الحجم (معلم واحد ومتعدد المعلمين)

• الإعداد: الطالب والمعلمون بنفس الحجم (Qwen3-4B). المعلمون هم متغيرات RL متخصصة في المجال (رياضيات/كود).
• النتائج:
  • $\lambda < 1$ (الاستكمال/Interpolation): ينتج سلوكًا بين النموذج الأساسي والمعلم.
  • $\lambda = 1$ (Standard OPD): يطابق أداء المعلم عن كثب.
  • $\lambda > 1$ (ExOPD): مع $\lambda = 1.25$، تفوق ExOPD باستمرار على كل من OPD القياسي ومعلمي المجال.
  • تعدد المعلمين: في دمج خبراء الرياضيات والكود، كان ExOPD هو الطريقة الوحيدة لإنتاج طالب موحد يتفوق على كلا معلمي المجال الفرديين في جميع الاختبارات.
  • الاستقرار: أدى الاستقراء المفرط ($\lambda = 1.5$) إلى عدم استقرار، مما يشير إلى وجود نطاق أمثل.

ب. التقطير من القوي إلى الضعيف

• الإعداد: تقطير معلم كبير (Qwen3-30B) إلى طلاب أصغر (Qwen3-1.7B و Qwen3-4B).
• النتائج:
  • ExOPD مقابل OPD: تفوق ExOPD بشكل كبير على OPD القياسي وSFT (على سبيل المثال، تحسن في متوسط الدقة بنسبة +2.3% إلى +2.7%).
  • تصحيح المكافأة: عندما تم استخدام النموذج الأساسي للمعلم قبل الـ RL كمرجع (كما تمت محاكاته في الورقة)، تحسن الأداء بشكل أكبر (على سبيل المثال، الوصول إلى متوسط دقة ~52.3% مقابل 51.3% لـ ExOPD القياسي)، مما يؤكد صحة فرضية "تصحيح المكافأة".

5. الأهمية والآثار المترتبة

• كسر سقف المعلم: تتحدى هذه الورقة الحكمة التقليدية التي تقول إن الطالب لا يمكنه التفوق على معلمه في عملية التقطير. من خلال استقراء إشارة المكافأة، يسمح ExOPD للطلاب بالتعميم بما يتجاوز توزيع تدريب المعلم المحدد.
• التعلم متعدد المهام بكفاءة: يقدم ExOPD حلاً قويًا لدمج نماذج RL متخصصة متعددة في نموذج عام واحد دون حدوث نسيان كارثي أو نقص في الأداء كما يحدث في SFT أو OPD القياسي.
• إرشادات عملية: يوفر العمل إرشادات عملية للممارسين:
  • استخدم $\lambda > 1$ (مثل 1.25) لدفع حدود الأداء.
  • في التقطير من القوي إلى الضعيف، إذا كان متاحًا، استخدم نقطة تحقق المعلم قبل الـ RL كنموذج مرجعي لتقليل الضجيج.
• الجسر النظري: يربد العمل الفجوة بين التقطير والتعلم المعزز (RL)، مما يشير إلى إمكانية تطبيق العديد من تقنيات RL (مثل قياس المكافأة) مباشرة على التقطير مع ضمانات نظرية.

باختصار، يحول هذا العمل التقطير على السياسة من مهمة تقليد بسيطة إلى إطار تحسين مرن ومعمم قادر على توليد نماذج تتجاوز قدرات معلميها.