Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم التعزيزي القائم على تقطير المعرفة باستخدام نموذج لغوي كبير كحكم (LLM-as-a-Judge)."

1. بيان المشكلة

أثبت التعلم التعزيزي (RL) فعاليته في تعزيز قدرات الاستنتاج للنماذج اللغوية الكبيرة (LLMs)، لا سيال في مجالات مثل الرياضيات والمنطق. ومع ذلك، تعتمد أساليب التعلم التعزيزي الحالية (مثل RL مع المكافآت القابلة للتحقق، RLVR) بشكل كبير على ملصقات الحقيقة الأرضية (ground truth labels) أو النتائج القابلة للتحقق (مثل مطابقة الإجابة الدقيقة) لتوليد إشارات المكافأة. وهذا يخلق عقبتين رئيسيتين:

1. ندرة البيانات: إن مجموعات البيانات عالية الجودة ذات الملصقات مكلفة ومحدودة، مما يحد من نطاق الضبط الدقيق بالتعلم التعزيزي.
2. قيود تقطير المعرفة: غالبًا ما يؤدي تقطير المعرفة التقليدي (KD) عبر الضبط الدقيق تحت الإشراف (SFT) إلى محاكاة سطحية للرموز (tokens)، مما يفشل في نقل عمليات الاستنتاج الأساسية من النموذج المعلم إلى النموذج الطالب الأصغر.

تعالج الورقة تحدي إجراء تقطير معرفة خالٍ من الملصقات (label-free knowledge distillation) باستخدام التعلم التعزيزي، حيث يتعلم نموذج طالب أصغر من قدرات الاستنتاج لنموذج معلم أكبر دون الوصول إلى ملصقات الحقيقة الأرضية لبيانات التدريب.

2. المنهجية

يقترح المؤلفون إطار عمل جديد للتعلم التعزيزي يحول نموذج "النموذج اللغوي الكبير كحكم" من مقيم ثابت إلى مولد مكافأة نشط. المكونات الأساسية هي:

أ. إعداد المشكلة ومسار التدريب

• الإحماء (Warm-up): يخضع النموذج الطالب للضبط الدقيق تحت الإشراف (SFT) على بيانات مصنفة لتأسيس قدرة استنتاج أساسية.
• الضبط الدقيق بالتعلم التعزيزي (RL Fine-Tuning): يتم تحسين النموذج بشكل أكبر باستخدام تحسين السياسة القريبة (PPO). يقوم الطالب بتوليد مسارات استنتاج (سلسلة أفكو - Chain-of-Thought، وتحديدًا بلغة بايثون كبرنامج تفكير - Program-of-Thought) لأسئلة معينة.
• إشارات المكافأة: يدمج إطار العمل ثلاثة أنواع من المكافآت:
  1. مكافأة قابلة للتحقق ($L_{PPO}^{VR}$): تُستخدم على البيانات المصنفة. وهي توفر مكافآت ثنائية أو جزئية بناءً على ما إذا كان الكود المولد يعمل برمجياً وينتج الإجابة الصحيحة للحقيقة الأرضية.
  2. مكافأة النموذج اللغوي كحكم ($L_{PPO}^{YoN}$): تُستخدم على البيانات غير المصنفة. يقوم نموذج معلم قوي بتقييم استنتاج الطالب. ومن الأهمية بمكان أن يكون الحكم مقيداً بإخراج "نعم" أو "لا" فقط. يتم حساب المكافأة بكفاءة عن طريق استخراج الـ (logits) لهذين الرمزين وتطبيق دالة (sigmoid) على نسبة لوغاريتم الاحتمالات، مما يخلق مكافأة عددية مستمرة دون الحاجة لتوليد سلاسل استنتاج كاملة.
  3. مكافأة نموذج إعادة الترتيب ($L_{PPO}^{Rerank}$): يوفر نموذج إعادة ترتيب مدرب مسبقاً إشارة مكافأة مستمرة إضافية بناءً على احتمالية الصحة.

ب. آلية مكافأة "نعم/لا"

لضمان الكفاءة، يتم توجيه النموذج اللغوي (الحكم) للإجابة بـ "نعم" أو "لا" على السؤال: "هل حل بايثون هذا يحل المشكلة بشكل صحيح؟"
يتم حساب المكافأة $s$ كالتالي:
$$s(p(\text{Yes}), p(\text{No})) = \sigma(u) \cdot \mathbb{I}\{\sigma(u) \ge a\}$$
حيث $u = \frac{\log p(\text{Yes}) - \log p(\text{No})}{\tau}$، و $\sigma$ هي دالة (sigmoid)، و $a$ هو العتبة. يسمح هذا بحساب المكافأة عبر رمز واحد (single-token)، مما يجعل العملية قابلة للتوسع لمجموعات كبيرة من البيانات غير المصنفة.

ج. الهدف العام

دالة الخسارة النهائية هي مزيج محدب موزون من المكونات الثلاثة:
$$L_{overall} = \lambda \cdot L_{PPO}^{VR} + \mu \cdot L_{PPO}^{YoN} + \rho \cdot L_{PPO}^{Rerank}$$
حيث $\lambda + \mu + \rho = 1$. وهذا يسمح بالتدريب شبه الموجه، عبر الاستفادة من البيانات المصنفة (القابلة للتحقق) وغير المصنفة (المعتمدة على الحكم).

3. المساهمات الرئيسية

1. تقطير المعرفة بالتعلم التعزيزي الخالي من الملصقات: تقدم الورقة إطار عمل للتعلم التعزيزي قابل للتوسع يتيح تقطير المعرفة باستخدام كميات هائلة من البيانات غير المصنفة، مما يزيل الاعوة على الإشراف من الحقيقة الأرضية في مرحلة التقطير.
2. مكافأة فعالة للنموذج اللغوي كحكم: على عكس الطرق السابقة التي تتطلب توليد تفسيرات كاملة أو مجموعات تفضيلات معقدة، يستخدم هذا النهج مخرج رمز واحد ("نعم"/"لا") من نموذج لغوي حكم لاستخلاص مكافآت مستمرة. وهذا يقلل بشكل كبير من التكاليف الحسابية.
3. التفوق على SFT و RLVR القياسي: يظهر المنهج أن الاستكشاف النشط الموجه بواسطة حكم لغوي يسم يسمح للنموذج الطالب باستيعاب قدرات الاستنتاج الكامنة بشكل أفضل من محاكاة الـ SFT السطحية أو التعلم التعزيزي المدرب فقط على المكافآت القابلة للتحقق.
4. القابلية للتوسع: تم التحقق من صحة النهج على نماذج صغيرة (125M، 350M) ونماذج أكبر (6.7B)، مما أظهر تحسينات متسقة.

4. النتائج التجريبية

أجريت التجارب على اختبارات الاستنتاج الرياضي (GSM8K, SVAMP, GSM-Plus, GSM-Symbolic) باستخدام نماذج مثل Galactica-125M، وCodeGen-350M، وGalactica-6.7B.

• النماذج الصغيرة (Galactica-125M):
  • زيادة الأداء: حقق المنهج المقترح تحسناً بنسبة 5-10 نقاط مئوية مقارنة باستخدام المكافآت القابلة للتحقق فقط (RLVR) على GSM8K.
  • الإعداد شبه الموجه: أدى الجمع بين البيانات المصنفة والبيانات الموسعة غير المصنفة (GSM8K-aug) باستخدام مكافأة الحكم إلى دقة بلغت 40.71% على GSM8K، مقارنة بنحو 30% لـ RLVR وحدها.
  • المتانة خارج النطاق (Out-of-Domain): أظهر النموذج مكاسب كبيرة في مجموعات البيانات الصعبة والخارجة عن النطاق مثل GSM-Symbolic وSVAMP، مما يشير إلى قدرة أفضل على التعميم.
• النماذج الكبيرة (Galactica-6.7B):
  • حتى في البنية الأكبر حيث كان أداء RLVR قد وصل لمرحلة التشبع، أدت إضافة مكافأة الحكم إلى تحسين الدقة من 69.07% إلى 70.43% (وتصل إلى 71.95% مع التصويت بالأغلبية).
• مقارنة الخوارزميات: قيمت الورقة أيضاً خوارزمية (Group Relative Policy Optimization - GRPO)، ووجدت أنها توفر مكاسب أعلى قليلاً من PPO في بعض التكوينات، لكنها أشارت إلى أن PPO أكثر كفاءة حوسبياً في إعدادهم.
• أنماط الفشل: حدد المؤلفون "اختراق المكافأة" (reward hacking) (حيث تولد النماذج كوداً أدنى أو معدوماً لخداع الحكم) عند الاعتماد فقط على البيانات غير المصنفة ($\lambda=0$). واقترحوا استراتيجيات تخفيف، مثل فرض الحد الأدنى لطول الكود والتعليمات الصريحة، لاستقرار التدريب.

5. الأهمية

يمثل هذا العمل خطوة مهمة نحو دمقرطة قدرات الاستنتاج المتقدمة. فمن خلال فصل الضبط الدقيق للتعلم التعزيزي عن الحاجة إلى ملصقات الحقيقة الأرضية المكلفة، فإنه يتيح تقطير مهارات الاستنتاج المعقدة من النماذج المعلمة الضخمة إلى نماذج طلابة أصغر وأكثر كفاءة في الموارد باستخدام المستودع الهائل من البيانات غير المصنفة المتاحة على الإنترنت.

إن آلية "النموذج اللغوي الكبير كحكم"، والمحسنة خصيصاً للكفاءة عبر تسجيل النقاط برمز واحد، تقدم حلاً عملياً لتوسيع نطاق تدريب التعلم التعزيزي في المجالات التي لا تتوفر فيها مكافآت قابلة للتحقق. وهذا يشير إلى إمكانية توليد إشارات تدريب عالية الجودة وتلقائية، مما قد يعيد تشكيل كيفية ضبط وتدقيق النماذج اللغية في المستقبل.