Label-Free Reinforcement Learning via Cross-Model Entropy

ملخص تقني: التعلم المعزز الخالي من الملصقات عبر الإنتروبيا عبر النماذج (CME)

بيان المشكلة
تواجه عملية ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) عبر التعلم المعزز (RL) حالياً عقبة تتمثل في الحاجة إلى إشارة مكافأة موثوقة. وتواجه الأساليب الحالية ثنائية:

1. المحققات القائمة على الحقيقة الأرضية (Ground-truth verifiers): تعتمد طرق مثل PPO وGRPO على الصحة القابلة للتحقق تلقائياً (مثل الرياضيات أو تنفيذ الكود)، مما يقصر تدريب التعلم المعزز على المجالات ذات الإجابات الموضوعية، ويستبعد اتباع التعليمات مفتوحة النهاية.
2. ملصقات التفضيل البشري: تتطلب طرق مثل RLHF وDPO تعليقات بشرية مكلفة وتكون عرضة لـ "اختطاف المكافأة" (reward hacking).
3. الإشارات المرجعية الذاتية الخالية من الملصقات: تستخدم البدائل الحديثة (مثل TTRL وEvol-RL وRENT) مخرجات المولد نفسه لاستخلاص المكافآت عبر التصويت بالأغلبية أو إنتروبيا الرموز (token entropy). ومع ذلك، فإن هذه الطرق معيبة هيكلياً للمهام مفتوحة النهاية: فإذا كان النموذج مخطئاً بشكل منهجي ولكنه متسق داخلياً، فإن الإشارات المرجعية الذاتية ستعزز الأخطاء بدلاً من تصحيحها. علاوة على ذلك، يتطلب التصويت بالأغلبية إجابة نموذجية، مما يجعله غير قابل للتطبيق في التوليد مفتوح النهاية.

المنهجية: الإنتروبيا عبر النماذج (Cross-Model Entropy - CME)
يقترح المؤلفون الإنتروبيا عبر النماذج (CME)، وهي إشارة مكافأة خالية من الملصقات مصممة لتوسيع نطاق التعلم المعزز ليشمل اتباع التعليمات مفتوحة النهاية دون الحاجة إلى ملصقات حقيقة أرضية أو تفضيلات بشرية.

• المفهوم الجوهري: بدلاً من مطالبة المولد بتقييم مخرجاته الخاصة، تقيس CME مدى "المفاجأة" التي تثيرها استجابة المولد لدى نموذج محقق مستقل ومنفصل ($\pi_\phi$).
• تعريف المكافأة: تُعرف المكافأة بأنها سالب لوغاريتم الاحتمالية لرد المولد تحت نموذج المحقق:
  $$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$$
  حيث تمثل $y_{aligned}$ رموز المولد المتوافقة مع فضاء رموز المحقق.
• التأصيل النظري: إن تعظيم CME المتوقع يكافئ رياضياً تقليل تباعد KL العكسي $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (بالإضافة إلى حد إنتروبيا المولد). وهذا يؤدي فعلياً إلى تقطير سياسة المولد نحو توزيع المحقق. إذا كان المحقق أكثر كفاءة في المجال المستهدف من المولد، فإن هذا يدفع المولد نحو مخرجات عالية الجودة.
• تفاصيل التنفيذ:
  • التكامل: يتم دمج CME في إطار عمل GRPO (تحسين السياسة النسبي للمجموعات)، حيث تحل محل المكافأة القياسية (scalar reward) بإشارة مستمرة على مستوى الرمز (token-level).
  • محاذاة الرموز: للتعامل مع عدم التطابق بين أجهزة الترميز (tokenizers) للمولد والمحقق (مثل Qwen مقابل Gemma)، يستخدم المؤلفون إجراء محاذاة على مستوى الحروف؛ حيث يتم وزن احتمالات المحكّق اللوغاريتمية بناءً على نسبة التداخل الحرفي مع رموز المولد، مما يضمن الحفاظ على إجمالي الاحتمالية اللوغاريتمية بغض النظر عن دقة جهاز الترميز.
  • حلقة التدريب: الإعداد خالٍ من التدريب للمحقق؛ حيث تظل أوزان المحقق ثابتة. ويتم تحديث المولد باستخدام المزايا الطبيعية للمجموعات (group-normalized advantages) المستمدة من درجات CME.

المساهمات الرئيسية

1. إشارة مكافأة مبتكرة: تقديم CME كإشارة مكافأة مستمرة، خالية من التدريب والخالية من الملصقات، تعتمد على التقييم عبر النماذج بدلاً من الإشارات المرجعية الذاتية.
2. توسيع نطاق التعلم المعزز للمهام مفتوحة النهاية: نجاح توسيع نطاق التعلم المعزز الخالي من الملصقات ليشمل اتباع التعليمات مفتوحة النهاية، وهو النطاق الذي تفشل فيه الاتساق الذاتي والتصويت بالأغلبية.
3. التحقق التجريبي: إثبات أن CME-GRPO يحسن الأداء عبر أربع عائلات من النماذج (Qwen, Llama, Gemma, OLMo) وثلاثة أنظمة تدريب (النماذج سابقة التدريب، SFT، والضبط الدقيق للتعليمات) دون استخدام أي تعليقات تفضيل.
4. التحقق من الإشارة: إثبات أن الإشارة ناتجة عن التقييم عبر النماذج وليس مجرد تنظيم عام (regularization) من خلال إظهار أن المحقق ذو الأوزان العشوائية يحقق أداءً أقل بكثير من المحققين الحقيقيين الموزونين.

النتائج التجريبية
قيم المؤلفون CME-GRPO على معيار AlpacaEval 2.0 (805 مطالبة) باستخدام تقييم "النموذج كحكم" (GPT-5.2 وClaude Sonnet 4.6).

• الأداء مقابل النموذج الأساسي: تفوق CME-GRPO على النموذج الأساسي غير المدرب في كل مقارنة مباشرة عبر جميع عائلات النماذج. تراوحت معدلات الفوز المعدلة حسب التعادل بين 52.5% و71.4%.
• الأداء مقابل SFT/DPO: على نماذج SFT الأساسية، طابق CME-GRPO أداء نماذج DPO المدربة على نفس النموذج الأساسي باستخدام مجموعة بيانات UltraFeedback الكاملة (بما في ذلك ملصقات التفضيل)، رغم أن CME-GRPO استخدم فقط المطالبات دون ملصقات تفضيل.
• قدرة المحقق: تصاعد الأداء مع قدرة المحقق؛ حيث حقق المحقق الأكبر (Gemma-4-E4B-it) معدلات فوز أعلى من المحققين الأصغر. والأهم من ذلك، أن المحقق ذو الأوزان العشوائية سجل أداءً أقل من جميع المحققين الحقيقيين، مما يؤكد أن الإشارة ليست مجرد نتاج للانتظام العام.
• المقارنة مع الطرق المرجعية الذاتية: تفوق CME-GRGPIO باستمرار على RENT (طريقة تقليل إنتروبيا المرجعية الذاتية)، خاصة في النماذج سابقة التدريب حيث تميل الإشارات المرجعية الذاتية إلى تعزيز الأخطاء.

الأهمية والادعاءات
يزعم البحث أن CME توفر مساراً قابلاً للتطبيق لتدريب النماذج اللغوية الكبيرة في مرحلة ما بعد التدريب للمهام مفتوحة النهاية دون التكلفة الباهظة لبيانات التفضيل البشرية أو المخاطر الهيكلية للمكافآت المرجعية الذاتية. ومن خلال الاستفادة من "المفاجأة" لنماذج مستقلة وقادرة، تقوم الطريقة بمواءمة المولد مع توزيع عالي الجودة دون الحاجة إلى صحة مطلقة (ground-truth).

يشير المؤلفون إلى أنه بينما الطريقة فعالة، إلا أنها تعتمد على افتراض أن المحقق أكثر كفاءة من المولد في المجال المستهدف. كما يقرون بوجود قيود، بما في ذلك العبء الحسابي لتشغيل محقق بجانب المولد، واحتمالية الانجراف نحو أسلوب المحقق (انهيار النمط/mode collapse)، وحقيقة أن التقييمات تعتمد على أحكام النماذج اللغوية بدلاً من التقييمات البشرية. ويشير العمل إلى أن الاستجابات "غير المفاجئة" لنموذج قادر تعد بديلاً قوياً للجودة في غياب الملصقات الصريحة.