ملخص تقني: تصميمات المكافأة القائمة على الاحتمالية لتعميم استدلال النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تواجه عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) لمهام الاستدلال عبر التعلم المعزز (RL) -والتي تعتمد عادةً على دالات مكافأة ثنائية (0/1 للصحة) مستمدة من حقائق أرضية قابلة للتحقق (مثل الإجابات الرياضية)- عائقين رئيسيين:

1. الاعتماد على تصميم المكافأة: تتطلب هذه العملية مصححات (verifiers) محددة لكل معيار اختبار، وهي غير متوفرة في المجالات غير القابلة للتحقق مثل البراهن طويلة التنسيق أو التوليد المفتوح.
2. ندرة المكافأة: توفر المكافآت الثنائية إشارات متفرقة، مما قد يعيق التعلم الفعال، خاصة في سلاسل الاستدلال المعقدة.

بينما اقترحت أعمال حديثة آليات مكافأة ذاتية أو مكافآت داخلية، إلا أنها غالباً ما تفشل في تجاوز التدريب القائم على الصحة أو تعاني من "اختطاف المكافأة" (reward hacking) وانهيار التنوع. علاوة على ذلك، أظهرت الطرق الحالية التي تستخدم احتمالية الإجابات المرجعية (مثل VeriFree وJEPO وRLPR) نتائج متباينة، لا سيالما فشلها في الإعدادات غير القابلة للتحقق بسبب تلاشي الاحتمالات للتسلسلات الطويلة والمطابقة تماماً.

المنهجية

يتقصى المؤلفون المكافآت القائمة على الاحتمالية (Likelihood-based rewards) المستمدة مباشرة من احتمال أو لوغاريتم الاحتمالية لإخراج إجابة مرجعية (أو أي استمرار للمطالبة موجود في البيانات) بناءً على سلسلة التفكير (CoT) المولدة. يتجنب هذا النهج المصححات الخارجية ويستفيد من الإشارات المتاحة على نطاق واسع.

تقارن الدراسة بشكل منهجي عدة متغيرات للمكافأة مقابل خطوط الأساس القياسية (الضبط الدقيق الخاضع للإشراف SFT بدون CoT، والتعلم المعزز القياسي بالمكافآت الثنائية):

• التعلم المعزز الأساسي (Base RL): تعلم معزز قياسي باستخدام مكافأة ثنائية (1 إذا تطابقت الإجابة مع الحقيقة الأرضية، و0 خلاف ذلك).
• الاحتمالية (VeriFree): المكافأة تساوي الاحتمالية الخام $\pi_\theta(a^*|p, z)$.
• اللوغاريتم الاحتمالي (Log-prob): المكافأة تساوي اللوغاريتم الاحتمالي $\log \pi_\theta(a^*|p, z)$.
• متوسط اللوغاريتم الاحتمالي (Average Log-prob): اللوغاريتم الاحتمالي مقسوماً على طول الإجابة ($\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$).
• JEPO: متغير لخسارة ELBO القائم على Jensen باستخدام مكافآت على مستوى المجموعة.
• SFT: الضبط الدقيق الخاضع للإشراف القياسي الذي يتنبأ بالإجابة مباشرة دون CoT.

تستخدم التجارب خوارزمية RLOO (Reinforce Leave-One-Out) لتقدير الميزة. وتمتد التقييمات لتشمل:

• المجالات القابلة للتحقق: معايير MATH وDeepScaleR (المسائل ذات الإجابات القصيرة).
• المجالات غير القابلة للتحقق: Alpaca وNuminaProof (الإجابات طويلة التنسيق وبراهن النظريات).
• النماذج: Llama-3.2-3B-Instruct وQwen-2.5-3B-Instruct.

المساهمات والنتائج الرئيسية

1. عالمية مكافآت اللوغاريتم الاحتمالي

النتيجة المركزية هي أن مكافآت اللوغاريتم الاحتمالي (log-probability rewards) هي المتغير الوحيد الذي يعمل بقوة عبر جميع الإعدادات.

• في المجالات القابلة للتحقق: تحقق مكافآت اللوغاريتم الاحتمالي معدلات نجاح تضاهي أو تتفوق على خطوط الأساس للتعلم المعزز الثنائي. والأهم من ذلك، أنها تحقق ارتباكاً (perplexity) أفضل بكثير من التعلم المعزز الثنائي، مما يربط هدف التدريب بمعيار ما قبل التدريب (التنبؤ بالرمز التالي).
• في المجالات غير القابلة للتحقق: بينما تفشل المكافآت القائمة على الاحتمالية (مثل VeriFree) والتعلم المعزز القياسي بسبب تلاشي احتمالات المطابقة الدقيقة للإجابات الطويلة، تظل مكافآت اللوغاريتم الاحتمالي قابلة للتطبيق. فهي تؤدي أداءً يضاهي الضبط الدقيق الخاضع للإشراف (SFT)، في حين تفشل الطرق الأخرى القائمة على الاحتمالية في التحسن عن النموذج الأساسي.

2. ظاهرة "انهيار سلسلة التفكير" (CoT Collapse)

ملاحظة هامة هي سلوك طول سلسلة التفكير (CoT) أثناء التدريب:

• الإعدادات القابلة للتحقق: تسبب مكافآت اللوغاريتم الاحتمالي في البداية تقصيراً في طول الـ CoT، لكن الطول يتعافى مع تقدم التدريب.
• الإعدادات غير القابلة للتحقق: تؤدي مكافآت اللوغاريتم الاحتمالي إلى "انهيار" دائم في الـ CoT، حيث يتقلص مسار الاستدلال إلى طول أدنى (حوالي 10 رموز). في هذا النظام، تعمل طريقة اللوغاريتم الاحتمالي فعلياً مثل SFT.
• الآلية: يفترض المؤلفون أنه في بداية التدريب، يرتبط الـ CoT الأقصر باحتمالات لوغاريتمية أعلى للإجابة الصحيحة (على الأرجب لأن النموذج الأساسي لم يتكيف بعد مع مسارات الاستدلال الطويلة). هذا الارتباط السلبي يدفع وكيل التعلم المعزز إلى تقصير الـ CoT. وقد أدت محاولات التخفيف من ذلك عبر تنظيم KL أو عقوبات الطول إلى منع الانهيار، لكنها أدت أيضاً إلى تدهور الأداء، مما يشير إلى أنه في المجالات غير القابلة للتحقق، يطابق التعلم المعزز باستخدام مكافآت اللوغاريتم الاحتمالي أداء SFT فقط عن طريق إلغاء الـ CoT.

3. المقارنة مع الطرق الأخرى

• الاحتمالية مقابل اللوغاريتم الاحتمالي: تفشل مكافآت الاحتمالية الخام (VeriFree) في الإعدادات غير القابلة للتحقق لأن احتمال المطابقة الدقيقة للإجابات الطويلة يقتر_ب من الصفر، مما لا يوفر أي إشارة للتعلم. أما اللوغاريتم الاحتمالي، كونه مجموعاً عبر الرموز (tokens)، فإنه يوفر إشارة أكثر كثافة ولا يتلاشى بشدة.
• الارتباك (Perplexity) مقابل معدل النجاح: يحسن التعلم المعزز الثنائي معدل النجاح ولكنه يقلل من جودة الارتباك (يصبح النموذج "واثقاً بشكل خاطئ" في المسارات غير الصحيحة). أما مكافآت اللوغاريتم الاحتمالي، فهي تحسن كليهما، حيث تحافظ على توزيع أقل ثقة في الإجابات غير الصحيحة، مما يحافظ على جودة أفضل لنمذجة اللغة بشكل عام.

الأهمية

تثبت الورقة أن مكافآت اللوغاريتم الاحتمالي هي إشارة تدريب موحدة قادرة على الربط بين مهام الاستدلال القابلة للتحقق وغير القابلة للتحقق دون الاعتماد على تسميات صحة خارجية.

• توضح أن معياراً واحداً (تعظيم الاحتمالية اللوغاريتمية للإجابة المرجعية بناءً على CoT) يمكن تطبيقه عبر كامل طيف أنواع الإجابات، من مسائل الرياضيات القصيرة إلى البراهن طويلة التنسيق.
• تسلط الضوء على مقايضة: بينما تحسن مكافآت اللغاريتم الاحتمالي الارتباك والقدرة على التعميم، فإنها حالياً لا تتفوق على SFT في المجالات غير القابلة للتحقق ما لم يتم الحفاظ على الـ CoT (وهو ما يتطلب مزيداً من البحث في ديناميكيات التدريب أو توسيع نطاق الحوسبة).
• يشير العمل إلى أنه بالنسبة للمجالات غير القابلة للتحقق، قد تكون "مشكلة تخصيص الائتمان" (credit assignment problem) في التعلم المعزز شديدة للغاية بالنسبة لـ CoT الطويلة تحت ميزانيات التدريب الحالية، وأن فوائد الـ CoT في هذه الإعدادات قد تتطلب تدريباً أطول بكثير أو استراتيجيات تهيئة مختلفة (مثل البدء من نقطة دافئة/warm-starting).

يخلص المؤلفون إلى أن مكافآت الاحتمالية اللوغاريتمية تقدم وصفة بسيطة وعامة لما بعد التدريب للنماذج اللغوية الاستدلالية، وهي صالحة لمختلف أنواع الإجابات، رغم أن آلية الحفاظ على CoT طويل في الإعدادات غير القابلة للتحقق تظل تحدياً مفتوحاً.