ملخص تقني: العودة إلى الأساسيات: إعادة النظر في الاستكشاف في التعلم التعزيزي لنماذج اللغات الكبيرة عبر الاحتمالات التوليدية

1. بيان المشكلة

أصبح التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR) نموذجاً مهيمناً لتعزيز القدرة على الاستنتاج في نماذج اللغات الكبيرة (LLMs)، لا سيما لتوليد مسارات سلسلة أفكار (CoT) طويلة. ومع ذلك، تعاني طرق تحسين السياسة القياسية، مثل تحسين السياسة النسبية للمجموعة (GRPO)، من انهيار الإنتروبيا (Entropy Collapse) وانهيار النمط (Mode Collapse).

تكمن المشكلة الجوهرية في هدف تعظيم احتمالية الأوزان المرجحة بالمكافأة. فخلال عملية التحسين، يعمل هذا الهدف على تضخيم الكتلة الاحتمالية للمسارات ذات المكافأة العالية (الصحيحة) بشكل غير متناسب. ونتيجة لذلك، تتقارب النماذج نحو سياسات منخفضة الإنتروبيا تعمل على كبح سلاسل الاستنتاج البديلة الصالحة، مما يؤدي إلى نقص حاد في تنوع المخرجات. وبينما تحاول الحلول الحالية مثل تنظيم الإنتروبيا أو التقطيع الديناميكي التخفيف من حدة ذلك، إلا أنها تظل محدودة غالباً في تعديلات محلية ضمن إطار تعظيم المكافأة، وتفشل في تحسين نمذجة مسارات الاستنتاج المتنوعة بشكل جذري.

2. المنهجية: ProGRPO

يقترح المؤلفون ProGRPO (التعلم التعزيزي النسبي القائم على الاحتمالات)، وهو نموذج جديد يعيد فحص بناء دالة الميزة (Advantage function) من منظور الاحتمالات التوليدية. الابتكار الجوهري هو آلية إعادة وزن الميزة (ARM) المصمم لموازنة مستويات الثقة عبر جميع الاستجابات الصحيحة.

2.1. آلية إعادة وزن الميزة (ARM)

بدلاً من تعديل إشارة المكافأة مباشرة (والذي قد يشوه التحديثات إذا كانت جميع الإجابات في المجموعة صحيحة أو خاطئة)، يقوم ProGRPO بتعديل الميزة ($\tilde{A}_i$) من خلال دمج إشارات النموذج الداخلية:

• ثقة المطالبة ($c_\theta(q_i)$): ثقة النموذج في المدخل (Prompt)، وتُحسب كأسي متوسط لوغاريتم احتمالية الرموز (Tokens) ذات الاحتمالية المنخفضة في المطالبة.
• ثقة الإجابة ($c_\theta(o_i | q_i)$): ثقة النموذج في توليد إجابة محددة $o_i$ للمطالبة $q_i$، وتُحسب بشكل مشابه فوق الرموز ذات الاحتمالية المنخفضة في الاستجابة.

تُعرف الميزة المعاد وزنها كالتالي:
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
حيث أن $A_i$ هي ميزة GRPO القياسية، و $\alpha$ هو معامل الوزن. تقوم هذه الآلية بإعادة تشكيل إشارة المكافأة ديناميكياً: فهي تخفف من تحديثات التدرج لمسارات الاستنتاج المفرطة في الثقة، وتعيد توزيع الكتلة الاحتمالية نحو الحلول الصحيحة التي لم تُستكشف كفاية.

2.2. تطبيع طول الرموز ذات الاحتمالية المنخفضة

لاحظ المؤلفون أن تطبيق تطبيع الطول (Length Normalization) على تسلسل كامل يؤدي إلى تمييع إشارة المكافأة باستخدام رموز "تافهة" عالية الثقة. حيث يتركز عدم اليقين التنبؤي عادةً في جزء صغير من خطوات التوليد (حوالي 20%).

• الاستراتيجية: تحدد الطريقة مجموعة فرعية حرجة من الرموز ($T^{low}$) التي تمثل المواضع ذات أعلى عدم يقين تنبئي.
• التنفيذ: يتم حساب درجات الثقة لكل من المطالبات والإجابات حصرياً على هذه المجموعة الفرعية المعلوماتية، مما يحافظ على التباينات ذات المعنى التي تعكس جودة الاستنتاج بدلاً من اليقين السطحي.

2.3. دالة الهدف

تدمج دالة الهدف النهائية هذه الميزات المعاد وزنها في خسارة GRPI القياسية، باستخدام هدف بديل مقطوع (Clipped Surrogate Objective) لضمان استقرار التدريب مع تشجيع الاستكشاف المتنوع.

3. المساهمات الرئيسية

• الابتكار المنهجي: تقديم ProGRPO، الذي يوسع GRPO من خلال دمج آلية إعادة وزن الميزة (ARM) الواعية بالثقة. وهذا يسمح باستكشاف مستهدف دون المساس باستقرار التدريب.
• الفعالية الواسعة: التحقق من الفعالية عبر معايير متنوعة (الرياضيات وتوليد الكود) باستخدام نماذج متعددة الأحجام (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). تتفوق الطريقة باستمرار على النماذج المرجعية الرئيسية مثل GRPO وFlowRL.
• القوة خارج التوزيع (OOD Robustness): إظهار قدرة فائقة على التكيف مع البيانات خارج التوزيع (OOD)، والحفاظ على أداء قوي على توزيعات البيانات غير المرئية (مثل GPQA, MMLU-Pro).
• مكاسب أداء كبيرة: تحقق الطريقة توازناً متفوقاً بين الاستكشاف والاستغلال، مما يعزز بشكل كبير كلاً من الدقة وتنوع المخرجات.

4. النتال التجريبية

أُجريت التجارب على معايار الاستنتاج الرياضي (AIME, AMC, MATH, OlympiadBench) وتوليد الكود (LiveCodeBench, CodeForces, HumanEval+).

• الاستنتاج الرياضي:
  • على Qwen2.5-7B، يتفوق ProGRPO على GRPO بنسبة 5.7% في Pass@1 وبنسبة 13.9% في Pass@32.
  • على Qwen2.5-32B، يحسن Pass@1 بنسبة 4.8% عن GRPO.
  • على DeepSeek-R1-Distill-Qwen-1.5B، تحسن Pass@1 من 49.4% (GRGRPO) إلى 58.3% (ProGRPO).
• توليد الكود:
  • على CodeForces، حقق ProGRPO تصنيفاً قدره 1422.49، متجاوزاً GRPO بما يقرب من +180 نقطة وFlowRL بـ +293 نقطة.
  • على HumanEval+، حقق درجة Avg@16 بلغت 84.01%، وهي الأفضل بين الطرق المقارنة.
• التنوع والإنتروبيا:
  • يظهر تحليل إنتروبيا التدريب أنه بينما يؤدي GRPO إلى انهيار الإنتروبيا، يُظهر ProGRPO ارتفاعاً مستقراً في الإنتروبيا، مما يشير إلى استكشاف مستدام.
  • تُظهر مقاييس التنوع (Self-BLEU, Semantic Cosine) في AIME 2024 تكراراً أقل بكثير في مخرجات ProGRPO مقارنة بـ GRPO، مما يؤكد توليد مسارات استنتاج متنوعة هيكلياً.
• دراسات الاستئصال (Ablation Studies):
  • وُجد أن المعامل $\alpha$ (معامل الوزن) كان حاسماً. حيث وفرت قيمة $\alpha$ تبلغ 0.3 التوازن الأمثل بين الأداء والاستقرار. القيم التي تساوي 0 (GRPO نقي) أعطت نتائج أضعف، بينما أدت القيم الأعلى (0.7, 1.0) إلى تدهور الأداء بسبب التركيز المفرط على إشارات الثقة.

5. الأهمية والادعاءات

يزعم البحث أن ProGRPO يعالج مشكلة المفاضلة بين الاستكشاف والاستغلال (Exploration-Exploitation trade-off) في مهام الاستنتاج لنماذج اللغات الكبيرة. ومن خلال نقل التركيز من مجرد تعظيم المكافأة إلى موازنة الاحتمالات التوليدية والثقة، فإن الطريقة:

1. تحد من انهيار الإنتروبيا: تمنع النموذج من التقارب نحو مسار استنتاج واحد مهيمن.
2. تعزز التنوع: تولد مجموعة واسعة من مسارات الاستنتاج الصالحة، كما يتضح من المكاسب الكبيرة في مقاييس Pass@k (حيث $k > 1$).
3. تحسن التعميم: تحافظ على أداء قوي في مجموعات البيانات خارج التوزيع (OOD)، مما يشير إلى أن قدرات الاستنتاج المتعلمة أكثر قابلية للنقل.

يضع المؤلفون هذا العمل كنهج "عودة إلى الأساسيات"، حيث يعيد فحص الطبيعة الاحتمالية لتوليد نماذج اللغات الكبيرة لحل قيود نماذج RLVR الحالية، مما يمهد الطريق لتعلم تعزيزي أكثر استقراراً واستكشافاً في نماذج الاستنتاج.