Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$-Divergence Regularization

ملخص تقني: تحسين GRPO بانتظام KL المستقبلي (Future-KL Regularized GRPO)

بيان المشكلة
برزت عملية تحسين السياسة النسبية للمجموعات (GRPO) كنموذج مهيمن للتعلم التعزيزي (RL) الخالي من "الناقد" (critic-free) في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما في مجال الاستدلال الرياضي. تلغي GRPO الحاجة إلى دالة قيمة (value function) متعلمة من خلال تطبيع مكافآت النتائج ضمن مجموعة من الاستجابات التي تم أخذ عينات منها. ومع ذلك، فإن التطبيقات القياسية لتنظيم KL في GRPO تتعامل عادةً مع العقوبة كعقوبة محلية على مستوى الرمز (token) في جانب الخسارة (على سبيل المثال، باستخدام مُقدّر $k_3$).

يحدد المؤلفون خللاً جوهرياً في هذا النهج: فهو يتجاهل تخصيص الائتمان على مستوى العملية (process-level credit assignment) الناتج عن التوليد ذاتي الانحدار (autoregressive generation). في المسار ذاتي الانحدار، لا يتسبب الرمز المبكر في تكلفة تنظيم محلية فحسب، بل يغير أيضاً توزيع البادئات المستقبلية، مما يؤثر على تكاليف KL لجميع الرموز اللاحقة. إن مصطلحات الخسارة المحلية القياسية تفرق فقط بين عقوبة الرمز المأخوذ، متجاهلة "عائد التنظيم المستقبلي المتبقي" (future-regularization return-to-go) السببي.

علاً على ذلك، تسلط الورقة الضوء على عدم توافق هيكلي بين تطبيع المجموعات في GRPO وصيغ KL-في-المكافأة (KL-in-reward). فخلافاً لأهداف المكافأة الخطية (مثل MaxEnt RL) حيث يمكن دمج المكافأة والمنظم، يؤدي تطبيع المجموعات في GRPO إلى إحداث منفعة غير خطية على مستوى المطالبة (prompt-level utility) (تحديداً، تحويل arcsin للنتائج الثنائية). هذه اللاخطية تعني أن إضافة عقوبات KL إلى المكافآت قبل عملية التطبيع تشوه الهدف الضمني، مما يؤدي إلى انهيار معلومات KL على مستوى الرمز في قيمة عددية واحدة على مستوى المسار، ويفشل في الحفاظ على إشارة التدرج الصحيحة.

المنهجية
تشتق الورقة تدرج السياسة (policy gradient) في الوقت الفعلي (on-policy) لأهداف نمط GRPO تحت تنظيم تباعد $f$ على مستوى الرمز. الرؤية النظرية الرئيسية هي أن التدرج يتحلل إلى حدين متميزين بخصائص قياس مختلفة:

1. حد المكافأة: الموروث من المنفعة غير الخطية $\ell(p)$، ويحمل ربحاً يعتمد على المطالبة $\ell'(p)$. بالنسبة للمكافآت الثنائية، يستعيد هذا الحد ميزة GRPO المعيارية.
2. حد المنظم: هذا الحد مستقل عن $\ell'$ ويتحلل إلى عقوبة رمز محلية بالإضافة إلى عائد تنظيم مستقبلي تراكمي عكسي (causal future-regularization return-to-go).

بناءً على هذا الاشتقاق، يقترح المؤلفون تحسين السياسة بانتظام KL المستقبلي (FRPO). تعدل خوارزمية FRPO تحديث GRPO بطريقة منفصلة:

1. حساب ميزة المجموعة المطبّعة ($\hat{A}^{GRPO}$) حصرياً من مكافآت المتحقق (verifier rewards) الأصلية، مما يحافظ على المنفعة غير الخطية الضمنية.
2. إنشاء حد تصحيح KL المستقبلي على مستوى الرمز عبر حساب المجموع التراكمي العكسي لنسب اللوغاريتم لكل رمز ($\delta_{i,j} = \log \frac{\pi_\theta}{\pi_{ref}}$) من الرمز الحالي إلى نهاية المسار.
3. إضافة حد الـ KL المستقبلي هذا إلى الميزة بعد بناء الميزة، بدلاً من تشكيل المكافأة قبل التطبيع.

قاعدة التحديث للرمز $t$ في الاستجابة $i$ هي:
$$\hat{A}^{FRPO}_{i,t} = \text{sg}\left( \hat{A}^{GRPO}_i - \beta \sum_{j=t}^{T_i} \delta_{i,j} \right)$$
حيث يمثل $\text{sg}$ إيقاف التدرج (stop-gradient). لا يتطلب هذا النهج "ناقداً"، ولا عمليات إضافية للنموذج، ويحافظ على نفس التكاليف الحسابية لـ GRPO القياسية.

المساهمات الرئيسية

1. تحديد المنفعة غير الخطية: تثبت الورقة أن تطبيع المجموعات في GRPO يستحث منفعة غير خطية ($\ell(p) = 2 \arcsin \sqrt{p}$ للمكافآت الثنائية)، مما يجعل المكافأة والـ KL غير قابلين للدمج هيكلياً. إضافة KL إلى المكافآت قبل التطبيع يشوه الهدف بشكل بنيوي.
2. اشتقاق التدرج في الوقت الفعلي (On-Policy Gradient): يشتق المؤلفون التدرج الصحيح لانتظام تباعد $f$ على مستوى الرمز، موضحين أن ذلك يستلزم حداً لـ "عائد التنظيم المستقبلي" الذي يغيب في تطبيقات جانب الخسارة المحلية.
3. خوارزمية FRPO: يقترحون FRPO، وهي تحديث منفصل وبسيط يحافظ على ميزة ناتج GRPO مع حقن تخصيص الائتمان لـ KL المستقبلي الضروري. يفصل هذا الأسلوب بين ترتيب المستوى المساري (trajectory-level ranking) وتنظيم KL على مستوى العملية.
4. تفسير الأمثلية: يُظهر هيكل الـ KL المستقبلي توافقاً مع شروط الأمثلية لتعلم تعزيزي منتظم بالإنتروبي (entropy-regularized RL)، حيث تحقق السياسة المثلى شكلاً من أشكال المكافأة-العملية يتضمن تكاليف KL المستقبلية.

النتائج التجريبية
قيم المؤلفون FRPO على مهام الاستدلال الرياضي باستخدام نماذج Qwen3 الأساسية (1.7B، 4B، و30B-A3B) المدربة على مجموعة بيانات DAPO-Math-17k.

• الأداء: في نموذج 30B-A3B، يحسن FRPO مقياس pass@16 بنحو 5% كزيادة مطلقة فوق أقوى خط أساس (GRPO القياسي مع KL في جانب الخسة). كما يتفوق على خطوط الأساس في AIME24 وAIME25 وغيرها من اختبارات مستوى الأولمبياد.
• الاستقرار والانجراف: يحافظ FRPO على إنتروبي نهائي أعلى وانجراف سياسة أقل (مقاساً بـ PPO-KL) مقارنة بخطوط أساس KL في جانب الخسارة. يشير هذا إلى أن الطريقة تستخرج أنماط استدلال (Chain-of-Thought) طويلة دون انحراف مفرط عن السياسة المرجعية.
• الدراسة الاستقصائية (Ablation): تؤكد التجارب أن الـ reverse KL (الباحث عن النمط/mode-seeking) يعمل بشكل أفضل من الـ forward KL (المغطي للنمط/mode-covering) لهذه المهمة. كما تشير الورقة إلى تفضيل استخدام مُقدّر $k_1$ (نسبة اللوغاريتم) على $k_3$ لـ حد الـ KL المستقبلي، لأن عدم إيجابية $k_3$ يخلق إشارة عقوبة أحادية الجانب تعيق تخصيص الائتمان.
• حالات الفشل: لاحظت الورقة أن مناهج "KL-في-المكافأة" (إضافة KL إلى المكافآت قبل التطبيع) تؤدي إلى انهيار النموذج أو تدهور الأداء، مما يؤكد الادعاء النظري بأن هذا الدمج غير صحيح بنيوياً تحت منفعة GRPO غير الخطية.

الأهمية
تجادل الورقة بأن أهمية هذا العمل تكمكمن في تصحيح خطأ تنفيذي دقيق ولكنه حرج في إطار عمل مستخدم على نطاق واسع. من خلال نقل المنظور من "عقوبة خسارة محلية" إلى "تخصيص ائتمان على مستوى العملية"، يوضح المؤلفون أنه يمكن تحسين GRPO دون إدخال دوال قيمة معقدة أو تكاليف حسابية إضافية. توفر طريقة FRPO المقترحة تعديلاً خفيف الوزن ومبنياً على أسس نظرية، يعزز قدرات الاستدلال مع الحفاظ على خصائص الاستقرار والتعميم للنموذج الأساسي. يؤكد العمل أنه في البيئات ذات الانحدار الذاتي، يعد التنظيم بطبيعته إشارة على مستوى العملية، وأن تجاهل عائد التكلفة المستقبلية يؤدي إلى تخصيص ائتمان غير أمثل.