ملخص تقني: EP-GRPO

بيان المشكلة

تحدد الورقة ثلاث عيوب جوهرية في تخصيص الائتمان (credit assignment) متأصلة في خوارزمية تحسين السياسة النسبية للمجموعة (GRPO)، وهي خوارزمية رائدة للتعلم المعزز مع المكافآت القابلة للتحقق (RLVR) في النماذج اللغوية الكبيرة (LLMs). تعيق هذه القيود كفاءة وفعالية مهام الاستنتاج:

1. التدرج المتساوي على مستوى الرموز (Uniform Token-Level Granularity): تخصص GRPO القياسية قيمة ميزة (advantage) موحدة لجميع الرموز (tokens) ضمن التسلسل المولد. هذا التدرج الخشن يتجاهل القيمة المعلوماتية المتباينة للرموز. تُظهر التحليلات التجريبية أن الرموز ذات الإنتروبيا العالية (التي تمثل محاور القرار) حاسمة للاستنتاج، بينما تمثل الرموز ذات الإنتروبيا المنخفضة غالباً استنتاجات حتمية ومكررة. المعاملة المتساوية تؤدي إلى تخفيف إشارة التدرج عند نقاط القرار الحرجة.
2. القطبية الموحدة (Uniform Polarity): تخصص GRPO نفس إشارة الميزة (الموجبة أو السالبة) لكل رمز في التسلسل بناءً على النتيجة النهائية فقط. يؤدي هذا إلى "عدم توافق القطبية"، حيث يتم معاقبة الخطوات المتوسطة الصحيحة في مسار فاشل، ومكافأة الخطوات الخاطئة في مسار ناجح عن غير قصد. الحلول الحالية مثل نماذج مكافأة العمليات (PRMs) تعالج هذا ولكنها تتطلب تسميات توضيحية خارجية مكلفة وتواجه صعوبة في التعميم.
3. انهيار التباين الصفري (Zero-Variance Collapse): عندما تتلقى جميع الإجابات التي تم أخذ عينات منها في مجموعة واحدة مكافآت متطابقة (وهو أمر شائع في بداية التدريب أو في المهام الصعبة)، تصبح الميزة الموحدة لجميع الرموز صفراً. يتسبب هذا في تلاشي إشارة التدرج المدفوعة بالنتيجة تماماً، مما يوقف التعلم. ورغم أن زيادة حجم المجموعة تخفف من ذلك، إلا أنها مكلفة حوسبياً. تعتمد الإصلاحات الحالية غالباً على أخذ عينات إضافية أو إعادة تشكيل استدلالي لا يتوافق مع التقدم المنطقي.

المنهجية: EP-GRPO

يقترح المؤلفون EP-GRPO (تحسين GRPO المتوافق مع تقدم الإنتروبيا)، وهو إطار عمل يحول التغذية الراجعة المتفرقة (sparse) المعتمدة على النتيجة فقط إلى إشارات تعلم كثيفة وموجهة ذاتياً على مستوى الرموز دون الحاجة إلى نماذج مكافأة خارجية. تتكون الطريقة من ثلاثة مكونات أساسية:

1. ميزة النتيجة الموجهة بالإنتروبيا

لمعالجة مشكلة التدرج، تقوم EP-GRPO بتعديل الميزة الأصلية للتسلسل ($\hat{A}_i$) باستخدام وزن على مستوى الرمز مشتق من الإنتروبيا التنبؤية ($H_{i,t}$).

• الآلية: تحسب الطريقة الإنتروبيا التنبؤية لكل رمز. تقوم بوابة سيجمويد (sigmoid gate) برسم قيم الإنتروبيا المعيارية إلى أوزان ($W_{i,t}$).
• الأثر: تحصل الرموز ذات الإنتروبيا العالية (محاور القرار) على أوزان مضخمة، بينما يتم تقليل الرموز ذات الإنتروبيا المنخفضة (الاستنتاجات الحتمية). الميزة المعدلة هي $\hat{A}^{outcome}_{i,t} = W_{i,t} \cdot \hat{A}_i$. هذا يحافظ على الاتجاه الأصلي ولكنه يعدل المقدار بناءً على المحتوى المعلوماتي.

2. ميزة التقدم الضمني

لمعالجة مشكلة القطبية وانهيار التباين الصفري، تقدم EP-GRPO إشارة اتجاهية مشتقة من تباعد السياسة.

• توليد الإشارة: يتم حساب تباعد الاحتمال اللوغاريتمي بين السياسة الحالية ($\pi_\theta$) والسياسة المرجعية المجمدة ($\pi_{ref}$): $s_{i,t} = \lambda (\log \pi_\theta - \log \pi_{ref})$. يعمل هذا كإشارة عملية ذاتية التوجيه.
• المرساة الاتجاهية: بما أن التباعد يفتقر إلى اتجاه جوهري (يمكن أن يكون الثقة موجهاً بشكل خاطئ)، فإنه يتم ربطه بميزة النتيجة.
  • إذا كان تباين مكافآت المجموعة غير صفري، تكون المرساة هي $\text{sign}(\hat{A}_i)$.
  • إذا كان التباين صفراً (الانهيار)، تتحلل المرساة إلى إشارة المكافأة الخام ($\text{sign}(r_i - \theta_{reward})$).
• توافق التقدم: لتطبيع هذه الإشارات عبر مسارات الاستنتاج غير المتزامنة، يتم رسم خرائط الرموز إلى "أوعية التقدم المنطقي" بناءً على الإنتروبيا التراكمية ($\tau_{i,t}$). يحدث التطبيع (Z-score) داخل هذه الأوعية بدلاً من الموقع الفيزيائي، وبالتالي تتم مقارنة الرموز في مراحل استنتاج متشابهة.
• النتيجة: ينتج عن ذلك ميزة موجهة وكثيفة ($\hat{A}^{progress}_{i,t}$) تظل نشطة حتى عندما تتلاشى ميزات النتيجة.

3. الميزة النهائية على مستوى الرمز

تجمع الميزة النهائية بين الإشارتين:
$$\hat{A}^{final}_{i,t} = \hat{A}^{outcome}_{i,t} + \hat{A}^{progress}_{i,t}$$
يثبت تحليل نظري أن هذا التدرج يتوافق مع هدف GRPO المنظم مع حد مربع لوغاريتمي مرجح بالإنتروبيا، مما يعمل فعلياً كمنظم موجه بالدقة يعمل على استقرار الاستكشاف عند نقاط القرار الحرجة.

المساهمات الرئيسية

1. التعديل الموجه بالإنتروبيا: آلية لتحويل الميزات واسعة التسلسل إلى أوزان على مستوى الرموز، مما يعطي الأولوية لتحديثات التدرج عند محاور القرار ذات الإنتروبيا العالية.
2. إشارات العمليات الضمنية المرتكزة: طريقة لتحويل تباعد السياسة إلى مكافآت عمليات موجهة عبر ربطها بميزات النتيجة. يوفر هذا تغذية راجعة دقيقة دون الحاجة لنماذج PRM خارجية ويحافظ على تدفق التدرج أثناء انهيار التباين الصفري.
3. توافق التقدم المنطقي: استراتيجية لرسم خرائط الإنتروبيا التراكمية التي تسقط المسارات غير المتزامنة في نظام إحداثي موحد، مما يسمح بتطبيع متوافق مع التقدم ويضمن إشارات ذات معنى حتى عندما تتلاشى تدرجات النتيجة.

النتائج التجريبية

قيم المؤلفون EP-GRPO على نماذج Qwen2.5-3B و Q2.5-7B عبر خمسة معايير استنتاج رياضي: MATH500, AMC23, Minerva, AIME24, AIME25.

• تحسينات الأداء: تفوقت EP-GRPO باستمرار على GRPO القياسية ومتغيراتها (مثل درجة الحرارة الأعلى، أو عدد أكبر من العينات).
  • بالنسبة لـ Qwen2.5-3B، تحسنت الدقة المتوسطة من 18.14% (GRPO) إلى 22.93% (+26.4%).
  • بالنسبة لـ Qwen2.5-7B، تحسنت الدقة المتوسطة من 27.11% (GRPO) إلى 30.34% (+11.9%).
  • بشكل ملحوظ، تفوق نموذج EP-GRPO بحجم 3B على النموذج التجاري DeepSeek-R1-671B في معيار AMC23.
• أداء Pass@k: أظهرت EP-GRPO مزايا كبيرة في مجموعات البيانات شديدة الصعوبة (AIME24/25) مع زيادة عدد العينات ($k$)، مما يشير إلى قدرة فائقة على اكتشاف مسارات الاستنتاج الصحيحة في السيناريوهات المعقدة.
• دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون واحد (بوابة الإنتروبيا، إشارات التقدم الضمني، أو تدهور التباين الصفري) إلى انخفاض في الأداء، مما يؤكد أن الآليات الثلاث ليست زائدة عن الحاجة وأنها ضرورية مجتمعة.
• الكفاءة: كان وقت التدريب الفعلي (wall-clock time) مقارباً لـ GRPO القياسية، حيث أن الحسابات الإضافية (الإنتروبيا، التباعد) خفيفة الوزن. ومع ذلك، أنتجت EP-GRPO سلاسل استنتاج أطول بنسبة 20% تقريباً، مما يشير إلى استنتاج أعمق دون تكلفة زمنية.

الأهمية

تدعي الورقة أن EP-GRPO تعالج القيود الجوهرية لـ GRPO في RLVR من خلال تقديم آلية تخصيص ائتمان كثيفة وذاتية التوجيه. من خلال الاستفادة من تدفق المعلومات الداخلي للنموذج (الإنتروبيا) وديناميكيات السياسة (التباعد)، فإنها تلغي الحاجة إلى نماذج مكافأة عمليات (PRM) خارجية مكلفة، وفي الوقت نفسه تحل مشكلة انهيار التباين الصفري التي تعاني منها عمليات التحسين القائمة على المجموعات. تشير النتائج إلى أن تحسين تخصيص الائتمان، بدلاً من مجرد زيادة حجم النموذج أو ميزانية أخذ العينات، هو رافعة حاسمة لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة.