CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CE-GPPO: تنسيق الإنتروبيا عبر تحسين سياسة الحفاظ على التدرج في تعظيم الربح (Gradient-Preserving Clipping Policy Optimization) في التعلم المعزز."

1. بيان المشكلة

أصبح التعلم المعزز (RL) نموذجاً مهيمناً لضبط النماذج اللغوية الكبيرة (LLMs) للمهام الاستدلالية المعقدة (مثل الرياضيات والبرمجة). ومع ذلك، يبرز تحدٍ حاسم في هذه العملية وهو إدارة إنتروبيا السياسة (policy entropy)، والتي تحدد التوازن بين الاستكشاف (تجربة إجراءات جديدة) والاستغلال (تحسين الإجراءات الجيدة المعروفة).

تعتمد الطرق الحالية، وخاصة تحسين السياسة القريبة (Proximal Policy Optimization - PPO) ومتغيراتها (مثل GRPO وDAPO)، على آلية القص (clipping mechanism) لضمان استقرار التدريب. تقوم هذه الآلية بالتخلص من إشارات التدرج للرموز (tokens) التي تقع نسب أخذ العينات الهامة (importance sampling ratios) الخاصة بها خارج نطاق محدد $[1-\epsilon, 1+\epsilon]$. وقد حدد المؤلفون أن عملية القص هذه تتسبب دون قصد في نمطي فشل متميزين:

1. انهيار الإنتروبيا (Entropy Collapse): من خلال قص الرموز ذات الاحتمالية المنخفضة والميزة الإيجابية (PA&LP)، تقوم الخوارزمية بكبح السلوكيات الاستكشافية القيمة. غالباً ما تمثل هذه الرموز نقاط قرار حرجة ذات إنتروبيا عالية. ويؤدي إزالتها إلى التقارب المبكر وفقدان تنوع المخرجات.
2. انفجار الإنتروبيا (Entropy Explosion): من خلال قص الرموز ذات الاحتمالية المنخفضة والميزة السلبية (NA&LP)، تمنع الخوارزمية النموذج من تعزيز الخيارات عالية الاحتمالية. وهذا يجبر النموذج على الاستكشاف المفرط، مما يؤدي إلى تأخير التقارب وعدم الاستقرار.

تحاول الحلول الحالية، مثل استراتيجية "القص الأعلى" (clip-higher) في DAPO، التخفيف من انهيار الإنتروبيا عن طريق تمديد الحد العلوي، لكنها تفشل في معالجة السبب الجذري: وهو التخلص الكامل من تدرجات الرموز خارج نطاق القص.

2. المنهجية: CE-GPPO

يقترح المؤلفون CE-GPPO (تنسيق الإنتروبيا عبر تحسين السياسة الحافظة للتدرج)، وهي خوارزمية جديدة تعيد إدخال التدرجات من الرموز المقصوصة بطريقة محكومة ومحدودة.

الآلية الجوهرية

بدلاً من تصفير التدرجات تماماً للرموز خارج نطاق القص، يستخدم CE-GPPO عملية إيقاف التدرج (stop-gradient operation) للحفاظ على هذه الإشارات وتوسيعها باستخدام معاملات قابلة للتعلم ($\beta_1$ و $\beta_2$).

يتم تعريف دالة الهدف كالتالي:
$$\ell^{(i)} = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{إذا كان } \delta < 1-\epsilon \text{ و } \hat{A}_{i,t} < 0 \quad (\text{NA\&LP}) \\ \beta_2 \cdot \frac{1+\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{إذا كان } \delta > 1+\epsilon \text{ و } \hat{A}_{i,t} > 0 \quad (\text{PA\&LP}) \\ \delta \cdot \hat{A}_{i,t} & \text{خلاف ذلك} \end{cases}$$

حيث أن:

• $\delta$ هو نسبة أخذ العينات الهامة.
• $\hat{A}_{i,t}$ هي الميزة المقدرة (estimated advantage).
• $\text{sg}(\cdot)$ تشير إلى عملية إيقاف التدرج (لمنع تحديث النسبة نفسها).
• $\beta_1$ يتحكم في وزن تدرجات رموز NA&LP (لتشجيع الاستغلال/التقارب).
• $\beta_2$ يتحكم في وزن تدرجات رموز PA&LP (لتشجيع الاستكشاف).

التبرير النظري

• ديناميكيات الإنتروبيا: يثبت المؤلفون أن تطور إنتروبيا السياسة محكوم بالتباين بين لوغاريتم الاحتمالات ودالة الميزة. ومن خلال إعادة إدخال التدرجات المقصوصة، يقوم CE-GPPO بالتلاعب مباشرة بهذا التباين لاستقرار الإنتروبيا.
• الاستقرار: على عكس الطرق التي تكتفي ببساطة بإزالة القص، يقوم CE-GPPO بتقييد حجم هذه التدرجات "خارج النطاق" لتكون $\beta \cdot (1 \pm \epsilon)$. وبما أن $\beta$ عادة ما تكون قريبة من 1، فإن حجم التدرج يظل محدوداً، مما يضمن عدم انحراف السياسة بشكل مفرط عن السياسة القديمة (الحفاظ على مفهوم منطقة الثقة).
• التعقيد: لا تضيف الطريقة أي عمليات تمرير أمامي (forward passes) إضافية أو مكونات مساعدة، مما يحافظ على نفس التعقيد الحسابي والذاكرة لـ PPO/GRPO القياسي.

3. المساهمات الرئيسية

1. اكتشاف الآلية: تحلل الورقة بشكل منهجي الارتباط الجوهري بين احتمالية الرموز، ودوال الميزة، وديناميكيات الإنتروبيا، وتحدد أن رموز PA&LP و NA&LP المقصوصة هي المحركات الرئيسية لعدم استقرار الإنتروبيا.
2. اقتراح الخوارزمية: تم تقديم CE-GPPO كبديل حافظ للتدرج يفصل بين عمليات التمرير الأمامي والخلفي للسمام بـالتحكم الدقيق في الإنتروبيا عبر $\beta_1$ و $\beta_2$.
3. التحقق التجريبي: تُظهر التجارب المكثفة أن CE-GPPO يخفف بفعالية من كل من انهيار وانفجار الإنتروبيا، متفوقاً على النماذج المرجعية القوية عبر مختلف أحجام النماذج ومعايير الاستدلال.

4. النتائج التجريبية

قيم المؤلفون CE-GPPO على نماذج DeepSeek-R1-Distill-Qwen (بمعلمات 1.5B و 7B) عبر مهام الاستدلال الرياضي (AIME, HMMT, MATH)، والاستدلال البرمجي (HumanEval, LCB)، ومعايير اتباع التعليمات.

• مكاسب الأداء: تفوق CE-GPO باستمرار على النماذج المرجعية (GRPO, DAPO, CISPO, GSPO).
  • في نموذج 7B، حقق CE-GPPO تحسناً قدره 3 نقاط عن أفضل نموذج مرجعي (DAPO) في المتوسط.
  • في نموذج 1.5B، حقق تحسناً قدره 2.5 نقطة.
  • لوحظت مكاسب ملحوية في المهام الصعبة مثل AIME25 (66.0 مقابل 59.7 لـ DAPO على نموذج 7B) و HMMT25.
• استقرار الإنتروبيا:
  • عانى GRPO الأصلي من انهيار سريع في الإنتروبيا.
  • أظهر DAPO ارتداداً في الإنتروبيا (استكشاف مفرط) في مراحل التدريب المتأخرة.
  • حافظ CE-GPPO على إنتروبيا عالية ومستقرة طوال فترة التدريب، مما أدى إلى تقارب أكثر سلاسة وأداء نهائي أفضل.
• حساسية المعاملات الفائقة (Hyperparameters): الطريقة قوية؛ حيث وُجد أن الإعداد $\beta_1 = 0.5, \beta_2 = 1$ (الذي يعطي وزناً أكبر للاستكشاف/رموز PA&LP) فعال بشكل عام عبر أحجام النماذج المختلفة.
• المقارنة مع SOTA: تفوق CE-GPPO على CISPO (الذي عانى من انهيار النموذج بسبب التدرجات غير المتوازنة) وعلى GSPO (الذي يعاني من انفجار الإنتروبيا).

5. الأهمية

يعالج هذا العمل قصوراً جوهرياً في مسارات RLHF/RLVR الحالية: المقايضة بين استقرار التدريب (عبر القص) والحفاظ على إشارات الاستكشاف.

• تحول في النموذج الفكري: يتحدى العمل فكرة وجوب التخلص من الرموز المقصوصة، موضحاً بدلاً من ذلك أنها تحتوي على معلومات حيوية لتنظيم الإنتروبيا.
• الأثر العملي: من خلال توفير تعديل بسيط وغير مكلف حسابياً (إعادة وزن التدرجات) يعزز بشكل كبير قدرات الاستدلال في النماذج اللغوية الكبيرة، يقدم CE-GPPO أداة عملية لتحسين أداء النماذج في مجالات الاستدلال المعقدة دون عدم الاستقرار المرتبط عادةً بتنظيم الإنتروبيا.
• التحكم الديناميكي: يقدم آلية لموازنة الاستكشاف والاستغلال ديناميكياً عبر ضبط $\beta_1$ و $\beta_2$، مما يمهد الطريق نحو جداول تدريب RL أكثر تكيفاً.