Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان "معالجة تضخم الطول دون مقايضات: إعادة تحجيم المكافأة النسبية للمجموعات في التعلم المعزز" (Group Relative Reward Rescaling for Reinforcement Learning).

1. بيان المشكلة: تضخم الطول في نماذج اللغات الكبيرة (LLMs) المدربة بالتعلم المعزز (RL)

لقد عزز التعلم المعزز (RL) قدرات نماذج اللغات الكبيرة بشكل كبير، لا سيما في مجالات الاستنتاج (RLVR) والمواءمة (RLHF). ومع ذلك، ظهر نمط فشل حرج يُعرف باسم تضخم الطول (Length Inflation).

• الظاهرة: تميل النماذج المدربة بالتعلم المعزز إلى توليد مسارات طويلة بشكل غير ضروري (الإسهاب أو "الإفراط في التفكير") لتعظيم المكافآت.
• الأسباب:
  • في RLHF، تستغل النماذج الانحيازات في نماذج المكافأة التي تفضل الإسهاب (اختراق المكافأة - Reward Hacking).
  • في RLVR (مثل الرياضيات والبرمجة)، تولد النماذج سلاسل تفكير غير فعالة لزيادة احتمالية الوصول إلى حل صحيح بشكل طفيف.
• قصور الأعمال السابقة: تعتمد الطرق الحالية للتخفيف من هذه الظاهرة على العقوبات الجمعية (مثل $R' = R - \lambda \ell$) أو البوابات الاستدلالية (التي تعاقب فقط عندما تكون $R=1$).
  • العقوبات الجمعية تخلق "تأثيراً تعويضياً"، مما يسمح للنماذج بالتحسين من أجل الإيجاز بشكل مستقل عن نجاح المهمة، مما يؤدي غالباً إلى تدهور الأداء.
  • البوابات الاستدلالية محدودة بالمكافآت الثنائية ولا تتعمم بشكل جيد على إعدادات المكافأة المستمرة (مثل RLHF).
  • كلا النهجين يفرض غالباً مقايضة: تقليل الطول يؤدي عادةً إلى التضحية بقدرات النموذج.

2. المنهجية: إعادة تحجيم المكافأة النسبية للمجموعات (GR3)

يقترح المؤلفون GR3، وهو إطار عمل يعيد صياغة التحكم في الطول كنموذج إعادة تحجيم ضربي بدلاً من عقوبة جمعية. يهدف هذا النهج إلى تحقيق تحسين "عديم الخسائر" (lossless)، حيث يحافظ على الأداء أو يحسنه مع تقليل استخدام الرموز (tokens).

المكونات الأساسية:

أ. إعادة التحجيم المضربي للمكافأة
بدلاً من طرح عقوبة، يقوم GR3 بتحجيم مكافأة المهمة $R$ بواسطة عامل يعتمد على الطول $S$:
$$\hat{R}(x, y) = R(x, y) \cdot S(y)$$
حيث يتم تعريف عامل التحجيم كالتالي:
$$S(y) = \frac{1}{1 + \alpha \cdot \frac{\ell(y)}{\bar{\ell}}}$$

• $\ell(y)$: طول الاستجابة.
• $\bar{\ell}$: متوسط طول الاستجابة ضمن مجموعة التدريب الحالية (إحصائيات السياسة الحالية - on-policy).
• $\alpha$: معامل العقوبة.
• الآلية: يعمل هذا كـ بوابة تعتمد على المكافأة. إذا كانت مكافأة المهمة $R$ منخفضة، يكون تأثير عقوبة الطول ضئيلاً (مما يحمي النموذج من قمع الاستنتاج الضروري في المهام الصعبة). أما إذا كانت $R$ عالية، تصبح عقوبة الطول نشطة، مما يشجع على الكفاءة بين المسارات الناجحة.

ب. التنظيم النسبي للمجموعة
على عكس العتبات العالمية الثابتة (مثل "الحد الأقصى 4 آلاف رمز")، يقوم GR3 بتطبيع الطول مقابل متوسط المجموعة ($\bar{\ell}$).

• الفائدة: هذا يتكيف ديناميكياً مع ميزانية الطول بناءً على الصعوبة المتأصلة في المطالبة (prompt). المطالبات الصعبة تولد طبيعياً مجموعات أطول، مما يرفع العتبة؛ بينما المطالبات السهلة تخفضها. هذا يمنع فشل "المقاس الواحد الذي يناسب الجميع" الناتج عن الاقتطاع الثابت.

ج. المعايرة الواعية بالميزة (Advantage-Aware Calibration)
لضمان عدم قمع عقوبة الطول لإشارات التعلم عالية الجودة، قدم المؤلفون استراتيجية معايرة لـ $\alpha$.

• الهدف: ضمان أن المسار النموذجي عالي الجودة (الذي يحقق أقصى مكافأة $R_{max}$ مع متوسط طول $\bar{\ell}$) يحتفظ بميزة غير سالبة.
• الشرط: $R_{max} / (1 + \alpha) \geq \mu_{\hat{R}}$.
• التنفيذ: تختار مرحلة معايرة قصيرة أكبر قيمة لـ $\alpha$ تحقق هذا الشرط باحتمالية عالية (معدل استيفاء القيود $\geq 99.9\%$)، مما يمنع عملية التحسين من الانهيار بسبب العقوبات الشرسة للغاية.

3. المساهمات الرئيسية

1. إطار عمل GR3: طريقة مبدئية تستبدل العقوبات الجمعية بإعادة التحجيم المضربي. هذا يلغي طرق التحسين المختصرة التعويضية ويوحد بين إعدادات المكافأة الثنائية والمستمرة.
2. استراتيجية الحفاظ على التحسين: يضمن دمج التنظيم النسبي للمجموعة والمعايرة الواعية بالميزة أن القيود تتكيف مع إحصائيات السياسة الحالية دون تدمير إشارة التعلم للمسارات عالية الجودة.
3. إزاحة جبهة باريتو (Pareto Frontier): تُظهر النتائج التجريبية أن GR3 يحقق المقايضة "المستحيلة": تقليل استخدام الرموز بشكل كبير مع تحسين الأداء، مما يؤدي فعلياً إلى إزاحة جبهة باريتو للكفاءة والأداء نحو الخارج.

4. النتائج التجريبية

قيم المؤلفون GR3 عبر إعدادات RLVR (الرياضيات، البرمجة) و RLHF (المحادثة) باستخدام نماذج أساسية مثل DeepSeek-R1-Distill (1.5B, 7B) و Qwen3 (4B, 8B).

• الاستنتاج الرياضي (RLVR):
  • في AIME-25 (7B)، حسن GR3 النتيجة من 39.4 (الأولي) إلى 46.9، مع تقليل استخدام الرموز من 14,032 إلى 8,582 (تقليل بنسبة ~39%).
  • حقق GRPO القياسي نتيجة 44.7 ولكن مع استخدام أعلى للرموز (12,540).
  • تفوق GR3 على جميع النماذج المرجعية الموجهة للطول (LCR1, Laser, AdaptThink) في كل من الدقة والكفاءة.
• توليد الكود:
  • حقق GR3 نتائج تنافسية في LiveCodeBench و MultiPL-E مع عدد رموز أقل بكثير مقارنة بـ GRPO القياسي.
• المواءمة للمحادثة (RLHF):
  • عانى GRPO القياسي من تضخم شديد في الطول (على سبيل المثال، تضاعف عدد الرموز من 1,171 إلى 2,343 في Qwen3-8B) بسبب اختراق المكافأة.
  • حقق GR3 مكاسب مواءمة أقوى (درجة Arena-Hard: 77.2 $\to$ 92.8) مع الحفاظ على استخدام الرموز ثابتاً تقريباً (1,171 $\to$ 1,178).
• ديناميكيات التدريب:
  • يظهر GR3 نمطاً تكيفياً "زيادة ثم نقصان": فهو يسمح بتوسع الطول عند الضرورة لتأمين المواءمة، ثم يضغط تلقائياً التوليد الزائد مع نضوج السياسة.

5. الأهمية والتأثير

• الرؤية النظرية: تقدم الورقة تحليلاً دقيقاً يوضح أن العقوبات الجمعية تقدم حوافز منفصلة تؤدي إلى ديناميكيات دون المستوى، بينما تربط إعادة التحجيم المضربي التحكم في الطول بالنجاح في المهمة، مما يجعلها "واعية بالمكافأة" بطبيعتها.
• الكفاءة العملية: من خلال تقليل تكاليف الاستدلال (الرموز) بأكثر من 40% دون التضحية بالأداء (بل وتحسينه غالباً)، يساهم GR3 مباشرة في "الذكاء الاصطناعي الأخضر" (Green AI) ويخفض عوائق نشر نماذج الاستنتاج واسعة النط Scale.
• القوة والمتانة: يخفف GR3 بفعالية من اختراق المكافأة في RLHF ومن الإفراط في التفكير في RLVR، مما يشير إلى أن الإسهاب ليس شرطاً للذكاء.
• القدرة على التعميم: إطار العمل قابل للتطبيق في كل من سيناريوهات المكافأة الثنائية (RLVR) والمستمرة (RLHF)، مما يقدم حلاً موحداً لمشكلة متفشية في مرحلة ما بعد التدريب لنماذج اللغات الكبيرة.

في الختام، يمثل GR3 تحولاً نوعياً في التعلم المعزز لنماذج اللغات الكبيرة، حيث يثبت أن الكفاءة والقدرة يمكن تحسينهما في آن واحد من خلال إعادة تحجيم المكامل للمكافأة بدلاً من العقوبات الاستدلالية.