ملخص تقني: انهيار الميزة في تحسين السياسة النسبي للمجموعات (GRPO)

1. تعريف المشكلة: انهيار الميزة (Advantage Collapse)

تحدد الورقة نمط فشل حرج في خوارزمية تحسين السياسة النسبي للمجموعات (GRPO)، وهي خوارزمية رائدة في التعلم المعزز من المكافآت القابلة للتحقق (RLVR) للنماذج اللغوية الكبيرة (LLMs). بينما تلغي GRPO الحاجة إلى شبكة ناقد (critic network) عبر حساب المزايا من خلال مقارنات المكافآت داخل المجموعة، إلا أنها عرضة لـ انهيار الميزة.

تحدث هذه الظاهرة عندما تتلقى جميع الاستجابات داخل مجموعة معينة مكافآات متطابقة (على سبيل المثال، جميعها صحيحة أو جميعها خاطئة). في هذه الحالات:

• يصبح تباين المكافآت داخل المجموعة ($\sigma_R$) مساوياً للصفر.
• ينهار حساب الميزة $\hat{A}_i = (r_i - \mu_R) / (\sigma_R + \epsilon)$ ليصبح قريباً من الصفر لجميع العينات.
• يتلاشى تدرج السياسة (policy gradient) الناتج، مما يجعل دفعة التدريب غير فعالة بغض النظر عن جودة الاستجابة الفردية.

يشير المؤلفون إلى أن هذا الفشل شائع في مهام الاستدلال الرياضي حيث تؤدي عمليات التحقق الثنائية غالباً إلى نتائج متجانسة. وفي التجارب عبر خمسة مقاييس للنماذج، أظهرت 28-45% من دفعات التدريب انهياراً كاملاً للميزة. والأهم من ذلك، أن هذا الفشل يظل غير مرئي للمقاييس القياسية مثل منحنيات الخسارة والدقة، مما يؤدي إلى هدر الموارد الحسابية دون اكتشاف فوري.

2. المنهجية

تقترح الورقة إطار عمل موحد يتكون من مقياس تشخيصي وتدخل خوارزمي.

2.1. المقياس التشخيصي: معدل انهيار الميزة (ACR)

لقياس شدة هذه المشكلة، قدم المؤلفون معدل انهيار الميزة (ACR).

• التعريف: يقيس ACR نسبة دفعات التدريب التي ينخفض فيها الانحراف المعياري للمكافآت ($\sigma_R$) عن عتبة صغيرة $\tau$.
• الآلية: يعتمد على إحصائيات المكافأة المحسوبة بالفعل أثناء تدريب GRPO القياسي، مما يعني عدم وجود عبء حسابي إضافي.
• القدرة التنبؤية: أثبت المؤلفون أن ACR في المراحل المبكرة (المقاس خلال أول 100 خطوة) يتنبأ بقوة بالأداء النهائي للنموذج ($R^2 = 0.617$). ويرتبط ارتفاع ACR بركود التدريب، مما يمكن الممارسين من تحديد التكوينات الإشكالية قبل هدر قدر كبير من الحوسبة.

2.2. التدخل الخوارزمي: تحسين سياسة العينات الافتراضية التكيفي (AVSPO)

للتخفيف من الانهيار دون الحاجة إلى عمليات توليد (rollouts) إضافية للنموذج، يقترح المؤلفون AVSPO، وهو امتداد قابل للتركيب والتشغيل (plug-and-play) لخوارزمية GRPO.

• العينات الافتراضية: عندما يشير ACR إلى حدوث انهيار (مكافآت متجانسة)، تقوم AVSPO بحقن عينات مكافأة افتراضية في المجموعة. هذه القيم هي قيم مكافأة اصطناعية، وليست مخرجات فعلية للنموذج.
• التعيين الطبقي:
  • بالنسبة للمجموعات الكل صحيح (all-correct)، يتم تعيين قيم مكافآت افتراضية أقل قليلاً من الحد الأقصى للمكافأة المرصودة لخلق التباين.
  • بالنسبة للمجموعات الكل خاطئ (all-incorrect) (الشائعة في بداية التدريب)، يتم تعيين قيم موجبة صغيرة (نقاط ارتكاز) للتباين مع قيم الصفر للعينات الفعلية.
• إعادة حساب الميزة: تشارك هذه العينات الافتراضية في إحصائيات التقييس (المتوسط والانحراف المعياري) لضمان أن $\sigma_R' > 0$، وبالتالي توليد مزايا غير صفرية للعينات الحقيقية.
• التحفيز التكيفي: يتم تفعيل التدخل ديناميكياً بناءً على مراقبة ACR في الوقت الفعلي وتقدم التدريب. وتتكيف العتبة لتجنب التدخل المفرط خلال مراحل التدريب المستقرة.
• الكفاءة: لا تتطلب AVSPO أي عمليات تمرير أمامي (forward passes) إضافية للنموذج اللغوي الكبير. ولا تساهم العينات الافتراضية في تدرج السياسة (لا يوجد حد $\nabla_\theta \log \pi$)، بل تعمل فقط على استعادة خط الأساس للتقييس.

3. المساهمات الرئيسية

1. المقياس التشخيصي (ACR): أول مقياس مصمم خصيصاً لقياس عدم فعالية التدرج في تحسين السياسة القائم على المجموعات. وهو يفسر 62% من التباين في الأداء النهائي، مما يسمح بالاكتشاف المبكر لركود التدريب.
2. الامتداد الخوارزمي (AVSPO): طريقة خفيفة الوزن تحقن عينات افتراضية لاستعادة تنوع المكافآت في المجموعات المنهارة. وهي تمكن من التعلم من الدفعات التي كانت ستضيع لولا ذلك، دون الحاجة إلى تكلفة استدلال إضافية.
3. التحقق التجريبي: تجارب شاملة عبر نماذج تتراوح من 0.5 مليار إلى 14 مليار معلمة على ستة معايير للاستدلال الرياضي.

4. النتائج التجريبية

قيم المؤلفون AVSPO مقابل خطوط الأساس بما في ذلك Vanilla GRPO، وDCPO، وINTUITOR، وRENT.

• تقليل الانهيار: قللت AVSPO من معدل انهيار الميزة من 28-45% (GRPO) إلى 11-18%، مما يمثل انخفاضاً نسبياً بنسبة 58-63%.
• مكاسب الأداء: حققت AVSPO تحسينات ثابتة في الدقة بنسبة 4-6 نقاط مئوية فوق GRPO عبر جميع مقاييس النماذج.
  • على سبيل المثال، في معيار MATH-500، تحسن نموذج Qwen2.5-Math-1.5B من 58.6% (GRPO) إلى 67.2% (AVSPO).
• التعميم: حافظت الطريقة على التعميم في المهام خارج النطاق (MMLU-Pro)، مما يشير إلى أنها لا تؤدي إلى الإفراط في التخصيص (overfitting) على هياكل مكافآت محددة.
• الكفاءة: العبء الحسابي لـ AVSPO ضئيل جداً (<0.01% لكل خطوة)، حيث أنها تتضمن فقط عمليات حسابية قياسية على إحصائيات المكافأة.
• دراسات الاستبعاد (Ablation Studies):
  • وُجد أن التعيين الطبقي للمكافآت (Stratified Reward Assignment) يتفوق على استراتيجيات الجزاء الجزئي العشوائية أو الثابتة.
  • تفوقت العتبة التكيفية (Adaptive Thresholding) على العتبات الثابتة، مما وازن بين تكرار التدخل واستقرار التدريب.
  • عزل الآلية: يتطلب كل من سيناريوهات انهيار "الكل خاطئ" و"الكل صحيح" معالجة خاصة؛ وتتطرق طريقة AVSPO الكاملة لكليهما.

5. الأهمية والادعاءات

تدعي الورقة أن انهيار الميزة هو عائق أساسي في تدريب RLVR للنماذج اللغوية الكبيرة، لا سيما في المجالات ذات أدوات التحقق الثنائية والحتمية.

• الفائدة التشخيصية: يضع المؤلفون ACR كمقياس تشخيصي قياسي يمكن تطبيقه على أي طريقة تحسين سياسة قائمة على المجموعات، وليس فقط GRPO. فهو يوفر شفافية في كفاءة التدريب، مما يسمح للممارسين باكتشاف عدم فعالية التدرج قبل أن يصبح تدهور الدقة مرئياً.
• الكفاءة الخوارزمية: من خلال استعادة إشارات التعلم من المجموعات المنهارة دون عمليات توليد إضافية، توفر AVSPO استخداماً أكثر كفاءة للمسارات المولدة مقارنة باستراتيجيات التصفية أو إعادة أخذ العينات (التي إما تستبعد البيانات أو تزيد من تكاليف الحوسبة).
• الأثر الأوسع: تهدف هذه الدراسة إلى تطوير مجال RLVR من خلال توفير أدوات لتدريب أكثر استقراراً وكفاءة. ويشير المؤلفون إلى أن ACR يمكن أن يقلل من الهدر الحسابي وبصمته الطاقية المرتبطة به، مع تحسين شفافية عمليات محاذاة النماذج اللغوية الكبيرة.

تخلص الورقة إلى أنه بينما تعتبر التحسينات الخوارذمية قيمة، فإن التشخيص في الوقت الفعلي لا يقل أهمية لتحسين عملية التدريب لنماذج الاستدلال.