ملخص تقني: تحسين سياسة التسلسل غير المنحاز للطول (LUSPO)

1. بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) حجر الزاوية لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs) والنماذج اللغوية البصرية (VLMs). وهناك ملاحظة سائدة في تدريب RLVR مفادها أن زيادة طول الاستجابة غالبًا ما ترتبط بتحسن الاستنتاج، حيث تتعلم النماذج تفكيك المشكلات المعقدة إلى خطوات تفصيلية. ومع ذلك، يحدد البحث خللاً حرجًا في خوارزميات RLVR السائدة، وتحديدًا تحسين السياسة النسبية للمجموعات (GRPO) وتحسين سياسة تسلسل المجموعات (GSPO): حيث تظهر هذه الخوارزميات انحيازًا متأصلًا لطول الاستجابة يمكن أن يؤدي إلى "انهيار طول الاستجابة"، حيث تولد النماذج استجابات قصيرة بشكل متزايد، مما يقوض فعالية التدريب وعمق الاستنتاج.

يحلل المؤلفون مصادر هذا الانحياز:

• في GRPO: تقوم دالة الهدف بمتوسط نسب الأهمية على مستوى الرمز (token) داخل المسار. تسبب عملية التطبيع هذه في جعل الرموز في الاستجابات القصيرة تساهم بشكل أكبر في تحديث التدرج (gradient update) مقارنة بالرموز في الاستجابات الطويلة. وبناءً على ذلك، يتم تحفيز النموذج ليكون موجزًا في الإجابات الصحيحة؛ بينما يتم معاقبته بشكل أقل في الإجابات الخاطئة إذا كان طويلاً، مما يخلق ديناميكية غير مستقرة.
• في GSPO: بينما يعالج GSPO عدم الاستقرار في نماذج خليط الخبراء (MoE) التي تعاني منها GRPO باستخدام وزن الأهمية على مستوى التسلسل، إلا أنه يفشل في حل انحياز الطول. يجادل البحث بأن آلية تقليم (clipping) التسلسل في GSPO، مقترنة بعملية "التقليم الأعلى" (Clip-Higher)، تؤدي إلى تقليص العينات السلبية (الخاطئة) بشكل غير متناسب. ينتج عن ذلك تحديث تدرج تهيمن عليه العينات الإيجابية، والتي، بسبب انحياز الطول الأساسي، تحفز بشكل أكبر توليد مخرجات أقصر. وتظهر الأدلة التجريبية أنه بينما تميل GRPO إلى زيادة طول الاستجابة، فإن GSPO غالبًا ما يتسبب في انهيار طول الاستجابة أثناء التدريب، لا سيما في النماذج الكثيفة (dense) ونماذج الرؤية واللغة (VL).

2. المنهجية: تحسين سياسة التسلسل غير المنحاز للطول (LUSPO)

لتصحيح انحياز الطول المتأصل في GSPO، يقترح المؤلفون تحسين سياسة التسلسل غير المنحاز للطول (LUSPO). الابتكار الجوهري هو تعديل مبدئي لدالة هدف GSPO.

الأساس النظري

يقدم المؤلفون تحليلًا نظريًا يثبت أن دالة خسارة GSPO القياسية منحازة ضد التسلسلات الطويلة. ولتحييد ذلك، يقوم LUSPO بتوسيع (scaling) خسارة كل تسلسل بمقدار طوله الخاص ($|y_i$).

الخوارزمية

يتم تعريف هدف تحسين LUSPO كما يلي:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

حيث أن:

• $s_i(\theta)$ هي نسبة الأهمية على مستوى التسلسل (مثل GSPO).
• $\hat{A}_i$ هو تقدير الميزة القائم على المجموعة.
• $|y_i|$ هو طول الاستجابة.

من خلال ضرب حد الميزة المقطوع في طول التسلسل $|y_i|$، تضمن الخوارزمية عدم معاقبة التسلسلات الطويلة بشكل غير عادل أثناء عملية تحديث التدرج. ويؤكد التحليل النظري للتدرج أن هذا التعديل يلغي الانحياز المعتمد على الطول الموجود في GSPO، مما يضمن أن حجم تحديث التدرج يتناسب طرديًا مع طول التسلسل بدلاً من كونه متناسبًا عكسيًا معه.

3. المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

1. تحليل انحياز الطول: تحليل نظري وتجريبي مفصل لدوال الهدف لـ GRPO وGSPO، مما يوضح الآليات الكامنة التي تسبب انحياز طول الاستجابة المتأصل وانهيار الطول اللاحق.
2. خوارزمية LUSPO: اقتراح استراتيجية تحسين جديدة تحيد انحياز الطول في GSPO من خلال تعديل بسيط (توسيع الطول)، مما يجعل دالة الخسارة غير منحازة بالنسبة لطول الاستجابة.
3. التحقق الشامل: تجارب مكثفة عبر بنيات متنوعة (كثيفة وMoE) وأنماط متعددة (نص فقط ورؤية-لغة) تثبت أن LUSPO يحقق أداءً واستقرارًا فائقين مقارنة بالطرق الحالية.

4. النتائج التجريبية

أجرى المؤلفون تجارب على Qwen2.5-7B-Base (كثيف)، وQwen3-30B-A3B-Instruct (MoE)، وQwen2.5-VL-7B-Instruct (رؤية-لغة).

ديناميكيات التدريب

• طول الاستجابة: يمنع LUSPO باستمرار انهيار طول الاستجابة. في نموذج Qwen2.5-VL-7B-Instruct، أظهر GSPO انهيارًا واضحًا في طول الاستجابة، بينما حافظ LUSPO على استجابات مستقرة وأطول بشكل ملحوظ.
• استقرار التدرج: تضمن الطريقة ديناميكيات تدريب مستقرة في كل من البنيات الكثيفة وMoE، مما يعالج مشكلات عدم الاستقرار المرتبطة غالبًا بـ RLVR في نماذج MoE.

معايير الأداء

• النماذج النصية فقط:
  • Qwen2.5-7B-Base: حسن LUSPO الدقة بنسبة +2.9% في AIME24 و**+7.4%** في MATH500 مقارنة بـ GSPO.
  • Qwen3-30B-A3B-Instruct: حقق LUSMP تحسنًا بنسبة +6.9% في AIME24 و**+17.1%** في AIME25 مقارنة بـ GSPO.
• النماذج متعددة الوسائط:
  • Qwen2.5-VL-7B-Instruct: تفوق LUSPO على كل من GRPO وGSPO عبر معايير متعددة. ومن الجدير بالذكر أنه حقق دقة أعلى بنسبة +1.6% من GRPO و**+0.5%** من GSPO في MathVista-Mini. وفي LogicVista، أظهر LUSPO تحسنًا بنسبة +6.0% مقارنة بـ GSPO.
• التعميم: أظهرت الطريقة قوة عبر مجموعات بيانات مختلفة (ViRL39K وDAPO-MATH-17K)، حيث تفوقت باستمرار على GSPO حتى في السيناريوهات التي لم يعانِ فيها GSPO من انهيار شديد في الطول.

5. الأهمية والادعاءات

يضع البحث LUSPO كـ استراتيجية تحسين مبتكرة وحالة رائدة (state-of-the-art) لتدريب RLVR. يزعم المؤلفون أنه من خلال معالجة انحياز الطول الأساسي في تحسين السياسة على مستوى التسلسل، فإن LUSPO:

• يعالج انهيار طول الاستجابة: يمنع تدهور طول الاستجابة الذي يعيق قدرة النموذج على إجراء استنتاج معقد.
• يعزز قدرات الاستنتاج: من خلال السماح للنماذج بتوليد استجابات أطول وأكثر تماسكًا دون عقوبة، يسهل LUSPO استكشاف أنماط استنتاج أوسع، مما يؤدي إلى تحسين الأداء في المهام الرياضية والمنطقية المعقدة.
• قابلية تطبيق واسعة: الطريقة فعالة عبر كل من البنيات الكثيفة وMoE، وكذلك في البيئات النصية ومتعددة الوسائط، مما يجعلها حلاً متعدد الاستخدامات لتدريب النماذج الكبيرة من الجيل التالي.

يخلص المؤلفون إلى أن LUSPU يمثل خطوة مهمة للأمام في استقرار تدريب RLVR وتعظيم إمكانات الاستنتاج للنماذج اللغوية الكبيرة.