ملخص تقني: تعلم الاستدلال بكفاءة باستخدام التعلم المعزز المخصوم

بيان المشكلة

تقوم نماذج الاستدلال الكبيرة (LRMs) بحل المهام المعقدة (مثل الرياضيات والبرمجة) عبر إصدار رموز استدلال وسيطة قبل تقديم الإجابة النهائية. وبينما يعمل التعلم المعزز (RL) في مرحلة ما بعد التدريب على تحسين الدقة، فإنه يؤدي غالباً إلى سلاسل تفكير طويلة بشكل مفرط، مما يرفع التكاليف الحسابية، واستهلاك الذاكرة (عبر توسع ذاكرة KV cache)، وزمن انتقال الاستدلال (Inference Latency).

الافتراض السائد في هذا المجال هو أن الاستجابات الأطول تزيد من الدقة بطبيعتها، مما يشير إلى وجود مقايضة بين طول الاستجابة والصحة. تتحدى هذه الورقة هذا الافتراض؛ حيث تفترض أنه حتى يصل النموذج إلى حد معين تحدده فئة النموذج ونموذج المسألة، لا توجد مقايضة متأصلة: يمكن تقليل طول الاستجابة إلى عتبة معينة تعتمد على الحالة دون التضحية بالدقة. الهدف هو تدريب نماذج الاستدلال الكبيرة للوصول إلى الإجابات الصحيحة بفعالية وكفاءة، بشكل مشابه لإيجاد أقصر مسار ناجح في مسألة "المسار الأقصر العشوائي" (Stochastic Shortest Path - SSP).

المنهجية

الإطار النظري: أمثلية بلاكويل (Blackwell Optimality)

يصيغ المؤلفون عملية الاستدلال القائمة على التحقق كعملية قرار ماركوف (MDP) ذات أفق زمني محدود مع مكافأة نهائية ثنائية (1 للصواب، 0 للخطأ). ولصياغة هدف تعظيم الدقة مع تقليل طول المسار، استخدموا أمثلية بلاكويل.

• التعريف: تكون السياسة "مثالية وفق بلاكويل" إذا كانت مثالية لجميع عوامل الخصم $\gamma$ القريبة بما يكفي من الرقم 1.
• الآلية: في مهام الوصول إلى الهدف ذات المكافآت النهائية الثنائية، فإن تعظيم العائد المخصوم $J_\gamma(\pi)$ عندما $\gamma \to 1$ يؤدي أولاً إلى تعظيم احتمالية النجاح (الدقة). ومن بين السياسات التي تحقق أقصى احتمالية نجاح، تعمل آلية الخصم على كسر التعادل عبر تفضيل تلك التي تمتلك أطوال مسارات متوقعة أقصر.
• الرؤية الجوهرية: بالنسبة لفئة سياسات محدودة $\Pi$، يوجد عامل خصم حرج $\gamma_{bw} < 1$، بحيث لجميع قيم $\gamma \in (\gamma_{bw}, 1)$، تتطابق مجموعة السياسات المثلى لـ $\gamma$ مع مجموعة سياسات بلاكويل المثلى. هذه السياسات تعظم الدقة وتقلل طول المسار المتوقع في آن واحد.

وصفة التدريب العملية

بناءً على النتائج النظرية، يقترح المؤلفون منهجية تدريب محددة باستخدام تحسين السياسة النسبي للمجموعات (GRPO):

1. مكافأة بيئة مخصومة فقط: يتم تطبيق عامل الخصم $\gamma \in (0, 1)$ حصرياً على مكافأة البيئة الخارجية (الصحة). أما المكافآت الداخلية (التنسيق، والتشكيل الهيكلي) فتظل غير مخصومة لضمان إنتاج النموذج لمخرجات جيدة الهيكلة.
2. قناع رموز الاستدلال (Reasoning Token Masking): يُطبق الخصم فقط على الرموز (tokens) التي يتم تحديدها كجزء من "نطاق الاستدلال" (على سبيل المثال، الرموز بين وسامي <reasoning> و </reasoning>). أما الرموز المطلوبة للالتزام بالمطالبة (prompt)، والتنسيق، والإجابة النهائية، فلا تخضع للخصم.
3. تنظيم KL (KL Regularization): يتم تطبيق عقوبة KL مقابل سياسة مرجعية متغيرة (تُحدث دورياً) لمنع انهيار السياسة (حيث يتوقف النموذج عن الاستدلال مبكراً جداً) ولتثبيت التعلم.
4. ميزانيات رموز متقاربة: لضمان مقارنة عادلة، يتم تعديل عدد عمليات التشغيل (rollouts) بحيث يكون إجمالي عدد الرموز التي تمت معالجتها أثناء التدريب متقارباً بين الطرق المخصومة وغير المخصومة.

دالة الهدف التي يتم تحسينها هي:
$$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$$
حيث $K(\tau)$ هو عدد رموز الاستدلال، و $r_e$ هي مكافأة البيئة، و $r_f$ هي مكافأة التنسيق.

المساهمات الرئيسية

1. الضمان النظري لعدم وجود مقايضة: تثبت الورقة أنه ضمن أي فئة سياسات ثابتة (ربما مقيدة)، تعظم سياسات بلاكويل المثلى احتمالية النجاح غير المخصومة، ومن بين تلك المعظمة، تقلل طول المسار المتوقع. وهذا يثبت أن الدقة وطول المسار ليسا في حالة مقايضة متأصلة حتى عتبة معينة تعتمد على الحالة.
2. وجود عامل بلاكويل: بالنسبة لفئات السياسات المحدودة، يثبت المؤلفون وجود عامل خصم بلاكويل $\gamma_{bw} < 1$. كما يقدمون حدوداً لمدى قرب $\gamma$ من الرقم 1 للحفاظ على الدقة مع تقصير الاستجابات، مما يوضح كيفية اختيار المعلمات الفائقة (hyperparameters) لعمليات النشر المقيدة.
3. التحقق التجريبي: باستخدام GRPO مع هدف الخصم، يظهر المؤلفون أن النماذج يمكنها تقليل متوسط طول الاستجابة بشكل كبير في الاختبارات الرياضية (GSM8K, MATH, AMC, AIME, إلخ) مع مطابقة دقة Pass@1 للنماذج المرجعية غير المخصومة.

النتائج التجريبية

قام المؤلفون بتقييم أربعة نماذج مضبوطة التعليمات (Qwen2.5 7B/14B, Llama 3 8B, Phi-4) على مجموعات بيانات رياضية متنوعة.

• GSM8K & MATH: طابقتت النماذج المخصومة أو تجاوزت قليلاً دقة Pass@1 للنماذج غير المخصومة مع تقليل عدد الرموز بشكل كبير.
  • Qwen2.5 7B (GSM8K): ظلت الدقة مستقرة (91.06% مقابل 91.07%)، بينما انخفض متوسط طول الاستجابة من 217.60 إلى 170.08 رمزاً (~تقليل بنسبة 22%).
  • Llama 3 8B (GSM8K): تحسنت الدقة قليلاً (80.87% مقابل 81.07%)، مع انخفاض الطول من 125.43 إلى 108.67 رمزاً (~تقليل بنسبة 13%).
• الاختبارات الأصعب (AMC, AIME, MINERVA, OLYMPIAD): استمر هذا الاتجاه للنماذج الأكبر (Qwen2.5 14B, Phi-4) التي تم تدريبها على DeepScaleR. حققت النماذج المخصومة دقة مماثلة أو أعلى مع مسارات أقصر بكثير (على سبيل المثال، Phi-4 في AMC 2023: 51.00% $\to$ 61.00% دقة، و 1134 $\to$ 716 رمزاً).
• حساسية عامل الخصم: أكدت التجارب التي تباينت فيها قيمة $\gamma$ وجود المقايضة النظرية: مع ابتعاد $\gamma$ عن الرقم 1، تقصر أطوال الاستجابات بشكل موثوق، ولكن الدقة تنخفض في النهاية إذا كان الخصم عدوانياً للغاية.

الأهمية والادعاءات

تدعي الورقة أنها تقدم آلية مبدئية مدركة للحالة للاستدلال الفعال لا تعتمد على البيانات المنسقة أو هندسة المطالبات (prompt engineering). من خلال الاستفادة من أمثلية بلاكويل، يعيد هذا النهج صياغة مشكلة "الاستدلال الفعال" كمسألة تعلم معزز قياسية ذات استراتيجية خصم محددة.

يؤكد المؤلفون أن نتائجهم:

• تفنيد مقايضة الطول والدقة المتأصلة: أظهروا أن الاستدال الأقصر ممكن دون فقدان الدقة حتى عتبة معينة يحددها قدرة النموذج.
• توحيد عقوبات الطول: تشير الورقة إلى أن الطرق التي تستخدم مكافآت سلبية صغيرة لكل خطوة تعادل الخصم في هذا السياق، مما يعني أن العديد من طرق عقوبة الطول الموجودة قد تستعيد نفس ترتيب (الدقة ثم الطول) عند تنفيذها بشكل صحيح.
• تقديم وصفة عملية: لا تتطلب الطريقة المقترحة أي تغييرات خوارزمية على تحسين السياسة القياسي (مثل GRPO)، بل تتطلب فقط تعديلاً في حساب المكافأة (خصم رموز الاستداد) واستخدام سياسة مرجعية متحركة.

تختتم الورقة بالإشارة إلى أنه بينما تحسن المسارات الأقصر من الكفاءة، فإن إمكانية تحسين التعميم من خلال الاستدلال المضغوط تظل سؤالاً مفتوحاً للعمل المستقبلي.