ملخص تقني: الضبط المرجعي الانتقائي خارج السياسة مع توجيه الخطة (SORT)

1. بيان المشكلة

أدى التعلم المعزز من المكافآت القابلة للتحقق (RLVR)، ولا سيما تحسين السياسة النسبي للمجموعة (GRPO)، إلى تحسين الاستنتاج في النماذج اللغوية من خلال تعزيز الحلول التي تُنتج نتائج إيجابية. ومع ذلك، يواجه GRPO نمط فشل حرج في "المطالبات الصعبة" (hard prompts) حيث تكون جميع العينات المستخرجة (rollouts) خاطئة. في هذه السيناريوهات، ينهار التباين النسبي للمجموعة إلى الصفر لأن جميع المكافآت هي صفر، مما يجعل المطالبة غير مرئية لتحديث تدرج السياسة (policy gradient update).

غالبًا ما تكون هذه المطالبات ذات المكافأة الصفرية هي الأكثر إفادة في إشارات التدريب، حيث تصاحبها حلول مرجعية موثقة تحتوي على بنية الاستنتاج المفقودة. ومع ذلك، فإن الأساليب القياسية لاستخدام هذه المراجع — مثل الضبط الدقيق الخاضع للإشراف (SFT) الموحد أو محاكاة المسار الكامل — تفشل لأنها تمزج بين قرارات الاستنتاج الجوهرية وبين العمليات الروتينية مثل الجبر، التنسيق، وصياغة الكلمات السطحية. يمكن أن تؤدي هذه المحاكاة الموحدة إلى انهيار السياسة أو الإسهاب في الكلام دون تحسين دقة الاستنتاج. أما طرق التوجيه الموجودة، فهي غالبًا ما تغير توزيع العينات (rollout distribution) أو تعتمد على معلمين خارجيين، مما يؤدي إلى تعقيد أو تحولات في التوزيع.

2. المنهجية: SORT

يقترح المؤلفون الضبط المرجعي الانتقائي خارج السياسة مع توجيه الخطة (SORT)، وهو آلية إصلاح مساعدة مصممة خصيصًا لمجموعات GRPO ذات المكافأة الصفرية. يعمل SORT دون تعديل عملية توليد العينات الأساسية لـ GRPO.

الآلية الجوهرية

1. التخزين المؤقت والتأجيل: عندما تنتج مطالبة ما عينات خاطئة فقط (مجموعة ذات مكافأة صفرية)، لا يتم تجاهلها. بدلاً من ذلك، يتم تخزين المطالبة وحلها المرجعي الموثق في ذاكرة مؤقتة.
2. استخراج الخطة: لكل مثال مخزن، يستخرج النموذج الحالي "خطة استنتاج" من الحل المرجعي. هذه الخطة هي مخطط مرتب من قرارات الاستنتاج الرئيسية (مثل: المبرهنات، تقسيم الحالات، انتشار القيود) ولكنها لا تُستخدم كمتوالية مستهدفة للتوليد.
3. التقييم المزدوج (سياق التشخيص): يقوم النموذج بتقييم رموز المرجع مرتين تحت نفس السياسة:
   • الحالة الأساسية: يتم حساب احتمالية الرمز (token probability) بناءً على نص المشكلة فقط.
   • حالة الشرط المعتمد على الخطة (المعلم): يتم حساب احتمالية الرمز بناءً على نص المشكلة بالإضافة إلى خطة الاستنتاج المستخرجة.
4. تسجيل بروز الرمز (Token Salience Scoring): تحسب الطريقة نسبة اللوغاريتم بين الاحتمالية المشروطة بالخطة والاحتمالية الأساسية. الرموز التي تزداد احتمالية ظهورها بشكل كبير تحت شرط الخطة تُحدد كرموز "ذات معلومات هيكلية" (أي أنها تمثل خطوات استنتاج فاتَت النموذج ولكن يمكنه تعلمها إذا كان الهيكل صريحًا). أما الرمو الروتينية (الجبر، التنسيق) فتظهر تغيرًا طفيفًا.
5. الوزن الهندسي: تبني SORT خسارة مساعدة باستخدام وزن المتوسط الهندسي:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   يجمع هذا الوزن بين استقرار دعم النموذج الأساسي (من الضبط الدقيق الديناميكي، DFT) وانتقائية المعلم المشروط بالخطة. الرموز التي تصبح أكثر قابلية للتنبؤ مع الخطة يتم رفع وزنها؛ والرموز التي لا تتغير يتم خفض وزنها أو تركها دون تغيير.

الضمانات النظرية

يصيغ المؤلفون SORT باستخدام نموذج خطة حقيقي (ground-truth plan model). وقد أثبتوا أنه مع اقتراب الخطة المستخرجة من خطة الاستنتاج الحقيقية، فإن وزن SORT يتقارب مع وزن "المثالي" (oracle) الذي يركز بدقة على الرموز الهيكلية الحرجة. كما أظهروا أن حد الندم (regret bound) يتناسب مع خطأ استخراج الخطة ($\gamma$) والاحتمالية الأساسية، مما يضمن أن الطريقة تتدهور تدريجيًا لتصبح مشابهة لسلوك DFT إذا كان استخراج الخطة ضعيفًا.

3. المساهمات الرئيسية

• تحديد إخفاقات التباين الصفري: حددت الورقة المطالبات ذات المكافأة الصفرية كعائق محدد في GRPO حيث يكون تباين المجموعة صفرًا، وقدمت SORT لإصلاح هذه الحالات دون تغيير عملية توليد العينات.
• تكييف الخطة باستخدام نفس النموذج: على عكس الطرق التي تضخ آثارًا (traces) من نماذج أقوى أو تستخدم معلمين خارجيين، يستخدم SORT نفس النموذج لاستخراج خطة وتقييم رموز المرجع، مما يتجنب الاعتماد على مصادر خارجية.
• الوزن المعتمد على المتوسط الهندسي للرموز: نظام وزن مبتكر يدمج الوعي بالدعم بأسلوب DFT مع الانتقائية المشروطة بالخطة، وهو مثبت رياضيًا للاقتراب من وزن الرموز الهيكلية المثالي.
• التحقق التجريبي: تجارب شاملة أظهرت تحسنات مستمرة مقارنة بـ GRPO والأسالهم المرجعية القائمة على التوجيه عبر نماذج وأحجام مختلفة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة نماذج أساسية مضبوطة تعليميًا (Llama-3.2-3B، Qwen2.5-7B، و Qwen3-4B) عبر ثمانية اختبارات مرجعية، تشمل مهام الرياضيات داخل التوزيع (AIME، AMC، MATH-500) والاستنتاج خارج التوزيع (GPQA، MMLU-Pro).

• مكاسب الأداء: تفوقت SORT باستمرار على vanilla GRPO والأساليب المرجعية الأخرى (LUFFY، ReLIFT، Scaf-GRPO).
  • في أضعف نموذج (Llama-3.2-3B)، حسنت SORT متوسط الأداء داخل التوزيع من 17.8% إلى 23.9%، وخارج التوزيع من 22.5% إلى 33.8%.
  • في النماذج الأقوى، قدمت SORT مكاسب طفيفة ولكن ثابتة، مما يؤكد فائدتها حتى عندما تكون مجموعات المكافأة الصفرية أقل تكرارًا.
• المقارنة مع الأساليب المرجعية:
  • مقابل SFT/ReLIFT: على عكس SFT أو ReLIFT، اللذين غالبًا ما يزيدان من طول الاستجابة والإسهاب دون تحسين الدقة (خاصة في النماذج الأضعف)، حافظت SORT على توليدات مقتضبة مع تعزيز الاستنتاج.
  • مقابل LUFFY: أظهر LUFFY، الذي يمزج آثارًا أقوى من خارج السياسة، انتقائية أقل وتسبب أحيانًا في تراجع الأداء في المهام خارج التوزيع.
• ديناميكيات التدريب: حسنت SORT درجات المكافأة دون ملاحظة التوسع في طول النص الملاحظ في الطرق الأخرى. لقد نجحت في إصلاح المطالبات الصعبة عبر استهداف رموز استنتاج محددة بدلاً من محاكة المسارات الكاملة.

5. الأهمية والادعاءات

تدعي الورقة أن SORT تعالج محدودية جوهرية في RLVR: وهي عدم القدرة على التعلم من أصعب المطالبات حيث يفشل الاستكشاف. من خلال معاملة المراجع الموثقة ليس كمسارات للنسخ، بل كدليل لخطة استنتاج، تقوم SORT بتحويل حالات الفشل "الخاطئة تمامًا" إلى إشارات تعلم مهيكلة وانتقائية للرموز.

يؤكد المؤلفون أن SORT هي تحديث مساعد محافظ يحافظ على عملية توليد GRPO الأصلية. فهي لا تتطلب معلمين خارجيين، أو مسارات مُصنّعة، أو تغييرات في توزيع الاستدلال. وتعد الطريقة مهمة بشكل خاص للنماذج الأضعف حيث تكون مجموعات المكافأة الصفرية أكثر تكرارًا، مما يوفر مسارًا لتحسين قدرات الاستنتاج دون التكلفة الحسابية لتوليد عينات صحيحة لكل مطالبة. يتم تأطير النهج كنوع من "التقطير الذاتي الانتقائي" الذي يتجنب عيوب التركيز المفرط على الرموز الروتينية السهلة، مع التركيز على الخطوات الاستنتاجية الحرجة وغير المؤكدة.