ملخص تقني: التقطير في السياسة عبر تعدد المسارات باستخدام نجاحات وإخفاقات الأقران

بيان المشكلة

غالبًا ما يتم تدريب النماذج اللغوية الكبيرة (LLMs) بعد مرحلة ما قبل التدريب باستخدام التعلم المعزز بالمكافآت القابلة للتحقق (RLVR). في هذا النموذج، يتم تقييم الحلول التي يتم أخذ عينات منها بواسطة أدوات فحص الإجابات، أو اختبارات الوحدة، أو مدققات مهام محددة. ورغم فعاليتها، إلا أن هذه المكافآت تكون عادةً متفرقة (sparse): فهي تشير إلى ما إذا كان المسار بأكمله قد نجح أم فشل، لكنها تقدم توجيهًا محدودًا بشأن أي الرموز (tokens) أو خطوات الاستدلال المحددة تسببت في تلك النتيجة.

يعالج التقطير في السياسة (On-Policy Distillation - OPD) عدم التطابق في التوزيع المتأصل في التقطير غير المتصل (offline distillation) عن طريق تدريب الطالب على مسارات يتم أخذ عينات منها من سياسته الخاصة، مما يحول أحكام المعلم إلى إشارات كثيفة على مستوى الرمز. ومع ذلك، تعاني طرق OPD الحالية من عدم كفاءة حرجة: فهي تعامل كل مسار بشكل مستقل. فعندما يتم توليد مسارات متعددة لنفس المطالبة (prompt)، يتم حساب إشارة المعلم لمسار واحد دون الوصول إلى المحاولات الأخرى التي تم أخذ عينات منها من نفس الطالب. هذا التصميم يهدر البنية المحلية (local structure) لمجموعة المسارات. وبالنسبة للمهام التي تتطلب استدلالًا مكثفًا، تكون هذه البنية المحلية غنية بالمعلومات؛ حيث تكشف المسارات الناجحة عن استراتيجيات حل صالحة، بينما تكشف المسارات الفاشلة عن مسارات استدلال معقولة ولكنها خاطئة، أو قيود مفقودة، أو أخطاء في التنفيذ. إن معاملة المسارات بشكل منعزل يمنع المعلم من مقارنة البدائل لتحديد مكان انحراف المسار غير الناجح عن المسار الناجح.

المنهجية: التقطير في السياسة عبر تعدد المسارات (MOPD)

يقترح المؤلفون التقطير في السياسة عبر تعدد المسارات (Multi-Rollout On-Policy Distillation - MOPD)، وهو إطار عمل للتقطير المشروط بالأقران يستخدم صراحةً مجموعة المسارات المحلية للطالب لبناء إشارات معلم أكثر إفادة.

الآلية الجوهرية

لكل مطالبة $x$، يأخذ الطالب عينة من مجموعة من $N$ من المسارات في السياسة، $Y(x) = \{y^{(i)}\}_{i=1}^N$. يتم تقييم هذه المسارات بواسطة مدقق $R$ وتقسيمها إلى مجموعات ناجحة ($Y^+$) وفاشلة ($Y^-$) بناءً على عتبة $\tau$.

عند الإشراف على مسار مستهدف $y^{(i)}$، يقوم MOPD بتكييف توزيع المعلم $q_\phi$ ليس فقط على المطالبة والبادئة (prefix) الخاصة بالمسار المستهدف، بل أيضًا على مسارات الأقران من نفس المجموعة (باستثناء المسار المستهدف نفسه). يصبح توزيع المعلم:
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
حيث $C_i(x)$ هو سياق الأقران المبني من $Y^+_{-i}(x)$ و $Y^-_{-i}(x)$.

استراتيجيات بناء سياق الأقران

يبحث البحث في استراتيجيتين رئيسيتين لبناء $C_i(x)$:

1. محاكاة الأقران الإيجابية: يتم تكييف المعلم فقط على مسارات الأقران الناجحة. يعامل هذا النهج المسارات الناجحة كـ "خبراء أقران"، مما يوفر دليلاً إيجابيًا لأنماط الاستدلال الصالحة ويربط الطالب بعدة أساليب اشتقاق صحيحة بدلاً من مرجع واحد.
2. التكييف التبايني بين النجاح والفشل: يتم تكييف المعلم على كل من المسارات الناجحة والفاشلة للأقران. تشير الأقران الناجحة إلى ما يجب أن يشبهه المسار المستهدف، بينما تعمل الأقران الفاشلة كـ أدلة سلبية مهيكلة، مما يحدد مسارات الحل المضللة التي يجب تجنبها. يساعد هذا النهج التبايني المعلم على التمييز بين المسارات الصحيمة والخاطئة المتشابهة ظاهريًا، خاصة في المهام ذات المكافآت النهائية المتفرقة.

يهدف هدف التدريب إلى تقليل التباعد (Reverse KL للرياضيات، و Jensen-Shannon لغيرها) بين توزيع الطالب وتوزيع المعلم المشروط بالأقران عبر تسلسل الرموز.

المساهمات الرئيسية

1. ابتكار في إطار العمل: يعد MOPD أول إطار عمل يكيّف المعلم صراحةً على فضاء التجربة والخطأ المحلي لمجموعة المسارات المتعددة للطالب، محولاً الإشراف المستقل على المسارات إلى عملية تعلم مقارنة.
2. استغلال الأدلة المزدوجة: تستفيد الطريقة من الأقران الناجحين (الدليل الإيجابي) والأقران الفاشلين (الدليل السلبي). يوضح المؤلفون أن الأقران الفاشلين ليسوا مجرد ضجيج، بل يقدمون إشارات مهيكلة حول الأخطاء المعقولة، والقيود، وأخطاء التنسيق.
3. تحليل جودة إشارة المعلم الذاتي: يقدم البحث تحليلًا مباشرًا لجودة إشارة المعلم الذاتي، حيث يقيس مدى توافق بناء السياقات المختلفة مع مكافآت المدقق الحقيقية. وهذا يتجنب الارتباكات المرتبطة باختبارات استعادة الإجابة البسيطة.
4. التحقق التجريبي: أظهرت التجارب المكثفة عبر البرمجة التنافسية، والاستدلال الرياضي، والأسئلة العلمية، واستخدام الأدوات تحسينات متسقة مقارنة بالنماذج الأساسية في السياسة (مثل GRPO و SDPO).

النتائج التجريبية

قيم المؤلفون MOPD على أربع عائلات من المهام:

• الاستدلال الرياضي (AIME2024/2025, HMMT25): حقق MODP تحسنًا جوهريًا في mean@8 مقارنة بـ SDPO. ومن الجدير بالذكر أن SDPO، الذي يعتمد على تغذية راجعة غنية من البيئة، كان أداؤه أقل في المهام الرياضية حيث تتوفر فقط مكافآت المدقق الثنائية، بينما أثبت الإشراف المعزز بالأقران في MODP فعالية عالية.
• البرمجة التنافسية (LiveCodeBench v6): حقق MODP نتائج هي الأفضل بين الطرق المقارنة، حيث وصل إلى 61.82 في mean@8 و 67.23 في pass@8 على نموذج Qwen3-8B، متفوقًا على SDPO و GRPO.
• الأسئلة العلمية واستخدام الأدوات: حقق MODP أفضل أداء عبر جميع المجالات الفرعية (الأحياء، الكيمياء، الفيزياء، علوم المواد) ومعايسات استخدام الأدوات.

النتائج الرئيسية من التحليل

• تفوق السياق المختلط: حقق سياق "2 نجاح + 1 فشل" باستمرار أعلى توافق مع مكافآت المدقق عبر مقاييس الترتيب (Spearman, Kendall's $\tau$) والتمييز (Pairwise Accuracy, Success AUC).
• دور الإخفاقات: بينما تعد الأقران الناجحة المحرك الرئيسي لجودة الإشارة، فإن إضافة قرين فاشل إلى سياق النجاح فقط يعمل بشكل كبير على شحذ حدود القرار (على سبيل المثال، زيادة Pairwise Accuracy من 0.32 إلى 0.40).
• التنوع: يولد MODP حلولًا ذات تنوع لغوي (Distinct-1/2) وهيكلي (AST Jaccard distance) أعلى بكثير مقارنة بالنماذج الأساسية، مما يشير إلى أن التكييف بالأقران يشجع على استكشاف استراتيجيات حل متنوعة.
• الكفاءة: التكاليف الحسابية لـ MODP متواضة، حيث تزيد وقت الخطوة الواحدة بنسبة 9.1% فقط في LiveCodeBench و 33.3% في Science QA مقارنة بـ SDPO.

الأهمية والادعاءات

يجادل البحث بأن التقطير الفعال في السياسة يجب أن يستغل سلوك التجربة والخطأ متعدد المسارات للطالب بدلاً من معاملة المسارات كعينات معزولة. من خلال تكييف المعلم على نجاحات وإخفاقات الأقران، يحول MODP المعلم إلى نموذج تشخيصي محلي قادر على التعرف على الأخطاء الخاصة بكل حالة والتمييز بين الإخفاقات المعقولة والحلول الصحيحة.

يدعي المؤلفون أن المكاسب تأتي من إشراف أكثر دقة ومتكيف مع الحالة. السياق المختلط بين النجاح والفشل يربط درجات المعلم بشكل أفضل مع مكافآت المدقق، مما يشير إلى أن الطريقة تنجح في استغلال المعلومات المهيكلة المتاحة ضمن مجموعة أخذ العينات الواحدة. هذا النهج يسد الفجوة بين التعلم المعزز (الذي يستخدم المزايا النسبية للمجموعة) والتقطير (الذي يستخدم الإشراف على مستوى الرمز)، مما يوفر مسارًا لتحسين قدرات الاستدلال في النماذج الأصغر دون الحاجة إلى معلمين خارجيين أكبر أو نماذج مكافأة معقدة.

يخلص العمل إلى أنه على الرغم من أن التكييف بالأقران يزيد من طول السياق، فإن التحسينات الناتجة في الصحة، والتنوع، واستقرار التدريب تبرر هذه التكلفة، خاصة في المجالات التي تتوفر فيها مكافآت قابلة للتحقق ولكنها متفرقة.