ملخص تقني: المتوسط المرجح الاستقرائي يكشف عن حدود الصحة والكفاءة في التعلم التعزيزي للأكواد

بيان المشكلة

في مجال التعلم التعزيزي (RL) لتوليد الأكواد، وتحديداً في البرمجة التنافسية، تواجه النماذج هدفاً مزدوجاً: الصحة الوظيفية (اجتياز جميع حالات الاختبار) والكفاءة الحسابية (الحل ضمن حدود الوقت والذاكرة). غالباً ما تعاني عمليات تدريب التعلم التعزيزي القياسية من صعوبة في موازنة هذين الهدفين، حيث يؤدي تحسين الكفاءة الصارمة إلى فشل في الصحة، بينما يؤدي تحسين الصحة على المدخلات الصغيرة إلى حلول غير فعالة تفشل عند اختبارها ببيانات ضخمة.

أظهرت الأعمال السابقة في دمج النماذج (مثل "Rewarded Soups") أن الاستيفاء الخطي للأوزان بين نقاط التفتيش (checkpoints) المدربة تحت أهداف مكافأة مختلفة يمكنه تتبع جبهة باريتو (Pareto frontier) بين تلك الأهداف. ومع ذلك، لا يزال من غير الواضح ما إذا كان المتوسط المرجح الاستقرائي (متوسط الأوزان بمعاملات خارج النطاق $[0, 1]$) يمكنه توسيع هذه الجبهات للوصول إلى نقاط تفتيش جديدة ومفيدة دون تدريب إضافي. وتحديداً، هل يمكن للاستقراء (extrapolation) أن يتجاوز حدود عمليات تدريب التعلم التعزيزي الفردية لاكتشاف سياسات ليست صحيحة بحتة ولا فعالة بحتة، بل متكاملة؟

المنهجية

الإعداد التجريبي

يتحرى المؤلفون هذا السؤال باستخدام البرمجة التنافسية كإطار مضبوط حيث يعمل صرامة التحقق كعنصر تجريبي طبيعي.

• النماذج: تُجرى التجارب على نماذج ذات 7 مليار و32 مليار معلمة (Qwen 2.5 7B و CWM-SFT 32B).
• بيئة التدريب: تم استخدام ثلاثة إعدادات مختلفة للتعلم التعزيزي:
  1. الاستدلال الصرف (Pure Reasoning): توليد أحادي الخطوة.
  2. استخدام الأدوات (Tool Use): استدلال متعدد الخطوات مع استدعاءات أداة Python.
  3. البرمجة الوكيلية (Agentic Coding): تفاعل متعدد الخطوات مع طرفية (terminal) معزولة.
• مسح صرامة المكافأة: بدءاً من نقطة تفتيش مشتركة للضبط الدقيق تحت الإشراف (SFT)، تم تدريب عمليات تعلم تعزيزي مستقلة على مجموعة بيانات CodeContestsPlus. دالة المكافأة هي إشارة ثنائية متداخلة بناءً على عتبات طول المدخلات ($k$):
  • $R_k(y) = 1$ إذا اجتاز الحل جميع الاختبارات مع طول مدخلات $< 10^k$.
  • $R_\infty(y) = 1$ إذا اجتاز الحل جميع الاختبارات (المجموعة الكاملة).
    وهذا يخلق عائلة مرتبة من نقاط التفتيش من "التغطية المنخفضة" (مخففة، مدخلات صغيرة) إلى "التغطية العالية" (صارمة، اختبارات ضغط كاملة).

متوسط الأوزان

العملية الجوهرية هي متوسط الأوزان الخطي بين نقطتي نهاية، $\theta_{low}$ (تغطية منخفضة) و $\theta_{high}$ (تغطية عالية):
$$\theta_\alpha = \alpha \theta_{high} + ( - 1) \theta_{low}$$

• الاستيفاء (Interpolation): $\alpha \in [0, 1]$.
• الاستقراء (Extrapolation): $\alpha \notin [0, 1]$ (على سبيل المثال، $\alpha < 0$ أو $\alpha > 1$).

التقييم

يتم تقييم نقاط التفتيش على معيار LiveCodeBench (LCB) (بيانات محجوزة، تغطية اختبار كاملة). تُصنف النتائج إلى:

1. صحيح (Correct): يجتاز جميع الاختبارات.
2. فشل في التحسين (Optimization Failure): يجتاز الاختبارات الصغيرة ولكن يتجاوز حدود الوقت/الذاكرة في الاختبارات الأكبر.
3. فشل في الصحة (Correctness Failure): يفشل بسبب أخطاء منطقية أو استثناءات وقت التشغيل ضمن الحدود.
4. خطأ في التنسيق (Format Error): مخرجات غير قابلة للتحليل.

المساهمات والنتائج الرئيسية

1. ظهور جبهة الصحة–الكفاءة

تكشف الدراسة أن تغيير صرامة التحقق لا ينتج ترتيباً بسيطاً لنقاط التفتيش. بدلاً من ذلك، فإنه يرسم جبهة صحة–كفاءة:

• التدريب منخفض التغطية: يقلل من أخطاء الصحة ولكنه يزيد من أخطاء التحسين (حلول غير فعالة).
• التدريب عالي التغطية: يقلل من أخطاء التحسين ولكنه يزيد من أخطاء الصحة (النماذج تحاول خوارزميات فعالة ولكنها تفشل منطقياً).
• استقرار معدل الحل: يظل معدل الحل الإجمالي ثابتاً تقريباً عبر الجبهة؛ المقايضة تكمن أساساً في كيفية فشل النموذج (عدم الكفاءة مقابل عدم الصحة)، وليس في ما إذا كان يحل المشكلة أم لا.

2. الاستيفاء يستعيد الجبهة

نجح الاستيفاء الخطي بين نهايتي التغطية المنخفضة والعالية في استعادة الجبهة التي رسمتها نقاط التفتيش المدربة بشكل مستقل. اتجاه واحد للاستيفاء في فضاء الأوزان كافٍ للتنقل عبر المقايضة بين أخطاء التحسين والصحة.

3. الاستقراء يمدد الجبهة

الأمر الحاسم هو أن المتوسط المرجح الاستقرائي يمدد هذه الجبهة إلى ما وراء النقاط التي وصلت إليها أي عملية تدريب تعزيزي منفردة:

• ما وراء حدود التعلم التعزيزي: بالنسبة لـ $\alpha > 1$ و $\alpha < 0$، تستمر نقاط التفتيش المستخرجة في نفس منحنى المقايضة، محققة مستويات من نسب خطأ التحسين/الصحة لم تصل إليها أي نقطة تفتيش فردية.
• الاستقرار: هذا الاستمرار مستقر عبر نطاق واسع (على سبيل المثال، $\alpha \in [-0.5, 1.5]$). الاستقراء المتطرف ($|\alpha| > 2$) يؤدي إلى التدهور بشكل أساسي بسبب أخطاء التنسيق (استنفاد الرموز/tokens) بدلاً من انهيار منطق الجبهة.
• التعميم: هذه الظاهرة تنطبق عبر جميع إعدادات الاستدلال الثلاثة (الاستدلال، استخدام الأدوات، البرمجة الوكيلية) وكلا مقاييس النماذج (7B، 32B)، بشرط مطابقة صعوبة المشكلة لقدرة النموذج.

4. توسيع نطاق الاستدلال عبر المجموعات (Ensembles)

تثبت الورقة أن نقاط التفتيش المستخررة هي سياسات متكاملة:

• تبادل المهام لكل مشكلة: تحل نقاط مختلفة على محور الاستقراء مجموعات فرعية مختلفة من المشكلات الصعبة. وبينما يكون معدل الحل الإجمالي مسطحاً، فإن المشكلات التي يتم حلها تختلف بشكل كبير.
• مكاسب المجموعات (Ensemble Gains): من خلال دمج نقاط التفتيش على طول الجبهة الممتدة (الاستيفاء + الاستقراء)، حسن المؤلفون مقياس pass@250 على LCB/hard بنسبة 3.3% مقارنة بأفضل نقطة تفتيش مفردة عند ميزانية عينات متساوية.
• التنوع: توفر المجموعات المستخرطة حلولاً فريدة للمشكلات التي تفتقدها المجموعات التي تعتمد على الاستيفاء فقط، خاصة في المشكلات الأكثر صعوبة.

5. ما الذي يحرك الجبهة؟

يقارن المؤلفون بين تشكيل المكافأة الثابت وبين التدريب المشروط بالفشل:

• تشكيل المكافأة الثابت: تخصيص رصيد جزئي لاجتياز الاختبارات الأصغر (سواء كانت منفصلة أو مستمرة) يبقي النموذج على نفس الجبهة. إنه مجرد إعادة وزن للنتائج الموجودة دون تقديم معلومات جديدة.
• التدريب المشروط بالفشل: استخدام سياق الفشل (الكود الفاشل + إحصائيات التنفيذ) لتدريب سياسة الإصلاح (الإصلاح عبر الإنترنت/online-fixing) يظهر إمكانية إزاحة الجبهة نحو الخارج، مما يحسن كل من معدلات الإصلاح ومعدلات النجاح الأصلية، مما يشير إلى أن إشارات الفشل الأكثر ثراءً مطلوبة للتحرك بما يتجاوز المقايضة الحالية.

الأهمية والادعاءات

تدعي الورقة أن تداخل تغطية اختبارات الوحدة المتداخلة في التعلم التعزيزي للأكواد يؤدي إلى جبهة صحة–كفاءة يمكن التنقل فيها، وتمديدها، واستغلالها عبر المتوسط المرجح الاستقرائي.

• الجدة: تثبت أن الاستقراء ليس مجرد فضول رياضي ولكنه وسيلة عملية للوصه إلى "استمرار" لجبهة باريتو، مما يولد سياسات متنوعة لا تنتجها أي عملية تدريب منفردة.
• الفائدة العملية: تعمل نقاط التفتيش المستخرجة كآلية رخيصة لتوسيع نطاق الاستدلال في وقت التنفيذ، مما يوسع نطاق المشكلات التي يتم حلها دون الحاجة إلى حسابات تعلم تعزيزي إضافية.
• القيود: الجبهة ناتجة عن المقايضة المحددة بين الصحة والكفاءة في البرمجة التنافسية. يشير المؤلفون إلى أن تحريك الجبهة نفسها (تحسين جبهة باريتو) يتطلب على الأرجح إشارات تدريب تكشف عن سبب فشل البرامج (مثل التدريب المشروط بالفشل) بدلاً من مجرد اختبارات أكثر صرامة.

تشير هذه الدراسة إلى نموذج جديد للتعلم التعزيزي في الأكواد: بدلاً من البحث عن نقطة تفتيش واحدة "مثالية"، يمكن للممارسين الاستفيد من متوسط الأوزان لاستكشاف طيف من السلوكات المتكاملة، وتوسيع قدرات النماذج الحالية من خلال عمليات حسابية بسيطة على الأوزان.