ملخص تقني: ReCode: تعزيز توليد الكود عبر مكافآت عملية الاستدلال

بيان المشكلة

أصبح التعلم التعزيزي (RL) نموذجاً تحولياً لتحسين النماذج اللغوية الكبيرة (LLMs) في توليد الكود. ومع ذلك، تعتمد الأساليب الحالية بشكل أساسي على الإشراف القائم على النتيجة، مثل معدلات اجتياز حالات الاختبار، والتي توفر توجيهاً محدوداً حول كيفية الوصول إلى برنامج صحيح. وبينما يعد الاستدلال الدقيق محركاً رئيسياً للبرامج الصحيحة، فإن أساليب التعلم التعزيزي الحالية غالباً ما تهمل تحسين جودة عملية الاستدلال نفسها.

تواجه ترجمة فكرة تحسين عمليات الاستدلال إلى إطار عمل تدريبي عملي تحديين رئيسيين:

1. ندرة بيانات التفضيل دقيقة التفاصيل: يعوق نقص بيانات التفضيل عالية الجودة والمنظمة عملية تدريب نماذج المكافأة الموثوقة لتقييم جودة الاستدلال. إن التوسيع في استخدام البشر للتقييم أمر غير قابل للقياس وغير موضوعي، بينما يعاني استخدام النماذج اللغوية الكبيرة كـ "حكم" (LLMs-as-a-judge) من ضعف المعايرة عند تعيين درجات عددية لخصائص الاستدلال الدقيقة.
2. اختطاف المكافأة (Reward Hacking): إن دمج مكافآت عصبية لعمليات الاستدلال في التعلم التعزيزي بشكل ساذج ينطوي على مخاطر كبيرة. فخلافاً لنتائج اختبارات الوحدة (unit-tests) الصارمة والقابلة للتحقق، فإن المكافآت العصبية أقل تقييداً. قد يتعلم النموذج "اختطاف" المكافأة عن طريق تضخيم درجة عملية الاستدلال دون تحسين الصحة الوظيفية للكود المولد فعلياً.

المنهجية: إطار عمل ReCode

يقترح المؤلفون ReCode (توليد الكود المعزز بالاستدلال)، وهو إطار عمل تدريبي جديد للتعلم التعزيزي مصمم لمواءمة توليد الكود مع عمليات استدلال عالية الجودة. يتكون ReCode من مكونين أساسيين:

1. تعلم مكافأة عملية الاستدلال التبايني (CRPL)

لمعالجة تحدي ندرة البيانات، يقدم CRPL طريقة لتخليق بيانات تفضيل تباينية تلقائياً دون الاعتماد على التوسيم البشري أو التقييم الرقمي المباشر.

• العملية: يقوم الإطار بترميز جودة الاستدلال في ثلاثة أبعاد حاسمة: الدقة الواقعية، الصرامة المنطقية، والتماسك المنطقي.
• تخليق البيانات: باستخدام نموذج لغوي قوي (Qwen2.5-Coder-32B-Instruct)، يقوم CRPL بتوليد نسخ محسنة ($t^+$) ومتدهورة ($t^-$) من عملية استدلال أساسية ($t$) عن طريق تطبيق تحويلات مستهدفة على طول هذه الأبعاد (مثل إزالة الحشو من أجل التحسين، أو إدخال أخطاء واقعية من أجل التدهور).
• ترتيب التفضيلات: تنشئ هذه العملية ترتيب تفضيل متعدد المستويات، مكونة ثلاثة أنواع من الأزواج: تباين قوي ($t^+ \succ t^-$)، تحسين دقيق ($t^+ \succ t$)، وتدهور دقيق ($t \succ t^-$).
• التدريب: يتم تدريب نموذج المكافأة على أزواج التفضيل هذه باستخدام هدف Bradley-Terry للتمييز بين جودة الاستدلال، بدلاً من التنبؤ بالدرجات المطلقة.

2. تحسين المجموعة النسبي ذو البوابة الاتساقية (CG-GRPO)

لمعالجة خطر اختطاف المكافأة، يدمج ReCode نموذج مكافأة عملية الاستدلال في حلقة التعلم التعزيزي عبر آلية بوابة مبنية على تحسين المجموعة النسبي (GRPO).

• البوابة الصلبة: لا يتم تفعيل مكافأة عملية الاستدلال ($R_{proc}$) إلا إذا اجتاز الكود المولد جميع اختبارات الوحدة (الصحة الوظيفية).
• هيكل المكافأة: تُصاغ المكافأة الإجمالية $R_i$ لعينة ما كما يلي:
  $$R_i = R_{fmt} + R_{out} + \mathbb{I}(R_{out} = 1) \cdot R_{proc}$$
  حيث أن $R_{fmt}$ هي مكافأة التنسيق، و $R_{out}$ هي مكافأة النتيجة الثنائية، و $\mathbb{I}(\cdot)$ هي دالة المؤشر.
• الأثر: يضمن ذلك عدم قدرة النموذج على التضحية بالصحة الوظيفية لزيادة درجة الاستدلال العصبية. كما يوفر تدرجات معلوماتية بين الحلول الصحيحة، مما يشجع النموذج على تفضيل عمليات الاستدلال عالية الجودة حتى عندما يكون الكود صحيحاً وظيفياً بالفعل.

بناء المعيار المرجعي: LCB-RB

لتقييم القدرة التمييزية لنماذج مكافأة عملية الاستدلال، قدم المؤلفون LiveCodeBench-RewardBench (LCB-RB).

• البناء: مشتق من LiveCodeBench، ويتكون هذا المعيار من 219 زوجاً من التفضيلات التي تم التحقق منها يدوياً لعمليات استدلال متفوقة وأخرى أدنى.
• التصفية: تضمن عملية تصفية ثنائية المرحلة (فحص مزدوج آلي الاتساق باستخدام GPT-4o يليه تحكيم بشري) التوافق الصارم بين الاستدلال والتنفيذ، مما يؤدي لتصفية الحالات التي يجتاز فيها الكود الاختبارات رغم وجود استدلال معيب، أو يفشل بسبب مشكلات تنفيذ بسيطة رغم وجود استدلال سليم.

النتائج التجريبية

أُجريت تجارب واسعة النطاق على HumanEval(+), MBPP(+), LiveCodeBench, و BigCodeBench باستخدام Qwen2.5-Coder-7B-Instruct كنموذج سياسة.

• أداء توليد الكود: حقق نموذج 7B المدرب باستخدام ReCode تحسناً نسبياً بنسبة 16.1% عن النموذج الأساسي (50.4% $\to$ 58.5% متوسط معدل الاجتياز)، ليصل إلى أداء يضاهي GPT-4-Turbo. وقد تفوق على خط الأساس GRSO القائم على النتيجة فقط بنسبة 6.7%.
• فعالية نموذج المكافأة: حقق نموذج المكافأة المدرب باستخدام CRPL أداءً تمييزياً قوياً على LCB-RB، متفوقاً على الخطوط المرجعية المتطورة (بما في ذلك GPT-4-Turbo والنماذج المتخصصة في المكافآت). والجدير بالذكر أن نموذج 7B المدرب بـ CRPL كان أداؤه مقارباً لـ GPT-4-Turbo في LCB-RB.
• التعميم:
  • مجال الرياضيات: أدى توسيع CG-GRPO إلى مجال الرياضيات (باستخدام Qwen2.5-Math-7B) إلى مكاسب متسقة، مع تحسن نسبي بنسبة 7.4% عن خط الأساس للتعلم التعزيزي بدون مكافآت الاستدلال في AIME 2024.
  • عبر النماذج: انتقلت مكافأة عملية الاستدلال المتعلمة بفعالية إلى نموذج Qwen3-4B-Instruct.
• الكفاءة: حقق ReCode معدلات Pass@1 أعلى مع توليد عدد أقل من الرموز (tokens) بنسبة 23.4% في المتوسط مقارنة بالتعلم التعزيزي القائم على النتيجة فقط، مما يشير إلى استدلال أكثر إيجازاً وتحديداً.
• دراسات الاستئصال (Ablation Studies):
  • اختطاف المكافأة: أدت الصيغ البديلة بدون بوابة الاتساق (مثل الجمع المباشر للمكافآت) إلى تشبع المكافأة وتدهور الأداء، مما يؤكد ضرورة آلية البوابة.
  • تخليق البيانات: تفوق التدريب على بيانات تفضيل من مولد واحد على بيانات من مولدات متقاطعة، مما يشير إلى أن السمات الأسلوبية المتسقة في عملية التخليق توفر إشارات إشراف أنقى.

الأهمية والادعاءات

يزعم البحث أن ReCode يثبت بنجاح أن جودة عملية الاستدلال يمكن استغلالها كإشارة تدريب إضافية لتحسين توليد الكود بما يتجاوز النتائج النهائية. وتكمن أهميته في:

1. سد الفجوة: يوفر حلاً قابلاً للتوسع لتدريب نماذج مكافأة عملية الاستدلال عبر تخليق بيانات تباينية، متجاوزاً الحاجة إلى التوسيم البشري المكلف.
2. الأمان في التعلم التعزيزي: توفر آلية الاتساق (Consistency-Gated) طريقة قوية لدمج مكافآت العمليات العصبية في التعلم التعزيزي دون الوقوع في فخ اختطاف المكافأة، مما يضمن ترجمة تحسينات الاستدلال إلى صحة وظيفية.
3. القدرة على التعميم: لا يقتقتصر إطار العمل على الكود فحسب؛ بل يتعمم على مهام الاستدلال الرياضي، مما يشير إلى إمكانية تطبيق أوسع لتحسين قدرات الاستدلال للنماذج اللغوية الكبيرة.
4. معيار تقييم جديد: يعالج تقديم LCB-RB فجوة في المعايير المرجعية الحالية من خلال التركيز تحديداً على تمييز عمليات الاستدلة الوسيطة بدلاً من مجرد صحة الحل النهائي.

يخلص المؤلفون إلى أن ReCode يمثل خطوة نحو مواءمة النماذج اللغوية الكبيرة مع الاستدلال الصارم، مكملاً أساليب الإشراف الحالية التي تركز على التنفيذ.