🤖 AI

BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models

يُعد BoostAPR إطار عمل ثلاثي المراحل يعزز إصلاح البرامج الآلي من خلال الجمع بين الضبط الدقيق الخاضع للإشراف والاستدلال المتحقق منه عبر التنفيذ ونماذج المكافأة المزدوجة لتمكين تخصيص الائتمان الدقيق على مستوى السطر أثناء التعلم المعزز، محققاً أداءً هو الأفضل في فئته وقدرة قوية على التعميم عبر اللغات في مختلف معايير القياس.

المؤلفون الأصليون: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuanhao Li, Hongbo Wang, Xiaotang Shang, Xunzhu Tang, Yiming Cao, Xuhong Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب ذكي جدًا، ولكنه أخرق قليلاً، كيفية إصلاح آلة معطلة. الآلة هي عبارة عن كود برمجي، و"العطل" هو خطأ برمي (bug) يتسبب في فشل اختبار ما.

لفترة طويلة، حاولنا تعليم هؤلاء المتدربين (نماذج الذكاء الاصطناعي) عبر عرض أمثلة لآلات معطلة وإصلاحاتها. ولكن هناك مشكلة: عندما يجرب المتدرب إصلاحًا ما، فإن الآلة إما تعمل بشكل مثالي أو تنفجر. هي لا تخبر المتدرب أي مسمار تحديدًا قام بشده أو أي سلك قام بقطعه الذي أحدث الفرق. هم يحصلون فقط على نتيجة ثنائية: "عمل جيد" أو "عمل سيء". هذا يجعل التعلم بطيئًا ومحبطًا.

تقدم الورقة البحثية نظامًا جديدًا يسمى BOOSTAPR لحل هذه المشكلة. فكر في الأمر كمعسكر تدريبي مكون من ثلاث خطوات مصمم لتحويل ذلك المتدرب الأخرق إلى ميكانيكي ماهر.

الخطوة 1: "فكر ثم افعل" - الواجب المنزلي (الضبط الدقيق الخاضع للإشراف - Supervised Fine-Tuning)

أولاً، النظام لا يكتفي بعرض الإصلاح النهائي للمتدرب؛ بل يعرض عليه دفتر ملاحظات الميكانيكي الخبير.

التشبيه: تخيل أن ميكانيكيًا خبيرًا لا يسلمك المحرك بعد إصلاحه فحًا، بل يدون عملية تفكيره أولًا: "لاحظت أن الضجيج يأتي من اليسار، لذا فحصت الحزام، ووجدت أنه مرتخٍ، فشددته".
ادعاء الورقة: يتم تدريب الذكاء الاصطناعي على "نماذج مثبتة التنفيذ". وهذا يعني أننا لا نتعلم إلا من الأمثلة التي قام فيها الميكانيكي الخبير بإصلاح المشكلة فعليًا و دون عملية التفكير الخاصة به. يتعلم الذكاء الاصطناعي ليس فقط ماذا يغير، بل كيف يفكر تجاه المشكلة.

الخطوة 2: توظيف مدربين مختلفين (نماذج مكافأة مزدوجة - Dual Reward Models)

بمج once يبدأ المتدرب في الممارسة، فإنه يحتاج إلى تقييم. في الأيام الخوالي، كان المدرب يقول فقط: "هذا الإصلاح نجح!" أو "هذا الإصلاح فشل!". تقول الورقة إن هذا غامض للغاية. لذا، تم توظيف مدربين متخصصين:

مدرب "الصورة الكبيرة" ( $R_{seq}$ ): ينظر هذا المدرب إلى عملية الإصلاح بأكملها. هل اشتغلت الآلة؟ نعم أم لا؟ هو يعطي درجة لعملية الإصلاح كاملة.
مدرب "المجهر" ( $R_{line}$ ): هذا هو السر الجديد. ينظر هذا المدرب إلى الإصلاح سطرًا بسطر.
- التشبيه: تخيل أن المتدرب أصلح المحرك ولكنه أيضًا طلى السيارة بلون غريب وغير محطة الراديو. مدرب "الصورة الكبيرة" يقول: "إنها تعمل، لذا فالعمل جيد". لكن مدرب "المجهر" يقول: "انتظر، الطلاء وتغيير الراديو لم يساعدا في إصلاح المحرك. فقط شد الحزام هو ما ساعد. لنعطِ الفضل لشد الحزام، وليس للطلاء".
- ادعاء الورقة: يتعلم هذا المدرب تحديد أي أسطر من الكود (نطاقات التعديل - edit spans) هي التي أصلحت الخطأ فعليًا وأيها كان مجرد ضجيج. إنه يأخذ درجة "الصورة الكبيرة" ويعيد توزيع الفضل على الأسطر المحددة التي كانت مؤثرة.

الخطوة 3: جولة تجريبية بتغذية راجعة ذكية (تحسين PPO - PPO Optimization)

أخيرًا، يدخل المتدرب في محاكاة لممارسة إصلاح الأخطاء في الوقت الفعلي.

التشبيه: في كل مرة يقوم فيها المتدرب بحركة، يتحدث المدربان مع بعضهما البعض. مدرب "المجهر" يخبر مدرب "الصورة الكبيرة": "لا تعطه نقاطًا للعمل بأكمله فقط؛ بل أعطِ نقاطًا إضافية للمتدرب لشده لذلك المسمار المحدد، وصفرًا للنقاط عن الكتابة العشوائية التي قام بها في المنتصف".
ادعاء الورقة: يستخدم الذك الذكاء الاصطناعي طريقة تسمى PPO (نوع من التعلم المعزز) لتحديث دماغه. ولأن مدرب "المجهر" يقدم تغذية راجعة مفصلة للغاية، يتعلم الذكاء الاصطناعي بشكل أسرع وأكثر دقة مما لو حصل فقط على إشارة عامة "جيد/سيء".

النتائج: ما مدى نجاح ذلك؟

اختبر المؤلفون هذا المعسكر التدريبي الجديد على أربعة "ورش عمل" (معايير قياسية) تحتوي على آلاف الأمثلة للأكواد المعطلة:

SWE-bench (أخطاء GitHub الواقعية): أصلح الذكاء الاصطناعي 40.7% من الأخطاء. هذه قفزة هائلة قدرها 22.9% عن نفس نموذج الذكاء الاصطناعي بدون هذا التدريب الخاص.
Defects4J (أخطاء Java): على الرغم من أن الذكاء الاصطناعي تم تدريبه غالبًا على Python، إلا أنه نجح في إصلاح 24.8% من أخطاء Java. هذا يوضح أن مدرب "المجهر" ساعد المتدرب على تعلم مهارات الإصلاح العامة، وليس فقط حيل Python المحددة.
HumanEval-Java & QuixBugs: حقق درجات عالية جدًا (84.5% و 95.0%) في هذه التحديات البرمجية المحددة.

لماذا يهم هذا (وفقًا للورقة البحثية)

تجادل الورقة بأن الاختراق الأكبر ليس فقط في أن الذكاء الاصطناعي أصبح أكثر ذكاءً، بل في كيفية صيرورته كذلك. من خلال الانتقال من "هل نجح الأمر؟" (على مستوى التسلسل - Sequence-level) إلى "أي أسطر محددة جعلت الأمر ينجح؟" (على مستوى السطر - Line-level)، فقد حلوا مشكلة رئيسية في التعلم.

لم يقم مدرب "المجهر" ( $R_{line}$ ) بكل العمل الثقيل بمفرده؛ بل قام مدرب "الصورة الكبيرة" ( $R_{seq}$ ) بمعظم العمل. ومع ذلك، وفر مدرب المجهر الدفعة الإضافية اللازمة للتعميم على المشكلات الجديدة والصعبة وجعل عملية التدريب أكثر استقرارًا وكفاءة.

باختًا: يعلم BOOSTAPR الذكاء الاصطناعي كيفية إصلاح الكود عبر إطلاعه على عمليات التفكير الخبيرة، وتوظيف مدرب لتقييم العمل بأكمله، وتوظيف مدرب ثانٍ لتقييم كل مسمار يتم ربطه، مما يضمن تعلم الذكاء الاصطناعي لما يجب فعله بالضبط في المرة القادمة.

ملخص تقني: BOOSTAPR

بيان المشكلة

يواجه الإصلاح الآلي للبرامج (APR) باستخدام النماذج اللغوية الكبيرة (LLMs) ثلاث عقبات أساسية تعيق التعلم المعزز (RL) الفعال:

تغذية راجعة تنفيذية متفرقة: على عكس توليد النصوص، يقدم إصلاح البرامج إشارات ثنائية فقط (نجاح/فشل). فالرقعة (patch) التي تفشل في اختبار حرج واحد تتلقى نفس الإشارة السلبية التي تتلقاها محاولة مشوهة بنيوياً، مما لا يوفر أي توجيه حول مدى الصحة الجزئية.
مكافآت خشنة على مستوى التسلسل: تخصص خوارزميات التعلم المعزز القياسية مكافآت للتسلسل المولد بالكامل. وعندما تنجح أو تفشل رقعة متعددة الأسطر، لا يتلقى النموذج أي معلومات حول أي التعديلات كانت مفيدة أو ضارة. وهذا يخلق مشكلة حادة في تخصيص الائتمان (credit assignment)، مما يؤدي إلى تقديرات عالية التباين للمتجهات المتدرجة (gradients) وتدريب غير فعال.
انزياح التوزيع: غالباً ما تواجه النماذجة المدربة على مجموعات بيانات منسقة صعوبة في التعميم على أنماط الأخطاء المتنوعة الموجودة في المستودعات البرمجية الحقيقية.

تعتمد النهج الحالية غالباً على مكافآت متفرقة على مستوى التسلسل أو مكافآت على مستوى الرمز (token) تكون إما خشنة جداً أو دقيقة جداً (تفتقر إلى الدلالة المعنوية) بالنسبة لتعديلات الكود.

المنهجية: إطار عمل BOOSTAPR

يقترح المؤلفون BOOSTAPR، وهو إطار تدريب ثلاثي المراحل يجمع بين التعلم المتحقق منه عبر التنفيذ وتخصيص الائتمان دقيق التفاصيل. بُني الإطار على العمود الفقري Qwen2.5-Coder-32B وتم تدريبه حصرياً على SWE-Gym.

المرحلة الأولى: نقل الاستدلال المتحقق منه بالتنفيذ

يتم تهيئة السياسة (policy) عبر الضبط الدقيق الخاضع للإشراف (SFT) على نماذج توضيحية عالية الجودة. وخلافاً لـ SFT القياسي، تفرض هذه المرحلة معيارين صارمين:

مسارات الاستدلال: يجب أن تتضمن النماذج التوضيحية استدلالاً تشخيصياً صريحاً (تشخيص الخطأ، تحديد السبب الجذري، تبرير الإصلاح) جنباً إلى جنب مع الرقعة.
التحقق من التنفيذ: يتم الاحتفاظ فقط بالرقع التي تجتاز جميع الاختبارات في بيئة SWE-Gym. يضمن هذا تعلم النموذج من الحلول المتحقق منها، مما يستبعد المخرجات التي تبدو منطقية ولكنها غير صحيحة.

المرحلة <<: تعلم المكافأة المزدوجة

يتم تدريب نموذجي مكافأة بشكل غير متصل (offline) باستخدام نتائج التنفيذ من سياسة SFT:

المُقيّم على مستوى التسلسل ( $R_{seq}$ ): نموذج يتنبأ بالجودة الإجمالية للرقعة. ومن الأهمية بمكان أنه يُدرب على مدخلات (الرقعة فقط) (أي ملفات diff الموحدة بدون سياق الخطأ) لمنع تعلم الارتباطات الزائفة مع أوصاف المشكلات. يستخدم هدفاً هجيناً يجمع بين الانحدار (للحصول على درجات مطلقة معايرة) والتفضيل الزوجي (للتصنيفات النسبية الصحيحة).
مخصص الائتمان على مستوى السطر ( $R_{line}$ ): مكون مبتكر يخصص الائتمان لنطاقات أسطر التعديل المستمرة بدلاً من التسلسل بأك//له أو الرموز الفردية.
- الآلية: يقوم بتحليل ملفات diff الموحدة إلى نطاقات أسطر تعديل متصلة.
- الإشراف: يستخدم الإشراف القائم على تتبع المكدس (stack-trace) المرتبط بالتنفيذ. بالنسبة للرقع الفاشلة، يحدد النموذج النطاقات الموجودة في مسار الفشل (عبر تحليل تتبع الخطأ) ويخصص لها ائتماناً سلبياً، بينما تعامل الرقع الناجحة جميع نطاقات التعديل كإيجابية.
- الهدف: تعلم أي التعديلات تساهم أكثر في النجاح أو الفشل، مما يسمح بإعادة توزيع مكافآت التسلسل إلى المناطق المعلوماتية.

المرحلة الثالثة: تحسين PPO مع المكافآت المزدوجة

تقوم المرحلة النهائية بتحسين السياسة باستخدام تحسين السياسة القريبة (PPO).

تشكيل المكافأة على مستوى الرمز: يتم توزيع درجة مستوى التسلسل من $R_{seq}$ عبر الرموز باستخدام الأوزان التي تعلمها $R_{line}$ . الرموز داخل نطاقات التعديل ذات الدرجة العالية تتلقى مكافآت أعلى، بينما الرموات غير المعلوماتية (الرؤوس، السياق) تتلقى وزناً صفرياً.
عقوبة التنسيق: يتم تطبيق عقوبة حتمية على الرمز النهائي إذا لم يكن المخرج عبارة عن ملف diff موحد صالح.
التحسين: يتم تحديث السياسة لتعظيم المكافأة المتوقعة المستمدة من هذا التخصيص المهيكل للائتمان، مما يقلل من تباين المتجه المتدرج مقارنة بمكافآت التسلسل الموحدة.

المساهمات الرئيسية

بنية المكافأة المزدوجة: آلية تجمع بين تقييم الجودة على مستوى التسلسل وتخصيص الائتمان على مستوى نطاق تعديل السطر، مما يوفر حلاً عملياً لتوزيع المكافآت دقيق التفاصيل في مهام تعديل الكود.
خط تدريب ثلاثي المراحل: نهج متكامل يجمع بين SFT المتحقق منه بالتنفيذ، وتعلم المكافأة غير المتصل بـهدف هجين (انحدار-تفضيل)، وتحسين السياسة عبر الإنترنت.
مقارنات منضبطة: تقييم صارم تحت عمود فقري ثابت (32B) وبيانات تدريب (SWE-Gym)، مما يثبت أن المكافآت المزدوجة تتفوق على GRPO، والتعلم عبر أخذ عينات الرفض (rejection-sampling RL)، وPPO مع مكافآت مستوى التسلسل وحدها.
رؤى الاستبعاد (Ablation): أدلة على أنه بينما يدفع PPO مع مكافآت مستوى التسلسل المكاسب الرئيسية في الدقة، فإن مخصص المستوى السطري ( $R_{line}$ ) يوفر تحسينات تكميلية في التعميم خارج التوزيع، وكفاءة التدريب، وجودة المتجهات المتدرجة.

النتائج التجريبية

تم تقييم BOOSTAPR على أربعة معايير تشمل إصلاح مستوى المستودع ومستوى الدالة عبر لغتي Python وJava:

SWE-bench Verified (Python): حقق معدل نجاح 40.7%، بزيادة قدرها 22.9 نقطة مئوية (pp) عن النموذج الأساسي. وهذا يضاهي SWE-RL (41.0%) ولكنه يستخدم عموداً فقرياً أصغر (32B).
Defects4J v2.0 (Java): حقق معدل نجاح 24.8%، وهو أكثر من ضعف أداء النموذج الأساسي (11.3%) رغم عدم وجود بيانات تدريب لغة Java، مما يدل على قوة التعميم عبر اللغات. ساهم مكون $R_{line}$ في تحقيق ربح نسبي أكبر هنا (+5.6pp) مقارنة بـ SWE-bench.
HumanEval-Java: حقق 84.5%، بزيادة قدرها +20.5pp.
QuixBugs: حقق 95.0%.

المقارنة المرجعية لـ RL المنضبط: في SWE-bench Verified، تفوق BOOSTAPR على GRPO (+4.6pp) وعلى Rejection-Sampling RL (+3.2pp). وفر مكون $R_{line}$ ربحاً مستقراً قدره +2.4pp في SWE-bench وربحاً كبيراً قدره +5.6pp في Defects4J.

الأهمية والادعاءات

يزعم البحث أن BOOSTAPR يعالج مشكلة تخصيص الائتمان في التعلم المعزز لتوليد الكود من خلال العمل عند درجة تفصيل متوسطة (نطاقات أسطر التعديل). توصف هذه الدرجة بأنها "تسوية عملية" لأنها أدق من تخصيص مستوى الكتلة (hunk-level) ولكنها أكثر استقراراً من تحليل مستوى الرمز (token-level)، خاصة بالنسبة للرقع المشوهة أو عابرة اللغات.

يؤكد المؤلفون على ما يلي:

التعلم المستند إلى التنفيذ هو المحرك الرئيسي للأداء، حيث يمثل PPO باستخدام مكافآت مستوى التسلسل الجزء الأكبر من المكاسب.
تخصيص الائتمان على مستوى السطر ليس بديلاً لمكافآت التنفيذ، بل هو آلية تكميلية تحسن استقرار التحسين والتعميم في السيناريوهات خارج التوزيع (مثل مهام Java عند التدريب على Python).
يتجه النهج نحو أنظمة ذكاء اصطناعي يمكنها مساعدة المطورين من خلال التعلم مباشرة من التغذية الراجعة للتنفيذ بدلاً من الاعتماد فقط على مطابقة الأنماط السطحية أو مجموعات البيانات المنسقة.

يقر البحث بوجود قيود، مشيراً إلى أن إشراف $R_{line}$ هو جزئياً استدلالي وأن نطاقات أسطر التعديل هي وحدة دلالية تقريبية. ويقترح أن العمل المستقبلي يمكن أن يجمع ذلك مع تحديد موقع الأخطاء بشكل أقوى وخطوط أنابيب RL واسعة النط scale.