From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents

إليك ملخص تقني مفصل لورقة البحث بعنوان: "من SWE-ZERO إلى SWE-HERO: من التدريب الخالي من التنفيذ إلى التدريب القائم على التنفيذ لوكلاء هندسة البرمجيات."

1. بيان المشكلة

تتناول الورقة البحثية عنق الزجاجة في القدرة على التوسع (scalability bottleneck) عند تدريب وكلاء هندسة البرمجيات (SWE) المستقلين. تعتمد النهج الحالية المتطورة بشكل كبير على التدريب القائم على التنفيذ (execution-based training)، حيث يجب على الوكلاء التفاعل مع بيئات معزولة ومحواة (مثل Docker) للتحقق من إصلاحات الكود عبر اختبارات الوحدة (unit tests). يواجه هذا النموذج ثلاثة قيود رئيسية:

• قابلية توسع البيانات: لا يمكن حاوية (containerize) العديد من المستودعات الواقعية بشكل موثوق بسبب الاعتمادات المعقدة أو القديمة، مما يضطر الباحثين إلى استبعاد كميات هائلة من بيانات التدريب المحتملة.
• قابلية توسع التدريب: يؤدي تنسيق آلاف صور Docker المخصصة للمهام إلى أعباء بنية تحتية ضخمة، مما يعيق عمليات التحسين واسعة النطاق والتعلم التعزيزي (RL).
• قابلية توسع الاستدلال: تكلفة تشغيل البيئات وتشغيل الاختبارات تحد من قدرة الوكلاء على استكشاف مسارات حل متعددة أثناء الاستدلال (التوسع في وقت الاختبار - Test-Time Scaling).

يرى المؤلفون أن الاعتماد المطلق على التنفيذ الفيزيائي يمنع النماذج مفتوحة المصدر من الوصول إلى مستويات أداء النماذج المملوكة الرائدة.

2. المنهجية: مسار SWE-ZERO إلى SWE-HERO

يقترح المؤلفون وصفة ضبط دقيق للإشراف (SFT) مكونة من مرحلتين تفصلان بين الاستدلال الدلالي والتحقق الفيزيائي. ينتقل هذا النهج بالوكلاء من الفهم "الحدسي" إلى سير عمل هندسي "صارم".

المرحلة الأولى: SWE-ZERO (الاستدلال التأسيسي)

• المفهوم: نهج خالٍ من التنفيذ يستفيد من "نماذج العالم" الداخلية للنماذج اللغوية الكبيرة (LLMs) الرائدة لحل المشكلات دون تغذية راجعة من وقت التشغيل.
• توليد البيانات:
  • يستخدم نموذجاً معلماً (Qwen3-Coder-480B) لتوليد مسارات (trajectories) على 150 ألف طلب سحب (Pull Request) حقيقي من GitHub.
  • يعمل الوكيل في بيئة معزولة (sandbox) مقيدة (لا يوجد Docker، لا تنفيذ Python، لا pytest). يُمنع الوكيل صراحةً من تشغيل الكود أو الاختبارات.
  • يجب على الوكيل الاعتماد على التحليل الساكن، واستكشاف قاعدة الكود، والاستدلال الدلالي لتحديد الأخطاء وتنفيذ التصحيحات.
• التصفية: تقوم سلسلة معالجة متعددة المراحل بتصفية المسارات التي يحاول فيها الوكيل تنفيذ أوامر محظورة (مثل python أو pytest) أو يفشل في إنتاج تغييرات منطقية في الكود.
• النتيجة: مجموعة بيانات مكونة من 300 ألف مسار خالٍ من التنفيذ. هذه المسارات أقل إيجازاً بشكل ملحوظ (بنسبة 40% أقل من الرموز/tokens) مقارنة بالمسارات القائمة على التنفيذ لأنها تتجاوز حلقات التحقق من الاختبار المتكررة.

المرحلة الثانية: SWE-HERO (التحسين المرتكز على التنفيذ)

• المفهوم: مرحلة تحسين مستهدفة مدعومة بالتنفيذ للانتقال من الحدس الدلالي للوكيل إلى سير عمل هندسي تم التحقق منه.
• توليد البيانات:
  • يستخدم نفس النموذج المعلم لتوليد مسارات على مجموعة فرعية من 13 ألف حالة مهمة تمتلك بيئات Docker محواة ومحققة.
  • يعمل الوكلاء في بيئات كاملة، مما يسمح بتنفيذ الكود، وتشغيل الاختبارات، وتصحيح الأخطاء التكراري.
• عملية التدريب:
  • يتم أولاً ضبط النموذج بدقة على مجموعة بيانات SWE-ZERO لتأسيس الاستدلال على مستوى المستودع.
  • ثم يتم ضبط هذا النموذج لاحقاً على مجموعة بيانات SWE-HERO لتعلم تفاصيل التحقق والتصحيح القوي.
• النتيجة: مجموعة بيانات منقحة مكونة من 13 ألف مسار قائم على التنفيذ.

3. المساهمات الرئيسية

1. نموذج تدريب مبتكر: تقديم SWE-ZERO إلى SWE-HERO، وهو منهج تعليمي يعطي الأولوية للاستدلال الدلالي واسع النطاق ومنخفض التكلفة قبل إدخال التنفيذ عالي التكلفة وعالي الدقة.
2. مجموعات بيانات مفتوحة المصدر: إصدار 300 ألف مسار SWE-ZERO و 13 ألف مسار SWE-HERO المستخلصة من Qwen3-Coder-480B، مما يمكن المجتمع من تدريب الوكلاء دون الحاجة إلى بنية تحتية ضخمة لـ Docker.
3. مجموعة أدوات الوكيل: إصدار وكلاء مضبوطين بدقة بناءً على سلسلة Qwen2.5-Coder (بمعلمات 7B و 14B و 32B) والتي تتفوق على الوكلاء مفتوحي المصدر الحاليين.
4. التعميم عبر اللغات: إثبات أن التدريب بشكل أساسي على بيانات Python الخالية من التنفيذ يتيح انتقالاً قوياً (zero-shot transfer) لمهام هندسة البرمجيات متعددة اللغات.

4. النتائج التجريبية

تم تقييم النماذج على SWE-bench Verified (500 مشكلة عالية الجودة في Python) و SWE-bench Multilingual (300 مشكلة متعددة اللغات).

• الأداء الرائد (State-of-the-Art):

  • يحقق SWE-HERO-32B معدل حل بنسبة 62.2% في SWE-bench Verified، مما يضع معياراً جديداً للنماذج مفتوحة المصدر ذات الحجم المماثل.
  • يتفوق على المنافسين مثل SERA-32B (54.2%)، و daVinci-Dev-32B (56.1%)، و OpenSWE-32B (62.4%، رغم أن OpenSWE يستخدم إعداد تدريب أكثر استهلاكاً للموارد).
  • تظهر النماذج الأصغر مكاسب كبيرة: يصل SWE-HERO-7B إلى 52.7% (مقابل 46.8% لـ SWE-ZERO-7B)، متفوقاً على المنافسين من نفس الحجم بفارق كبير.

• دراسات الاستئصال (Ablation Studies):

  • ضرورة SWE-ZERO: أدى التدريب مباشرة على بيانات SWE-HERO (تخطي مرحلة الخلو من التنفيذ) إلى انخفاض في الأداء إلى 55.7% في Verified و 30.8% في Multilingual. وهذا يثبت أن SWE-ZERO يوفر انحيازاً استقرائياً (inductive bias) حرجاً للاستدلال الدلالي.
  • توسع البيانات: أدى زيادة مجموعة تدريب SWE-ZERO من 4 آلاف إلى 150 ألف عينة إلى تحسين معدلات الحل من 42.1% إلى 49.1%، مما يؤكد أن حجم البيانات في مرحلة الخلو من التنفيذ هو محرك رئيسي للأداء.

• التعميم متعدد اللغات:

  • على الرغم من التدريب حصرياً على Python، حقق SWE-HERO-32B نسبة 44.1% في SWE-bench Multilingual (مع التنفيذ)، مما يدل على أن أنماط الاستدلال الأساسية المتعلمة في SWE-ZERO تنتقل بفعالية عبر اللغات.

• الكفاءة:

  • يحل نماذج SWE-ZERO المهام بـ 40% أقل من الرموز (tokens) وجولات التفاعل مقارنة بالنماذج القائمة على التنفيذ، حيث تتخطى حلقات التشخيص والاختبار المطولة.
  • تضحي نماذج SWE-HERO بهذه الكفاءة مقابل دقة أعلى في المهام المعقدة من خلال استخدام التغذية الراجعة للتنفيذ من أجل "التحقق المزدوج".

5. الأهمية والأثر

• دمقرطة وكلاء هندسة البرمجيات: من خلال إزالة الاعتماد على بيئات Docker لتوليد معظم بيانات التدريب، يخفض هذا الإطار حاجز الدخول لتدريب وكلاء هندسة برمجيات عالية الأداء. يمكن للباحثين الآن الاستفيد من "الذيل الطويل" لبيانات GitHub التي كان الوصول إليها مستحيلاً سابقاً بسبب فشل الحوية.
• فعالية التكلفة: يقلل النهج المكون من مرحلتين من التكلفة الحسابية للتدريب بشكل كبير. حيث تتم معظم عملية التعلم (300 ألف عينة) دون الحاجة لتنسيق بيئات مكلف، مع تخصيص التنفيذ عالي التكلفة فقط لمرحلة التحسين النهائية.
• تحول في النموذج الفكري: تتحدى الورقة البحثية فكرة أن التنفيذ الفيزيائي ضروري تماماً لتعلم دلالات الكود. وتقترح أن النماذج اللغوية الرائدة تمتلك "نماذج عالم" داخلية كافية للاستدلال حول بنية الكود، والتي يمكن استخلاصها بفعالية ثم ترسيخها ببيانات تنفيذ محدودة.
• الاتجاهات المستقبلية: يسلط المؤلفون الضوء على أنه بينما تحد من أدوات التحقق مفتوحة المصدر الحالية مكاسب التوسع في وقت الاختبار (TTS)، فإن مسار SWE-ZERO إلى SWE-HERO يوفر أساساً قابلاً للتوسع للعمل المستقبلي في هندسة البرمجيات المستقلة، وخاصة لهياكل LLM القائمة على الاستدلال.

باختاً، يمثل SWE-ZERO إلى SWE-HERO وصفة فعالة للغاية وقابلة للتوسع لتدريب وكلاء هندسة البرمجيات، حيث تحقق نتائج رائدة في النماذج مفتوحة المصدر من خلال الجمع الاستراتيجي بين الاستدلال الدلالي واسع النطاق والتحسين المرتكز والمحدد.