Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

تخيل عالماً يكون فيه البرمجيات مثل مدينة ضخمة وصاخبة يبنيها الملايين من البشر. أحياناً، قد يوجد في أحد المباني صدع خفي، أو برغي مرتخٍ في جسر ما، أو إشارة مرور عالقة على اللون الأخم بينما ينبغي أن تكون حمراء. في العالم الحقيقي، ننتظر عادةً حتى يصرخ شخص ما قائلاً: "مهلاً، الجسر مكسور!" قبل أن نرسل طاقم إصلاح. أما في العالم الرقمي، فإن هذه "الصرخة" تسمى تقرير المشكلة (Issue Report). وهو عبارة عن ملاحظة مفصلة من إنسان تصف بدقة مكان الخلل، وما هي رسالة الخطأ التي ظهرت، وكيف يجب أن يتصرف البرنامج.

لفترة طويلة، قام علماء الحاسوب بتدريب مساعدين ذكاء اصطناعي فائقين الذكاء، يُعرفون باسم وكلاء البرمجة (Coding Agents)، ليعملوا كطواقم إصلاح. تستخدم هذه الوكلاء نماذج قوية تشبه الدماغ (تسمى النماذج اللغوية الكبيرة) لقراءة الكود وإصلاح المشكلات. لكن العلة تكمكمن هنا: معظم عمليات التدريب والاختبار التي أجريت لهذه الوكلاء حتى الآن تفترض أن هناك دائماً "صرخة" مثالية ومفصلة (تقرير مشكلة) تنتظرهم. الأمر يشبه تدريب ميكانيكي فقط على سيارات تم سحبها بالفعل إلى الورشة مع ملاحظة تقول: "المحرك يصدر صوتاً طقطقة".

لكن في العالم الحقيقي، لا تسير الأمور دائماً بهذا السلاسة. فأحياناً تكون الأخطاء (Bugs) غادرة جداً بحيث تتسلل إلى المنتج النهائي دون أن يلاحظها أحد حتى فوات الأوان، مما يسبب فوضى عارمة. وفي أحيان أخرى، تكون الملاحظات التي يتركها البشر غامضة، أو مربكة، أو تفتقر إلى التفاصيل الجوهرية. وهذا يثير سؤالاً كبيراً ومثيراً: هل يمكن لوكلاء الإصلاح من الذكاء الاصطناعي أن يجدوا الأجزاء المعطلة في المدينة ويصلحوها قبل أن يعرف أحد حتى أنها معطلة؟ هل يمكنهم العمل كمحققين استباقيين، يمسحون الكود بأنفسهم، ويكتشفون الشقوق ويصلحونها دون تعليمات واحدة؟

هذا هو بالضبط ما تسعى ورقة البحث بعنوان "تقييم وكلاء البرمجة للإصلاح الاستباقي للأخطاء بدون تقارير مشكلات" (Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports) لاستكشافه. يقدم المؤلفون، وهم فريق من الباحثين من جامعات ومختبرات مستقلة، تحدياً جديداً يسمى Active-SWE. فكر في هذا التحدي كأنه مستوى في لعبة فيديو ضخمة وعالية المخاطر، مصمم لاختبار ما إذا كان وكلاء الذكاء الاصطناعي يمكنهم أن يكونوا محققين حقيقيين وليس مجرد ميكانيكيين مطيعين.

بدلاً من إعطاء الذكاء الاصطناعي قائمة بـ "الأشياء المعطلة" لإصلاحها، سلمهم الباحثون مكتبة ضخمة من الكود — 1,663 مهمة مختلفة عبر ستة أنواع من الأخطاء وثماني لغات برمجة مختلفة — وقالوا لهم: "اذهبوا، ابحثوا عن المشكلات وأصلحوها. حظاً موفقاً، لا يُسمح بأي تلميحات".

بنى الباحثون هذا التحدي بطريقتين. أولاً، أنشأوا "إعداداً بسيطاً" (Simple Setting) حيث يتعين على الذكاء الاصطناعي العثور على خطأ واحد وإصلاحه داخل قاعدة بيانات برمجية، تماماً مثل البحث عن خطأ مطبعي محدد في رواية. ثم رفعوا مستوى الصعوبة بـ "إعداد صعب" (Hard Setting)، حيث تعين على الذكاء الاصطناعي مطاردة أخطاء متعددة في وقت واحد، مثل محقق يحاول حل سلسلة كاملة من الجرائم في ليلة واحدة. كما اختبروا الذكاء الاصطناعي في سيناريوهات "الأخطاء المحتملة" (Potential Bugs) — وهي حالات قد يجد فيها الذكاء الاصطناعي مشكلة لم تكن موجودة أصلاً في قائمة المشكلات المعروفة، مما يعني سؤالهم فعلياً: "هل وجدت شيئاً جديداً هو في الواقع معطل؟"

وللتأكد من أن الذكاء الاصطناعي لا يقوم بمجرد التخمين، استخدم الباحثون نظام تسجيل "ثنائي المسار" ذكياً. تتبع المسار الأول ما إذا كان الذكاء الاصطناعي قد وجد الأخطاء التي يعرفونها بالفعل (الأخطاء المسجلة). أما المسار الآخر فكان أكثر دهاءً: إذا ادعى الذكاء الاصطناعي أنه وجد خطأً جديداً، فإن النظام يجبر الذكاء الاصطناعي على كتابة اختبار لإثبات ذلك. إذا لم يتمكن الذكاء الاصطناعي من إثبات وجود الخطأ عبر اختبار، فإن الاكتشاف لا يُحتسب. الأمر يشبه محققاً يدعي أنه وجد خزنة مخفية؛ فعليه أن يريك المفتاح ويفتحها ليثبت أنها حقيقية.

والنتائج؟ اتضح أن حتى أكثر وكلاء الذكاء الاصطناعي ذكاءً وتطوراً اليوم لا يزالون يعانون في أعمال التحقيق الاستباقية هذه. عندما اختبر الباحثون أفضل النماذج (مثل Claude Opus 4.8، وGPT-5.5، وغيرها)، وجدوا أن معظمها لم يستطع إصلاح سوى حوالي 20% من الأخطاء المعروفة عندما تُركت بدون دليل. وهذا انخفاض كبير مقارنة بما كانت عليه النتائج عندما يُمنحون تقرير مشكلة مفصلاً.

تشير الدراسة إلى أنه بينما يتحسن وكلاء الذكاء الاصطناعي في اتباع التعليمات، إلا أنهم لا يزالون سيئين جداً في النظر حول غرفة فوضوية واستنتاج ما هو معطل بمفردهم. فهم غالباً ما يضيعون في الكود، ولا يستطيعون تحديد مكان المشكلة بالضبط (وهي مهارة تسمى "التحديد الموضعي" أو Localization)، ويعانون من إصلاح مشاكل متعددة في آن واحد. ومن المثير للاهتمام أن الذكاء الاصطناعي كان أفضل قليلاً في العثور على أنواع معينة من الأخطاء، مثل تلك المتعلقة بالمنطق أو تدفق البيانات، ولكنه كان شبه جاهل تماماً عندما يتعلق الأمر بالأخطاء التي تشمل "حالة" (State) النظام (مثل تعطل إشارة المرور على لون معين).

ولعل الأهم من ذلك، أن الورقة البحثية توضح أن العثور على الخطأ ليس سوى نصف المعركة. تشير البيانات إلى أنه إذا لم يتمكن الذكاء الاصطناعي من تحديد الجزء المعطل من الكود بدقة، فإنه نادراً ما يصلحها بشكل صحيح. الأمر يشبه محاولة إصلاح أنبوب مسرب دون معرفة أي أنبوب هو الذي يسرب؛ قد ينتهي بك الأمر بشد الأنبوب الخطأ.

باختاً، لا تدعي هذه الورقة أن الذكاء الاصطناعي قد حل مشكلة إصلاح البرمجيات. بل إنها تطلق إنذاراً بأن الجيل الحالي من وكلاء البرمجة لا يزال يعتمد بشكل مفرط على البشر للإشارة إلى المشكلات. إن الحلم "الاستباقي" — حيث يقوم الذكاء الاصطناعي بمسح الكود وإصلاح المشكلات قبل أن تسبب انهياراً — لا يزال عملاً قيد الإنجاز. ويخلص الباحثون إلى أنه رغم قوة هؤلاء الوكلاء، إلا أنهم بحاجة لأن يصبحوا محققين مستقلين بشكل أفضل بكثير قبل أن نتمكن من الوثوق بهم للحفاظ على سلامة مدننا الرقمية دون شبكة أمان.