SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?
يقدم البحث SWE Refactor Bench، وهو معيار مرجعي صارم يضم ٢٠ عملية هجرة لمستودعات برمجية كاملة وبروتوكول تقييم ثلاثي المراحل للكشف عن القيود الحالية لوكلاء البرمجة، الذين حققوا نسبة نجاح تبلغ ٥.٤٪ فقط في إتمام عمليات هجرة المجموعات البرمجية المعقدة وطويلة الأمد بشكل مستقل دون الاعتماد على حيل سلوكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُشبه الأنظمة البرمجية الحديثة المدن القديمة، فهي طبقات من البناء الممتد لعقود. ومع مرور الوقت، تصبح المواد والأساليب الأصلية قديمة، أو مكلفة في الصيانة، أو ببساطة غير متوافقة مع الأدوات الجديدة. وعندما يقرر فريق ما إعادة بناء جزء من هذه المدينة — ربما عبر الانتقال من لغة بناء إلى أخرى، أو تغيير الأساس بأكمله — فإنهم يواجهون مهمة يدوية ضخمة. الهدف هو استبدال الهيكل القديم بآخر جديد مع ضمان أن المبنى سيظل يعمل تماماً كما كان يفعل من قبل. لسنوات، عكف الباحثون على تطوير وكلاء ذكاء اصطناعي قادرين على إصلاح الأخطاء الصغيرة في الكود، ليعملوا كفرق صيانة رقمية. وهنا طرأ سؤال طبيعي: إذا كان بإمكان هؤلاء الوكلاء إصلاح نافذة مكسورة، فهل يمكنهم أيضاً إعادة بناء ناطحة سحاب كاملة، واستبدال إطارها الفولاذي بمادة جديدة دون أن ينهار المبنى؟
بدا هذا السؤال مباشراً، لكن اختباره أثبت صعوبة مفاجئة. تعمل الاختبارات التقليدية لوكلاء الذكاء الاصطناعي هذه مثل امتحان بسيط بنظام "النجاح أو الرسوب": فهي تتحقق مما إذا كان البرنامج ينتج المخرجات الصحيحة بعد إجراء التغيير. إذا كانت المخرجات صحيحة، يحصل الوكيل على درجة كاملة. ومع ذلك، فإن هذه الطريقة تعاني من خلل قاتل عند تطبيقها على عمليات التحول الشامل للنظام. فإذا طُلب من الوكيل إعادة كتابة برنامج من الصفر ولكنه أعاد ببساطة الكود الأصلي دون تغيير، ستظل الاختبارات ناجحة لأن الكود الأصلي كان يعمل بالفعل. يرى الاختبار نتيجة صحيحة ويفترض أن العمل قد أُنجز، فيفشل في ملاحظة أن الوكيل لم يفعل شيئاً على الإطلاق. هذه النقطة العمياء تعني أنه يمكن منح درجة "مثالية" لوكيل لم يجرِ أي تغييرات على الإطلاق.
لحل هذه المشكلة، ابتكر باحثون من مختبر "نافرز" (Naver Lab) وجامعة "تسينغهوا" اختباراً جديداً أكثر صرامة يسمى "SWE Refactor Bench". لقد جمعوا عشرين مشروعاً برمجياً من الواقع، بما في ذلك بنى تحتية حيوية مثل قاعدة بيانات "SQLite" ومكتبة الضغط "zlib"، وكلفوا وكلاء الذكاء الاصطناعي بهجرتها بالكامل إلى تقنيات مختلفة. تضمنت هذه المهام أربعة أنواع متميزة من العمل الشاق: إعادة كتابة لغة البرمجة نفسها، أو استبدال أطر العمل البرمجية التي تنظم الكود، أو نقل البرمجيات إلى بيئة تشغيل مختلفة، أو تغيير الأدوات المستخدمة لبناء المنتج النهائي. وقد منح الباحثون الوكلاء ما بين ست إلى ثلاثين ساعة لإكمال كل مهمة، للعمل بشكل مستقل دون مساعدة بشرية.
صمم الباحثون عملية تقييم مكونة من ثلاث مراحل لضمان أن الوكلاء قاموا بالعمل فعلياً وبشكل صحيح. أولاً، أجرى تدقيق صارم للتحقق مما إذا كانت التكنولوجيا القديمة قد اختفت حقاً من الكود. فإذا كان الوكيل قد اكتفى بنسخ الملفات الأصلية أو إضافة غلاف رقيق حولها دون إعادة كتابة المنطق الجوهري، يتم رفض المحاولة فوراً. ثانياً، قام النظام بتشغيل أكثر من 130,000 فحص محدد لضمان أن البرمجيات تعمل تماماً كما كانت تعمل قبل التغيير. وأخيراً، عمل فريق من ستة وكلاء ذكاء اصطناعي مستقلين كمدققين، حيث قضى كل منهم ساعة واحدة للبحث عن أي اختلافات دقيقة قد تفلت من الاختبارات الآلية. وكان على هؤلاء المدققين تقديم نموذج عملي للفشل لإثبات أن عملية الهجرة لم تكن مثالية.
كانت النتائج صارخة. فمن بين 520 محاولة أجرتها ثمانية من أكثر نماذج الذكاء الاصطناعي تقدماً، نجحت 28 محاولة فقط، أي بنسبة 5.4 بالمائة، في اجتياز المراحل الثلاث. وفي الواقع، لم تكتمل أي من المهام العشرين بنجاح بواسطة أي نموذج. حقق أفضل النماذج أداءً، وهو "Claude Opus 5"، درجة 47 من 100. وكشفت حالات الفشل عن نمط واضح: القدرة على الحفاظ على عمل البرمجيات والقدرة على إجراء عملية الهجرة فعلياً هما مهارتان منفصلتان يعاني الوكلاء في الجمع بينهما. فقد حافظت ثلاثون محاولة على سلوك البرمجيات بشكل مثالي ولكنها فشلت لأن الوكلاء تخطوا عملية الهجرة، حيث أعادوا الكود الأصلي. وعلى العكس من ذلك، نجحت 252 محاولة في إعادة كتابة الكود ولكنها تسببت في كسر السلوك البرمجي أثناء العملية. وحتى بين المحاولات القليلة التي اجتازت الفحوصات الأولية، عانى الوكلاء للوصول إلى الكمال؛ فبينما اجتازت 58 بالمائة من عمليات إعادة الكتابة الناجحة 99 بالمائة من فحوصات السلوك، لم يجتز 26 بالمائة منها كل فحص على حدة.
تفاوتت الصعوبة بشكل كبير اعتماداً على نوع الهجرة. فقد نجح الوكلاء نسبياً في إعادة كتابة سلاسل أدوات البناء (build toolchains)، والتي تتضمن تغيير كيفية حزم البرمجيات، حيث سجلوا 31.4 من 100 في تلك المهام. ومع ذلك، كان أداؤهم سيئاً للغاية في إعادة كتابة اللغات، حيث يجب ترجمة المنطق الجوهري من لغة برمجة إلى أخرى، حيث سجلوا 5.6 فقط. وخلصت الدراسة إلى أن وكلاء الذكاء الاصطناعي الحاليين ليسوا موثوقين بما يكفي بعد للقيام بعمليات هجرة المستودعات الكاملة والمستقلة. وبينما يمكنهم التعامل مع الإصلاحات الموضعية، فإن المهمة المعقدة المتمثلة في إعادة بناء نظام من الصفر مع الحفاظ على سلوكه الدقيق تظل تحدياً كبيراً. ويؤكد هذا البحث أنه لكي يكون هؤلاء الوكلاء مفيدين حقاً في صيانة الأنظمة، يجب عليهم تعلم القيام بكل من العمل الشاق لإعادة الكتابة ودقة الحفاظ على الوظيفة، وهو المزيج الذي لم يتقنوه بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.