SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks
تقدم الورقة البحثية SlopCodeBench، وهو معيار مرجعي يوضح أن وكلاء البرمجة الحاليين يفشلون بشكل منهجي في المهام التكرارية طويلة الأمد من خلال إظهار تدهور مستمر في جودة الكود عبر زيادة الإطناب والتآكل الهيكلي، وهي مشكلة تفشل معايير معدل النجاح في رصدها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مهندساً معمارياً موهوباً وسريع الكلام لبناء منزل.
الطريقة القديمة (المعايير الحالية):
تعطي المهندس المعماري مخططاً لمنزل ريفي صغير. يقوم ببنائه بشكل مثالي. تمر أنت عبر المنزل، وتفحص الأبواب والنوافذ، وتقول: "عمل رائع! نسبة نجاح 100%!". ثم توظفه مرة أخرى لبناء منزل أكبر، فيفعل الشيء نفسه.
المشكلة: المعايير الحالية تتحقق فقط مما إذا كان المنزل قائماً في هذه اللحظة. لكنها لا تسأل: "إذا احتجنا لإضافة طابق ثانٍ العام المقبل، هل سينهار الأساس؟ هل ستكون الجدران مليئة باللاصق والشرائط اللاصقة لدرجة أننا لن نستطيع حفر ثقب دون أن ينهار الهيكل بأكمله؟"
الطريقة الجديدة (SlopCodeBench):
تقدم هذه الورقة اختباراً جديداً يسمى SlopCodeBench. بدلاً من بناء منزل من الصفر في كل مرة، يتعين على المهندس المعماري الاستمرار في إضافة غرف إلى نفس المنزل الذي بناه بالأمس، بناءً على طلبات جديدة ومتغيرة.
- الطلب: "حسناً، الآن أضف مطبخاً." (يقوم ببنائه).
- التحول الأول: "الآن، اجعل المطبخ يدعم فرناً حجرياً ثقيلاً، وأضف أيضاً باباً سرياً."
- التحول الثاني: "الآن، نحتاج لإضافة مكتبة، لكن الفرن الحجري يعترض الطريق، لذا عليك تحريكه."
مشكلة الـ "Slop" (الركام/الهراء البرمجي)
وجد الباحثون أنه بينما يستمر هؤلاء الوكلاء البرمجيون (AI Agents) في العمل على نفس المشروع، يبدأ الكود في التحول إلى "Slop".
فكر في الـ "Slop" كسطح مطبخ فوضوي حيث تستمر في تكديس المكونات دون تنظيفه.
- الإطناب (الزحام): يبدأ الوكلاء في كتابة الكثير جداً من الكود. بدلاً من قول "أضف الملح"، يكتبون مقالاً من 50 صفحة حول أهمية الملح، وكيفية العثور عليه، وثلاث طرق مختلفة لسكبه. الكود يعمل، لكنه ضخم وصعب القراءة.
- التآكل الهيكلي (التعفن): هذا هو الجزء المخيف. تخيل العمود الرئيسي للمنزل. في البداية، يكون عموداً فولاذياً نظيفاً وقوياً. ومع استمرار الوكيل في إضافة غرف جديدة، يبدأ في تثبيت أشياء جديدة مباشرة على ذلك العمود. هم لا يبنون دعامات جديدة؛ بل يضعون المزيد من الوزن فوق الدعامة القديمة فقط. في النهاية، يصبح هذا العمود الواحد هو ما يحمل السقف، والمطبخ، والمكتبة. إنه "دالة إلهية" (God Function) — قطعة واحدة من الكود ضخمة ومتشابكة لدرجة أنك إذا لمستها لإصلاح خطأ بسيط، قد يهتز المنزل بأكمله.
ما اكتشفوه
اختبر الفريق 11 نموذجاً مختلفاً من الذكاء الاصطناعي (مثل أكثر المساعدين البرمجيين ذكاءً المتاحين حالياً) على 20 مشروعاً برمجياً مختلفاً.
- لم يفز أحد: لم يتمكن أي ذكاء اصطناعي من إنهاء مشروع من البداية إلى النهاية دون أن يصبح الكود فوضوياً. أفضلهم حل حوالي 17% فقط من الخطوات النهائية بشكل صحيح.
- الـ "Slop" ينمو: كلما طالت المشاريع، أصبح الكود أكثر فوضوية.
- في 80% من الحالات، تعرض الكود لـ "التآكل" (الأعمدة المثقلة والفوضوية أصبحت أسوأ).
- في 90% من الحالات، أصبح الكود "مُطنباً" (كثرة الزحام والتعقيد).
- الذكاء الاصطناعي مقابل البشر: قارن الباحثون كود الذكاء الاصطناعي الفوضوي بالكود البشري الذي تتم صيانته فعلياً (مثل الكود خلف التطبيقات الشهيرة).
- الكود البشري يظل مستوياً ونظيفاً نسبياً بمرور الوقت.
- كود الذكاء الاصطناعي يزداد سوءاً مع كل تحديث. إنه يشبه بشراً ينظف غرفته كل أسبوع، بينما الذكاء الاصطناعي هو مراهق يستمر في رمي المزيد من الملابس على الأرض دون أن يلتقط أي شيء.
تجربة "المطالبة السحرية" (The Magic Prompt)
حاول الباحثون إصلاح ذلك عبر إعطاء الذكاء الاصطناعي مجموعة صارمة من القواعد في البداية، مثل: "كن موجزاً! لا تصنع دالة واحدة ضخمة! خطط قبل أن تكتب!"
- النتيجة: ساعد ذلك قليلاً في البداية. كانت الغرفة الأولى أكثر نظافة.
- الواقع: ولكن بمجرد أن بدأ الذكاء الاصطناعي في إضافة الغرفة الثانية والثالثة، نسي القواعد. بدأ التراكم الفوضوي مرة أخرى بنفس السرعة. "المطالبة السحرية" لم تستطع وقف التدهور؛ بل أخرت الأمر الحتمي فقط.
الخلاصة الكبرى
الاختبارات الحالية للمبرمجين الآليين تشبه اختبار قيادة حيث تقود في خط مستقيم لمدة 10 ثوانٍ فقط. الذكاء الاصطناعي ينجح لأنه لا يصطدم بشيء.
لكن تطوير البرمجيات الحقيقي يشبه القيادة عبر البلاد لمدة أسبوع. يجب عليك التنقل عبر الزحام، والطقس السيئ، والتحويلات. تظهر هذه الورقة أنه بينما يجيد الذكاء الاصطناعي القيادة في خط مستقيم، فإنه يضل الطريق، ويتحطم، ويترك وراءه أثراً من الحطام عندما يتعين عليه الاستمرار في القيادة والتكيف لفترة طويلة.
باخت-اختصار: يمكن للذكاء الاصطناعي كتابة كود يعمل اليوم، لكنه سيء جداً في كتابة كود يمكن تطويره غداً. يصبح الكود عبارة عن فوضى "ركمية" (Slop) يصعب إصلاحها، ويصعب قراءتها، ويصبح في النهاية مستحيلاً صيانتها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.