Evaluating Agentic Optimization on Large Codebases
تقدم الورقة البحثية FormulaCode، وهو معيار مرجعي يضم 957 من اختناقات الأداء في العالم الحقيقي مع تصحيحات خبيرة وأعباء عمل مجتمعية، لتقييم قدرات التحسين الشاملة ومتعددة الأهداف لوكلاء النماذج اللغوية الكبيرة على قواعد الأكواد البرمجية الضخمة، مما يكشف أن هذا لا يزال يمثل تحديًا كبيرًا للنماذج الرائدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مدينة ضخمة ومزدحمة تسمى Code City (مدينة الكود). هذه المدينة مبنية من ملايين الأسطر البرمجية، حيث تتولى أحياء مختلفة (مثل مكتبات Pandas وSciPy وScikit-learn) كل شيء بدءاً من التحكم في حركة المرور وصولاً إلى شبكات الطاقة.
لفترة طويلة، كان مساعدو البرمجة بالذكاء الاصطناعي يشبهون الميكانيكيين المبتدئين. كانوا بارعين في إصلاح مصباح واحد مكسور في منزل واحد أو استبدال قطعة محرك محددة. ولكن الآن، نريد من هؤلاء المساعدين أن يعملوا كـ مخططي مدن. نريد منهم أن ينظروا إلى المدينة بأكملها، ويكتشفوا سبب ازدحام المرور في الشارع الرئيسي، ثم يعيدوا تصميم التقاطع بالكامل لجعل كل شيء يتدفق بشكل أسرع، دون التسبب في انقطاع التيار الكهربائي في شبكة الطاقة المجاورة.
تقدم هذه الورقة البحثية FORMULACODE، وهو "أرض تدريب" و"امتحان" جديد مصمم لاختبار ما إذا كان "مخططو المدن" من الذكاء الاصطناعي مستعدين لهذه الوظيفة.
المشكلة: فخ "المهمة الواحدة"
في السابق، كنا نختبر مساعدي البرمجة بالذكاء الاصطناعي بألغاز بسيستة ومصطنعة. كان الأمر يشبه سؤال ميكانيكي: "هل يمكنك شد هذا البرغي الواحد؟" وكان بإمكانه الإجابة بـ "نعم!" واجتياز الاختبار.
لكن في العالم الحقيقي، يكون إصلاح مشكلة الأداء أمراً معقداً وفوضوياً. إذا قمت بتسريع إشارات المرور، فقد تؤدي بالخطأ إلى إبطاء شاحنات القمامة. إذا قمت بتحسين شبكة الطاقة، فقد تعطل نظام المياه. يتطلب التحسين في العالم الحقيقي موازنة أهداف متعددة في وقت واحد (تحسين متعدد الأهداف) مع التأكد من أن المدينة لن تشتعل فيها النيران (الصحة والعمل الصحيح).
الحل: FormulaCode (نسخة "فورمولا 1" من الكود)
ابتكر المؤلفون FORMULACODE، تيمناً بسباقات فورمولا 1 (Formula 1).
- التشبيه: في سباقات الفورمولا 1، أنت لا تقوم بضبط المحرك فحسب؛ بل تقوم بضبط الديناميكا الهوائية، والإطارات، وتوزيع الوزن، واستراتيجية الوقود جميعها في وقت واحد للحصول على أسرع زمن لفة.
- المعيار المرجعي: يحتوي FORMULACODE على 957 مشكلة أداء حقيقية تم استخراجها من مشاريع مفتوحة المصدر شهيرة (مثل تلك التي تشغل علوم البيانات والحوسبة الكمومية).
- اللمسة المميزة: لكل مشكلة، لا يوجد اختبار واحد فقط. هناك 264 "عبء عمل" مختلف (مثل سيناريوهات مرورية مختلفة: ساعة الذروة، موكب، عاصفة). يجب على الذكاء الاصطناński إصلاح الكود ليعمل بشكل أسرع في جميع هذه السيناريوهات، وليس في سيناريو واحد فقط.
كيف يعمل الامتحان
- الأساس (الخط المرجعي): يُعطى الذكاء الاصطناعي لقطة من الكود كما هو موجود اليوم (المدينة "المعطلة").
- الهدف: يجب على الذكاء الاصطناني إعادة كتابة الكود لجعله أسرع.
- فحص السلامة: يجب أن يجتاز الذكاء الاصطناعي جميع اختبارات السلامة الموجودة (يجب أن تظل المدينة تعمل).
- بطاقة النتائج: يتم مقارنة الذكاء الاصطناعي بـ خبراء بشريين. هل قام الذكاء الاصطناعي بعمل أفضل من الإنسان؟ هل كان أسوأ؟ هل تسبب في كسر شيء ما؟
ماذا وجدوا (النتائج)
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5 وClaude 4 وGemini) باستخدام هذا الامتحان الجديد. وإليك ما حدث:
الذكاء الاصطناعي هو "مصلح محلي"، وليس "مخططاً عالمياً":
الذكاء الاصطناعي بارع في إصلاح المشكلات الصغيرة والمعزولة (مثل شد برغي واحد). لكن عندما يحاولون تحسين المدينة بأكملها، فإنهم غالباً ما يضيعون. قد يقومون بتسريع جزء واحد من الكود ولكنهم قد يبطئون جزءاً آخر عن طريق الخطأ، مما يؤدي إلى خسارة صافية.- التشبيه: قد يبني الذكاء الاصطناعي طريقاً سريعاً فائق السرعة، ثم يدرك أنه نسي بناء مخرج للطريق، مما يسبب ازدحاماً مرورياً هائلاً.
البشر لا يزالون يتفوقون:
في المتوسط، كان أداء وكلاء الذكاء الاصطناński أسوأ من الخبراء البشر. البشر أفضل في رؤية "الصورة الكبيرة" وفهم كيفية تفاعل الأجزاء المختلفة من النظام.تحيز "الشعبية":
أدى الذكاء الاصطناعي أداءً جيداً بشكل مفاجئ في المشاريع متوسطة الشعبية، لكنه واجه صعوبة في المشاريع غير المعروفة جداً (لأنه لم يرَ كوداً مشابهاً كافياً في تدريبه) والمشاريع الشهيرة جداً (لأن تلك المشاريع كانت بالفعل محسنة للغاية بحيث لا يوجد مجال للتحسين).تكلفة التفكير:
كانت النماذج الأكثر قوة هي الأكثر تكلفة في التشغيل. ومن المثير للاهتمام أن النماذج "الأرخص" استغرقت وقتاً أطول في التفكير وارتكبت أخطاء أكثر، مما جعلها أقل فعالية من حيث التكلفة بشكل عام.
لماذا يهم هذا الأمر
هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تخبرنا أنه بينما أصبح الذكاء الاصطناعي بارعاً للغاية في كتابة كود جديد، فإنه لا يزال يواجه صعوبة في تحسين الأنظمة المعقدة الموجودة.
- للباحثين: إنها توفر لهم هدفاً واضحاً. لا يمكننا فقط جعل الذكاء الاصطناعي أكثر ذكاءً في كتابة الكود؛ بل نحتاج إلى تعليمه كيف يفكر كمعماريي أنظمة يفهمون المقايضات.
- للمستقبل: FORMULACODE هو معيار مرجعي "حي". يتم تحديثه كل شهر بمشكلات جديدة، مما يضمن أنه مع تطور الذكاء الاصطناعي، يصبح الاختبار أصعب. إنه يشبه لعبة فيديو ترتقي بمستواها تلقائياً حتى لا يشعر اللاعب بالملل.
الخلاصة
FORMULACODE هو أول اختبار صارم لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي العمل حقاً كمهندس مستقل للأنظمة البرمجية الكبيرة. الحكم هو: الذكاء الاصطناعي هو متدرب موهوب، لكنه ليس مستعداً بعد لاستبدال المعماري الخبير. إنه يحتاج إلى مزيد من التدريب على كيفية موازنة السرعة، والسلامة، والتعقيد عبر نظام كامل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.