Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

تخيل أنك تشاهد عرضاً سحرياً حيث يحاول مساعد آلي (روبوت) إصلاح لعبة مكسورة. ترى الروبوت يلتقط مفكاً، ويدير برغياً، فتبدأ اللعبة بالعمل فجأة. يبدو للناظر أن الروبوت عبقري، ولكن ماذا لو كان الروبوت في الواقع مجرد يخمّن، وأن اللعبة بدأت تعمل فقط لأن زُنبركاً مخفياً بداخلها عاد إلى مكانه بمحض الصدفة؟ أو ماذا لو كان الروبوت ينظر إلى صورة للعبة من العام الماضي، وليس للعبة المكسورة الموجودة أمامه الآن؟ في عالم علوم الحاسوب، وتحديداً في مجال الذكاء الاصطناوي وهندسة البرمجيات، نحن نبني هؤلاء "المساعدين الآليين" (يُطلق عليهم وكلاء البرمجة) الذين يكتبون الأكواد البرمجية ويصلحونها. لفترة طويلة، اعتقد الناس أن "عقل" الروبوت — أي نموذج الذكاء الاصطناعي — هو الشيء الوحيد المهم؛ فإذا كان العقل ذكياً، سيكون الروبوت موثوقاً. لكن هذه الورقة البحثية تجادل بأن العقل ليس سوى جزء من آلة أكبر بكثير. السحر الحقيقي (أو الكارثة الحقيقية) يحدث في النظام المحيط بالعقل: الأدوات التي يستخدمها، والذاكرة التي يحتفظ بها، وضوابك السلامة التي يجتازها، والبشر الذين يراقبونه. إذا كان النظام فوضوياً، فسيفشل حتى أذكى عقل، وإذا كان النظام متيناً، يمكن لعقل أبسط أن يفعل أشياء مذهلة.

هذه الورقة، التي كتبتها ستيفاني جارماك، تشبه دليل إصلاح ضخم ودليل محقق لبناء أنظمة البرمجة بالذكاء الاصطناعي هذه. أجرت المؤلفة مراجعة منظمة في يوليو وأغسطس 2026، حيث حللت مئات الدراسات، وسجلات هندسية من العالم الحقيقي، وتجاربها الخاصة لتكتشف لماذا تفشل وكلاء البرمجة بالذكاء الاصطناعي أحياناً، حتى عندما تبدو رائعة على الورق. النتيجة الرئيسية هي بمثابة صرخة تنبيه: لا يمكنك الحكم على وكيل برمجة يعمل بالذكاء الاصطناعي بمجرد النظر إلى درجته النهائية أو "عقله". بدلاً من ذلك، يجب عليك النظر إلى "الحزام" الكامل المحيط به. تقدم الورقة مفهوماً يسمى "سلسلة اعتماد الموثوقية". فكر في الأمر كأنه صف من قطع الدومينو؛ إذا كانت القطعة الأولى (الطريقة التي تقيس بها النجاح) مهتزة، فإن القطعة الثانية (نظام الدرجات) ستسقط، مما يؤدي إلى إسقاط الثالثة (خطة الاستعادة)، وهكذا. إذا كانت أي حلقة في هذه السلسلة ضعيفة، يصبح النظام بأكمله غير موثوق، بغض النظر عن مدى ذكاء الذكاء الاصطناوي.

تجادل الورقة ضد الفكرة القائلة بأننا يمكننا ببساطة جعل نماذج الذكاء الاصطناعي أكبر وأذكى لحل جميع المشكلات. وتقترح أن العديد من "الإخفاقات" ليست خطأ الذكاء الاصطناعي في الواقع؛ بل هي ناتجة عن النظام المحيط به. على سبيل المثال، إذا أُعطي الذكاء الاصطناعي مهمة ولكن النظام لم يعطه الملفات الصحيحة لقراءتها، فسيفشل الذكاء الاصطناعي. هل هذا خطأ الذكاء الاصطناعي؟ لا، إنه خطأ النظام. كما تحذر الورقة من "التلاعب" بالنظام. إذا اختبرت ذكاءً اصطناعياً على مجموعة من الألغاز التي رآها من قبل، فقد يحصل على درجة مثالية، لكن هذا لا يعني أنه يستطيع حل ألغاز جديدة. توضح المؤلفة أن العديد من الدرجات العلنية مبالغ فيها لأن الذكاء الاصطناعي قد "حفظ" الإجابات أو لأن الاختبارات لم تكن صارمة بما يكفي.

ولإصلاح ذلك، تقترح الورقة طريقة جديدة لبناء واختبار هؤلاء الوكلاء. الأمر لا يتعلق بإيجاد نموذج ذكاء اصطناعي "مثالي"؛ بل يتعلق ببناء مصنع قوي. تخيل مصنعاً يقوم فيه روبوت ببناء سيارة؛ إذا أسقط الروبوت قطعة ما، فلا ينبغي للمصنع أن يتظاهر بأن ذلك لم يحدث، بل يجب أن يمتلك نظاماً لرصد السقوط، وتسجيله، والمحاولة مرة أخرى دون كسر السيارة. تقدم الورقة قائمة مرجعية مكونة من 206 "سجلات موثوقية" — وهي أساساً قواعد وأدوات للتأكد من أن النظام آمن. وتشمل هذه الأشياء:

• تشغيل الاختبارات عدة مرات: تماماً كما أن رمي العملة لمرة واحدة لا يخبرك ما إذا كانت عادلة أم لا، فإن تشغيل الذكاء الاصطناعي لمرة واحدة لا يخبرك ما إذا كان موثوقاً. يجب عليك تشغيله مرات عديدة لترى ما إذا كان ثابتاً.
• فحص الأدوات: التأكد من أن الذكاء الاصطناعي لا يستخدم أدوات لا ينبغي له استخدامها، أو أن الأدوات التي يستخدمها تعمل بالفعل.
• الإشراف البشري: وجود إنسان يتحقق من العمل، ولكن في اللحظات المناسبة فقط، حتى لا يشعر الإنسان بالإرهاق.
• الاستعادة الآمنة: إذا تعطل الذكاء الاصطناعي أو ارتكب خطأً، يجب أن يكون النظام قادراً على إعادة التشغيل دون فقدان التقدم أو التسبب في مزيد من الضرر.

المؤلفة حريصة جداً في عدم القول بأنها "حلت" كل شيء. فهي تعترف بأن بعض أفكارها تستند إلى أدلة قوية من التجارب، بينما تستند أفكار أخرى إلى التفكير المنطقي حول كيفية عمل الأنظمة لتجنب الكوارث. هي لا تدعي أن قواعدها ستعمل مع كل ذكاء اصطناعي في العالم، لكنها توفر إطاراً صلباً للمهندسين لاختبار أنظمتهم الخاصة. وهي تؤكد أنه إذا كنت تريد الوثوق بذكاء اصطناعي لكتابة كود لبنك أو مستشفى، فلا يمكنك الاكتفاء بالنظر إلى درجات اختباراته؛ بل يجب عليك النظر إلى الآلة بأكملها، وفحص قطع الدومينو، والتأكد من أن النظام مبني للتعامل مع الأخطاء بأمان.

باختصار، تخبرنا هذه الورقة أن بناء مبرمج ذكاء اصطناعي موثوق يتعلق بالأمر أقل بكونه بحثاً عن روبوت عبقري، وأكثر بكونه بناء مصنع موثوق للغاية يحيط به. إنها دليل للمهندسين للتوقف عن التخمين والبدء في القياس، لضمان أنه عندما يقول الذكاء الاصطناعي "لقد أصلحتها"، فإنه يقصد حقاً "لقد أصلحتها، ويمكنني إثبات ذلك". وتخلص الورقة إلى أن مستقبل البرمجة بالذكاء الاصطناعي لا يتعلق فقط بعقول أذكى، بل بأنظمة أذكى وأكثر أماناً وأكثر صدقاً تحيط بها.