Do Context Files Help Coding Agents? A Two-Agent Ablation Study on Real Repositories

أمين المكتبة الرقمي مقابل البنّاء الماهر

تخيل أنك تحاول تعليم مساعد آلي (روبوت) ذكي للغاية، ولكنه جديد تماماً، كيف يصلح آلة معقدة في ورشة عمل ضخمة وفوضوية. لديك طريقتان رئيسيتان لمساعدته. أولاً، يمكنك إعطاؤه خريطة مفصلة لورشة العمل، وقائمة بالقواعد حول كيفية استخدام الأدوات، ودليلاً حول كيفية سلوك الآلة عادةً. في عالم برمجة الكمبيوتر، يُسمى هذا "ملف السياق" (الذي غالباً ما يُسمى AGENTS.md أو CLAUDE.md). إنه يشبه ملاحظة لاصقة تركتها على مكتب الروبوت تقول: "تذكر، نحن نستخدم دائماً البراغي الحمراء هنا!".

ثانياً، يمكنك ببساطة ترك الروبوت يتجول في ورشة العمل ويكتشف الأمور بنفسه من خلال النظر إلى الآلة نفسها.

لفترة طويلة، كان الناس الذين يبنون مساعدي البرمجة بالذكاء الاصطناعي مهووسين بالخيار الأول. يقضون ساعات في كتابة كتيبات التعليمات هذه، مؤمنين بأنه إذا عرف الروبوت القواعد بشكل أفضل، فسيقوم ببناء كود برمجي أفضل. ولكن إليك السؤال الكبير: هل قراءة الدليل تجعل الروبوت بَنّاءً أفضل، أم أنها تجعله فقط يشعر بمزيد من الثقة بينما يرتكب نفس الأخطاء؟ هذا هو اللغز الذي سعى بحث جديد لحله، حيث اختبر ما إذا كانت كتيبات التعليمات الرقمية هذه هي المفاتيح السحرية لبرمجة أفضل بالذكاء الاصطناعي أم أنها مجرد أوراق إضافية لا داعي لها.

اختبار الكتيب العظيم

في هذه الدراسة، تصرف الباحثون كمعلمين صارمين للعلوم. أخذوا اثنين من أذكى وكلاء البرمجة بالذكاء الاصطناعي المتاحين اليوم — أحدهما من شركة تسمى Anthropic (اسمه Claude) والآخر من OpenAI (اسمه Codex) — وأعطوهما سلسلة من تحديات البرمجة الواقعية. لم تكن هذه مسائل واجب منزلي وهمية؛ بل كانت مهاماً حقيقية مأخوذة من مشاريع برمجية فعلية، مثل إصلاح أخطاء في مجموعة أدوات سحابية أو تعديل مترجم لغة (compiler).

ولمعرفة ما إذا كان "الكتيب" قد ساعد، قاموا بتشغيل المهمة نفسها ثلاث مرات لكل روبوت:

1. تشغيل "بدون ملاحظات": حصل الروبوت على المهمة ولكن دون كتيب.
2. تشغيل "دائم التشغيل": تم حشر الكتيب الكامل في دماغ الروبوت في كل خطوة من الخطوات.
3. تشغيل "عند الطلب": كان لدى الروبوت مكتبة من الملاحظات الأصغر والمنظمة التي يمكنه اختيار قراءتها إذا تعثر.

لقد أجروا هذه التجربة 288 مرة في المجمل، وفحصوا الكود النهائي مقابل "معيار ذهبي" مخفي لمعرفة ما إذا كان يعمل بالفعل.

المفاجأة الكبرى: الكتيبات لا تصلح البناء السيئ

كانت النتائج صادمة قليلاً للأشخاص الذين يكتبون هذه الكتيبات. وجدت الدراسة أن وجود ملف السياق لم يحدث أي فرق تقريباً في نجاح الذكاء الاصطناعي في إنجاز المهمة.

سواء كان لدى الروبوت الكتيب، أو المكتبة، أو لا شيء على الإطلاق، ظل معدل النجاح ثابتاً تقريباً. بالنسبة لروبوت Claude، لم يغير الكتيب النتيجة بأكثر من 10 نقاط مئوية. وبالنسبة لروبوت Codex، لم يغيرها بأكثر من 15 نقطة مئوية. في عالم العلوم، نسمي هذا "نتيجة صفرية" (null result) — وهذا يعني أن الشيء الذي اعتقدنا أنه قد يكون مهماً، ليس كذلك.

تعمق الباحثون أكثر لمعرفة لماذا لم تساعد الكتيبات. نظروا في المرات التي كاد فيها الروبوت أن يصل إلى الإجابة الصحيحة ولكنه فشل. ووجدوا أن الروبوتات لم تفشل بسبب نقص معلومة من الكتيب (مثل "لا تستخدم البراغي الحمراء"). بل فشلت لأنها افتقرت إلى مهارات البناء.

فكر في الأمر بهذه الطريقة: إذا أعطيت مهندساً معمارياً عبقرياً مخططاً مثالياً لمنزل، لكنه لا يعرف كيف يضع طوبة أو كيف يمد سلك مفتاح كهربائي، فإن المخطط لن ينقذه. كانت وكلاء الذكاء الاصطناعي في الدراسة بارعين في القراءة، لكنهم تعثروا في عملية التنفيذ الفعلية. لقد واجهوا صعوبة في تصميم الميزات، واختيار الأنماط المناسبة، وربط القطع ببعضها البعض بشكل صحيح. لم يستطع الكتيب تعليمهم كيفية البناء؛ كان بإمكانه فقط إخبارهم كيف يبدو المبنى.

التواء "المقاس الواحد لا يناسب الجميع"

كان هناك اكتشاف آخر رائع. لاحظ الباحثون أن المهمة التي كانت سهلة جداً لروبوت واحد يمكن أن تكون صعبة للغاية للآخر، والعكس صحيح. إنه يشبه كيف يكون بعض الناس بارعين في حل المسائل الرياضية لكنهم سيئون جداً في ألعاب التوازن (juggling)، بينما صديقهم هو العكس تماماً.

بسبب هذا، تشير الدراسة إلى أن الأبحاث السابقة ربما تعرضت للارتباك. إذا اختبر عالم ما الكتيبات على روبوت وجد المهام سهلة، وآخر اختبرها على روبوت وجد المهام صعبة، فسيحصلون على نتائج مختلفة. "النقطة المثالية" حيث قد يساعد الكتيب فعلياً تبدو مختلفة لكل عقل ذكاء اصطناعي.

هل فعلت الكتيبات أي شيء على الإطلاق؟

إذاً، هل كانت الكتيبات عديمة الفائدة تماماً؟ ليس تماماً، لكن الفوائد كانت محددة وصغيرة جداً.

• السرعة والتكلفة: في مشروع واحد محدد، عندما كان لدى الروبوت الكتيب، توقف عن إجراء اختبارات غير ضرورية وبطيئة. كان الأمر كما لو أن الروبوت قرأ لافتة تقول "هذا الاختبار يستغرق 20 دقيقة" فقرر تخطيه. وفر هذا الوقت، لكنه لم يجعل الكود أفضل.
• اختبار "الاقتراب من الهدف": جرب الباحثون تجربة خاصة حيث أخذوا المهام التي كاد الروبوت أن يحلها وأعطوها الكتيب عالي الجودة ليروا ما إذا كان سيدفعهم لتجاوز تلك العقبة. لم يحدث ذلك. حتى مع أفضل التعليمات، لم تستطع الروبوتات تحويل "الاقتراب من النجاح" إلى "نجاح حقيقي".

الخلاصة

تخلص الدراسة إلى أنه بالنسبة لوكلاء برمجة الذكاء الاصطناعي التي اختبرتها، فإن قضاء ساعات في كتابة كتيبات تعليمات مثالية (AGENTS.md) لن يجعلهم يكتبون كوداً برمجياً أفضل على الأرجح. المشكلة ليست في أن الروبوتات لا تعرف القواعد؛ بل في أنها بحاجة إلى أن تصبح أفضل في الحرفة الفعلية للبناء.

بينما قد تساعد هذه الكتيبات الروبوتات على العمل بشكل أسرع قليلاً أو توفير قدر ضئيل من المال عن طريق تجنب العادات السيئة، إلا أنها ليست العصا السحرية التي تصلح الكود المكسور. إذا كنت تريد من مساعد الذكاء الاصطناعي الخاص بك أن يكون بَنّاءً أفضل، تشير الدراسة إلى أنك قد تحصل على نتائج أفضل من خلال تقسيم المهام إلى خطوات أصغر أو إعطائه أمثلة أفضل حول كيفية البناء، بدلاً من مجرد إعطائه المزيد من القواعد ليقرأها.