The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

اليد الخفية وراء المبرمج الآلي

تخيل أنك تشاهد مسابقة للطهي. ترى طباخين بارعين، الشيف (أ) والشيف (ب)، كلاهما يحاول خبز كعكة شوكولاتة مثالية. عادة ما يكتفي الحكام بالنظر إلى الكعكة النهائية ويقولون: "الشيف (أ) صنع كعكة أفضل!". ولكن ماذا لو نسي الحكام ذكر أن الشيف (أ) كان يستخدم مطبخاً تقنياً متطوراً يقوم بتقطيع كل المكونات مسبقاً وتسخين الفرن إلى الثانية بدقة، بينما كان الشيف (ب) يعمل في كوخ مغبر باستخدام سكين صدئة وموقد معطل؟ النتيجة لا تتعلق فقط بموهبة الطهاة؛ بل تتعلق بالمطبخ الذي أُعطوا إياه.

في عالم الذكاء الاصطناعي، وتحديداً "وكلاء البرمجة" (برامج الذكاء الاصطناعي التي تكتب البرمجيات)، كنا نفعل ذلك بالضبط. لقد كنا نصنف نماذج الذكاء الاصطناعي بناءً على عدد المشكلات البرمجية التي تحلها، بينما نتجاهل "المطبخ" الذي تعمل فيه. هذا المطبخ يسمى "الحامل" (Harness). فكر في "الحامل" كأنه مساعد غير مرئي يسلم للذكاء الاصطناعي أدواته، ويدير ذاكرته، ويقرر متى يتوقف عن العمل. بعض هذه الحوامل تشبه خادماً آلياً فائق الكفاءة ينظم كل شيء ببراعة؛ والبعض الآخر يشبه متدرباً فوضوياً يستمر في طرح نفس السؤال مراراً وتكراراً، مما يهدر الوقت والطاقة. السؤال الكبير الذي يطرحه الباحثون هو: هل عقل الذكاء الاصطناعي هو الأهم، أم جودة مساعده هي الأهم؟

تجربة "المطبخ" الكبرى

قرر فريق من الباحثين التوقف عن التخمين والبدء في القياس. أقاموا تجربة ضخمة لمعرفة ما يحدث عندما تقوم بتبديل "المطبخ" (الحامل) مع إبقاء "الطباخ" (نموذج الذكاء الاصطناعي) كما هو تماماً. اختاروا نموذجين ذكيين جداً من نماذج الذكاء الاصطناعي للبرمجة، وهما Qwen 3.6 Plus و MiniMax M2.5، وطلبوا منهما حل 50 لغزاً برمجياً مختلفاً. ولكن هنا تكمن المفاجأة: لقد قاموا بتشغيل هذين النموذجين عبر ثلاثة حوامل مفتوحة المصدر مختلفة، تسمى Goose و OpenCode و OpenHands-SDK.

كانت النتائج صادمة، لقول الحق.

عندما نظر الباحثون في عدد الألغاز التي حلها الذكاء الاصطناعي (معدل النجاح)، كان الفرق بين الحوامل ضئيلاً. سواء كان الذكاء الاصطناعي يستخدم Goose أو OpenCode أو OpenHands-SDK، فقد حل تقريباً نفس عدد المشكلات — عادة ما بين 38% و 50%. لم يجعل تغيير الحامل الذكاء الاصطناعي عبقرياً أو فاشلاً فجأة؛ فقد ظل معدل النجاح مستقراً في الغالب.

ومع ذلك، عندما نظروا إلى التكلفة لحل تلك المشكلات، تغيرت القصة تماماً. قاس الباحثون ذلك بـ "الرموز" (Tokens)، وهي أساساً وحدات البيانات التي يعالجها الذكاء الاصطناعي (مثل الكلمات أو قطع الكود). ووجدوا أن اختيار الحامل غير التكلفة بشكل مذهل بمقدار 40 ضعفاً.

لتضع ذلك في الاعتبار: إذا ساعد حامل Goose الذكاء الاصطناعي على حل لغز باستخدام حوالي 28,000 رمز، فإن حامل OpenCode جعل نفس الذكاء الاصطناعي يستخدم أكثر من 1.1 مليون رمز لحل نفس اللغز. هذا فرق قدره 40 ضعفاً في التكلفة لنفس النتيجة! إنه يشبه طباخاً يستخدم بيضة واحدة لخبز كعكة، بينما يستخدم الطباخ الآخر 40 بيضة لنفس الكعكة تماماً، ببساطة لأن أدوات مطبخه كانت غير فعالة.

ضريبة "الدور الخامل"

لماذا ارتفعت التكلفة بهذا القدر؟ اكتشف الباحثون مسبباً خفياً: الأدوار الخاملة (Idle turns).

تخيل أنك تتحدث مع صديق يحاول إصلاح حاسوبك. أحياناً، يجلس هناك يفكر: "هممم، دعني أتحقق من هذا..." دون أن يكتب أي شيء فعلياً أو يغير أي شيء على الشاشة. في عالم الذكاء الاصطناعي، تسمى هذه "أدوار عدم اتخاذ إجراء". جعل حامل OpenCode الذكاء الاصطناعي يجلس في حلقات التفكير هذه حوالي مرتين لكل مهمة، بينما فعل حامل Goose ذلك حوالي 0.2 مرة فقط.

في كل مرة يجلس فيها الذكاء الاصطني خلال إحدى هذه الحلقات، يتعين عليه إرسال تاريخ محادثته الكامل مرة أخرى إلى الخادم للحفاظ على تتبع مكانه. هذا يشبه إرسال مذكرات مكونة من 100 صفحة في كل مرة تتوقف فيها لتفكر. ولأن OpenCode جعل الذكاء الاصطناعي يتوقف ويفكر كثيراً، فقد استهلك الرموز بمعدل هائل. يطلق الباحثون على هذا اسم "ضريبة الانتظار لكل مهمة". إنها ليست مجرد تكلفة مالية؛ بل هي تكلفة زمنية أيضاً. فالمطور البشري الذي يراقب الذكاء الاصطناعي يضطر للانتظار خلال حلقات الخمول هذه، وهو يحدق في شاشة لا تفعل شيئاً، بينما تحرق المال والصبر فحسب.

"بصمة" الفشل

وجدت الدراسة أيضاً أن لكل حامل طريقة فريدة للفشل، مثل البصمة. هذه الأنماط لم تتغير بناءً على نموذج الذكاء الاصطناعي المستخدم؛ بل كانت ناتجة عن الحامل نفسه.

• Goose كان الحذر. عندما يعلق، فإنه يتوقف ويقول: "لا أستطيع فعل هذا"، بدلاً من التخمين. نادراً ما يضيع الوقت في محاولة التحقق من فكرة خاطئة.
• OpenHands-SDK كان المثابر. كان يستمر في محاولة التحقق من إجاباته أو الاستمرار في العمل حتى يصطدم بحد صلب على عدد المرات التي يمكنه المحاولة فيها ("حد الدورات القصوى").
• OpenCode كان الذي يعلق في الحلقات. كان ينفد وقته (حد "وقت الجدار") أو يعلق في حالة "التعليق" (Hang)، حيث يدور حول نفسه دون أن ينتهي أبمة.

هذا يعني أنه إذا كنت مطوراً، فأنت لا تختار ذكاءً اصطناعياً فحسب؛ بل تختار أسلوباً للفشل. هل تريد ذكاءً اصطناعياً يستسلم بسرعة وبصدق، أم واحداً يستمر في الدوران حول نفسه حتى تنفد طاقة صبرك؟

الخلاصة الكبرى

الدرس الرئيسي من هذه الورقة البحثية هو أننا كنا ننظر إلى اختبارات معايير البرمجة بالذكاء الاصطناعي بشكل خاطئ. لقد كنا نصنف النماذج مثل Qwen أو MiniMax كما لو كانت هي الشيء الوحيد المهم. لكن هذه الدراسة تظهر أن الحامل (المطبخ) لا يقل أهمية عن النموذج (الطباخ).

إذا كنت تريد معرفة كم سيكلفك الذكاء الاصطناعي فعلياً أو كم سيستغرق من الوقت لإنهاء مهمة، فلا يمكنك فقط النظر إلى اسم النموذج. يجب عليك النظر إلى الزوج: النموذج والحامل الذي يعمل فيه. يمكن لنموذج ذكي في حامل سيء أن يكون أغلى بـ 40 مرة من نموذج ذكي في حامل جيد.

يقترح الباحثون أنه في المستقبل، لا ينبغي لنا فقط الإبلاغ عن "معدل النجاح" (Pass Rate). نحن بحاجة إلى الإبلاغ عن التكلفة لكل مهمة محلولة، وعدد الأدوار الخاملة، وأنماط الفشل. لأنه بالنسبة لمطور بشري حقيقي، فإن الفرق بين معدل نجاح 50% يكلف دولاراً واحداً، ومعدل نجاح 50% يكلف 40 دولاراً، هو الفرق بين أداة مفيدة وبين ثقب لاستنزاف الأموال. "تأثير السقالات" (Scaffold Effect) حقيقي، وقد حان الوقت لنتوقف عن تجاهل اليد الخفية التي توجه الروبوت.