Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
تُظهر هذه الدراسة المرجعية المسجلة مسبقاً أن صياغة الأوامر وتصميم الهيكل التجريبي يرفعان بشكل كبير تكاليف الاستنتاج لوكلاء البرمجة الكبار — غالباً بمعدل يتراوح بين 2.4 إلى 30 ضعفاً — دون تحسين النجاح في المهام، مع كون تعليمات محددة مثل "طوّر مقاربات متعددة" وهياكل تجريبية معينة هي المحركات الأساسية لهذا عدم الكفاءة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعد روبوت فائق الذكاء لإصلاح محمصة خبز معطلة. أنت لا تريد من الروبوت أن يصلحها فحسب؛ بل تريد منه أن "يفكر" في كيفية إصلاحها أولاً. في عالم الذكاء الاصطناعي، تُسمى خطوات "التفكير" هذه "رموز الاستدلال" (reasoning tokens). تماماً كما قد يدون إنسان ملاحظات، أو يشطب أفكاراً، أو يجرب أفكاراً مختلفة قبل حل لغز ما، فإن نماذج الذكاء الاصطناعي هذه تقضي وقتاً ومالاً في "المداولة" قبل أن تعطيك الإجابة.
لكن هنا تكمن المشكلة: أنت تدفع مقابل كل فكرة تخطر ببال الروبوت، حتى تلك التي يتخلص منها. إذا طلبت من الروبوت أن "يفكر بعمق شديد" أو "يجرب خمس طرق مختلفة"، فقد يفعل ذلك بالضبط، مستهلكاً ميزانيتك دون أن يصل إلى نتيجة أفضل مما لو كنت قد طلبت منه فقط "إصلاح المحمصة". يستكشف هذا البحث زاوية غريبة في علوم الحاسوب حيث يعمل الباحثون كالمحققين، محاولين اكتشاف أي الكلمات في تعليماتك تجعل الروبوت يهدر المال وأي الكلمات تبقيه ضمن ميزانية صارمة. هم لا يخمنون فحسب؛ بل يجرون آلاف التجارب المنضبطة لمعرفة تكلفة العبارات المختلفة بدقة.
تجربة الأوامر الكبرى: لماذا تكلف كلماتك مالاً؟
تخيل أن لديك أسطولاً من ستة طهاة روبوتات فائقة الذكاء. تريد منهم كتابة كود برمجي (وهو بمثابة وصفة للكمبيوتر) لحل 24 تحدياً طبخياً محدداً. لكن هناك التواء في الأمر: عليك أن تدفع مقابل كل فكرة يمر بها الطهاة أثناء الطبخ. أراد الباحثون معرفة: هل تغير طريقة كتابة طلبك من طريقة تفكير الطهاة، وهل يساعد هذا التفكير فعلياً في جعل الطبق ألذ مذاقاً؟
لمعرفة ذلك، أنشأوا مختبراً مطبخياً ضخماً ومنظماً للغاية. لم يكتفوا بالتخمين؛ بل دونوا قواعدهم قبل البدء في الطبخ (وهذا ما يسمى "التسجيل المسبق"، مثل كتابة قائمة الطعام قبل الذهاب إلى البقالة). استخدموا نوعين مختلفين من مديري المطبخ (يُطلق عليهم "الأغلفة" أو harnesses) للتحدث مع الطهاة: أحدهما كان مديراً مباشراً وصارماً، والآخر كان مديراً ثرثاراً ومفصلاً يرسل كمية هائلة من المعلومات الخلفية مع كل طلب.
إليك ما اكتشفوه بعد إجراء أكثر من 4600 جلسة طبخ:
1. فخ "جرب كل شيء"
أكبر مهدر للمال؟ إخبار الروبوت بـ "تطوير عدة مقاربات ومقارنتها".
يبدو الأمر ذكياً، أليس كذلك؟ مثل طاهٍ جيد يتذوق ثلاثة أنواع من الصلصة قبل اختيار أحدها. لكن بالنسبة لروبوتات الذكاء الاصطناعي هذه، كانت هذه التعليمات كارثة. فقد جعلتهم يفكرون بمعدل 2.4 إلى 7.4 ضعف المعتاد. والأسوأ من ذلك؟ أن الطبق النهائي (الكود) كان ليس أفضل حالاً. لقد أهدروا المال الإضافي فقط للتفكير في خيارات لم يستخدموها أبداً. إنه يشبه دفع ثمن طاهٍ ليكتب ثلاث وصفات مختلفة لشطيرة، ويتذوقها جميعاً، ثم يقدم لك نفس الشطيرة التي كان سيصنعها لو طلبت منه فقط "شطيرة".
2. الكلمات السحرية التي لا تفعل شيئاً
غالاً ما يقول الناس "فكر خطوة بخطوة" أو "فكر بعمق" للحصول على نتائج أفضل. وجد الباحثون أنه بالنسبة لروبوتات البرمجة هذه، كانت كلمات "التفكير العميق" هذه مجرد هدر محض. فقد جعلت الروبوتات تفكر لفترة أطول بمعدل 1.6 إلى 2.2 مرة دون تحسين النتيجة. إنه يشبه إخبار الآلة الحاسبة بأن "تفكر بعمق" قبل جمع 2 + 2؛ الإجابة هي نفسها، لكنك دفعت مقابل وقت التفكير الإضافي.
3. خدعة "الكفاءة المقيدة"
على الجانب الآخر، كان هناك "الصلصة السرية" التي وفرت المال. إذا وضعت للروبوت صندوقاً صارماً للعمل فيه — بإخباره بالضبط ما هو الهدف، وما هي القواعد، ومتى يتوقف — فإنه في الواقع يفكر أقل. أحد الروبوتات قلل وقت تفكيره إلى النصف! كان قالب "الكفاءة المقيدة" هذا مجانياً وجعل الروبوتات أسرع وأرخص دون المساس بجودة الكود.
4. المدير أهم من الطاهي
كان أحد أكثر النتائج إثارة للدهشة هو أن من توظفه لإدارة الروبوت يهم أكثر من الروبوت نفسه.
لقد اختبروا نفس الروبوت مع مديرين مختلفين. كان أحد المديرين (PI.DEV) فعالاً. أما الآخر (Claude Code) فكان مثل المدير المتدخل في التفاصيل (micromanager) الذي يرسل "خطاباً تعريفياً" أكبر بـ 12 إلى 15 مرة مع كل رسالة. حتى عندما يحل الروبوت المشكلة بشكل مثالي، كانت نسخة "المدير المتدخل" تكلف 5 إلى 30 ضعفاً فقط بسبب طريقة إدارة المحادثة. اتضح أن "المدير" (البرنامج الذي يحيط بالذكاء الاصطناعي) هو غالباً الجزء الأكبر من الفاتورة، وليس الذكاء الاصطناعي نفسه.
5. وهم "الخصم الخفي"
نظر الباحثون أيضاً في كيفية محاسبة الشركات لهذه الروبوتات. وجدوا أن الشركات توفر المال تلقائياً من خلال تذكر "الخطاب التعريفي" الذي يرسلونه في كل مرة. وقد وفر هذا حوالي 61% من الفاتورة. لكن الباحثين حذروا: لا تسموا هذا "كفاءة". إنه مجرد خصم على العمل القديم نفسه. الروبوت لم يعمل في الواقع بشكل أسرع أو أذكى؛ الشركة فقط لم تحاسبك على الأجزاء التي تذكرها.
6. روبوتات جديدة، نفس الحيل القديمة
عندما تم إصدار روبوت جديد فائق السرعة (Kimi-K3)، اختبره الباحثون على الفور. وعلى الرغم من أن هذا الروبوت الجديد كان أرخص في التشغيل بطبيعته، إلا أن التعليمات السيئة نفسها (مثل "جرب مقاربات متعددة") جعلته يهدر المال بمعدل 15 ضعفاً أكثر من المعتاد. الدرس المستفاد؟ بغض النظر عن مدى ذكاء أو رخص الروبوت، فإن التعليمات السيئة ستجعله دائماً يسرف في الإنفاق.
الخلا-صيـدة
يثبت هذا البحث أن طريقة طرحك للسؤال تغير تكلفته، حتى لو كانت الإجابة هي نفسها.
- لا تطلب من الروبوت "تجربة العديد من المقاربات" أو "التفكير بعمق" ما لم تكن بحاجة فعلية لقيامه بذلك.
- افعل ذلك عبر إعطائه حدوداً واضحة وشرطاً للتوقف.
- تذكر أن البرنامج الذي يدير الروبوت قد يكلفك أكثر من الروبوت نفسه.
لقد جعل الباحثون كل بياناتهم، وأكوادهم، ووصفات الاختبار الخاصة بهم متاحة للعامة. إنهم يريدون من الجميع أن يعرفوا أنه في عالم وكلاء الذكاء الاصطناعي، فإن تقليل "مسرح التفكير" والاعتماد على تعليمات واضحة هو أفضل وسيلة لتوفير المال وإنجاز المهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.