How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks
تقدم هذه الورقة أول دراسة منهجية لاستهلاك الرموز (tokens) في مهام البرمجة الوكيلية، كاشفةً أن سير العمل الوكيلي مكلف للغاية وعشوائي، وأن النماذج تتباين بشكل كبير في كفاءتها، وأن النماذج اللغوية الكبيرة الرائدة تواجه صعوبة في التنبؤ بدقة بتكاليف الرموز الخاصة بها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت عاملاً رقمياً ماهراً، ولكنه غير متوقع تماماً، لإصلاح تسرب في منزلك. أنت لا تعرف ما إذا كان سينتهي في عشر دقائق أم سيقضي ثلاثة أيام في تكسير أرضية منزلك بالكامل، ولن تعرف الفاتورة الإجمالية إلا بعد انتهائه ووضع أدواته جانباً.
هذه الورقة البحثية هي في الأساس "تدقيق مالي" لهؤلاء العمال الرقميين (الذين يُطلق عليهم اسم الوكلاء الذكيين - AI Agents). أراد الباحثون معرفة: كم تبلغ تكلفة هؤلاء الوكلاء فعلياً، وأين تذهب الأموال، وهل يمكنهم إخبارك بالسعر قبل البدء في العمل؟
إليك تفصيل لما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية:
١. "الثقب الأسود" للتكاليف (المدخلات مقابل المخرجات)
عندما تدردش مع ذكاء اصطناعي قياسي (مثل رسالة نصية سريعة)، فالأمر يشبه شراء كوب قهوة؛ رخيص ومتوقع. ولكن عندما تعطي للذكاء الاصطناعي "مهمة وكيلية" (مثل "أصلح هذا المشروع البرمجي بأكمله")، فالأمر يشبه استئجار مقاول.
وجد الباحثون أن هذه المهام أغلى بـ ١٠٠٠ مرة من الدردشة البسيطة. والأهم من ذلك، أن التكلفة لا تأتي من "حديث" الذكاء الاصطناعي (المخرجات)؛ بل تأتي من "قراءته" (المدخلات).
- التشبيه: تخيل أنك استأجرت باحثاً. أنت لا تدفع له مقابل الجمل الثلاث التي كتبها في تقريره، بل تدفع له مقابل الـ ٥٠٠ كتاب التي كان عليه قراءتها وإبقاؤها على مكتبه فقط ليفهم سؤالك. في عالم الذكاء الاصطناعي، "الكتب" هي الكميات الهائلة من الأكواد البرمجية التي يتعين على الوكيل إعادة قراءتها مراراً وتكراراً ليبقى مدركاً لما يفعله.
٢. مشكلة "التيه في الغابة" (الكفاءة)
قد تعتقد أنه إذا قضى الوكيل وقتاً أطول أو "قدرة ذهنية" (Tokens) أكبر على مشكلة ما، فإنه سيحلها في النهاية. وجد الباحثون أن هذا ليس صحيحاً.
في بعض الأحيان، يعلق الوكيل في حلقة مفرغة. يقرأ ملفاً، يحاول إصلاحه، يفشل، ثم يقرأ نفس الملف مرة أخرى، يحاول شيئاً آخر، ويفشل مجدداً.
- التشبيه: الأمر يشبه شخصاً يحاول إيجاد طريقه للخروج من غابة. بدلاً من السير في خط مستقيم، يستمر في المشي في دوائر. إنه يحرق السعرات الحرارية (المال) ويصبح أكثر تعباً، لكنه لا يقترب فعلياً من المخرج. في الواقع، كلما زادت "الطاقة" التي يحرقها، قل احتمال نجاحه لأنه يكتفي بالدوران حول نفسه.
٣. الفجوة بين "الخبير" و"الروبوت"
إذا سألت سباكاً بشرياً كم ستستغرق المهمة، فسيعطيك تقديراً جيداً إلى حد ما. لكن الباحثين وجدوا أن الخبراء البشر سيئون في الواقع في التنبؤ بمقدار ما سينفقه الذكاء الاصطناعي.
- التشبيه: قد ينظر الإنسان إلى صنبور يسرب الماء ويقول: "هذه مهمة تستغرق ١٠ دقائق". لكن وكيل الذكاء الاصطناعي قد ينظر إلى نفس الصنبور ويقرر أنه بحاجة لفحص كل ماسورة في المنزل بأكمله أولاً. "الصعوبة" التي يراها الإنسان تختلف تماماً عن "التعقيد" الذي يختبره الروبوت.
٤. هل يمكن للذكاء الاصطناعي أن يعطيك "مقايسة"؟ (اختبار التنبؤ)
السؤال الأهم هو: هل يمكننا أن نسأل الذكاء الاصطناعي، "مهلاً، قبل أن تبدأ، كم سيكلفني هذا؟"
ترك الباحثون الذكاء الاصطناعي يقوم بـ "استكشاف" المهمة أولاً ثم تقديم عرض سعر. والنتيجة؟ الذكاء الاصطناعي محاسب سيء للغاية.
- التشبيه: الأمر يشبه سؤال مقاول: "كم ستكلف عملية التجديد هذه؟" فيجيب: "٥٠٠ دولار"، لتكتشف لاحقاً أنك استلمت فاتورة بقيمة ٥٠٠٠ دولار. الذكاء الاصطناعي دائماً ما يقلل من تقدير التكلفة. إنه "متفائل" لدرجة مفرطة؛ يعتقد أنه يستطيع حل المشكلة بسهولة، لكنه لا يدرك عدد "الكتب" التي سيضطر لقراءتها بمجرد دخوله في التفاصيل المعقدة.
الخلاصة
تخلص الورقة البحثية إلى أنه مع انتقالنا من "ذكاء اصطناعي تتحدث إليه" إلى "ذكاء اصطناعي يقوم بالعمل نيابة عنك"، تتغير القواعد الاقتصادية تماماً. نحن ننتقل من عالم "الدفع مقابل الكلمة" إلى عالم "الدفع مقابل المشروع"، وفي الوقت الحالي، هذه المشاريع مكلفة، وغير متوقعة، و"المقاولون" (الذكاء الاصطناعي) ليسوا جيدين في إخبارنا بما ستكون عليه الفاتورة النهائية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.