Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
تتقصى هذه الورقة كيفية تأثير مواصفات المهام على استهلاك الرموز (tokens) في سير عمل البرمجة الوكيلية، حيث تُثبت أن المطالبات الموجزة للغاية تزيد التكاليف بشكل كبير مع تقديم طريقة تنبؤية لتقدير الإنفاق من الرموز عبر التكوينات المختلفة بدقة عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تطوير البرمجيات الحديث، ظهر نوع جديد من العمال: وكيل الذكاء الاصطناعي. وخلافاً لبرامج الدردشة البسيطة التي تجيب على سؤال واحد، صُممت هذه الوكلاء لتولي مهام معقدة ومتعددة الخطوات، مثل إصلاح خطأ في برنامج حاسوبي أو بناء ميزة جديدة من الصفر. وهي تفعل ذلك من خلال قراءة وصف المهمة، والتفكير في المشكلة، واستخدام أدوات رقمية لكتابة الكود واختباره، وتكرار هذه العملية حتى تكتمل المهمة. ومع ذلك، فإن هذه الاستقلالية تأتي بثمن؛ ففي كل مرة يفكر فيها الذكاء الاصطناعي أو يقرأ أو يكتب، فإنه يستهلك موارد رقمية تُقاس بـ "الرموز" (tokens)، وهي الوحدات الأساسية للنصوص التي يعالجها النموذج. وتترجم هذه الرموز مباشرة إلى مال. ومع ازدياد شيوع هؤلاء الوكلاء في الأنظمة الواقعية، يواجه المهندسون سؤالاً ملحاً: كم سيكلف السماح للذكاء الاصطناعي بحل مشكلة ما، وهل يمكن التحكم في هذه التكلفة؟
الإجابة ليست ببساطة اختيار نموذج حاسوبي أرخص. فقد أظهرت دراسات حديثة أنه حتى عندما يُعطى الذكاء الاصطناعي نفس التعليمات تماماً، فإن مقدار ما ينفقه يمكن أن يتباين بشكل كبير من محاولة إلى أخرى. فأحياناً، يمكن أن تختلف تكلفة تشغيلين متطابقين لنفس المهمة بفارق يصل إلى ثلاثين ضعفاً. وهذا عدم القدرة على التنبؤ يجعل وضع الميزانية أمراً صعباً. علاوة على ذلك، بينما بحث الباحثون في كيفية أداء نماذج الذكاء الاصطناعي المختلفة، فقد تجاهلوا إلى حد كبير كيف يغير أسلوب وصف الإنسان للمهمة نفسها السعر. فقد يكتب مهندس خبير مواصفات مفصلة ومنظمة لإصلاح برمجيات، بينما قد يقوم مهندس مبتدئ بلصق رسالة خطأ خام. فهل تؤدي هذه الأوصاف المختلفة إلى تكاليف مختلفة، أم أن الذكاء الاصطناعي يقوم بنفس القدر من العمل بغض النظر عن كيفية صياغة الطلب؟
ولمعرفة ذلك، أجرى باحث في جامعة ستانفورد تجربة واسعة النطاق باستخدام نموذج ذكاء اصطناعي محدد يُعرف باسم Kimi K3. اختار الفريق خمس مهام مختلفة لإصلاح البرمجيات من مجموعة اختبار قياسية يستخدمها المطورون. ولكل مهمة، أنشأوا مجموعة متنوعة من التعليمات، تتراوح من وثيقة كاملة ومفصلة للغاية تحتوي على كل التفاصيل الممكنة، إلى وصف بسيط جداً يكاد يخلو من أي معلومات. كما اختبروا ثلاثة مستويات مختلفة من "جهد التفكير"، وهو ما يتحكم أساساً في مدى محاولة الذكاء الاصطناعي للتفكير بعمق في المشكلة قبل اتخاذ إجراء. وفي المجمل، قاموا بتشغيل النظام 2700 مرة، مع تتبع دقيق للمبالغ المنفقة في كل محاولة وعدد المرات التي اضطر فيها الوكيل للجوء إلى الحاسوب لإنجاز العمل.
وكشفت النتائج عن نمط واضح ومثير للدهشة. إن الطريقة التي توصف بها المهمة لها تأثير هائل على متوسط التكلفة. فعندما جرد الباحثون مواصفات كاملة ومفصلة وحولوها إلى قصة بسيطة بلغة عادية لما يريده المستخدم، قفزت تكلفة حل المشكلة بنسبة تقارب ثلاثين بالمئة. وقد حدث هذا باستمرار عبر كل مهمة اختبروها. ويبدو أنه عندما لا يتم تزويد الذكاء الاصطناعي بتفاصيل كافية، فإنه يضطر لقضاء المزيد من الوقت والمال في استنتاج الأجزاء المفقودة بمفرده. ومع ذلك، وجدت الدراسة أيضاً أن التعليمات لم تغير عدم القدرة على التنبؤ بالتكلفة؛ فبغض النظر عن مدى تفصيل أو غموض المطالبة (prompt)، ظل الفرق بين تشغيل وآخر هو نفسه تقرياً. إن تكلفة المحاولة الواحدة غير مستقرة بطبيعتها، والطريقة الوحيدة لجعل الفاتلة الإجمالية أكثر قابلية للتنبؤ هي جعل المحاولات الفردية أرخص.
اكتشاف رئيسي آخر هو أن مستوى التفصيل في التعليمات يكتسب أهميته القصوى عندما يُمنح الذكاء الاصطناعي ميزانية محدودة للتفكير. فعندما يُسمح للذكاء الاصطناعي بالتفكير بعمق وتوسع، يتقلص الفرق في التكلفة بين المطالبة المفصلة والمطالبة الغامضة. وهذا يشير إلى أنه إذا منحت الذكاء الاصطناعي وقتاً كافياً للتفكير، فيمكنه سد الثغرات الناتمة عن وصف ضعفي بنفسه، ولكن إذا قيدت وقت تفكيره، تصبح المطالبة الواضحة والمفصلة ضرورية لتوفير المال. كما وجد الباحثون أن إزالة أقسام محددة من وصف المهمة، مثل قائمة الحالات الاستثنائية أو معايير النجاح، كان له تأثير طفيف بحد ذاته، لكن إزالة "قصة المستخدم" بأكملها أو سيناريوهات الاختبار تسبب في ارتفاع هائل في التكلفة.
ولعل الاكتشاف الأكثر عملية لأي شخص يستخدم هذه الأدوات هو طريقة للتنبؤ بالتكاليف في المهام الجديدة. فقد أظهر الفريق أنك لست بحاجة لتشغيل المهمة عشرات المرات لمعرفة تكلفتها. فمن خلال إجراء اختبار واحد رخيص لمشكلة جديدة، استطاعوا التنبؤ بتكلفة تلك المشكلة نفسها تحت العديد من أساليب التعليمات وإعدادات التفكير بدقة معقولة. وبدون هذا الاختبار الواحد، كانت أي تخمين حول تكلفة مهمة جديدة من المرجح أن يخطئ بنسبة تزيد عن مائة بالمئة. أما مع اختبار صغير واحد، فقد انخفض الخطأ إلى حوالي ستة وثلاثين بالمئة. وهذا يعني أن المهندسين يمكنهم قياس الأثر المالي لخياراتهم بسرعة دون إضاعة الموارد في تجارب وخطأ مكثفة.
تخلص الدراسة إلى أنه بينما يكون سلوك الذكاء الاصطناعي غير قابل للتنبؤ بطبيعته، فإن تكلفة عمله تتأثر بشدة بكيفية صياغة البشر للطلب. فوصف المهمة المنظم جيداً والمفصل يمكن أن يقلل بشكل كبير من المال المنفق، خاصة عندما لا يُمنح الذكاء الاصطناعي وقتاً غير محدود للتفكير. ويشير البحث إلى أن الطريقة الأكثر فعالية لإدارة هذه التكاليف ليست في محاولة القضاء على العشوائية في الذكاء الاصطناعي، بل في تصميم تعليمات المهام بعناية واستخدام اختبار واحد منخفض التكلفة لمعايرة التوقعات للوظائف الجديدة. ومع دمج هؤلاء الوكلاء في العمل اليومي، سيكون فهم العلاقة بين الكلمات التي نستخدمها والمال الذي ننفقه بنفس أهمية فهم الكود الذي يكتبونه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.