AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

تخيل عالماً نقوم فيه ببناء مساعدين رقميين—روبوتات صغيرة غير مرئية مدعومة بأدمغة عملاقة—يمكنها حجز رحلات طيرانك، أو كتابة الكود الخاص بك، أو العثور لك على بديل لحذاء رياضي نفد من المخزون. تُسمى هذه الكائنات "الوكلاء المستقلين" (autonomous agents). لفترة طويلة، كان العلماء الذين يختبرون هذه الروبوتات مثل الآباء الذين يصححون واجباً مدرسياً: هم يهتمون فقط بما إذا كانت الإجابة صحيحة أم لا. "هل وجد الروبوت الحذاء؟" نعم؟ رائع، امنحه درجة امتياز! ولكن في العالم الحقيقي، الإجابة المثالية التي تستغرق عشر دقائق للوصول أو تكلف مصروفك بالكامل لإنتاجها هي إجابة عديمة الفائدة. الأمر يشبه طلب بيتزا تصل في اليوم التالي مع فاتورة بمليون دولار؛ تقنياً حصلت على البيتزا، لكنك لا تستطيع أكلها فعلياً.

هنا يأتي دور فكرة جديدة تسمى "توصيف الموارد" (resource profiling). فكر في الأمر كأنه ميكانيكي يفحص سيارة سباق. هم لا يسألون فقط: "هل عبرت السيارة خط النهاية؟" بل يفحصون أيضاً: كم استهلكت من الوقود؟ هل ارتفعت حرارة المحرك؟ هل كان السائق مسرعاً؟ في عالم علوم الحاسوب، لدينا أدوات تقيس مقدار "الوقود" (مثل ذاكرة الكمبيوتر، والوقت، والمال) الذي يستخدمه برنامج ما. ولكن حتى الآن، لم يكن لدينا طريقة لقياس هذه الأشياء أثناء التحقق مما إذا كان الروبوت قد أدى مهمته بشكل صحيح بالفعل. تقدم هذه الورقة البحثية طريقة جديدة لاختبار هؤلاء المساعدين الرقميين، حيث تعاملهم كسيارات سباق يجب أن تنهي السباق و تلتزم بحدود الوقود والوقت لتُعتبر فائزة.

قام الباحثون وراء هذه الدراسة، ميهر بهاسكار ماديرادو وميهر ساي بريتام ماديرادو، ببناء ساحة اختبار جديدة تسمى AGENTSLABENCH. يمكنك التفكير فيها كمسار عقبات ضخم وعالي التقنية مصمم خصيصاً لمعرفة ما إذا كان هؤلاء الوكلاء من الذكاء الاصطناوي يمكنهم البقاء على قيد الحياة في العالم الحقيقي، وليس فقط في عالم خيالي مثالي وغير محدود.

عادةً، عندما نختبر الذكاء الاصطناي، نتركهم ينطلقون بحرية مع وقت ومال غير محدودين. الأمر يشبه السماح لطالب بأداء اختبار باستخدام قاموس، وآلة حاسبة، وثلاث ساعات، بينما الاختبار الحقيقي يسمح له فقط بقلم لمدة عشر دقائق. يجادل المؤلفون بأن هذه طريقة سيئة للتحضير للواقع. لذا، قاموا بإعداد 16 تحدياً مختلفاً، تتراوح من "ابحث لي عن بديل لهذا القمي shirt المفقود من المخزون" إلى "خطط لرحلة بميزانية صارمة". ولكن إليكم المفاجأة: كل تحدٍ له كتاب قواعد صارم. يُقال للوكيل: "لديك 180 ثانية، يمكنك استخدام هذا القدر فقط من ذاكرة الكمبيوتر، ولا يمكنك إنفاق أكثر من بضعة سنتات". إذا حاول الوكيل استخدام أكثر من ذلك، يتوقف الاختبار، ويُعتبر فاشلاً.

لقد وضعوا نوعين من الروبوتات للاختبار. أولاً، جربوا "الوكلاء للأغراض العامة"—وهؤلاء هم المفكرون الأذكياء والشاملون الذين يحاولون حل أي مشكلة باستخدام المنطق والاستدلال. ثم جربوا "الوكلاء المتخصصين"—وهم روبوتات صُممت خصيصاً لمهمة واحدة، مثل خبير أحذية أو مخطط رحلات، لديهم اختصارات وقواعد مدمجة لتلك المهمة المحددة.

كانت النتائج صادمة نوعاً ما. الروبوتات ذات الأغراض العامة، رغم براعتها في الإجابة على الأسئلة البسيطة، انهارت تماماً عند مواجهة مهام العالم الحقيقي. فعندما طُلب منها التسوق لقميص أو التخطيط لرحلة ضمن حدود الوقت والمال الصارمة، فشلت بنسبة 100%. إما استغرقت وقتاً طويلاً جداً، أو أنفقت مالاً كثيراً، أو مجرد ارتبكت. كان الأمر كما لو أن فيلسوفاً عبقرياً حاول إصلاح صنبور يسرب الماء وانتهى به الأمر بإغراق المنزل.

على الجانب الآخر، كان الوكلاء المتخصصون هم نجوم العرض. فقد نجح "وكيل التجزئة" في إيجاد بدائل للأحذية بنسبة 83.3%، وخطط "وكيل السفر" للرحلات بنسبة 83.3%، بينما أتقن "وكيل تسوق الويب" المهمة بنسبة 100%. والأهم من ذلك، أنهم فعلوا كل هذا مع الالتزام الصارم بميزانيات الوقت والمال. لم يحصلوا فقط على الإجابة الصحيحة؛ بل حصلوا عليها بالطريقة التي تحتاجها أي شركة حقيقية: بسرعة، وتكلفة منخفضة، وموثوقية.

تقدم الورقة البحثية درجة جديدة تسمى EASR (معدل النجاح المعدل بالكفاءة). فكر في الأمر كأنه "نجمة ذهبية" لا تحصل عليها إلا إذا أنهيت السباق و لم ينفد وقودك. إذا حصل الوكيل على الإجابة الصحيحة ولكنه استغرق وقتاً طويلاً أو كلف الكثير، فإن درجته في EASR تنخفض إلى الصفر. كشفت هذه الدرجة أن "الفائزين" في الاختبارات القديمة (الروبوتات العامة) سيكونون في الواقع كارثة في متجر أو مكتب حقيقي، بينما الوكلاء المتخصصون جاهزون للذه_ب إلى العمل.

كما تأكد المؤلفون من أن هذا الاختبار عادل وقابل للتكرار. لقد أغلقوا أسئلة الاختبار في خزنة رقمية حتى لا يتمكن أحد من تجاوز القواعد، وأجروا الاختبارات عدة مرات للتأكد من أن النتائج لم تكن مجرد ضربة حظ. وجدوا أنه بينما الوكلاء المتخصصون رائعون في مهامهم المحددة، إلا أنهم لا يزالون يرتكبون أخطاء—مثل وكيل السفر الذي يعلق في قواعد الميزانية المعقدة أو مولد الكود الذي يصنع أحياناً تعليمات وهمية. ولكن من خلال قياس أين ولماذا يفشلون بالضبط (مثل نفاد الوقت أو الذاكرة)، يمكن للباحثين مساعدة المهندسين في إصلاح تلك المشكلات المحددة.

باختاً، تشير هذه الورقة إلى أننا بحاجة إلى التوقف عن معاملة وكلاء الذكاء الاصطناي كأنهم في لعبة فيديو بحيوات وأموال غير محدودة. لكي يصبحوا مفيدين في العالم الحقيقي، نحتاج إلى اختبارهم كما نختبر السيارات أو الطائرات: بالتحقق ليس فقط مما إذا كانوا يعملون، بل إذا كانوا يعملون بكفاءة، وأمان، وضمن حدود العالم الحقيقي. تظهر الدراسة أنه بينما تعاني "الأدمغة الذكية" العامة، فإن الروبوتات المبنية بقواعد واختصارات محددة هي التي تستطيع فعلياً إنجاز المهمة.