🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

لمعالجة حالة التشبع والتغطية المحدودة لاستخدام الأدوات في معايسات الوكلاء الحالية، تقدم هذه الورقة TASTE، وهي طريقة مؤتمتة تعكس عملية بناء المهام من خلال تطوير تسلسلات الأدوات لإنشاء $\tau^c$ -Bench الأكثر تحدياً وشمولاً، والذي يكشف أن النماذج الرائدة الحالية تعاني من انخفاض كبير في الأداء عند مواجهة هذه المهام الأكثر تعقيداً وتنوعاً.

المؤلفون الأصليون: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

نُشر 2026-05-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول اختبار مدى براعة طباخ آلي جديد في الطهي.

المشكلة: "قائمة الطعام السهلة" استُنفدت
في الوقت الحالي، لدينا قائمة طعام قياسية للاختبار (تسمى $\tau$ -Bench) حيث يتعين على الروبوت اتباع تعليمات مثل "اصنع شطيرة" أو "اطلب بيتزا". المشكلة هي أن أمهر الطهاة الآليين قد حفظوا هذه القائمة بالفعل؛ فهم يحصلون على درجات كاملة، ليس لأنهم عباقرة، بل لمجرد أن الاختبار سهل ومتكرر. الأمر يشبه طالباً يحصل على درجة امتياز في اختبار رياضيات لأن المعلم لا يطلب منه سوى جمع أرقام من خانة واحدة فقط.

كما أن إنشاء أسئلة اختبار جديدة وأكثر صعوبة هو كابوس حقيقي. يتطلب الأمر من البشر الجلوس لكتابة قصص معقدة، وتحديد الخطوات الدقيقة التي يجب أن يتبعها الروبوت، والتحقق مما إذا كانت القصة منطقية. هذا الأمر بطيء، ومكلف، ويحصرنا فقط في أنواع القصص التي يمكن للبشر التفكير فيها.

الحل: TASTE (آلة "الوصفة العكسية")
ابتكر المؤلفون نظاماً جديداً يسمى TASTE (تخليق المهام من تطور تسلسل الأدوات). بدلاً من البدء بقصة ثم استنتاج الخطوات، يقوم TASTE بقلب العملية رأساً على عقب.

فكر في الأمر كالتالي:

"تسلسل الأدوات" (الخطوات): أولاً، يقوم النظام بتوليد آلاف القوائم العشوائية من الأفعال، مثل "افتح الثلاجة، خذ الحليب، صب في الكوب، أغلق الثلاجة".
"مرشح المنطقية" (اختبار المذاق): يستخدم النظام حكماً ذكياً جداً من الذكاء الاصطناعي للنظر في هذه القوائم والقول: "لا، هذا مستحيل. لا يمكنك صب الحليب قبل فتح الثلاجة"، أو "نعم، هذا تسلسل أحداث صالح". إنه يتعلم من أخطائه، ويصبح أفضل في تمييز الخطوات الصحيحة مقابل غير الصالحة.
"التجميع" (التصنيف حسب النكهة): يقوم بتجميع هذه التسلسلات الصالحة معاً. إذا كانت إحدى المجموعات تدور حول "إعداد الإفطار" ومجموعة أخرى حول "صنع شطيرة"، فإنه يختار المثال الأكثر تمثيلاً من كل مجموعة لضمان أن يغطي الاختبار مجموعة واسعة من السيناريوهات.
"التطور" (إضافة التوابل): هذا هو السر الخفي. بمجرد حصوله على مهمة أساسية (مثل "اطلب بيتزا")، يقوم بتعقيدها عمداً. قد يقوم بـ:
- جعل الزبون (المستخدم المحاكي) ينسى تفاصيل طلبه.
- إضافة خيارات "تمويهية" إلى القائمة تبدو صحيحة ولكنها في الواقع خاطئة (مثل بيتزا نفدت من المخزون).
- جعل الزبون غير متعاون أو مربكاً.

النتيجة: $\tau^c$ -Bench
باستخدام هذه الطريقة، قاموا ببناء اختبار جديد وأكثر صعوبة يسمى $\tau^c$ -Bench.

عندما اختبروا "أبطال" الطهاة الآليين (مثل Gemini-3-Flash) على هذه القائمة الجديدة، كانت النتائج صادمة.

في القائمة القديمة السهلة، سجلت هذه الروبوتات 0.90 (درجة شبه كاملة).
في قائمة TASTE الجديدة، انخفضت درجاتهم إلى 0.30 أو أقل.

لماذا هذا مهم؟
يجادل البحث بأن الدرجات العالية في الاختبارات القديمة كانت "إنذاراً كاذباً". فالروبوتات لم تكن جيدة حقاً في حل المشكلات المعقدة والواقعية؛ بل كانت فقط تحفظ أسئلة الاختبار القديم عن ظهر قلب.

تثبت الطريقة الجديدة أن:

التغطية: تجبر الاختبارات الجديدة الروبوتات على استخدام مجموعة أوسع بكثير من الأدوات والتركيبات، وليس مجرد نفس الحيل القليلة المعتادة.
الصعوبة: الاختبارات أصعب حقاً لأنها تتضمن الارتباك، والمعلومات الناقصة، والسيناريوهات المضللة.
الأتمتة: لا نحتاج إلى البشر لكتابة هذه الاختبارات الصعبة بعد الآن. يمكن للنظام توليد إمداد لا ينتهي من المهام الصعبة والصالحة والمتنوعة لمواصلة اختبار الروبوتات كلما أصبحت أكثر ذكاءً.

باختصار، TASTE هو آلة تخترع تلقائياً "معارك الزعماء" (Boss Battles) لوكلاء الذكاء الاصطناعي، مما يضمن قدرتنا على التمييز بين الروبوت الذي حفظ نصاً معيناً، والروبوت الذي يستطيع التفكير فعلياً.

ملخص تقني: مسألة ذوق (TASTE): تحسين التغطية والصعوبة في معايير قياس الوكلاء

بيان المشكلة

مع تقدم قدرات الوكلاء المستخدمين للأدوات، أصبحت معايير القياس الحالية (مثل $\tau^2$ -Bench) مشبعة بشكل متزايد، حيث تحقق النماذج الرائدة أداءً يقترب من السقف الأعلى. ومع ذلك، فإن بناء مهام معايير قياس جديدة أكثر تحديًا يظل عملية معقدة ومكلفة وتتطلب جهدًا يدويًا مكثفًا يعتمد على التأليف البشري. علاوة على ذلك، فإن نهج البناء القياسي —حيث يقوم المؤلفون أولاً بكتابة سيناريوهات باللغة الطبيعية ثم يشتقون تسلسلات الأدوات— يفشل في استكشاف فضاء تركيبات الأدوات الصالحة بشكل صريح. ونتيجة لذلك، غالبًا ما تلتقط معايير القياس الحالية مجموعة فرعية ضيقة فقط من أنماط استخدام الأدوات، مما يؤدي إلى "التشبع" حيث تعكس الدرجات العالية نقص التحديات المتنوعة بدلاً من القدرة القوية على حل المهام. هناك حاجة ملحة لطرق توليد معايوهات قياس تلقائية يمكنها ضمان الصلاحية (المهام قابلة للحل والتحقق)، والصعوبة (المهام تميز قدرات الوكلاء بشكل هادف)، والتغطية (المهام تغطي أنماط استخدام أدوات متنوعة بنيويًا).

المنهجية: TASTE

يقترح المؤلفون TASTE (توليف المهام من تطور تسلسل الأدوات)، وهي طريقة تلقائية لتوليد مهام معايير قياس صعبة عن طريق عكس عملية البناء التقليدية. بدلاً من البدء بالسيناريوهات، يبدأ TASTE بتسلسلات الأدوات ويقوم بتوليد مهام كاملة حولها. تعمل الطريقة عبر ثلاث مراحل:

المرحلة 1: أخذ عينات تسلسل الأدوات

لمعالجة التغطية والصلاحية، يستخدم TASTE نموذج n-gram تبايني تكيفي مدرب على فضاء تسلسلات الأدوات.

بنية النموذج: يحافظ النموذج على جداول عد منفصلة ( $C^+$ و $C^-$ ) لـ n-grams المرصودة في التسلسلات "الصالحة محتملاً" و"غير الصالحة محتملاً"، على التوالي.
التدريب: يستخدم حلقة تكرارية من "التوليد والتحقق". يتم أخذ عينات من التسلسلات بشكل تلقائي (autoregressively) ويتم الحكم عليها بواسطة نموذج لغوي كبير (LLM) من حيث الصلاحية. تُحدث التسلسلات الصالحة الجدول $C^+$ ، بينما تُحدث التسلسلات غير الصالحة الجدول $C^-$ .
أخذ العينات التبايني: يتم اشتقاق احتمالية أخذ العينة للأداة التالية من نسبة الدرجات الإيجابية والسلبية، مما يؤدي إلى معاقبة الـ n-grams المرتبطة بالتسلسلات غير الصالحة. يسمح هذا للنموذج باستكشاف فضاء تركيبات الأدوات مع تركيز كتلة الاحتمالية على التسلسلات الصالحة.

المرحلة 2: التجميع والاختيار

لضمان تمثيل معيار القياس لأنماط متنوعة دون تكرار، يختار TASTE مجموعة فرعية ممثلة من التسلسلات من مجمع العينات.

التجميع: يستخدم المؤلفون تجميع K-medoids لتقسيم مجمع آلاف التسلسلات المرشحة إلى $K$ من المجموعات (حيث $K$ هو الحجم المستهدف لمعيار القياس).
مقياس المسافة: يتم استخدام مسافة ليفنشتاين الموزونة (weighted Levenshtein distance) بدلاً من مسافة التحرير القياسية. تكون تكاليف الاستبدال أقل للأدوات ذات الوظائف أو الأنواع المتشابهة (مثل أداتَي بحث) وأعلى للأدوات ذات الأنواع المختلفة (قراءة مقابل كتابة). يضمن هذا أن تكون المجموعات متماسكة دلاليًا.
الاختيار: يتم اختيار الـ medoid (التسلسل المركزي) لكل مجموعة كعنصر ممثل. وفي حال كانت الـ medoids غير صالحة، يتم استبدالها بالعضو الأقرب الصالح في المجموعة.

المرحلة 3: توليد المهمة والتطور

يتم إنشاء كل تسلسل أداة مختار في مهمة معيار قياس كاملة، ثم يتم تطويرها لزيادة الصعوبة.

توليد المهمة الأساسية: يقوم نموذج لغوي كبير (LLM) ببناء سيناريو واقعي متماسك (تعليمات المستخدم $u$ ) وتهيئ حالة قاعدة البيانات ( $s_0$ ) لدعم تسلسل الأداة المحدد.
التحقق من الصلاحية: تخضع المهام لفحوصات قائمة على القواعد ومحاكاة وكيل تحقق مدعوم بالتلميحات. يحاول الوكيل التحقق من حل المهمة باستخدام نسخة مشوشة ومقنعة جزئيًا من التسلسل الذهبي للأدوات. النجاح يؤكد أن المهمة قابلة للحل.
تطور الصعوبة: لمحاكاة الظروف الواقعية والعدائية، يتم تطوير المهمة الأساسية عبر ثلاث خطوات:
1. تحليل الاستراتيجية: تحديد فرص إحداث الارتباك (مثل انتهاكات السياسة، أو الطلبات الغامضة).
2. اضطراب البيئة: إضافة سجلات قاعدة بيانات "خادعة" (مثل رحلة طيران محجوزة بالكامل على مسار مطلوب) تبدو مشابهة للهدف ولكنها غير صالحة.
3. إعادة كتابة السيناريو: إعادة كتابة تعليمات المستخدم لتكون أقل تعاونًا، أو غامضة، أو عدائية، مما يجبر الوكيل على التنقل وسط الارتباك مع الالتزام بالسياسة.

المساهمات الرئيسية

المتطلبات الأساسية لمعايير القياس: يحدد البحث ويطبق ثلاثة خصائص حاسمة لمعايير قياس الوكلاء المستخدمين للأدوات: الصلاحية، الصعوبة، والتغطية. ومن الأهمية بمكان أنه يعرّف التغطية من حيث تنوع تسلسلات الأدوات الذهبية بدلاً من التباين اللغوي السطحي.
إطار عمل TASTE: اقتراح TASTE، وهو مسار مؤتمت بالكامل يستكشف فضاء تسلسل الأدوات مباشرة لتوليد مهام تستوفي المتطلبات الثلاثة دون تنسيق يدوي.
$\tau^c$ -Bench: بناء $\tau^c$ -Bench، وهو امتداد أكثر صعوبة لـ $\tau^2$ -Bench عبر ثلاثة مجالات (الطيران، التجزئة، والاتصالات). تتميز مجموعة البيانات هذه بصعوبة أعلى بكثير وتغطية أوسع من سابقتها.

النتائج

قيم المؤلفون 11 زوجًا من (الوكيل/المستخدم) من النماذج اللغوية الكبيرة على $\tau^c$ -Bench وقارنوها بالأداء على $\tau^2$ -Bench الأصلي (النسخة المتحقق منها، $\tau_{BV}$ ).

انخفاض الأداء: عانت النماذج التي وصلت تقريبًا إلى التشبع في $\tau_{BV}$ من انخفاض حاد في الأداء على $\tau^c$ -Bench. على سبيل المثال، انخفض نموذج Gemini-3-Flash من درجة 0.82–0.94 في $\tau_{BV}$ إلى 0.28–0.61 في $\tau^c$ -Bench (انخفاض نسبي يصل إلى 80%).
زيادة الصعوبة: كانت المهام المطورة أصعب بكثير، حيث انخفضت معدلات النجاح بنسبة 16-55% اعتمادًا على نموذج التطور المستخدم.
توسيع التغطية: ضاعف $\tau^c$ $τ^{c}$ -Bench عدد تركيبات الأدوات الفريدة التي يجب على الوكلاء تنفيذها.
- مسافة التحرير الموزونة (WED): زادت بنسبة تصل إلى 124%.
- نسبة النوع إلى الرمز (TTR): زادت بنسبة تصل إلى 111%، مما يشير إلى تنوع أكبر بكثير في تسلسلات n-gram للأدوات.
- الاعتلاج (Entropy): زاد اعتلاج توزيع تردد الأدوات بنسبة 35%، مما يظهر استخدامًا أقل انحيازًا وأكثر تنوعًا للأدوات.

الأهمية والادعاءات

يدعي البحث أن الدرجات العالية في معايير القياس الحالية غالبًا ما تعكس التشبع بدلاً من القدرة القوية على حل المهام. ومن خلال إثبات أن النماذج الحديثة تواجه صعوبة كبيرة مع مهام TASTE المولدة، يجادل المؤلفون بأن معايير القياس الحالية تفشل في التقاط التعقيد الكامل لأنماط استخدام الأدوات.

تكمكم أهمية TASTE في قدرته على أتمتة توليد معايير قياس صعبة وعالية التغطية، مما يتيح تقييمًا مستمرًا وقابلًا للتوسع للوكلاء المستقبليين. ومن خلال عكس عملية البناء لإعطاء الأولوية لتسلسلات الأدوات، يضمن TASTE أن تستكشف معايير القياس التنوع الهيكلي لسلوكيات الوكلاء بدلاً من الاعتماد على الاختيارات التعسفية للمؤلفين. ويضع المؤلفون هذا العمل كخطوة ضرورية لمنع ركود التقييم مع استمرار تقدم قدرات الوكلاء.