Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation

تخيل أنك تحاول معرفة أي شخصية في ألعاب الفيديو هي الأفضل على الإطلاق في كل شيء. لديك شخصية بارعة في القفز، وأخرى بارعة في حل الألغاز الرياضية، وثالثة يمكنها اجتياز المتاهات ببراعة. لكن العقدة تكمن في أن كل لعبة تقيس "المهارة" بشكل مختلف. إحدى الألعاب تمنحك نجمة ذهبية مقابل القفز فوق حفرة واحدة، بينما تتطلب أخرى منك حل مسألة جبر معقدة لفتح باب، وتفرض لعبة ثالثة عليك جمع كل عملة معدنية في المستوى دون لمس أي عدو. إذا نظرت فقط إلى النتيجة النهائية — رقم واحد مثل "95%" — فقد تعتقد أنهم جميعاً متساوون في الجودة. لكن هذا الرقم يخفي التفاصيل الفوضوية. هل فشلت الشخصية لأنها لم تستطع القفز، أم لأنها تعثرت عند الباب؟ هل حصلت على 95% لأنها فعلت كل شيء بإتقان، أم لأنها أخفقت في شيء صغير جداً فاعتبرت اللعبة المهمة بأكملها فشلاً؟

هذه هي المشكلة ذاتها التي تواجه العلماء الذين يدرسون الوكلاء الذكيين (AI agents). هؤلاء ليسوا مجرد روبوتات دردشة؛ بل هم عمال رقميون يمكنهم استخدام الأدوات، وكتابة الأكواد، وتصفح الويب، واتخاذ القرارات في بيئات فورية. في الوقت الحالي، هناك مئات الاختبارات المختلفة (المقاييس المرجعية)، لكنها جميعاً تتحدث لغات مختلفة. بعض الاختبارات صارمة: إذا أخطأت في خطوة واحدة من وصفة مكونة من 10 خطوات، تحصل على صفر. غيرها أكثر تسامحاً. وبسبب ذلك، من الصنب جداً مقارنة وكيل بارع في البرمجة بآخر بارع في البحث القانوني. الأمر يشبه محاولة مقارنة عداء ماراثون بأسطورة في الشطرنج باستخدام درجة "لياقة بدنية" واحدة فقط. لفهم كيفية تطور الذكاء الاصطناعي فعلياً، نحتاج إلى وسيلة للنظر فيما وراء هذه الدرجات ورؤية أين ينجح الوكلاء وأين يتعثرون بالضبط.

هنا يأتي دور MESSIER، وهو مشروع ضخم جديد يعمل كمترجم عالمي شامل لاختبارات الذكاء الاصطناعي. لم يكتفِ الباحثون وراء MESSIER ببناء اختبار جديد، بل بنوا مكتبة ضخمة تجمع النتائج من 30 اختباراً موجوداً بالفعل، تغطي 11,891 مهمة محددة و 74,205 طريقة مختلفة للتحقق مما إذا كان الوكيل قد نجح. لقد جمعوا بيانات عن 714 وكيلاً مختلفاً للذكاء الاصطناعي، بل وأجروا اختبارات جديدة ومكثفة على ستة مجالات صعبة تفتقر إلى البيانات، مثل المراجعات القانونية وتصميم الدوائر الكمومية. في المجمل، قاموا بتنظيم ما يقرب من مليون سجل تجريبي في تنسيق واحد مرتب ومعياري. فكر في الأمر كأنك تأخذ كومة فوضوية من الإيصالات من 30 متجراً مختلفاً، كل منها مكتوب بعملة مختلفة وقواعد حسابية مختلفة، ثم تحولها جميعاً إلى جدول بيانات واحد واضح يتيح لك رؤية ما تم شراؤه بالضبط، وكم كلف، وأي متجر قدم أفضل الصفقات.

أكثر ما أثار الحماس في اكتشافات MESSIER هو أن الطريقة التي نعد بها النقاط تغير القصة برمتها. تظهر الورقة البحثية أن العديد من الاختبارات تستخدم قاعدة "صارمة": إذا فشل الوكيل في جزء صغير واحد من المهمة، تُعتبر المهمة بأكملها فشلاً. وقد أظهر الباحثون أنه إذا خففوا هذه القاعدة ونظروا إلى عدد الأجزاء التي نجح الوكيل في إنجازها، فإن صورة التقدم تبدو مختلفة تماماً. على سبيل المثال، في أحد المقاييس القانونية، قالت القاعدة الصارمة "الكل أو لا شيء" إن الوكلاء ينجحون بنسبة 0.2% فقط من الوقت. ولكن عندما نظروا في التفاصيل، وجدوا أن الوكلاء يستوفون في المتوسط 28.8% من المعايير. كانت القاعدة الصارمة تخفي الكثير من التقدم الجزئي. وهذا يشير إلى أنه بينما يتحسن الذكاء الاصطناعي، فإن طريقة قياسنا له قد تكون قاسية للغاية، مما يجعل الأمر يبدو وكأن الوكلاء يفشلون أكثر مما هم عليه في الواقع.

كما رسمت الدراسة خريطة توضح أين "يفوز" الذكاء الاصطناعي حقاً وأين لا يزال يعاني. وجدوا أن الذكاء الاصطناعي يكاد يكون مثالياً في "استدعاء الدوال" (استخدام الأدوات)، حيث بلغ معدل النجاح 0.97. كما أنه أصبح جيداً جداً في البرمجة، ويتحسن بسرعة خلال العامين الماضيين. ومع ذلك، لا يزال الذكاء الاصطناعي يواجه وقتاً عصيباً مع "سير العمل المؤسسي" — وهي وظائف مكتبية معقدة متعددة الخطوات مثل إدارة عملية تجارية. في هذه المجالات، يبلغ معدل النجاح 0.57 فقط، مما يعني أن الوكلاء لا يزالون يفشلون أكثر مما ينجحون. كما أثبت الباحثون أنه يمكنك استخدام هذه المكتبة الضخمة لإنشاء "مقياس مهارة" للذكاء الاصطناعي يتوافق بشكل وثيق مع التصنيفات الكبرى الأخرى (بمعامل ارتباط قدره 0.81)، دون الحاجة لإنفاق ملايين الدولارات لإجراء اختبارات جديدة.

في النهاية، يعد MESSIER أداة للوضوح. إنه يشير إلى أنه من خلال النظر في التفاصيل الصغيرة لكيفية فشل الوكيل، بدلاً من مجرد النظر إلى النتيجة النهائية، يمكننا الحصول على صورة أكثر صدقاً لما يمكن للذكاء الاصطناعي القيام به حقاً. هو لا يقول إن الذكاء الاصطناعي قد حل كل شيء، لكنه يوحي بأن أدوات القياس الحالية لدينا قد تكون شديدة التبسيط. ومن خلال توحيد هذه النتائج، يأمل المؤلفون في وقف هدر الأموال في تكرار نفس الاختبارات ومساعدة الباحثين على فهم الوظائف التي يكون الذكاء الاصطناعي جاهزاً لها بالضبط وتلك التي لا تزال بحاجة إلى يد بشرية. البيانات متاحة الآن لأي شخص لاستخدامها، مما يحول فوضى الأرقام المربكة إلى خريطة واضحة لمشهد الذكاء الاصطناعي.