ملخص تقني: Agent-X

بيان المشكلة

يُعد التفكير العميق أمراً ضرورياً لحل المهام المعقدة في العالم الحقيقي التي تتطلب فهماً تسلسلياً ومتعدد الوسائط. ومع ذلك، تعاني الاختبارات المرجعية الحالية للأنظمة الوكيلية (agentic systems) من قيود كبيرة؛ فهي تعتمد بشكل أساسي على استعلامات أحادية المرحلة وتركيبية بالكامل؛ وتفتقر إلى دعم الوسائط المرئية المتنوعة (مثل الفيديو والمقارنة بين الصور المتعددة)؛ وتفشل في توفير أطر لتقييم جودة التفكير عبر خطوات متعددة. غالباً ما تركز التقييمات الحالية فقط على دقة الإجابة النهائية، متجاهلةً القابلية للتفسير، والتماسك المنطقي، ودقة استخدام الأدوات المطلوبة للسلوك الوكيلي الحقيقي في البيئات الواقعية.

المنهجية

لمعالجة هذه الفجوات، قدم المؤلفون Agent-X، وهو اختبار مرجعي واسع النطاق مصمم لتقييم الوكلاء الذين يركزون على الرؤية في بيئات متعددة الوسائط وواقعية.

بناء الاختبار المرجعي

يتكون Agent-X من 828 مهمة وكيلية مستمدة من سياقات مرئية حقيقية، تشمل الصور، والفيديوهات، والنصوص الإرشادية. يتبع البناء مسار عمل شبه مؤتمت:

1. توليد الاستعلامات: تقوم النماذج اللغوية الكبيرة متعددة الوسائط (LMMs) بتوليد استعلامات مرشحة أولية بناءً على المدخلات المرئية ومجموعة أدوات محددة مسبقاً.
2. التحسين البشري: يقوم المراجعون البشريون بتحسين هذه الاستعلامات لضمان الواقعية، والوضوح، وضرورة التفكير متعدد الخطوات. ومن الأهمية بمكان أن الاستعلامات صُممت دون إشارات صريحة لأدوات محددة أو تسلسل خطوات، مما يجبر الوكلاء على التخطيط بشكل مستقل.
3. إنشاء مسار التفكير: تقوم النماذج اللغوية الكبيرة متعددة الوسائط بتوليد مسارات تفكير أولية (استدعاءات الأدوات خطوة بخطوة، المدخلات، المخرجات، والأفكار). ثم يقوم المراجعون البشريون بالتحقق بدقة من هذه المسارات وتصحيحها لضمان الاتساق المنطقي، والدقة الواقعية، والاستخدام الصحيح للأدوات.
4. الحقيقة الأرضية (Ground Truth): تتضمن كل مهمة مسار تفكير حقيقي، وإجابة نهائية، وتبريراً.

نطاق المهام والأدوات

يشمل الاختبار المرجعي ست بيئات وكيلية رئيسية:

• التفكير المرئي العام
• تصفح الويب
• الأمن والمراقبة
• القيادة الذاتية
• الرياضة
• التفكير الرياضي

تتطلب المهام دمج 14 أداة قابلة للتنفيذ (مثل: التعرف الضوئي على الحروف OCR، واصف المشهد SceneDescriber، عداد الأشياء ObjectCounter، الحاسبة Calculator، البحث عبر الويب WebSearch، ورسام المخططات البرمجية CodePlotter) عبر مجالات الإدراك، والعمليات المرئية، والرياضيات، والفنون. تتضمن مجموعة البيانات 716 مدخلاً صورياً و112 مدخلاً للفيديو.

إطار التقييم

يقدم Agent-X إطار تقييم دقيق على مستوى الخطوة يقيم الوكلاء عبر ثلاثة أنماط:

1. خطوة بخطوة: يقيم جودة التفكير الوسيط باستخدام مقاييس مثل درجة التأسيد ($G_s$)، ودقة الأداة ($T_p$)، ودقة استخدام الأداة ($T_a$).
2. التفكير العميق: يقيم التماسك والاتساق المنطقي لسلسلة التفكير بأكملها باستخدام معايير الأمانة ($F_{acc}$)، ودرجة السياق ($C_s$)، والدقة الواقعية ($F_p$)، والدقة الدلالية ($S_{acc}$).
3. النتيجة: يقيس صحة الإجابة النهائية (دقة الهدف، $G_{acc}$) والصحة العامة لمجموعة الأدوات المستخدمة (دقة مجموعة الأدوات، $T_{sacc}$).

يستخدم التقييم عدة جهات تحكيم (GPT-4o، وQwen-14B، ومراجعين بشريين) لضمان المتانة وتقليل الانحياز.

المساهمات الرئيسية

1. اختبار Agent-X المرجعي: أول اختبار مرجعي واسع النطاق يجمع بين المدخلات متعددة الوسائط من العالم الحقيقي (صور، فيديو، نص) مع تقييم التفكير خطوة بخطوة المعزز بالأدوات عبر ست بيئات متنوعة.
2. مقاييس دقيقة: مجموعة مبتكرة من المقاييس التي لا تقيم النتيجة النهائية فحسب، بل تقيم أيضاً خطوات التفكير الوسيطة، ودقة اختيار الأدوات، والتماسك المنطقي، مما يميز بين التفكير الحقيقي والتلفيق (confabulation).
3. تقييم شامل: تقييم واسع النطاق لـ 12 نموذجاً من أحدث النماذج اللغوية الكبيرة متعددة الوسائط (LMMs)، بما في ذلك النماذج مغلقة المصدر (GPT-4o، Gemini-2.5-Pro، OpenAI-o4-mini) والنماذج مفتوحة المصدر (Qwen2.5-VL، InternVL، VideoLLaMA3).

النتائج

يكشف التقييم عن تحديات كبيرة تواجه النماذج الحالية في المهام الوكيلية التي تركز على الرؤية:

• نجاح منخفض للسلسلة الكاملة: تحقق أفضل النما أداءً أقل من 50% في دقة الهدف ($G_{acc}$). حيث حقق أفضل نموذج أداءً وهو OpenAI-o4-mini نسبة 45%، بينما سجلت معظم النماذج مفتوحة المصدر أقل من 30%.
• التفكير مقابل التنفيذ: تميل النماذج ذات قدرات التفكير القوية (الأمانة العالية $F_{acc}$، والدقة الواقعية $F_p$) إلى الأداء بشكل أفضل في النتائج النهائية، لكن استدعاء الأدوات والتنبؤ بالوسائط (arguments) يظلان من العقبات الجوهرية.
• محدودية استخدام الأدوات: تظهر مقاييس متعلقة بالأدوات تبايناً واسعاً. فغالباً ما تهلوس النماذج في استخدام الأدوات، أو تنتج تنسيقات JSON غير صالحة، أو تفشل في ربط الأدوات بشكل صحيح. على سبيل المثال، أظهر Gemini-1.5-Pro معدلات خطأ في JSON عالية (44.5%)، بينما يعاني GPT-4o من سوء التفسير المرئي (18.5%).
• التقدم في النماذج مفتوحة المصدر: رغم أن النماذج مغلقة المصدر تتصدر حالياً، إلا أن أفضل النماذج مفتوحة المصدر مثل Qwen2.5-VL-7B تظهر أداءً تنافسياً في مقايلات محددة، مما يشير إلى تقلص الفجوة.

الأهمية

يزعم البحث أن Agent-X يمثل خطوة حاسمة للأمام في تقييم الأنظمة الوكيلية من خلال نقل التركيز من صحة الإجابة السطحية إلى التفكير العميق والقابل للتفسير. تسلط النتائج الضوء على أن النماذج اللغوية الكبيرة متعددة الوسائط الحالية تواجه صعوبة في التفاعل المعقد بين الإدراك، والتخطيط، وتنفيذ الأدوات المطلوب للمهام الواقعية. ومن خلال تحديد عقبات محددة — مثل التفكير الزمني في الفيديوهات، والالتزام بمخطط الأداة (tool schema)، وفرض المخرجات المهيكلة — يوفر الاختبار المرجعي رؤى قابلة للتطبيق لتوجيه الأبحان المستقبلية في تطوير وكلاء متعددي الوسائط أكثر متانة وتركيزاً على التفكير. ويرى المؤلفون أن Agent-X سيقود التقدم في التفكير متعدد الوسائط والتكامل القوي للأدوات، ليكون معياراً لتتبع التقدم في أطر العمل الوكيلية التي تركز على الرؤية.