EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
يقدم EgoBench أول معيار مرجعي تفاعلي متعدد الوسائط للوكلاء المستخدمين للأدوات، والذي يتميز بـ 1,045 مهمة فيديو من منظور الشخص الأول وبيئة مستخدم محاكية لتقييم التآزر بين الإدراك والاستدلال والتفاعل الديناميكي بصرامة، كاشفاً أن النماذج الحالية الرائدة تعاني بشكل كبير مع هذه القدرات المعقدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت خادم كيف يساعدك في طهي العشاء أو التسوق لشراء البقالة بينما ترتدي كاميرا على رأسك. تريد من الروبوت ألا يكتفي فقط بـ "رؤية" ما تفعله، بل أن "يفكر" فيما يجب فعله بعد ذلك، و"يستخدم الأدوات" للتحقق من قاعدة بيانات (مثل كتاب وصفات أو قائمة أسعار)، و"يتحدث إليك" إذا شعر بالارتباك.
تقدم هذه الورقة البحثية EgoBench، وهو في الأساس "امتحان نهائي" ضخم وصعب للغاية لهؤلاء الروبوتات الخادمين. إليك تفصيل لما تفعله الورقة، باستخدام تشبيهات بسيطة:
١. المشكلة: الاختبارات "السهلة للغاية"
تخيل أنك تدرب كلباً. إذا اختبرته فقط بطلب "الجلوس" في حقل هادئ وفارغ، فقد يبدو كأنه عبقري. لكن في العالم الحقيقي، يحتاج الكلب إلى الجلوس بينما تنطلق بوق سيارة، أو يركض سنجاب بجانبه، أو عندما تعطيه أمراً معقداً مثل "اجلس، ثم أحضر الكرة، ولكن فقط إذا كانت حمراء".
يقول المؤلفون إن اختبارات الذكاء الاصطناعي الحالية تشبه ذلك الحقل الهادئ؛ فهي بسيطة للغاية. فهي لا تختبر ما إذا كان بإمكان الذكاء الاصطناعي:
- الرؤية: ما يحدث في فيديو مزدحم ومتحرك (مثل منظور الشخص الأول ليديك أثناء الطبخ).
- التفكير: عبر لغز منطقي متعدد الخطوات (مثلاً: "إذا كانت الطماطم حمراء، افحص الثلاجة؛ وإذا كانت منتهية الصلاحية، اشترِ واحدة جديدة").
- التحدث: مع إنسان قد يكون نافد الصبر، أو نسيّاً، أو يعطي تلميحات مربكة.
٢. الحل: EgoBench (مضمار العقبات)
EgoBench هو ميدان اختبار جديد صُمم خصيصاً لمعرفة ما إذا كان بإمكان وكلاء الذكاء الاصطناعي التعامل مع فوضى الحياة الواقعية. يتكون من ثلاثة أجزاء رئيسية:
- الفيديو (العيون): بدلاً من الصور الثابتة، يشاهد الذكاء الاصطناعي مقاطع فيديو قصيرة من منظور الشخص الأول (مثل لقطات GoPro من رأسك). الأمر يشبه أن يرتدي الذكاء الاصطناعي نظاراتك. عليه أن يستنتج: "أوه، تلك حبة طماطم على اليسار، وقد التقطتها للتو".
- الأدوات (الأيدي): لا يمكن للذكاء الاصطناعي مجرد التخمين. يجب عليه استخدام "أدوات" (مثل دليل هاتف رقمي أو قاعدة بيانات) للعثور على معلومات مخفية. على سبيل المثال، يظهر الفيديو زجاجة نبيذ، لكن الفيديو لا يذكر ما إذا كانت منتهية الصلاحية أم لا. يجب على الذكاء الاصطناعي استخدام أداة للتحقق من قاعدة البيانات.
- المستخدم المحاكي (الفم): هذا هو الجزء الذكي؛ فقد صمم الباحثون "إنساناً مزيفاً" (برنامج كمبيوتر يتصرف كشخص) للتحدث مع الذكاء الاصطناعي. يمكن لهذا الإنسان المزيف أن يكون:
- سهلاً: يطرح الأسئلة بأدب فقط.
- صعباً: يكون نافد الصبر، أو يعطي معلومات غير ذات صلة ("بالمناسبة، الطقس جميل اليوم!")، أو يغضب إذا كان الذكاء الاصطناعي بطيئاً.
- ساكناً (Static): يعطي جميع التعليمات دفعة واحدة في فقرة كبيرة واحدة.
٣. نظام التصحيح: ممنوع الغش
في العديد من اختبارات الذكاء الاصطناعي، يقرأ كمبيوتر ذكي (ذكاء اصطناعي آخر) الإجابة ويقول: "هذا يبدو جيداً!"، وهذا أمر ذاتي.
يستخدم EgoBench نظام تصحيح حتمي (Deterministic). فكر في الأمر كدرجة في لعبة فيديو:
- فحص العملية: هل استدعى الذكاء الاصطناعي الأدوات الصحيحة؟ (هل تحقق من السعر؟ هل تحقق من تاريخ انتهاء الصلاحية؟)
- فحص النتيجة: هل تطابقت حالة قاعدة البيانات النهائية مع الهدف؟ (هل تم وضع الصنف بالفعل في عربة التسوق؟ هل تم تحديث الوصفة؟)
إذا قال الذكاء الاصطناعي "لقد فعلت ذلك" ولكن قاعدة البيانات لا تظهر التغيير، فسيحصل على صفر. لا مجال للمجادلة مع المعلم.
٤. النتائج: "اختبار الواقع"
اختبر المؤلفون 8 من أكثر نماذج الذكاء الاصطناعي تقدماً وذكاءً المتاحة اليوم في هذا الامتحان.
النتيجة؟ لقد فشلوا فشلاً ذريعاً.
- حتى أفضل نموذج لم ينجح إلا في حوالي 19% إلى 30% من المهام، اعتماداً على مدى صعوبة تعامل "الإنسان المزيف" معه.
- في السيناريو الأسهل (التجزئة/التسوق)، نجح أفضل نموذج في حوالي 30% فقط من المهام.
لماذا فشلوا؟ وجدت الورقة أن وكلاء الذكاء الاصطناعي عانوا من:
- سوء تفسير الفيديو: "ظننت أنها حبة طماطم، لكنها كانت في الواقع فلفلاً أحمر".
- الهلوسة: اختلاق حقائق ليست موجودة في الفيديو أو قاعدة البيانات.
- المنطق الضعيف: ارتكاب أخطاء في قواعد "إذا/إذن".
- التحركات الخطرة: القيام بأشياء لم يطلبها المستخدم، مثل حذف عناصر من القائمة.
الملخص
تجادل الورقة بأنه بينما أصبح الذكاء الاصطناعي جيداً في التحدث والنظر إلى الصور، إلا أنه لا يزال سيئاً جداً في الجمع بين تلك المهارات للقيام بأشياء فعلية في بيئة فوضوية وواقعية حيث يتعين عليه التحدث مع إنسان، واستخدام الأدوات، واتباع قواعد معقدة. EgoBench هو المسطرة الجديدة التي نستخدمها لنقيس بدقة المدى الذي لا يزال يتعين علينا قطعه.
ملاحظة هامة: الورقة البحثية تقدم فقط هذا المعيار ونتائج الاختبار. وهي لا تدعي أن هؤلاء الوكلاء من الذكاء الاصطناعي جاهزون لاستخدامهم في المستشفيات، أو السيارات ذاتية القيادة، أو أي تطبيق واقعي آخر بعد. هي ببساطة تقول: "هذا هو الاختبار، وها هو بيان لمدى سوء أداء أفضل النماذج الحالية عليه".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.