ملخص تقني: EgoCoT-Bench

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً في فهم الفيديو، إلا أن المعايير المرجعية الحالية لفهم الفيديو من منظور الشخص الأول (egocentric) تعاني من قيود كبيرة. تفتقر مجموعات البيانات الحالية غالباً إلى تقييم المبررات القائم على التأسيس (grounded rationale evaluation)، وتفشل في دعم الاستدلال الدقيق المتمحور حول العمليات (operation-centric reasoning). وتحديداً، نادراً ما تفحص ما إذا كان الاستدلال الذي تولده النماذج يستند بالفعل إلى أدلة مكانية-زمانية صريحة. في سيناريوهات منظور الشخص الأول، غالباً ما تكون الأشياء مرئية جزئياً، أو محجوبة بواسطة الأيدي، أو تغادر مجال الرؤية بشكل متقطع، مما يتطلب من النماذج الاستدلال بناءً على أدلة تتطور زمنياً بدلاً من الاعتماد على إطارات لحظية. كما تركز المعايير المرجعية الحالية إما على أسئلة وأجوبة عامة للفيديو من منظور الشخص الثالث، أو توفر دعماً محدوداً للإشراف على المبررات الصريحة والتأسيس المكاني الدقيق في مهام التلاعب بمنظور الشخص الأول.

المنهجية: بناء EgoCoT-Bench

لمعالجة هذه الفجوات، قدم المؤلفون EgoCoT-Bench، وهو معيار مرجعي دقيق مصمم للاستدلال المتمحور حول العمليات والمتمثل في التأسيس والتحقق. يتبع البناء إطار عمل صارم لـ توليد موجه بمخطط المشهد المكاني-الزماني (STSG) مدمج مع التنقيح البشري:

1. جمع البيانات: يجمع المعيار المرجعي 351 مقطع فيديو من منظور الشخص الأول من مصادر متنوعة، بما في ذلك مجموعات البيانات العامة (Ego4D، EPIC-KITCHENS، MECCANO، Charades-Ego، HD-EPIC)، وتغطي الأنشطة اليومية، ومهام المطبخ، والتجميع المنظم.
2. التوليد الموجه بـ STSG:
   • يتم تحويل مقاطع الفيديو إلى مخططات مشاهد مكانية-زمانية (STSG) متكيفة مع منظور الشخص الأول، لتكون بمثابة تمثيل وسيط مهيكل.
   • يتم تنقيح الـ STSGs يدوياً لتصحيح هويات الأشياء غير الموثوقة، وروابط التفاعل غير المتسقة، وتحولات الحالة الغامضة.
     તેમને يتم اشتقاق أزواج الأسئلة والأجوبة المرشحة عن طريق تتبع مسارات الأدلة الخاصة بالمهمة داخل الـ STSG، وربط الإجابات بإشارات التفاعل الملموسة من منظور الشخص الأول (الطوابع الزمنية، صناديق الإحاطة، سجل الحركة).
   • يقوم نموذج لغوي كبير (LLM) بتحويل هذه الحقائق الهيكلية المتحقق منها إلى أسئلة وخيارات ومبررات باللغة الطبيعية، مما يضمن عدم اختلاق الأدلة الأساسية.
3. التنقيح البشري: تضمن عملية فحص يدوي متعددة الجولات الصحة الدلالية، والصلة بمنظور الشخص الأول، واتساق الأدلة. يقوم المراجعون بالتحقق من أن الأسئلة والإجابات والمبررات والأدلة الداعمة متسقة مع بعضها البعض.
4. تصنيف المهام: يتكون المعيار المرجعي من 3,172 زوجاً من الأسئلة والأجوبة منظمة في أربع مجموعات مهام و 12 مهمة فرعية دقيقة:
   • التأسيس والإدراك من منظور الشخص الأول: التأسيس النشط للأشياء (AOG)، ربط اليد بالشيء (HOA)، إدراك حالة التلاعب (MSP).
   • الاسترجاع المكاني-الزماني: استرجاع الحالة (SR)، استرجاع الموقع/الرؤية (LVR)، الاسترجاع الزماني لليد والشيء (HOTR).
   • الاستدلال التنبئي والسببي: توقع الحالة التالية (NSA)، توقع الإجراء التالي (NAA)، استدلال السبب والنتيجة المحلي (LCOI).
   • الاستدلال المرتكز على التأسيس عالي المستوى: استدلال التقدم (PR)، سلسلة الأفكوت (CoT) المرتكزة على اليد والشيء (HGC)، تتبع الأشياء الموجه نحو الهدف (GOT).
5. بروتوكول التقييم: يستخدم المعيار المرجعي بروتوكولاً من ثلاثة مقاييس لتقييم النماذج بما يتجاوز مجرد دقة الإجابة:
   • دقة الإجابة (Acc): مطابقة تامة صارمة على الأسئلة متعددة الخيارات.
   • درجة الاستدلال (R): درجة على مقياس من 0 إلى 5 (يتم الحكم عليها بواسطة نموذج لغوي قوي) لتقييم التماسك المنطقي، والاتساق الواقعي، والاتساق مع الأدلة المرئية.
   • معدل الإجابة الصحيحة الزائفة (SCR): نسبة الحالات التي تجيب فيها النماذج بشكل صحيح ولكنها تقدم استدلالاً ضعيفاً أو غير مؤسس (R ≤ 2).

النتائج الرئيسية

قيم المؤلفون مجموعة واسعة من 4 نماذج لغوية كبيرة متعددة الوسائط مملوكة و15 نموذجاً مفتوح المصدر (بما في ذلك سلاسل GPT-5 وQwen وLLaVA وInternVL) على EgoCoT-Bench:

• الأداء العام: لا يزال المعيار المرجعي يشكل تحدياً كبيراً. حقق أفضل نموذج أداءً، وهو Qwen3.5-27B، دقة إجمالية بلغت 71.28%، وهو ما يقل بشكل كبير عن أداء البشر (95.93%).
• صعوبة المهام:
  • كانت مجموعة الاستدلال التنبئي والسببي هي الأكثر قابلية للحل (أفضل دقة: 78.21%).
  • أثبتت مهام الاسترجاع المكاني-الزماني و الاستدلال المرتكز على التأسिस عالي المستوى أنها الأكثر صعوبة، حيث بلغت أفضل درجات الدقة 69.10% و68.08% على التوالي.
  • كانت مهمة تتبع الأشياء الموجه نحو الهدف (GOT) هي الأصعب (أفضل دقة: 45.28%)، بينما كانت إدراك حالة التلاعب (MSP) هي الأسهل (87.79%).
• الاستدلال مقابل الدقة: النتيجة الحاسمة هي عدم الاتساق بين صحة الإجابة وجودة الاستدلال. على سبيل المثال، بينما حقق Qwen3.5-27B أعلى دقة، حقق Qwen3-VL-Plus أعلى متوسط لدرجة الاستدلال (3.08/5). وعلى العكس من ذلك، أظهر GPT-5.2 أدنى معدل للإجابة الصحيحة الزائفة (4.27%)، مما يشير إلى الاستدلال الأكثر أمانة بين الإجابات الصحيحة.
• الصحة الزائفة: أظهرت العديد من النماذج معدلات عالية من الإجابات الصحيحة الزائفة، خاصة في مهام الاستدلال المرتكز على التأسيس عالي المستوى، مما يشير إلى أنها غالباً ما تخمن الخيار الصحيح دون تقديم استدلال قائم على الأدلة المكانية-الزمانية للفيديو.

الأهمية والادعاءات

يزعم البحث أن EgoCoT-Bench يعمل كمنصة اختبار ضرورية لتعزيز الاستدلال المرتكز على التأسيس، والقابل للتحقق، والمتماسك زمنياً في فهم الفيديو من منظور الشخص الأول. وتتمثل مساهماته الأساسية في:

1. معيار مرجعي دقيق: يوفر أول مجموعة بيانات واسعة النطاق تستهدف تحديداً الاستدلال المتمحور حول العمليات مع تعليقات توضيحية للمبررات خطوة بخطوة وتأسيس مكاني-زماني.
2. مسار بناء مهيكل: يوضح مسار توليد موجه بـ STSG وتنقيه بشري يضمن إمكانية تتبع كل عينة إلى أدلة مرئية صريحة، متجاوزاً بذلك الوصف الحر للفيديو.
3. بروتوكول تقييم أمين: من خلال تقديم "درجة الاستدلال" و"معدل الإجابة الصحيحة الزائفة"، يدعو المؤلفون إلى بروتوكولات تقييم تقيم صراحةً ما إذا كان استدلال النموذج متسقاً مع الأدلة الأساسية، بدلاً من الاعتماد فقط على دقة الإجابة النهائية.

يخلص المؤلفون إلى أن النماذج اللغوية الكبيرة متعددة الوسائط الحالية تعاني من صعوبة في تأسيس الأدلة واتساق المبررات في سيناريوهات منظور الشخص الأول. ويفترضون أن التقدم المستقبلي في الذكاء الاصطنال المنبثق (Embodied AI) والأنظمة المساعدة يتطلب نماذج يمكنها تبرير القرارات باستخدام أدلة مكانية-زمانية قابلة للتحقق، وهي القدرة التي صُمم EgoCoT-Bench لقياسها وتحسينها.