The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering
يقدم هذا التقرير التقني تحدي EgoCross، وهو معيار لتقييم الإجابة على الأسئلة في فيديوهات منظور الشخص الأول عبر المجالات المختلفة، والذي استضافته مؤتمر EgoVis 2026 لتقييم نماذج اللغات الكبيرة متعددة الوسائط في أربعة مجالات متخصصة من خلال مسارين متميزين، مما أسفر عن أكثر من 1,500 مشاركة وإطلاق موارد عامة للنهوض بهذا المجال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم العالم من خلال كاميرا مثبتة على رأسه. هذا هو مجال فهم الفيديو من منظور الشخص الأول (egocentric video understanding)، حيث تحاول الحواسيب استيعاب الحياة من منظور الشخص الأول، تماماً كما تراها أنت. عادةً، يتم تدريب هذه الروبوتات على مهام يومية روتينية مثل تحميص الخبز أو طي الملابس. لكن الحياة الواقعية فوضوية ومليئة بالمفاجآت. ماذا يحدث عندما يحتاج هذا الروبوت إلى إجراء جراحة قلب، أو تجميع آلة معقدة، أو التزلج على منحدر جبلي، أو رؤية العالم من منظور كلب؟ هذه هي "فجوة النطاق" (domain gap): القفزة المخيفة من معرفة كيفية طهي بيضة إلى معرفة كيفية التعامل مع المشرط. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن لحاسوب ذكي أن يتعلم التعامل مع هذه العوالم المختلفة تماماً وعالية الخطورة دون الحاجة إلى إعادة تعلم كل شيء من الصفر؟
هذه الورقة البحثية هي تقرير الدرجات لتجربة ضخمة تسمى تحدي First EgoCross، التي أقيمت في عام 2026. وضع المنظمون اختباراً صعباً لمعرفة ما إذا كانت روبوتات الفيديو "فائقة الذكاء" الحديثة يمكنها التعميم بما يتجاوز روتينها اليومي. لقد أنشأوا معياراً يتكون من 798 مقطع فيديو و957 سؤالاً صعباً عبر أربعة عوالم مختلفة تماماً: الجراحة، التجميع الصناعي، الرياضات الخطرة، ومنظور الحيوانات. كان الهدف بسيطاً ولكنه صعب: شاهد الفيديو، اقرأ السؤال، ثم اختر الإجابة الصحيحة من بين أربعة خيارات. قسّم التحدي المشاركين إلى مجموعتين. المجموعة الأولى، "مسار المصادر المحدودة" (Source-Limited Track)، كان عليها العمل مع مجموعة صغيرة وثابتة من الأمثلة (80 عينة فقط!) وعقل روبوت محدد. أما المجموعة الأخرى، "المسار المفتوح المصدر" (Open-Source Track)، فكان بإمكانها استخدام عقول أكبر وبيانات عامة أكثر، لكن لم يُسمح لها بالبحث يدوياً عن فيديوهات تدريب جديدة من العوالم المستهدفة.
كانت النتائج مزيجاً من "الذهول" و"لا يزال الأمر صعباً". قدمت أكثر من 130 فرقة ما يزيد عن 1,500 محاولة. الفريق الفائز، DomainWiseInfer، لم يكتفِ بمواجهة المشكلة بالقوة الغاشمة عبر استخدام روبوت أكبر؛ بل بنى نظام "شرطي مرور" ذكياً. فبدلاً من استخدام استراتيجية عامة واحدة لكل شيء، أدركوا أن السؤال المتعلق بحادث تزلج يحتاج إلى طريقة تفكير مختلفة تماماً عن السؤال المتعلق بأداة جراحية. قاموا بتوجيه الأسئلة إلى "استراتيجيات استدلال" متخصصة بناءً على النطاق. على سبيل المثال، بالنسبة لفيديوهات الحيوانات، ركزوا على تتبع التفاعلات وتثبيت حركات الكاميرا المهتزة. أما بالنسبة للجراحة، فقد ركزوا على التحقق مما إذا كانت الأداة مرئية بالفعل. هذا النهج، الذي لم يتطلب تقريباً أي تدريب جديد، رفع دقة الروبوت من خط أساس يبلغ حوالي 46% إلى نسبة فوز بلغت 66.98%.
فريق متصدر آخر، OmniEgo-R2، تعامل مع المشكلة كأنها محقق يحل لغزاً. لقد قسموا المهمة إلى خطوات: أولاً، تنظيم إطارات الفيديو مع الطوابع الزمنية؛ ثانياً، تحديد نوع "المهارة" التي يتطلبها السؤال (مثل عد الأشياء أو تحديد موقع)؛ وثالثاً، التحقق من كل إجابة محتملة مقابل الأدلة المرئية للتأكد من أنها ليست كذبة. ساعد هذا "الاستدلال الموجه" (routed reasoning) في تحقيق نتيجة 66.35% في المسار الصارم و66.77% في المسار المفتوح.
حاول فريق المركز الثالث في المسار المفتوح، Reflective Dialogue، حيلة مختلفة. فبدلاً من مجرد عرض الأمثلة على الروبوت، حولوا الأمثلة إلى محادثة بين "معلم" و"حلال". يقوم المعلم بطرح سؤال، ويقوم الحلال بالتخمين، وإذا أخطأ الحلال، يشرح له المعلم لما-ذا أخطأ وما هي الأدلة المرئية الفعلية التي ظهرت. تم بعد ذلك تغذية هذا "الحوار التأملي" للروبوت كإشارة قبل أن يجيب على أسئلة الاختبار الحقيقية. ساعدت هذه الطريقة الروبوت على الوصول إلى دقة 65.94%.
تشير الورقة البحثية إلى أنه بينما نحرز تقدماً، لا يزال الروبوت يعاني أكثر في الجراحة والرياضات الخطرة، حيث تتحرك الأشياء بسرعة أو تبدو محددة للغاية. ومع ذلك، كان الروبوت جيداً بشكل مفاجئ في منظور الحيوانات، ربما لأن تلك الفيديوهات تعتمد أكثر على إشارات بصرية عامة. الخلاصة الرئيسية ليست أننا قد حللنا المشكلة، بل إن أفضل طريق للمضي قدماً ليس مجرد صنع روبوتات أكبر. بدلاً من ذلك، يتعلق الأمر بمنحهم طرقاً أذكى للتفكير: توجيه الأسئلة إلى الخبراء المناسبين، وتقسيم المشكلات إلى خطوات منطقية، والتعلم من "المحادثات" حول الأخطاء. لقد أثبت التحدي أنه مع الاستراتيجية الصحيحة، يمكن للروبوت أن يبدأ في فهم الزوايا البرية والمتنوعة لعالمنا، حتى لو لم يرَ منها سوى أمثلة قليلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.