ملخص تقني: CrossView – هل يمكن لنماذج الرؤية واللغة الاستنتاج عبر الكاميرات؟

بيان المشكلة

تعمل نماذج الرؤية واللغة (VLMs) الحالية ومعايسات فهم الفيديو إلى حد كبير تحت "افتراض الكاميرا الواحدة"، حيث يتم تقييم النماذج بناءً على قدرتها على الاستنتاج عبر تدفق بصري واحد. وبينما تحقق النماذج المتطورة أداءً يقترب من الأداء البشري في معايسات مثل VQAv2 وVideo-MME، فإن الأنظمة الواقعية (مثل المركبات ذاتية القيادة، شبكات المراقبة، والروبوتات) تعتمد بطبيعتها على شبكات متعددة الكاميرات.

يجادل المؤلفون بأن الاستنتاج متعدد الكاميرات ليس مجرد توسيع لمشكلة الكاميرا الواحدة، بل هو تحدٍ مختلف جوهرياً يتسم بعائقين محددين:

1. توسع السياق (Context Scaling): إن معالجة $N$ من تدفقات الفيديو المتزامنة يوسع نافذة السياق المطلوبة، مما يتجاوز غالباً الحدود الفعالة للنماذج ذات السياق الطويل.
2. الاستنتاج المكاني عبر الرؤى (Cross-View Spatial Reasoning): يجب على النماذج إجراء عملية "خياطة" (stitching) مكانية-زمانية، وتوليف وجهات نظر منفصلة لتكوين مشهد متماسك. يتطلب هذا حل مشكلات الحجب (occlusions) التي لا تظهر إلا من كاميرات معينة، واختيار الرؤى الأكثر إفادة، ودمج الأدلة عبر المنظورات المتداخلة أو المتباعدة.

تركز قواعد البيانات الموجودة إما على مهام إدراك ضيقة (مثل دمج الرؤى في تمثيل "عين الطائر" - Bird's-Eye-View) أو تكون مقيدة بنطاقات محددة مثل فهم الأنشطة من منظور الشخص الأول (egocentric). هناك نقص واضح في المعايسات التي تجبر النماذج على الاستنتاج زمانياً ومكانياً عبر تغذيات كاميرا خام، متزامنة، وغير متجانسة.

المنهجية

بناء قاعدة البيانات: CrossView

قدم المؤلفون CrossView، وهو معيار لأسئلة وأجوبة الفيديو (VQA) متعدد الكاميرات يضم 6,000 سؤال عبر أربعة مجالات واقعية: القيادة الذاتية (nuScenes)، المراقبة (MEVA)، التفاعل بين المنظور الشخصي والخارجي (Ego-Exo4D)، والروبوتات (AgiBot).

تم بناء قاعدة البيانات عبر مسار عمل مكون من مرحلتين لضمان الصحة الدلالية وتجنب الهلوسة في النماذج:

1. بناء الرسم البياني للمشهد الزماني-المكاني (STSG):
   • تم تجميع البيانات الوصفية (Metadata) من قواعد البيانات المصدرية. بالنسبة لـ nuScenes، تم استخدام سحب النقاط من مستشعر LiDAR لتدقيق التحديد المكاني ثلاثي الأبعاد؛ وبالنسبة للبيانات الأخرى، استُخدمت التوصيفات ثلاثية الأبعاد أو صناديق الإحاطة (bounding-box).
   • تم توليد أنشطة وأوصاف تركز على الأشياء باستخدام نماذج الرؤية واللغة (مثل InternVL-3.5) في حال غياب الملصقات الأصلية.
   • تم حساب العلاقات المكانية الزوجية (مثل خلف، يسار، يمين) وفروق الاتجاه بين الكيانات عبر رؤى الكاميرات المختلفة.
   • تم تشكيل فترات الأحداث $[t_{start}, t_{end}]$ عن طريق تجميع الطوابع الزمنية المتتالية حيث يحافظ جسم ما على نشاط ثابت.
   • تشكل هذه العناصر تسلسلاً زمنياً من لقطات الرسم البياني $G_t$، مما ينتج عنه الـ STSG النهائي.
2. توليد الأسئلة البرمجي:
   • تستعلم بنية "الهدف-التأسيسي" (Grounding-Target) من الـ STSG. يقوم النظام بتحديد أحداث/أجسام التأسيس، واختيار الأحداث المستهدفة، واختيار مرشحين سلبيين (المشتتات).
   • يتم تمرير هذه البيانات الوصفية المهيكلة إلى GPT-5.2 لتخليق أسئلة باللغة الطبيعية، مما يضمن أوصافاً قائمة على التأسيس (grounded) بناءً على مظهر الجسم ونشاطه بدلاً من الملصقات العامة.

فئات الأسئلة

يتضمن المعيار خمس فئات استنتاجية متميزة، بالإضافة إلى مهمة "معرف الكاميرا" (Camera-ID):

• الزمني (Temporal): الاستنتاج حول علاقات قبل، بعد، خلال، أو بين.
• ترتيب الأحداث (Event Ordering): إعادة بناء التسلسل الزمني لـ 3 إلى 5 أحداث متميزة.
• المكاني (Spatial): تحديد العلاقات ثلاثية الأبعاد (مثل الموقع النسبي لعمود المرور بالنسبة لسيارة متوقفة) عبر وجهات النظر.
• العد (Counting): تجميع حالات الكائنات الفريدة (UIDs) عبر النطاق الزمني الكامل ومنظورات متعددة للتعامل مع الحجب وإعادة الظهور.
• التلخيص (Summarization): توليد سرد شامل لديناميكيات المشهد عبر جميع منظورات الكاميرا.
• أفضل كاميرا (Camera-ID): تحديد أي رؤية كاميرا محددة توفر الدليل الأكثر إفادة أو استمرارية لحدث معين.

استراتيجية التقييم

قام المؤلفون بتقييم 11 نموذجاً للرؤية واللغة، بما في ذلك النماذج المملوكة (GPT-5.2) والعائلات مفتوحة المصدر (Qwen, InternVL, Gemma).

• استراتيجيات أخذ العينات: تمت مقارنة استراتيجيتين: الموحدة (أخذ عينات $N$ من الإطارات بشكل مستقل لكل كاميرا) والمخيطة/المجمعة (Stitched) (تجميع كافة إطارات الكاميرات في صورة مركبة واحدة لكل لحظة زمنية).
• المقاييس: الدقة للمهام متعددة الخيارات (العد، الزمني، ترتيب الأحداث، المكاني، معرف الكاميرا) ودرجات ROUGE للتلخيص مفتوح النهايات.

النتائج الرئيسية

1. فجوة الاستنتاج متعدد الكاميرات

يكشف التقييم عن فجوة أداء ثابتة وكبيرة في بيئات الكاميرات المتعددة، حتى بالنسبة للنماذج المتطورة.

• دقة منخفضة: سجل نموذج GPT-5.2، الذي يقترب من مرحلة التشبع في معايسات الكاميرا الواحدة، أقل من 50% في الاستنتاج الزمني لـ nuScenes وأقل من 35% في تحديد الكاميرا في Ego-Exo4D.
• استقلال النطاق: يستمر هذا العجز عبر عائلات النماذج وأعداد المعلمات (من 3B إلى 14B+)، مما يشير إلى أن العائق ليس سعة النموذج بل هو غياب بنيوي للفهم متعدد الكاميرات في بيانات التدريب المسبق.
• صعوبة المهام: المهام التي تتطلب توليفاً مشتركاً عبر الكاميرات (العد واختيار أفضل كاميرا) تسجل أدنى الدرجات (غالباً 20-35%)، وهي أقل بكثير من مهام الترتيب الزمني أو ترتيب الأحداث (40-55%) المستمدة من نفس الفيديوهات.

2. تعقيد المشهد وكثافة الكاميرات

يتدهور الأداء بشكل رتيب مع زيادة تعقيد المشهد.

• البيئات المحكومة: تحقق AgiBot (روبوتات، كاميرات ثابتة، فوضى منخفضة) أعلى مستويات الدقة (تصل إلى 69.6% في الاستنتاج الزمني).
• البيئات المعقدة: تنتج MEVA (مراقبة واسعة النطاق، كاميرات متداخلة كثيرة) أدنى الدرجات عبر جميع الفئات، لا سيما في العد والتلخيص.

3. استراتيجيات المدخلات: الموحدة مقابل المخيطة (Stitched)

• أخذ العينات المخيط (Stitched Sampling): يؤدي تجميع الإطارات في صورة واحدة إلى تحسين الأداء في المهام التي تتطلب مقارنة مكانية متزامنة (مثلاً +10.5% في عد nu_scenes، و +16.6% في الاستنتاج المكاني لـ MEVA).
• أخذ العينات الموحد (Uniform Sampling): في البيئات الأبسط والأقل فوضى (AgiBot)، يمكن أن يؤدي "الخياطة" إلى إدخال ضوضاء بصرية وتدهور الأداء قليلاً، مما يشير إلى أن استراتيجيات أخذ عينات الإطارات يجب أن تعتمد على المهمة.

4. ضرورة المدخلات متعددة الرؤى

يؤدي قصر المدخلات على كاميرا واحدة "أفضل" إلى تقليل الأداء بشكل عام مقارنة بالمدخلات متعددة الكاميرات الكاملة.

• في nu_scenes، أدى استخدام الكاميرا الأمامية فقط إلى خفض دقة العد بنسبة 8.8% ودقة الاستنتاج المكاني بنسبة 4.4% مقارنة بالخط المرجعي متعدد الكاميرات.
• يؤكد هذا أن العديد من الأسئلة في المعيار تتطلب حقاً أدلة من وجهات نظر متعددة لا يمكن استنتاجها من تدفق واحد.

الأهمية والادعاءات

يزعم البحث أن CrossView هو أول معيار تم تنسيقه خصيصاً لتقييم الاستنتاج المشترك عبر 2 إلى 8 من تدفقات الكاميرا المتزامنة عبر مجالات متنوعة من الواقع الحقيقي. تكمن أهميته الأساسية في:

1. كشف قصور جوهري: يثبت أن نماذج الرؤية واللغة الحالية، رغم نجاحها في مهام الرؤية الواحدة، تفتقر إلى الآليات المعمارية أو بيانات التدريب اللازمة لدمج الأدلة بفعالية عبر وجهات نظر متعددة.
2. تحديد تحدٍ جديد: يرسخ أن الاستنتاج متعدد الكاميرات يتضمن تحديات متميزة (توسع السياق، الخياطة الزمانية-المكانية، واختيار الرؤية) وهي أمور لا تُحل بمجرد زيادة حجم النموذج أو حجم نافذة السياق.
3. صرامة المعيار: من خلال التحقق تجريبياً من أن مدخلات الرؤية الواحدة تفشل في الإجابة على العديد من الأسئلة (الجدول 5)، يثبت البحث ضرورة التكامل متعدد الرؤى للنشر في الأنظمة ذاتية القيادة والروبوتات.

يخلص المؤلفون إلى أن CrossView يعمل كاختبار جهد صارم لنماذج الرؤية واللغة الحديثة، مما يسلط الض الضوء على الحاجة إلى معماريات جديدة، وأهداف تدريب، ومسارات بيانات تدعم صراحةً دمج الأدلة عبر الرؤى المختلفة.