ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning
يُعد ReVSI معياراً وبروتوكول تقييم مقترحاً حديثاً يعالج عدم الصلاحية المنهجية لتقييمات الاستدلال ثلاثي الأبعاد لنماذج الرؤية واللغة (VLM) الحالية من خلال إعادة تعليق 381 مشهداً وإعادة توليد أزواج الأسئلة والأجوبة لضمان كون الأسئلة قابلة للإجابة ودقيقة في ظل مدخلات فيديو واقعية ومنخفضة العينات، مما يكشف عن أوجه القصور التي كانت محجوبة سابقاً في الذكاء المكاني.
تخيل أنك تحاول اختبار قدرة طالب على التنقل داخل منزل وعدّ الأثاث الموجود بداخله. تعطي الطالب مقطع فيديو للمنزل وتسأله: "كم عدد الوسائد الموجودة على الأريكة؟"
في عالم الذكاء الاصطناي، يستخدم الباحثون اختباراً معيارياً يسمى VSI-Bench لتقييم مدى فهم نماذج الذكاء الاصطناي (تحديداً نماذج الرؤية واللغة - VLMs) للمساحات ثلاثية الأبعاد. ولكن، وفقاً لهذه الورقة البحثية، فإن هذا الاختبار معطل. الأمر يشبه تقييم مهارات طالب في الرياضيات باستخدام ورقة اختبار أرقامها ضبابية، وأسئلتها تفتقر إلى التفاصيل الجوهرية، ومفتاح الإجابة الخاص بها خاطئ.
يقدم المؤلفون اختباراً جديداً تم بناؤه من جديد يسمى ReVSI لإصلاح هذه المشكلات. إليك تفصيل لما وجدوه وما فعلوه، باستخدام تشبيهات بسيطة.
1. المشكلة: "الخريطة المعطلة" و"عصابة العين"
حددت الورقة البحثية سببين رئيسيين جعلوا الاختبار القديم (VSI-Bench) يعطي درجات مضللة:
"الخريطة المعطلة" (انزياح التوصيف - Annotation Drift): اعتمد الاختبار القديم على "خرائط" (بيانات ثلاثية الأبعاد) تم إنشاؤها منذ سنوات لأغراض مختلفة. فكر في الأمر كاستخدام خريطة مرسومة يدوياً وباهتة من عام 1990 للتنقل في مدينة اليوم.
الأجسام المفقودة: قد تقول الخريطة القديمة إن الكرسي ليس موجوداً لأن الماسح الضوئي أغفله، لكن الكرسي واضح تماماً في الفيديو الفعلي. هنا يُعاقب الذكاء الاصطناعي لأنه رأى الكرسي، رغم أن "مفتاح الإجابة" يقول إنه لا ينبغي أن يكون هناك.
التسميات الخاطئة: قد تصنف الخريطة "كوباً" على أنه "دفتر ملاحظات" لأن الشكل ثلاثي الأبعاد كان مشوهاً. هذا يربك الذكاء الاصطناعي لأن الفيديو يظهر بوضوح أنه كوب.
الهندسة السيئة: قد تحسب الخريطة مساحة الغرفة بأنها 20 متراً مربعاً لأن الماسح الضوئي ارتبك بسبب مرآة، بينما يظهر الفيديو أنها في الواقع 40 متراً مربعاً.
"عصابة العين" (أخذ عينات الإطارات - Frame Sampling): غالباً لا تشاهد نماذج الذكاء الاصطنادي الحديثة الفيديو بالكامل؛ بل تنظر فقط إلى لقطات (إطارات) معدودة لتوفير الوقت.
تخيل أنك تسأل شخصاً: "كم عدد الأشخاص الموجودين في هذه الغرفة؟" ولكنك تعرض عليه فقط صورة التُقطت عندما كانت الغرفة فارغة.
افترض الاختبار القديم أن الذكاء الاصطناعي يمكنه رؤية الفيديو بالكامل. ولكن في الواقع، إذا شاهد الذكاء الاصطناعي 16 لقطة فقط من أصل 1000، فقد يفوته الجسم تماماً. لم يأخذ الاختبار القديم هذا في الاعتبار، لذا طرح أسئلة يستحيل الإجابة عليها بالرؤية المحدودة التي يمتلكها الذكاء الاصطناعي فعلياً.
2. الحل: ReVSI (المنزل الذي تم تجديده حديثاً)
لم يكتفِ المؤلفون بتعديل الاختبار القديم فحسب؛ بل هدموه وأعادوا بناءه من الصفر. ويسمونه ReVSI.
إعادة توصيف المنزل: استعانوا بخبراء بشريين للنظر في الفيديوهات الخام ورسم "خرائط" جديدة ومثالية يدوياً. لقد أصلحوا الكراسي المفقودة، وصححوا التسميات الخاطئة، وقاسوا الغرف بدقة بناءً على ما هو موجود فعلياً في الفيديو، وليس بناءً على ما اعتقد الماسح الضوئي المشوش أنه موجود.
قاعدة "الوعي بالإطارات": غيروا قواعد اللعبة. الآن، إذا كان مسموحاً للذكاء الاصطناعي بالنظر إلى 16 إطاراً فقط، يتم إنشاء أسئلة الاختبار خصيصاً لتلك الإطارات الـ 16. إذا لم يكن الجسم موجوداً في تلك الإطارات الـ 16، يتغير السؤال أو يُحذف. هذا يضمن اختبار الذكاء الاصطناعي فقط على ما يمكنه رؤيته بالفعل.
اختبار "الفيديو الوهمي" للإجهاد: هذه هي أكثر أدواتهم إبداعاً. لقد أنشأوا "فيديوهات وهمية" حيث قاموا رقمياً بمسح الجسم الذي كان من المفترض أن يجده الذكاء الاصطناعي.
الاختبار: يعرضون للذكاء الاصطناعي فيديو لغرفة معيشة ولكنهم يزيلون جميع الإطارات التي تحتوي على "الوسائد".
الهدف: يجب أن يكون الذكاء الاصطناعي الذكي قادراً على القول: "لا أرى أي وسائد، لذا الإجابة هي صفر".
النتيجة: العديد من نماذج الذكاء الاصطناي، بدلاً من قول "صفر"، خمنت "2" أو "3" لأنها حفظت أن غرف المعيشة عادة ما تحتوي على وسائد. هذا كشف أن هذه النماذج كانت تهلوس (تخمن بناءً على الذاكرة) بدلاً من الرؤية (النظر إلى الأدلة).
3. النتائج الصادمة
عندما أجروا الاختبار الجديد، تغيرت ترتيبات نماذج الذكاء الاصطناي بشكل كبير:
النماذج "المملوكة لشركات" (التقنية الكبرى): النماذج مثل GPT-5.2 وGemini 3 أدت جيداً بالفعل. بدا أنها تعتمد أكثر على ما تراه فعلياً في الفيديو بدلاً من التخمين.
النماذج "مفتوحة المصدر": العديد من النماذج التي بدت رائعة في الاختبار القديم بدت فجأة أسوأ بكثير. انخفضت درجاتها بشكل كبير لأنها كانت تعتمد على "الخريطة المعطلة" و"الانحيازات" في الاختبار القديم.
النماذج "المتخصصة": بعض النماذج التي تم تدريبها خصيصاً لتكون جيدة في المهام ثلاثية الأبعاد أصبحت في الواقع أسوأ في الاختبار الجديد من نسخها غير المدربة. هذا يشير إلى أنها كانت قد "تكيفت بشكل مفرط" (over-fitted) مع البيانات السيئة في الاختبار القديم، حيث تعلمت "الإجابات الخاطئة" بدلاً من الاستنتاج الصحيح.
الخلا الخلاصة
تجادل الورقة البحثية بأننا لا نستطيع الوثوق بالدرجات الحالية للذكاء المكاني للذكاء الاصطناي لأن الاختبارات كانت معيبة. ReVSI هو امتحان جديد، أكثر صرامة، وأكثر صدقاً. إنه يجبر الذكاء الاصطناي على إثبات أنه ينظر فعلياً إلى إطارات الفيديو المقدمة، بدلاً من مجرد التخمين بناءً على ما يعتقد أن الغرفة يجب أن تبدو عليه.
باختاً، كان الاختبار القديم يشبه معلماً يصحح لطالب بناءً على صورة ضبابية ومفتاح إجابة خاطئ. أما ReVSI فهو معلم يقدم للطالب فيديو عالي الدقة ويسأله أسئلة تتطابق تماماً مع ما هو مرئي في ذلك الفيديو.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "ReVSI: إعادة بناء تقييم الذكاء المكاني البصري للتقييم الدقيق للاستدلال ثلاثي الأبعاد في نماذج اللغة الرؤية (VLM)."
1. بيان المشكلة
تحدد الورقة فجوة صلاحية حرجة في المعايضات الحالية لتقييم الذكاء المكاني البصري (VSI) في نماذج اللغة الرؤية (VLMs). وتحديداً، تعاني المعايضات المستخدمة على نطاق واسع مثل VSI-Bench من خللين منهجيين يجعلان تقييماتها غير موثوقة في ظل إعدادات نماذج VLM الحديثة:
انزياح التوصيف من التوصيف إلى الفيديو (Annotation-to-Video Ground-Truth Drift): تعيد المعايضات الحالية استخدام التوصيفات القائمة على السحب النقطية (point-cloud) المصممة أصلاً للإدراك ثلاثي الأبعاد الثابت لتقييم الفيديو. غالباً ما تحتوي هذه التوصيفات على أخطاء بسبب عمليات إعادة البناء ثلاثية الأبعاد غير المثالية، مثل فقدان كائنات مرئية في الفيديو الخام، أو خطأ في تسمية الهويات، أو هندسة تالفة (مثل أحجام الغرف غير الصحيحة). ونتيجة لذلك، تكون العديد من أزواج (السؤال-الجواب) غير صحيحة واقعياً أو غامضة عند مقارنتها بأدلة الفيديو الفعلية.
عدم تطابق قابلية ملاحظة المشهد (Scene-Observability Mismatch): تفترض المعايضات التقليدية غالباً الوصول إلى "المشهد الكامل" (آلاف الإطارات)، بينما تعمل نماذج VLM العملية على إطارات يتم أخذ عينات منها بشكل متفرق (مثلاً 16-64 إطاراً). هذا التباين يعني أن الكائنات الرئيسية المستعلم عنها في الأسئلة قد تكون غائبة تماماً عن إطارات المدخلات الخاصة بالنموذج، مما يجعل الأسئلة غير قابلة للإجابة أو يجعل الحقيقة الأرضية (ground truth) غير صالحة لميزانية المدخلات المحددة.
تؤدي هذه المشكلات إلى استنتاجات غير موثوقة، حيث قد تبدو النماذج ذات أداء جيد عبر استغلال انحيازات مجموعة البيانات أو الهلوسة بالإجابات بناءً على المعلومات المسبقة بدلاً من الأدلة البصرية.
2. المنهجية: بناء معيار ReVSI
يقترح المؤلفون ReVSI، وهو معيار مُعاد بناؤه وبروتوكول تقييم مصمم لضمان أن كل زوج (سؤال-جواب) قابل للإجابة وصحيح في ظل مدخلات النموذج البصرية الفعلية. تتضمن المنهجية ثلاث ركائز أساسية:
أ. إعادة التوصيف المتوافق مع الفيديو
النطاق: تمت إعادة توصيف 381 مشهداً من 5 مجموعات بيانات (ScanNetv2, ScanNet++, ARKitScenes, 3RScan, MultiScan).
العملية: استُخدمت أدوات توصيف ثلاثية الأبعاد احترافية للتحقق يدوياً وتدقيق تسميات الكائنات، وصناديق الإحاطة ثلاثية الأبعاد، وهندسة الغرف مباشرة مقابل إطارات الفيديو الخام.
التحسينات:
المفردات المفتوحة (Open-Vocabulary): التوسع من 65 تسمية مغلقة المجموعة إلى 504 تسمية مفتوحة المفردات (مثل العلامات التجارية المحددة مثل "Sony PlayStation").
حجم الغرفة: استبدال حسابات Alpha Shape الخوارزمية بتوصيف يدوي مضلع لحدود الأرضية لضمان دقة قياسات المساحة.
ب. إعادة توليد الأسئلة والأجوبة مع تخفيف الانحياز
تحسين القوالب: إعادة تصميم قوالب الأسئلة للقضاء على الغموض (على سبيل المثال، التمييز بين حجم "الغرفة" وحجم "المشهد"، والتعامل مع فيديوهات متعددة الغرف).
تقليل الانحياز:
العد (Counting): إعادة إدخال عد الكائنات الفردية (التي تم استبعادها سابقاً) وإضافة العد التراكمي لمنع النماذج من التخمين بـ "2" كإجابة افتراضية.
المسافة: إزالة الأسئلة البديهية قصيرة المدى (أقل من 1 متر) التي يمكن حلها عبر إشارات ثنائية الأبعاد، والتركيز على الاستدلال ثلاثي الأبعاد بعيد المدى.
التحقق: تطبيق تحقق بشري صارم لضمان أن كل سؤال مدعوم بالأدلة البصرية المحددة.
ج. بروتوكولات التقييم المدركة للإطارات
الحقيقة الأرضية التكيفية: على عكس VSI-Bench، الذي يستخدم حقيقة أرضية واحدة لجميع المدخلات، يقوم ReVSI بتوليد أزواج (سؤال-جواب) تكيفية مع الإطارات. لكل ميزانية أخذ عينات (16، 32، 64، أو جميع الإطارات)، يقوم النظام بحساب الكائنات المرئية.
بيانات الرؤية الوصفية (Visibility Metadata): يوفر بيانات وصفية دقيقة حول رؤية الكائنات لكل إطار، مما يسمه إجراء تجارب تشخيصية محكومة.
فيديوهات وهمية (Dummy Videos): إنشاء فيديوهات "اختبار جهد" حيث يتم حذف الإطارات التي تحتوي على الكائن المستعلم عنه (Query-Drop)، أو استبدالها بإطارات سوداء، أو تكرارها. هذا يخلق سيناريوهات تكون فيها الحقيقة الأرضية بالتأكيد صفراً (بالنسبة للعد) أو غير معروفة، لاختبار ما إذا كانت النماذج تعتمد على الأدلة البصرية أم على المعلومات المسبقة المحفوظة.
3. المساهمات الرئيسية
معيار ReVSI: مجموعة بيانات عالية الدقة، تم التحقق منها يدوياً، تضم 381 مشهداً و5,365 كائناً، وتتميز بتسميات مفتوحة المفردات وتوافق متسق بين الفيديو والحقيقة الأرضية.
التقييم المقيد بميزانية الإطارات: بروتوكول يربط الحقيقة الأرضية للتقييم بعدد الإطارات المحدد المقدم للنموذج، مما يلغي مشكلة "الأسئلة غير القابلة للإجابة".
أدوات تشخيصية: تقديم اختبارات جهد الفيديوهات الوهمية لقياس معدلات الهلوسة والتمييز بين الاستدلال المكاني الحقيقي والاعتماد على معلومات المشهد المسبقة.
تحليل شامل: تشريح منهجي لأسباب فشل المعايضات الحالية وكيفية تشويهها للقدرات المتصورة للنماذج المملوكة والمفتوحة المصدر.
4. النتائج الرئيسية
تكشف التقييمات على ReVSI عن تباينات كبيرة مقارنة بـ VSI-Bench:
النماذج المملوكة مقابل النماذج مفتوحة المصدر:
VSI-Bench: اقترح أن النماذج مفتوحة المصدر تنافسية أو متفوقة على النماذج المملوكة.
ReVSI: يكشف أن النماذج المملوكة (مثل GPT-5.2, Gemini 3) تتفوق باستمرار على النماذج مفتوحة المصدر. تعاني النماذج مفتوحة المصدر من انخفاض في الدقة يصل إلى 40% في مهام مثل عد الكائنات والاتجاه النسبي، مما يكشف عن اعتمادها على انحيازات مجموعة البيانات بدلاً من الاستدلال القوي.
فعالية الضبط الدقيق (Fine-Tuning):
أظهرت النماذج التي تم ضبطها بدقة على بيانات مكانية ثلاثية الأبعاد (مثل Spatial-MLLM, SpaceR) مكاسب طفيفة أو سلبية على ReVSI مقارنة بنماذجها الأساسية.
في بعض الحالات، أدى الضبط الدقيق إلى تدهور الأداء، مما يشير إلى أن النماذج تعلمت أنماطاً خاطئة من التوصيفات الصاخبة في المعايضات السابقة.
الهلوسة والمعلومات المسبقة (اختبارات الجهد):
نتائج الفيديو الوهمي: عندما تم حذف الكائنات المستعلم عنها من الفيديو (الحقيقة الأرضية = 0)، فشلت النمامت المتخصصة التي خضعت للضبط الدقيق فشلاً ذريعاً، حيث توقعت أعداداً غير صفرية (مثلاً توقع وجود وسادتين بينما لا توجد أي وسادة مرئية).
النماذج ذات القدرة على التعلم من الصفر (Zero-Shot): توقعت النماذج المملوكة وبعض النماذج القوية مفتوحة المصدر (مثل Qwen3-VL) الرقم "0" بشكل صحيح في هذه السيناريوهات، مما أظهر تجذراً أفضل في الأدلة البصرية.
InternVL3.5: أظهر معدلات هلوسة عالية، وغالباً ما توقع المعلومات المسبقة القياسية للمشهد (مثل "2") حتى في الفيديوهات السوداء، مما يشير إلى فرط التخصيص (overfitting) الشديد لبيانات التوزيع التدريبي.
5. الأهمية
تصحيح انحياز التقييم: توضح الورقة أن المعايضات السابقة كانت تقلل بشكل منهجي من تقييم النماذج المملوكة وتبالغ في تقييم النماذج مفتوحة المصدر بسبب أخطاء التوصيف وعدم تطابق عينات الإطارات.
التجذر في الأدلة: يثبت ReVSI أن درجات المعايض العالية لا تضمن الاستدلال المكاني الحقيقي؛ إذ يمكن للنماذج تحقيق دقة عالية عبر حفظ المعلومات المسبقة للمشهد. إن بروتوكول "الفيديو الوهمي" الجديد ضروري للكشف عن هذا السلوك.
الاتجاه المستقبلي: تسلط هذه الورقة الضوء على أن جودة البيانات ودقة الإشراف أكثر أهمية من كمية البيانات. وهي تدعو إلى تحول في تطوير نماذج VLM نحو تقييم صارم ومتسق مع الإطارات لبناء قدرات استدلال ثلاثي الأبعاد أكثر قوة للتطبيقات الواقعية (مثل الروبوتات، والواقع المعزز/الافتراضي).
باختصار، يوفر ReVSI "فحص واقع" ضرورياً للمجال، حيث يضع معياراً جديداً لتقييم الذكاء المكاني البصري يعطي الأولوية لـ اتساق المدخلات ودقة الحقيقة الأرضية على حساب سهولة الاستخدام.