💬 NLP

OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models

تقدم هذه الورقة OmniSpatial، وهو معيار مرجعي شامل قائم على علم النفس المعرفي يضم أكثر من 8.4 ألف عينة مشروحة عبر أربع فئات رئيسية، والذي يكشف عن قصور كبير في قدرات الاستدلال المكاني لنماذج الرؤية واللغة الحالية ويستكشف استراتيجيات مثل PointGraph وSpatialCoT لمعالجتها.

المؤلفون الأصليون: Mengdi Jia, Zekun Qi, Shaochen Zhang, Wenyao Zhang, Xinqiang Yu, Jiawei He, He Wang, Li Yi

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mengdi Jia, Zekun Qi, Shaochen Zhang, Wenyao Zhang, Xinqiang Yu, Jiawei He, He Wang, Li Yi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية التنقل في العالم. قد تعتقد أن الجزء الأصعب هو التعرف على كرسي أو كوب. لكن في الواقع، التحدي الحقيقي ليس مجرد "رؤية" الشيء؛ بل هو فهم كيف يتحرك هذا الشيء، وكيف يتناسب داخل صندوق، وكيف يبدو من نافذة جارك، وماذا يحدث إذا دفعته.

هذه الورقة البحثية، "OmniSpatial"، تشبه اختبار "رخصة قيادة" ضخم وصارم لعيون وأدمغة الذكاء الاصطناعي. وهي تجادل بأنه بينما تتفوق نماذج الذكاء الاصطناعي الحالية في المهام البسيطة (مثل قول "القطة فوق السجادة")، إلا أنها لا تزال سيئة للغاية في التفكير المكاني المعقد.

إليك تحليل للورقة البحثية باستخدام تشبيهات بسيطة:

1. المشكلة: الذكاء الاصطناعي "مؤمن بالأرض المسطحة"

نماذج الذكاء الاصطناعي الحالية تشبه الأشخاص الذين لم يروا سوى صورة فوتوغرافية لغرفة ما. هم يعرفون أين توجد الأشياء في تلك الصورة الواحدة. ولكن إذا سألتهم: "إذا مشيت حول الطاولة، ماذا سأرى؟" أو "إذا أسقطت هذا الكوب، هل سينكسر على الأرض أم على الطاولة؟"، فغالباً ما يخطئون.

وجد المؤلفون أنه حتى أذكى نماذج الذكاء الاصطناعي (مثل الإصدارات الأحدث من GPT أو Gemini) بدأت تصطدم بـ "سقف". فقد سجلت أكثر من 90% في الاختبارات القديمة، لكن تلك الاختبارات كانت سهلة للغاية—مثل سؤال عبقري في الرياضيات عن عملية جمع بسيطة. إنهم بحاجة إلى اختبارات أصعب لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي حقاً "التفكير" في فضاء ثلاثي الأبعاد.

2. الحل: صالة ألعاب "OmniSpatial" الرياضية

قام الفريق ببناء صالة ألعاب ضخمة وجديدة تسمى OmniSpatial. بدلاً من مجرد السؤال "ما هذا؟"، هم يطرحون أسئلة تتطلب من الذكاء الاصطناعي القيام بتمارين ذهنية شاقة. لقد نظموا هذه التحديات في أربع فئات رئيسية:

الاستدلال الديناميكي (فيلم حركة):
- التشبيه: تخيل مشاهدة مطاردة سيارات. هل يمكن للذكاء الاصطناعي التنبؤ بمكان السيارة بعد 5 ثوانٍ؟ هل يمكنه معرفة ما إذا كان أحد المشاة على وشك الخطو إلى الطريق؟
- الاختبار: ينظر الذكاء الاصطنا لذا مشهد مروري وعليه التنبؤ بالتحركات المستقبلية أو رصد المخاطر الخفية.
المنطق المكاني المعقد (سيد الأوريغامي):
- التشبيه: فكر في لغز حيث يتعين عليك طي ورقة في ذهنك لرؤية النمط، أو معرفة كيفية إدخال أريكة ذات شكل غريب عبر باب ضيق.
- الاختبار: يُعرض على الذكاء الاصطناعي ورقة مطوية أو شكلاً ثلاثي الأبعاد، ويجب عليه معرفة كيف سيبدو عند فرده أو تدويره.
التفاعل المكاني (حل الألغاز):
- التشبيه: تخيل محاولة ركن سيارة في مكان ضيق أو معرفة أي زر يجب الضغط عليه في جهاز التحكم بناءً على موقع يدك.
- الاختبار: يتعين على الذكاء الاصطناعي التخطيط لمسار، أو تجنب العوائق، أو معرفة كيفية التعامل مع الأشياء في غرفة مزدحمة.
تبني المنظور (محرك التعاطف):
- التشبيه: هذا هو الجزء الأصعب. تخيل أنك تقف في غرفة، ولكن على الذكاء الاصطناعي أن يجيب على سؤال: "ماذا يرى الشخص الواقف خلفك؟". هذا يتطلب من الذكاء الاصطناعي مغادرة "وجهة نظره" الخاصة والخطو ذهنياً إلى مكان شخص آخر (أو عدسة كاميرا أخرى).
- الاختبار: ينظر الذكاء الاصطناعي إلى صورة وعليه وصف المشهد من زاوية مختلفة تماماً غير معروضة في الصورة.

3. النتائج: الذكاء الاصطناعي لا يزال طفلاً في مرحلة الحبو

عندما أجروا "اختبار رخصة القيادة" هذا على أفضل نماذج الذكاء الاصطناعي في العالم، كانت النتائج متواضعة.

الأداء البشري: سجل البشر حوالي 92%. نحن جيدون بطبيعتنا في هذا لأننا نعيش في عالم ثلاثي الأبعاد.
أداء الذكاء الاصطناعي: سجلت أفضل نماذج الذكاء الاصطناعي حوالي 55-57% فقط.
الفجوة: لا يزال الذكاء الاصطناعي يعاني في أمور يفعلها البشر بالفطرة، مثل تخيل غرفة من الخلف أو التنبؤ بكيفية ارتداد جسم ساقط. الأمر يشبه طفلاً صغيراً يمكنه تسمية الألوان لكنه لا يستطيع بعد ربط حذائه.

4. الإصلاح: إعطاء الذكاء الاصطناعي "عجلات تدريب"

لم يتوقف المؤلفون عند تحديد المشكلة فحسب؛ بل حاولوا حلها باستخدام حيلتين ذكيتين:

PointGraph (ورقة الغش):
- كيف يعمل: بدلاً من مجرد عرض الصورة للذكاء الاصطناعي، هم يعطونه "خريطة" للأشياء. إنه يشبه إعطاء طالب رسماً بيانياً يشير بأسهم إلى "كرسي"، "طاولة"، و"باب" قبل طرح السؤال.
- النتيجة: ساعد هذا الذكاء الاصطناعي على فهم التخطيط بشكل أفضل، مما رفع درجته قليلاً.
SpatialCoT (الفيلم الذهني):
- كيف يعمل: يحل البشر المسائل المكانية من خلال تخيل المشهد من زوايا مختلفة. استخدم المؤلفون أداة لتوليد صور جديدة للمشهد من زوايا مختلفة (مثل تدوير نموذج ثلاثي الأبعاد) وعرضوها على الذكاء الاصطناعي.
- النتيجة: كان هذا مساعدة هائلة. من خلال إعطاء الذكاء الاصطناٍ "فيلمًا" للمشهد من وجهات نظر مختلفة، استطاع أخيراً "رؤية" الإجابة التي كانت تنقصه.

الصورة الكبيرة

هذه الورقة البحثية هي بمثابة جرس إنذار. نحن نبني ذكاءً اصطناعياً يمكنه كتابة الشعر والبرمجة، لكنه لا يزال متعثراً عندما يتعلق الأمر بالعالم المادي. إذا أردنا للروبوتات أن تقود السيارات، أو تطوي الغسيل، أو تساعد كبار السن، فعليهم اجتياز اختبار OmniSpatial.

باخت-صار: لقد بنينا اختباراً أصعب، ووجدنا أن الذكاء الاصطناعي لا يزال يفشل فيه، وأظهرنا أن منح الذكاء الاصطناعي "خريطة ذهنية" و"زوايا كاميرا متعددة" يساعده على أن يصبح أكثر ذكاءً. إنها الخطوة الأولى نحو بناء ذكاء اصطناعي لا يكتفي فقط بـ رؤية العالم، بل يفهمه حقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OmniSpatial: نحو معيار شامل للاستدلال المكاني لنماذج الرؤية واللغة".

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) الحالية أداءً يقترب من مرحلة التشبع في معايير الاستدلال المكاني الموجودة (مثل SpatialBot-Bench و EmbSpatial-Bench). تركز هذه المعايير بشكل أساسي على العلاقات المكانية الأولية مثل التمييز بين اليمين واليسار، وتقدير العمق، وعدّ الأشياء. ومع ذلك، تتطلب المهام الواقعية المتجسدة (الروبوتات، القيادة الذاتية، الواقع المعزز/الافتراضي) استدلالاً مكانياً معقداً يتضمن معرفة ديناميكية بالعالم، وتحولات منطقية متعددة الخطوات، وتفاعلاً فيزيائياً، واتخاذ منظور (Perspective-taking). هناك نقص في وجود معيار شامل لتقييم هذه القدرات الإدراكية العليا، مما يؤدي إلى فجوة بين أداء النماذج الحالية والمتطلبات اللازمة للذكاء الفيزيائي القوي.

2. المنهجية: معيار OmniSpatial

قدم المؤلفون OmniSpatial، وهو معيار واسع النطاق تم تنسيقه يدوياً لتصميم تقييم لنماذج الرؤية واللغة عبر أربعة أبعاد جوهرية للإدراك المكاني، استناداً إلى علم النفس المعرفي.

أ. التصنيف والهيكل

يصنف OmniSpatial الاستدلال المكاني إلى 4 أبعاد رئيسية و 50 فئة فرعية دقيقة، تحتوي على 8.4 ألف زوج من الأسئلة والأجوبة (QA):

الاستدلال الديناميكي (27%): يركز على تحليل الحركة والتلاعب.
- المهام الفرعية: التنبؤ بالحركة المنتظمة/المتغيرة، التعرف على القصد، والتوافق المكاني (مثل: "هل سيتسع هذا؟").
المنطق المعقد (16%): يتضمن التحولات الهندسية المجردة والتعرف على الأنماط.
- المهام الفرعية: بسط متعدد السطوح، الدوران الذهني، التجميع، الهندسة التحليلية، والتعرف على أنماط الأسلوب/الكمية/السمات.
التفاعل المكاني (20%): استدلال موجه بالقيود البيئية وأهداف المهام.
- المهام الفرعية: تحليل المرور (كشف الشذوذ، المخاطر)، التموضع (التفاعل مع واجهة المستخدم، تقدير الوضعية)، والاستراتيجية الجيومكانية (تخطيط المسار، تحويل الخرائط/المشاهد).
اتخاذ المنظور (37%): القدرة على تبني وجهات نظر بديلة.
- المهام الفرعية: المنظور الذاتي (الرؤية الحالية)، المنظور الخارجي (رؤية وكيل آخر)، واتخاذ المنظور الافتراضي (تخيل وجهة نظر غير موجودة).

ب. بناء البيانات

المصادر: مزيج متنوع من صور الويب (المفلترة لضمان الواقعية)، والاختبارات المعرفية المعيارية (مثل اختبارات الدوران المكاني)، وأسئلة امتحانات القيادة (من دول متعددة)، ومجموعات بيانات موجودة (MME, HO1D).
الترميز (Annotation): تم ترميز جميع الـ 8.4 ألف زوج من الأسئلة والأجوبة يدوياً بواسطة ستة مرمزين مدربين لضمان الجودة العالية، وتجنب الانحيازات القائمة على القوالب الجاهزة التي تعيب مجموعات البيانات السابقة. تتضمن مجموعة البيانات 6.9 ألف عينة للتدريب و1.5 ألف عينة للاختبار.
التنوع: تغطي مستويات دقة مختلفة، وظروف إضاءة، وأنماط طقس، ومشاهد عالمية متنوعة.

ج. استراتيجيات التحسين المقترحة

لمعالجة قيود النماذج الحالية، اقترح المؤلفون طريقتين يمكن دمجهما بسهولة لتعزيز الاستدلال المكاني:

PointGraph: نهج رسم بياني للمشهد صريح. يستخدم نماذج تحديد المواقع ذات المفردات المفتوحة (مثل Florence-2) لاكتشاف الأشياء، واستخراج صناديق الإحاطة، وبناء رسم بياني هيكلي للمشهد يشفر المواقع النسبية. يوفر هذا إشارات هندسية صريحة لنموذج الرؤية واللغة.
SpatialCoT (سلسلة التفكير المكاني): طريقة لتحفيز الخيال المكاني. تستخدم InstantMesh لتخليق ستة مناظر جديدة (منظورات ثلاثية الأبعاد) من صورة واحدة كمدخل. يتم تغذية هذه الكولاجات متعددة المشاهد إلى نموذج الرؤية واللغة جنباً إلى جنب مع الاستعلام، مما يسمح للنموذج بالاستدلال من زوايا متعددة بدلاً من رؤية ثابتة واحدة.

3. المساهمات الرئيسية

معيار شامل: أول معيار يغطي بشكل منهجي الاستدلال الديناميكي، والمنطق المعقد، والتفاعل المكاني، واتخاذ المنظور عبر 50 مهمة فرعية، متجاوزاً مجرد الأحكام العلاقاتية البسيطة.
مجموعة بيانات عالية الجودة: 8.4 ألف زوج من الأسئلة والأجوبة تم تنسيقها يدوياً مع اتفاق عالٍ بين المرمزين ( $\alpha = 0.84$ )، مما يضمن الموثوقية ويقلل من انحياز القوالب.
تعزيز الاستدلال: إثبات أن دمج الرسوم البيانية الهيكلية للمشاهد (PointGraph) وتخليق المشاهد المتعددة (SpatialCoT) يحسن بشكل كبير أداء نماذج الرؤية واللغة، خاصة في مهام اتخاذ المنظور والمهام الديناميكية.
تقييم واسع النطاق: تقييم صارم لـ 36 نموذجاً من أحدث النماذج (سواء المملوكة أو مفتوحة المصدر أو المتخصصة) مقابل خطوط الأساس البشرية.

4. النتائج التجريبية

قيم المؤلفون 36 نموذجاً، بما في ذلك GPT-4.1، Gemini-2.5، o3، InternVL، Qwen-VL، ونماذج مكانية متخصصة.

فجوة الأداء: حتى أفضل النماذج (مثل Gemini-2.5-Pro و o3) تحقق فقط ~56-57% من الدقة في OmniSpatial، بينما يصل الأداء البشري إلى ~92.6%. يشير هذا إلى فجوة هائلة (>30 نقطة) في الاستدلال المكاني الشامل.
نقاط الضعف في الفئات:
- تؤدي النماذج بشكل جيد نسبياً في الاستدلال الديناميكي و التفاعل المكاني (بالاعتماد على المعرفة بالعالم).
- تعاني النماذج بشكل كبير في المنطق المعقد (تحديداً الاستدلال الهندسي، ~30-40% دقة) و اتخاذ المنظور (خاصة المنظور الخارجي والافتراضي).
تأثير التحسينات:
- PointGraph: حسن الدقة بنسبة +1.6% إلى +2.9% عبر النماذج، مع أكبر المكاسب في الاستدلال الديناميكي واتخاذ المنظور.
- SpatialCoT: حسن دقة اتخاذ المنظور بنسبة +2.0% في GPT-4.1-mini و +2.0% في Qwen-VL2.5-3B.
- التآزر (Synergy): أدى الجمع بين الطريقتين إلى تحقيق أعلى المكاسب (على سبيل المثال، +3.14% في اتخاذ المنظور لـ GPT-4.1-mini).
التدريب مقابل Zero-Shot: حقق الضبط الدقيق تحت الإشراف (SFT) باستخدام 6.9 ألف عينة من تدريب OmniSpatial تحسناً متوسطاً قدره +7.82% مقارنة بأساسات Zero-shot، بينما حقق التدريب على مجموعة بيانات أكبر (200 ألف) تعتمد على القوالب تحسناً قدره +1.29% فقط، مما يبرز قيمة البيانات المتنوعة المنسقة بشرياً.

5. الأهمية والتوجهات المستقبلية

معيار القياس: يضع OmniSpatial معياراً جديداً لتقييم الذكاء المكاني، محولاً التركيز من مجرد اكتشاف الأشياء إلى المهام الإدراكية المعقدة المطلوبة للذكاء الاصطناعي المتجسد.
الروبوتات والسلامة: يرتبط تركيز المعيار على الاستدلال الديناميكي وتحليل المرور مباشرة بالتطبيقات الحرجة للسلامة في القيادة الذاتية والتحكم الروبوتي.
المواءمة المعرفية: من خلال المواءمة مع أطر علم النفس المعرفي، يوفر المعيار طريقة مبدئية لقياس تقدم الذكاء الاصطناعي نحو الفهم المكاني الشبيه بالبشر.
العمل المستقبلي: يقترح المؤلفون توجهات مستقبلية تشمل دمج التمثيلات ثلاثية الأبعاد الحقيقية، وتحسين الاستدلال الزمني طويل المدى، وتطوير نماذج يمكنها توليد تصورات وسيطة (مثل مسارات مرسومة يدوياً) كجزء من عملية الاستدلال الخاصة بها.

في الختام، يكشف OmniSpatial أنه بينما تبرع نماذج الرؤية واللغة الحالية في المهام المكانية الأساسية، فإنها تفتقر إلى قدرات الاستدلال العميق ومتعدد المنظور والديناميكي اللازمة للتفاعل المعقد في العالم الحقيقي. يوفر هذا المعيار واستراتيجيات التحسين المقترحة مساراً واضحاً لتطوير الجيل القادم من الذكاء الاصطناعي المدرك فيزيائياً.