🤖 machine learning

Multimodal Language Models Cannot Spot Spatial Inconsistencies

تقدم هذه الورقة معياراً جديداً لتقييم اتساق الحركة ثلاثية الأبعاد في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من خلال توليد أزواج صور غير متسقة مكانياً، مما يكشف أن النماذج الحالية المتطورة تؤدي بشكل أقل بكثير من البشر وتفتقر إلى فهم قوي للبنية الفيزيائية ثلاثية الأبعاد.

المؤلفون الأصليون: Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لغرفة معيشة. ثم، يمنحك شخص ما صورة ثانية لنفس الغرفة تماماً، ولكن تم التقاطها من زاوية مختلفة قليلاً.

إذا كنت بشراً، فسيدرك دماغك على الفور وجود شيء "خاطئ". ربياً يكون هناك كرسي في الصورة الثانية يبدو وكأنه يطفو في الهواء، أو مصباح يميل بزاوية غريبة تتحدى الجاذبية. أنت لا تحتاج لأن تكون عالم فيزياء لتعرف أن هناك خطباً ما.

هذه الورقة البحثية تدور حول تعليم الحواسيب امتلاك ذلك "الشعور الفطري" تجاه العالم المادي.

المشكلة: الحواسيب بارعة في الوصف، لكنها سيئة في "الشعور"

نماذج الذكاء الاصطناعي الحالية (المسماة النماذج اللغوية الكبيرة متعددة الوسائط) تشبه نقاد الفن الموهوبين للغاية. تعرض عليهم صورة، فيمكنهم إخباركم: "هذا كرسي أحمر بجانب طاولة زرقاء". إنهم مذهلون في وصف ما يرونه.

لكن مؤلفي هذه الورقة اشتبهوا في أن هذه الأنظمة لا "تفهم" حقاً كيف يعمل العالم في الفضاء ثلاثي الأبعاد. اعتقدوا أن الذكاء الاصطناعي يقوم فقط بحفظ أنماط الكلمات والبكسلات، بدلاً من بناء نموذج ذهني لكيفية استقرار الأشياء، وتحركها، وتفاعلها في الواقع.

التجربة: لعبة "اكتشف الغش"

لاختبار ذلك، ابتكر الباحثون لعبة.

الإعداد: أخذوا صوراً حقيقية لغرف واستخدموا خدعة ذكية لإنشاء تناقضات "مزيفة". تخيل أنك تأخذ صورة لغرفة، ثم تقوم بقص كرسي رقمياً وإعادة لصقه، ولكن من زاوية كاميرا مختلفة.
النتيجة: يبدو الكرسي الآن وكأنه يطفو أو ملتوي بطريقة مستحيلة فيزيائياً. إنه "خلل في المصفوفة" (Glitch in the matrix).
الاختبار: عرضوا أزواجاً من هذه الصور على البشر وعلى نماذج ذكاء اصطناعي رفيعة المستوى، وسألوا: "أي كائن في الصورة الثانية يكسر قوانين الفيزياء؟"

النتائج: البشر يفوزون، والذكاء الاصطناعي يتعثر

كانت النتائج مفاجئة ومثيرة للقلق بشأن مستقبل الذكاء الاصطناعي:

البشر: كانوا مثل المحققين. لقد اكتشفوا الكرسي المزيف بنسبة تقتر almost 85% من المرات. بدا الأمر لهم "غريباً" على الفور.
نماذج الذكاء الاصطناعي: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً وتكلفة (مثل GPT-5 أو Gemini) واجهت صعوبة. لقد أصابت حوالي 30-34% فقط من المرات. وهذا يكاد يكون أفضل قليلاً من التخمين العشوائي.

التشبيه: فكر في الأمر كخدعة سحرية. الإنسان يرى حركة يد الساحر ويعرف: "إنه يخفي بطاقة". أما الذكاء الاصطناعي فيرى حركة اليد ويقول: "هذه يد. إنها تتحرك. إنها حمراء". الذكاء الاصطناعي يرى الأجزاء، لكنه يفتقد الصورة الكاملة.

لماذا يفشل الذكاء الاصطناعي؟

تعمق الباحثون أكثر ووجدوا بعض الأنماط الغريبة:

فخ "التفكير": قد تعتقد أنه "إذا فكر الذكاء الاصطناعي بعمق أكبر، فسيصبح أفضل". لكن الدراسة وجدت أنه عندما أجبروا الذكاء الاصطناعي على استخدام المزيد من "قوة الحوسبة" للتفكير في المشكلة، أصبح الأمر أسوأ أو ظل كما هو. إنه يشبه طالباً يبالغ في تحليل مسألة رياضية بسيطة فينتهي به الأمر إلى إرباك نفسه.
أدمغة هشة: كان أداء الذكاء الاصطناعي متذبذباً في كل مكان. فقد يكون بارعاً في رصد كرسي طافٍ في مطبخ، لكنه يفشل تماماً في ملاحظة مصباح طافٍ في غرفة نوم. البشر متسقون؛ أما الذكاء الاصطناعي فغير متوقع.
**ليس مجرد صيد "للخلل":**le خشي الباحثون من أن الذكاء الاصطناعي قد يكون مجرد رصد لـ "خدوش" رقمية أو أخطاء تحرير (artifacts) خلفتها البرامج الحاسوبية. اختبروا ذلك بإضافة خدوش وهمية للصور. لم يخدع الذكاء الاصطناعي بالخدوش؛ بل كان مرتبكاً حقاً بسبب الهندسة ثلاثية الأبعاد.

الخلاصة الكبرى

هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تظهر أنه بينما يمكن للذكاء الاصطناعي كتابة الشعر ووصف غروب الشمس بجمال، إلا أنه لا يزال يفتقر إلى الفهم الأساسي لكيفية بناء العالم المادي.

الأمر يشبه تعليم روبوت القيادة عبر عرض ملايين الصور للسيارات عليه، دون السماكنه أبداً من الشعور بعجلة القيادة أو فهم أنه إذا أدار العجلة يساراً، فإن السيارة ستتجه يساراً. وحتى يتمكن الذكاء الاصطناعي من "الشعور" بالعالم ثلاثي الأبعاد ورصد ما هو مستحيل فيزيائياً، فسيظل هشاً وعرضة لارتكاب أخطاء سخيفة في العالم الحقيقي.

باخت-اختصار: الذكاء الاصطناعي مصور فوتوغرافي رائع، لكنه مهندس سيء للغاية. يحتاج إلى تعلم قوانين الفيزياء، وليس فقط قوانين اللغة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "النماذج اللغوية متعددة الوسائط لا تستطيع رصد التناقضات المكانية."

1. بيان المشكلة

تتناول الورقة فجوة حرجة في قدرات الاستدلال المكاني للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). فبينما تتفوق هذه النماذج في وصف المشاهد البصرية والعلاقات الدلالية، إلا أنها تفتقر غالبًا إلى نموذج داخلي قوي للهندسة ثلاثية الأبعاد والواقع الفيزيائي.

السؤال الجوهري: هل تستطيع النماذج اللغوية الكبيرة متعددة الوسائط تحديد متى تكون رؤيتان لنفس المشهد الساكن غير متسقتين بسبب انتهاك قيود الحركة ثلاثية الأبعاد؟
الفرضية: تمتلك النماذج الحالية (SOTA) فهمًا سطحيًا فقط للأبعاد ثلاثية الأبعاد. قد تصف المشاهد الفردية بدقة، لكنها تفشل في اكتشاف متى يكون وضع جسم معين، أو حجمه، أو حجب رؤيته مستحيلاً هندسيًا بالنظر إلى حركة الكاميرا بين الرؤيتين.
قصور المعايير المرجعية الحالية: تعتمد الطرق السابقة لاختبار الاستدلال المكاني على توليد الرؤى الجديدة (مثل Zero123 وSEVA)، وهي عمليات مكلفة حاسوبيًا، وعرضة لتوليد هندسة غير واقعية (هلوسة)، أو تتطلب وسمًا يدويًا.

2. المنهجية

أ. توليد البيانات: خوارية "القص واللصق" (Cut-and-Paste)

يقترح المؤلفون طريقة خفيفة الوزن، وتلقائية بالكامل، وقابلة للتوسع لتوليد أزواج صور "غير متسقة مكانيًا" دون الحاجة لوسم يدوي.

البيانات المصدر: استخدام مجموعة بيانات Hypersim (مشاهد داخلية عالية الدقة مع أقنعة على مستوى العناصر، وعمق، وصور داخلية) وتوسيعها لتشمل DL3DV للمشاهد الواقعية.
اختيار الثلاثيات: لكل مشهد، يتم اختيار ثلاث رؤى ( $V_1, V_2, V_3$ ). ويتم اختيار جسم $O$ يظهر في الرؤى الثلاث، مع ضمان قيود محددة على التداخل وحجم الجسم لتجنب الحالات المتدهورة.
توليد عدم الاتساق:
- الخطوة 1 (الترميم/Inpainting): يتم إزالة الجسم $O$ من الرؤية $V_2$ باستخدام نموذج ترميم (LaMa) لإنشاء خلفية نظيفة.
- الخطوة 2 (اللصق): يتم لصق نسخة من الجسم $O$ من الرؤية $V_3$ (التي التُقطت من وضعية كاميرا مختلفة) في المنطقة التي تم ترميمها في $V_2$ .
- النتيجة: الزوج الناتج ( $V_1, V'_2$ ) يحتوي على جسم واحد بوضعية ثلاثية الأبعاد غير متوافقة هندسيًا مع الانتقال بين الكاميرا من $V_1$ إلى $V_2$ ، بينما تظل جميع عناصر المشهد الأخرى متسقة.
الكفاءة: تقوم خطوط الإنتاج بتوليد أكثر من 5 أزواج في الثانية على وحدة معالجة رسوميات واحدة.

ب. بروتوكول التقييم

صياغة المهمة: مهمة اختيار قسري حيث يُعرض على النموذج (أو الإنسان) الرؤية المرجعية ( $V_1$ ) والرؤية المعدلة ( $V'_2$ ).
الوسم: تُوسم الأجسام في $V_1$ بأحرف (A–Z). ويجب على النموذج تحديد الحرف المقابل للجسم غير المتسق.
مجموعة البيانات: تم استخدام 615 زوجًا تم التحقق منها يدويًا (من أصل أكثر من 10,000 زوج تم توليدها تلقائيًا) للتقييم.
عناصر الضبط:
- خط الأساس لـ "اللصق الذاتي" (Self-Pasting): لصق الجسم من $V_2$ مرة أخرى في $V_2$ (مما يؤدي لإدخال عيوب الترميم ولكن دون عدم اتساق ثلاثي الأبعاد).
- خط الأساس لـ "عدم التغيير" (No-Change): الرؤية $V_2$ غير المعدلة (لا توجد عيوب، ولا يوجد عدم اتساق).
- استئصال الآثار (Artifact Ablation): تغيير حجم صندوق الترميم المحيط وإضافة "ضجيج" لضمان أن النماذج لا تكتشف مجرد خلل على مستوى البكسل.

ج. النماذج التي تم تقييمها

تم اختبار مجموعة شاملة من النماذج، بما في ذلك:

النماذج المملوكة (Proprietary): GPT-5 (بميزانيات استدلال مختلفة)، GPT-4O، Gemini 2.5 (Pro/Flash)، وغيرها.
النماذج مفتوحة الأوزان: Llama 3.2، Qwen3-VL، Gemma 3، Idefics، LLaVA، InternVL، ونماذج مكانية متخصصة مثل SpaceQwen.
خطوط الأساس: الاختيار العشوائي والمشاركون البشريون.

3. النتائج الرئيسية

أ. فجوة الأداء

الإنسان مقابل النموذج: حقق البشر دقة بنسبة 84.8%. أما أفضل النماذج أداءً (GPT-5 بميزانية استدلال منخفضة) فقد حقق 34.2% فقط.
ميزانية الاستدلال: لم يؤدِ زيادة ميزانية الحوسبة/الاستدلال (مثل "جهد عالٍ" مقابل "جهد منخفض" في GPT-5/Gemini) إلى تحسين الأداء؛ بل في بعض الحالات، أدى إلى تدهوره.
النماذج المتخصصة: النماذج التي تم ضبطها بدقة خصيصًا للمهام المكانية (مثل SpaceQwen) فشلت أيضًا في التفوق على النماذج العامة بشكل كبير، مما يشير إلى أن طرق التدريب الحالية لا تغرس استدلالًا هندسيًا ثلاثي الأبعاد قويًا.

ب. التباين والهشاشة

سمات المشهد: تذبذب أداء النماذج بشكل كبير بناءً على عمق الجسم، والإضاءة، والمنطق الفيزيائي.
- العمق: أدت النماذج أداءً أفضل في الأجسام البعيدة (>15% فجوة) مقارنة بالأجسام القريبة، على عكس البشر الذين يتميزون بالاستقرار عبر الأعماق المختلفة.
- الإضاءة: بلغت النماذج ذروتها في الإضاءة المتوسطة، بينما كان البشر أكثر دقة في المشاهد الساطعة.
فئات الأجسام/المشاهد: تباينت الدقة بشكل كبير حسب نوع الجسم (مثل الكراسي مقابل المرايا) وفئة المشهد (مثل غرفة الجلوس مقابل المطبخ). قد يتفوق نموذج على آخر في "المصابيح" لكنه يفشل في "الأرائك"، مما يشير إلى غياب فهم عام ثلاثي الأبعاد.
تحليل الخطأ: بينما فشلت النماذج غالبًا في نفس الأمثلة الصعبة التي فشل فيها البشر (تقارب عالٍ في IoU على الأسئلة الخاطئة)، إلا أنها نادرًا ما خمنت نفس الإجابة الخاطئة. هذا يشيد بأن النماذج تفتقر إلى تفسير بديل متماسك للمشهد؛ فشلها غير مستقر ونوعي لكل نموذج.

ج. الآثار (Artifacts) مقابل الهندسة

اكتشاف الآثار: أظهرت تجارب الضبط أن النماذج لم تعتمد على عيوب الترميم (Inpainting artifacts).
- "اللصق الذاتي" (الذي يحتوي على آثار فقط) لم يكن أفضل من الاختيار العشوائي.
- إضافة العديد من آثار "الضجيج" إلى المشهد لم يقلل الأداء بشكل كبير، مما يثبت أن النماذج تحاول الاستدلال حول البنية ثلاثية الأبعاد، وليس مجرد الشذوذ في البكسل.
- أصبحت آثار الترميم عاملًا مربكًا فقط عندما تجاوز توسيع صندوق الحدود نسبة 50%، وهو أكبر بكثير من نسبة 5% المستخدمة في الاختبار الرئيسي.

4. المساهمات الرئيسية

معيار مرجعي مبتكر: تقديم طريقة آلية وقابلة للتوسع لتوليد حالات عدم اتساق مكاني واقعية، مما خلق مجموعة بيانات من 615+ زوجًا عالي الجودة للتقييم الصارم.
مهمة تشخيصية: تحديد مهمة اختيار قسري بسيطة تعزل فهم الهندسة الإسقاطية عن الوصف الدلالي.
دليل تجريبي: إثبات أن أكثر النماذج تقدمًا (بما في ذلك GPT-5 وGemini 2.5) تمتلك فهمًا هشًا وغير مكتمل للبنية ثلاثية الأبعاد، وتفشل في اكتشاف التكوينات المستحيلة فيزيائيًا التي يجدها البشر تافهة.
تحليل أنماط الفشل: تقديم تحليل دقيق يوضح أن فشل النماذج ليس عشوائيًا ولكنه حساس للغاية لسمات مشهد محددة (العمق، الإضاءة، الفئة) ويفتقر إلى استقرار الاستدلال المكاني البشري.

5. الأهمية

تسلط الورقة الضوء على عقبة أساسية في المسار الحالي للنماذج اللغوية الكبيرة متعددة الوسائط: عدم القدرة على ربط اللغة بالواقع الفيزيائي.

الآثار على سلامة الذكاء الاصطناعي والروبوتات: مع نشر هذه النماذج في الروبوتات والأنظمة ذاتية القيادة للإدراك والتفاعل مع العالم المادي، فإن عدم قدرتها على اكتشاف الاستحالات المكانية يشكل خطرًا كبيرًا.
التوجهات المستقبلية: يرى المؤلفون أن الأبحاء المستقبلية يجب أن تتجاوز تدريب النماذج على مجرد وصف العالم المرئي. بدلاً من ذلك، يجب على المجال إعطاء الأولوية لتطوير بنيات وأهداف تدريب تفرض فهمًا عميقًا ومترسخًا للقيود الفيزيائية، والهندسة ثلاثية الأبعاد، والاتساق المكاني.
فائدة المعيار المرجعي: يعمل المعيار المقترح وبروتوكول التقييم كأداة تشخيصية حاسمة لقياس التقدم في الاستدلال ثلاثي الأبعاد، والتمييز بين النماذج التي تحفظ الإحصائيات البصرية فقط وتلك التي تفهم حقًا العلاقات المكانية.