MMSI-Bench: A Benchmark for Multi-Image Spatial Intelligence
تقدم الورقة البحثية MMSI-Bench، وهو معيار مرجعي مليء بالتحديات يضم 1,000 سؤال حول الاستدلال المكاني متعدد الصور يكشف عن فجوة أداء كبيرة بين النماذج اللغوية الكبيرة متعددة الوسائط الحالية والبشر، مع توفير مسار تحليل أخطاء مؤتمت لتشخيص أوضاع فشل محددة وتوجيه الأبحاث المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية التنقل في منزل. عرضت عليه صورة لغرفة المعيشة، ثم صورة للمطبخ، ثم صورة للممر. يمكن للإنسان بسهولة أن ينظر إلى هذه الصور الثلاث ويقول: "آه، إذا مشيت من غرفة المعيشة إلى المطبخ، فسيكون الممر على يساري".
لكن نماذج الذكاء الاصطناعي الحالية؟ إنها تشبه السياح الذين يضلون طريقهم بعد النظر إلى خريطة واحدة فقط. فهي تجد صعوبة في ربط عدة صور معاً لفهم كيفية ترابط الأشياء بالنسبة لبعضها البعض.
تقدم هذه الورقة البحثية MMSI-Bench، وهو "اختبار" جديد مصمم خصيصاً لاختبار مدى قدرة الذكاء الاصطناعي على القيام بهذا النوع من الاستدلال المكاني متعدد الصور. إليك تفصيل لما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة.
1. المشكلة: الذكاء الاصطناعي جيد في صورة واحدة، سيء في الصور المتعددة
فكر في اختبارات الذكاء الاصطناعي الحالية كأنها لعبة "أوجد الفروق" باستخدام صورة واحدة. الذكاء الاصطناعي بارع في ذلك. لكن العالم الحقيقي ليس صورة واحدة؛ إنه فيلم. لفهم غرفة، أو سيارة، أو حركة روبوت، تحتاج إلى رؤية كيف تتغير الأشياء من زاوية إلى أخرى.
يجادل المؤلفون بأن الاختبارات السابقة لم تكن تتحدى الذكاء الاصطناعي بما يكفي في هذا الفهم "الشبه سينمائي". لقد أرادوا اختباراً يجبر الذكاء الاصطناعي على ربط النقاط بين صور متعددة لبناء خريطة ذهنية ثلاثية الأبعاد.
2. الحل: "صالة ألعاب رياضية مكانية" من صنع البشر
قام الفريق بإنشاء MMSI-Bench، وهو مجموعة من 1,000 سؤال صعب من نوع الاختيار من متعدد.
- المصدر: لم يستخدموا روبوتات تم إنشاؤها بواسطة الكمبيوتر أو قوالب بسيطة. بدلاً من ذلك، قضى ستة خبراء بشريين (باحثون في الرؤية ثلاثية الأبعاد) أكثر من 300 ساعة في فحص 120,000 صورة من العالم الحقيقي يدوياً.
- المحتوى: تأتي هذه الصور من أماكن حقيقية: غرف معيشة، لقطات قيادة، أذرع روبوتية، وشوارع خارجية.
- المهمة: صُممت الأسئلة بحيث لا يمكنك الإجابة عليها بالنظر إلى صورة واحدة فقط. يجب عليك النظر إلى الصورة (أ) والصورة (ب)، وإدراك أنهما تعرضان نفس الغرفة من زوايا مختلفة، ثم استنتاج الإجابة.
- مثال: "إذا مشيت عبر الباب في الصورة 3 متجهاً نحو الجنوب، فأين يقع الكتاب بالنسبة للسرير؟" للإجابة، يجب على الذكاء الاصطناعي إعادة بناء تخطيط الغرفة ذهنياً باستخدام أدلة من صور متعددة.
3. نتائج الاختبار: الذكاء الاصطناعي لا يزال بعيداً جداً عن الذكاء البشري
اختبر الباحثون 37 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (سواء كانت مجانية/مفتوحة المصدر أو باهظة الثمن/تابعة لشركات) في هذا الاختبار. وكانت النتائج صارخة:
- البشر: سجلوا 97%. (نحن جيدون بطبيعتنا في هذا).
- أفضل ذكاء اصطناعي (GPT-5): سجل 40% فقط.
- أفضل ذكاء اصطناعي مفتوح المصدر: سجل حوالي 30%.
- التخمين العشوائي: سيحصل على حوالي 25%.
التشبيه: تخيل اختباراً يحصل فيه الإنسان على درجة امتياز (A+)، بينما بالكاد ينجح أذكى ذكاء اصطناعي في العالم بدرجة مقبول (C). الفجوة هائلة. تشير الورقة إلى أن أكثر نماذج الذكاء الاصطناعي تقدماً تعاني حتى في "رؤية" العالم ثلاثي الأبعاد عند إعطائها مشاهد متعددة.
4. لماذا يفشلون؟ (تحليل الأخطاء)
لم يكتفِ الباحثون بإعطاء الدرجات فحسب؛ بل بحثوا في سبب فشل الذكاء الاصطناعي. ووجدوا أربعة طرق رئيسية يرتبك فيها الذكاء الاصطناعي، والتي أطلقوا عليها "أنماط الفشل":
- أخطاء التأسيد (خطأ "الأعمى"): ينظر الذكاء الاصطناعي إلى الصورة لكنه لا يستطيع في الواقع العثور على الشيء. قد يعتقد أن الكرسي هو طاولة، أو يتجاهل تفصيلاً بالكامل.
- أخطاء التداخل وإعادة البناء (خطأ "اللغز"): يرى الذكاء الاصطناعي صورتين لنفس الشجرة ولكنه لا يدرك أنها نفس الشجرة. يفشل في دمج الصورتين في مشهد واحد متماسك.
- أخطاء التحول في الموقف (خطأ "المنظور"): يرتبك الذكاء الاصطناعي بشأن "يسار" أو "يمين" من نتحدث عنه. إذا دارت الكاميرا، ينسى الذكاء الاصطناعي كيف يدور العالم معها.
- أخطاء المنطق المكاني (خطأ "الرياضيات"): يقوم الذكاء الاصطناعي بقفزات منطقية غير منطقية. على سبيل المثال، إذا كان (أ) على يسار (ب)، و(ب) على يسار (ج)، فقد يستنتج الذكاء الاصطناعي بشكل خاطئ أن (أ) على يمين (ج).
5. ما الذي لم ينجح؟
حاول الباحثون "الغش" لمساعدة الذكاء الاصطناعي على النجاح:
- طلب "التفكير خطوة بخطوة": طلبوا من الذكاء الاصطناعي شرح منطقه قبل الإجابة (مثل إنسان يؤدي اختباراً). لم يساعد هذا إلا قليلاً.
- رسم خطوط على الصور: رسموا خطوطاً تربط بين النقاط المتطابقة في الصور لمساعدة الذكاء الاصطناعي على رؤية الرابط. هذا أيضاً لم يساعد إلا قليلاً.
الخلاصة: المشكلة ليست في أن الذكاء الاصطناعي يحتاج إلى أمر (prompt) أفضل أو دفعة بسيطة. المشكلة هي أن الذكاء الاصطناعي يفتقر أساساً إلى "الدماغ المكاني" للتعامل مع هذه المهام. إنه ليس خطأً برمجياً؛ بل هو قدرة مفقودة.
ملخص
MMSI-Bench هو اختبار جديد وصعب للغاية يثبت أن الذكاء الاصطناعي الحالي لا يزال سيئاً للغاية في فهم كيفية ترابط العالم المادي معاً عند النظر إليه من زوايا متعددة. بينما يمكن للبشر التنقل في غرفة بسهما باستخدام سلسلة من الصور، فإن حتى أذكى أنظمة الذكاء الاصطناعي تضل طريقها. تشير الورقة إلى أنه لإصلاح ذلك، نحتاج إلى بيانات تدريب أفضل وطرق جديدة لتعليم الذكاء الاصطناعي كيف "يرى" ثلاثي الأبعاد، وليس فقط نماذج أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.