🤖 AI

360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

تقدم هذه الورقة 360Bench، وهو معيار شامل لتقييم النماذج اللغوية الكبيرة متعددة الوسائط في إدراك الصور بزاوية 360 درجة، وتقترح Free360، وهو إطار عمل يعتمد على الرسوم البيانية للمشهد ولا يتطلب تدريباً، ويعزز بشكل كبير أداء الأسئلة والأجوبة المرئية (VQA) من خلال تفكيك الاستدلال وتحويل الصور الكروية بشكل تكيفي.

المؤلفون الأصليون: Huyen T. T. Tran, Van-Quang Nguyen, Farros Alferro, Kang-Jun Liu, Takayuki Okatani

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Huyen T. T. Tran, Van-Quang Nguyen, Farros Alferro, Kang-Jun Liu, Takayuki Okatani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ترتدي نظارات واقع افتراضي (VR) بزاوية 360 درجة. يمكنك النظر للأعلى، والأسفل، واليسار، واليمين، وحتى الدوران حول نفسك لرؤية العالم بأكمله في نظرة واحدة. الآن، تخيل أنك تسأل مساعداً ذكياً للغاية (ذكاء اصطناعي): "أين صنبور الحريق؟" أو "كم عدد السيارات الحمراء الموجودة؟"

بينما تعتبر هذه المساعدات الذكية (التي تسمى النماذج اللغوية الكبيرة متعددة الوسائط أو MLLMs) مذهلة في النظر إلى الصور العادية المسطحة، إلا أنها غالباً ما تضيع تماماً عندما تقدم لها صورة بزاوية 360 درجة. فهي تعاني لفهم شكل العالم، والمسافة بين الأشياء، وكيف تلتف الأشياء حول الحواف.

هذه الورقة البحثية تشبه "تقرير درجات" و"مجموعة جديدة من عجلات التدريب" لهذه المساعدات الذكية لمساعدتها على التنقل في عالم الـ 360 درجة.

إليك التفاصيل بكلمات بسيطة:

1. المشكلة: ارتباك "السجادة المفرودة"

تخيل صورة الـ 360 درجة مثل بالون ضخم ومنفوخ. لكي نعرضها على شاشة الكمبيوتر، يجب علينا "تفجير" البالون وبسطه كأنه سجادة.

التشويه: عندما تفرد بالوناً، فإن الجزء العلوي والسفلي (الأقطاب) يتمددان مثل قطعة "التوفي"، بينما يظل المنتصف طبيعياً.
معاناة الذكاء الاصطناعي: يتم تدريب نماذج الذكاء الاصطناعي الحالية على صور مسطحة وعادية. وعندما ترى هذه "السجادة المفرودة"، تصاب بالارتباك. قد تعتقد أن مبنىً ممتداً هو في الواقع ثلاثة مبانٍ مختلفة، أو قد لا تستطيع التمييز ما إذا كان جسمان بجانب بعضهما البعض أم في جهات متقابلة من الغرفة.

2. الاختبار: "360Bench" (اختبار القيادة)

ابتكر المؤلفون اختباراً جديداً يسمى 360Bench.

الإعداد: قاموا بجمع صور عالية الجودة بدقة 7,000 بكسل لصور 360 درجة (واضحة جداً!) من المدن، والمنازل، وحتى لقطات الطائر بدون طيار (الدرون).
الأسئلة: كتبوا أكثر من 1,500 سؤال يمكن للبشر الإجابة عليها بسهولة لكنها صعبة على الذكاء الاصطناعي. أمثلة على ذلك:
- "كم عدد أجهزة التحكم عن بعد الموجودة على الطاولة؟" (العدّ صعب عندما تكون الأجسام مشوهة وممتدة).
- "هل متجر الألعاب مقابل متجر البقالة؟" (الاستدلال المكاني).
- "ماذا تقول اللافتة الموجودة على سلة المهملات؟" (قراءة النص على الأسطح المشوهة).
النتيجة: اختبروا 13 نموذجاً مختلفاً من الذكاء الاصطناعي. حتى الأذكى منها سجلت حوالي 46% فقط من الإجابات الصحيحة. بالمقارنة، حصل البشر على 86%. كان الذكاء الاصطناعي في الأساس يخمن أكثر مما يفهم.

3. الحل: "Free360" (الدليل السياحي الذكي)

بما أن إعادة تدريب هذه النماذج الضخمة مكلفة وبطيئة (مثل محاولة إعادة بناء محرك سيارة فقط لإصلاح الراديو)، فقد ابتكر المؤلفون Free360. وهو أسلوب "لا يتطلب إعادة تدريب"، مما يعني أنه يعمل مع نموذج الذكاء الاصطناعي الذي تملكه بالفعل، فقط عبر إعطائه تعليمات أفضل.

تخيل Free360 كأنه دليل سياحي ذكي يساعد الذكاء الاصطناعي في حل اللغز عبر أربع خطوات:

تحديد الأجسام (المحقق): بدلاً من النظر إلى "السجادة" المشوهة بالكامل، يقوم الدليل بقص قطع صغيرة ونظيفة من الصورة حيث توجد الأجسام. الأمر يشبه تكبير جزء معين من الخريطة حتى لا يرتبك الذكاء الاصطناعي بسبب التمدد.
وصف التفاصيل (المراسل): يطلب الدليل من الذكاء الاصطناعي وصف تلك القطعة الصغيرة فقط. "هذه لافتة حمراء مكتوب عليها 'ألعاب'".
تدوير العالم (الملاح): هذه هي الخدعة السحرية. لمعرفة موقع جسمين بالنسبة لبعضهما البعض، يقوم Free360 بتدوير صورة الـ 360 درجة بحيث يصبح كلا الجسمين في المركز تماماً أمام الذكاء الاصطناعي. الأمر يشبه تدوير الكرة الأرضية حتى تصبح المدينتان اللتان تهتم بهما أمامك مباشرة، مما يسهل رؤية ما إذا كانتا جارتين أم بعيدتين عن بعضهما.
رسم الخريطة (المهندس المعماري): يضع الدليل كل هذه الأدلة في "رسم بياني للمشهد" (Scene Graph). تخيل مخططاً انسيابياً أو شجرة عائلة، ولكن للغرفة.
- العقدة 1: متجر الألعاب (خلف الناظر).
- العقدة 2: متجر البقالة (إلى اليمين).
- الرابط: "متجر الألعاب مقابل متجر البقالة".

أخيراً، يقرأ الذكاء الاصطناعي هذه "الخريطة" المنظمة والواضحة ويعطي الإجابة الصحيحة.

4. النتائج: قفزة كبيرة

عند استخدام طريقة "الدليل السياحي" هذه:

ارتفعت درجة الذكاء الاصطناعي من 38% إلى 45% (وهو تحسن هائل في عالم الذكاء الاصطناعي).
حل مشاكل محددة وصعبة (مثل "أين يقع الجسم بالنسبة لي؟") بدقة أعلى بنسبة تصل إلى 23%.
فعل كل ذلك دون الحاجة لإعادة تدريب نموذج الذكاء الاصطناعي، مما وفر الوقت والمال.

الخلاصة

تظهر هذه الورقة البحثية أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإنه لا يزال بحاجة للمساعدة لفهم العالم "المنحني" لصور الـ 360 درجة. ومن خلال تقسيم المشكلة إلى خطوات صغيرة يمكن إدارتها واستخدام "خريطة" لتنظيم المعلومات، يمكننا جعل هذه النماذج أفضل بكثير في رؤية العالم ككل، وليس مجرد صورة مسطحة ومشوهة.

باخت-القول: لقد صنعوا اختباراً أصعب لإظهار نقاط فشل الذكاء الاصطناعي، ثم صنعوا نظام مساعدة ذكي وخطوات منظمة تسمح للذكاء الاصطناعي بـ "التفكير" في طريقه عبر عالم الـ 360 درجة دون الحاجة إلى تغيير جذري شامل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الإدراك التصويري بـ 360 درجة باستخدام نماذج اللغات الكبيرة متعددة الوسائط (MLLMs): معيار شامل ومنهجية خالية من التدريب."

1. بيان المشكلة

تتفوق نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) في فهم الصور التقليدية ثنائية الأبعاد، لكنها تعاني بشكل كبير مع الصور بنطاق 360 درجة (الصور متعددة الاتجاهات). وتتمثل التحديات الجوهرية فيما يلي:

التشويه الهندسي: عادة ما تُسقط صور 360 درجة على مستويات ثنائية الأبعاد (مثل الإسقاط متساوي المستطيلات - ERP أو إسقاط مكعب الخريطة - CMP)، مما يسبب تمدداً عند القطبين وتجزئة للأجسام عبر حدود الصورة.
الاستدلال المكاني المعقد: على عكس الصور المسطحة، تتطلب مشاهد 360 درجة استدلالاً مكانياً شمولياً عبر مساحة كروية مستمرة، حيث تكون العلاقات بين الأجسام (مثل "خلف"، "مقابل") غير بديهية في الإسقاطات ثنائية الأبعاد.
نقص المعايير عالية الدقة: تفتقر مجموعات البيانات الحالية غالباً إلى الدقة العالية، أو تعتمد على تسميات آلية أو قائمة على القوالب، أو تركز على الفيديوهات بدلاً من الصور الفردية عالية الجودة.
قيود التدريب: يعد ضبط (Fine-tuning) نماذج MLLMs لمهام 360 درجة مكلفاً حوسبياً، وينطوي على مخاطر نسيان المعرفة المسبقة، وليس قابلاً للتوسع للمهام المتنوعة اللاحقة.

2. المساهمات الرئيسية

أ. 360Bench: معيار عالي الدقة

قدم المؤلفون 360Bench، وهو معيار شامل للإجابة على الأسئلة البصرية (VQA) مصمم لتقييم نماذج MLLMs بصرامة في إدراك 360 درجة.

الحجم والجودة: يحتوي على 1,532 عينة فريدة مشتقة من 643 صورة 360 درجة عالية الدقة (تصل دقتها إلى 7K، أي 7296 × 3648).
التسميات: يتميز بتسميات بشرية الصنع (بدون قوالب) عبر سبعة مهام فرعية تغطي أربع فئات:
1. الإدراك دقيق التفاصيل (FP): التعرف على المثيل (FP-IR) وعد counting المثيل (FP-IC).
2. الإدراك المشوه بالإسقاط (PP): التعرف على (PP-IR) وعد (PP-IC) الأجسام التي تنقسم أو تتشوه بسبب حدود الإسقاط.
3. الاستدلال المكاني (SR): علاقات (الجسم-إلى-الجسم) (SR-Os) و(الجسم-إلى-المشاهد) (SR-OV).
4. إعطاء الاتجاهات (DG): تخطيط المسار متعدد الخطوات بناءً على الإشارات المكانية.
النتائج من الاختبار المعياري: كشف تقييم 7 نماذج MLLM و6 طرق تحسين عن فجوة هائلة في الأداء. حقق أفضل نموذج (Gemini Pro 2.5) دقة 46.5% فقط، مقارنة بـ 86.3% للمُسمّين البشر.
- رؤية حول تنسيق الإسقاط: يعمل CMP (مكعب الخريطة) بشكل أفضل في المهام كثيفة التشويه (بزيادة تصل إلى +14.1%)، بينما يتفوق ERP (متساوي المستطيلات) في مهام الاستدلال المكاني (بزيادة تصل إلى +14.6%)، مما يشير إلى نقاط قوة متكاملة.

ب. Free360: إطار عمل خالٍ من التدريب

لمعالجة هذه القيود دون الحاجة لضبط النموذج، اقترح المؤلفون Free360، وهو إطار عمل قائم على مخطط المشهد (scene-graph) يقوم بتفكيك الاستدلال إلى خطوات نمطية.

الآلية الجوهرية: يبني مخطط مشهد ذا صلة بالسؤال ( $G = (N, R)$ ) يحتوي على عقد الكيانات، وعقد الرؤية (التي تمثل أوجه المكعب الستة)، وعلاقاتها.
خطوات العمل الأربع:
1. تحديد الكيانات: يستخدم صور CMP للكشف عن الكيانات ذات الصلة بالسؤال وتحديد مواقعها بدقة، مما يقلل من التشويه الهندسي.
2. استخراج السمات: يقوم بقص الكيانات المكتشفة ويستخدم MLLM لاستخراج السمات دقيقة التفاصيل (مثل النص الموجود على اللافتات) من المناطق المقصوصة.
3. كشف العلاقة بين الكيانات: يطبق دورات كروية تكيفية على صورة ERP لتركيز أزواج محددة من الكيانات في المركز. يسمح هذا لـ MLLM بالاستدلال حول العلاقات المكانية (مثل "يسار"، "مقابل") كما لو كان يشاهدها من منظور بشري.
4. كشف العلاقة بين الكيان والرؤية: يربط الكيانات بـ "عقد رؤية" محددة (مثل الأمام، الخلف، اليسار) بناءً على موقعها في CMP، مما ينمذج العلاقة بين الأجسام والمشاهد.
الاستدلال: يتم تسلسل مخطط المشهد الناتج إلى نص ويتم تغذيته مرة أخرى إلى MLLM لتوليد الإجابة النهائية وتحليل الاستدلال.

3. تفاصيل المنهجية

استراتيجية الإسقاط الهجين: يستفيد Free360 من نقاط قوة كلا الإسقاطين:
- يُستخدم CMP للكشف الأولي عن الأجسام (الخطوة 1) لتجنب تشوه الأقطاب.
- يُستخدم ERP للاستدلال المكاني (الخطوة 3) عبر الدوران الكروي للحفاظ على السياق العالمي.
بناء مخطط المشهد:
- العقد: عقد الكيانات ( $N_e$ ) وعقد الرؤية ( $N_v$ ، تمثل أوجه المكعب الستة).
- العلاقات: بين الكيانات ( $N_e \to N_e$ )، بين الكيان والرؤية ( $N_e \to N_v$ )، وبين الرؤية والرؤية ( $N_v \to N_v$ ).
خالٍ من التدريب: تعتمد الطريقة كلياً على القدرات المدربة مسبقاً لنموذج MLLM الأساسي (مثل Qwen2.5-VL-7B) الموجهة بواسطة مطالبات مهيكلة وأمثلة سياقية، دون الحاجة لتحديث المعلمات.

4. النتائج التجريبية

تحسين الأداء: يتفوق Free360 بشكل كبير على نموذجه الأساسي (Qwen2.5-VL-7B) وطرق الحالة الراهنة الأخرى.
- الدقة الإجمالية: حقق 45.3%، وهي زيادة قدرها +7.3% عن النموذج الأساسي باستخدام CMP.
- المكاسب الخاصة بالمهام: أظهر تحسينات هائلة في الاستدلال المكاني، لا سيما الجسم-إلى-المشاهد (SR-OV) بزيادة قدرها +22.9%.
- المقارنة: تفوق على طرق أخرى خالية من التدريب مثل Omni-CoT وZoomEye، واقترب من الأداء البشري بشكل أكبر من أي نموذج آخر.
الكفاءة:
- زاد وقت الاستنتاج من حوالي 2.1 ثانية (الأساسي) إلى 22.5 ثانية (Free360).
- لا يزال هذا التأخير ضمن نطاق زمن الاستجابة البشري (~~28.9 ثانية) وهو أسرع بكثير من طرق التحسين الثقيلة الأخرى مثل DC2 (~~700 ثانية).
دراسات الاستئصال (Ablation Studies):
- القص (Cropping): حسن الدقة بنسبة 2.7% وقلل الوقت من خلال التركيز على التفاصيل.
- الدوران الكروي: أضاف 0.7% دقة، وهو أمر بالغ الأهمية للاستدلال المكاني.
- علاقات الكيان والرؤية: أضاف 2.6% دقة، وهي ضرورية للأسئلة المتمحورة حول المشاهد.
- القابلية للتوسع: حسنت الطريقة الأداء باستمرار عبر أحجام النماذج المختلفة (3B، 7B، و32B بارامتر).

5. الأهمية والتأثير

معيار قياسي: يضع 360Bench معياراً جديداً لتقييم إدراك 360 درجة، موضحاً أن نماذج MLLMs الحالية محدودة جوهرياً في فهم الهندسة الكروية وتشويهات الإسقاط.
حل عملي: يثبت Free360 أن النهج الخالي من التدريب يمكن أن يسد الفجوة بفعالية بين الإدراك البشري والآلي في بيئات 360 درجة المعقدة. وهذا أمر بالغ الأهمية للتطبيقات التي يكون فيها الضبط الدقيق غير عملي (مثل الروبوتات، القيادة الذاتية، والتقنيات المساعدة).
رؤية منهجية: تثبت الورقة أن تفكيك الاستدلال إلى خطوات نمطية (الكشف $\to$ استخراج السمات $\to$ الدوران المكاني $\to$ دمج المخطط) واستخدام التحويلات الكروية التكيفية هي مفاتيح إطلاق إمكانات نماذج MLLM للبيانات متعددة الاتجاهات.
الاتجاهات المستقبلية: يفتح هذا العمل آفاقاً لتوسيع استدلال مخطط المشهد ليشمل فيديو 360 درجة وتطوير وحدات إدراك أكثر دقة للاستدلال المحلي.

باختصار، تقدم هذه الورقة تقييماً نقدياً للحالة الراهنة للرؤية بنطاق 360 درجة في نماذج MLLMs، وتقدم إطار عمل قوياً وقابلاً للتوسع وخالياً من التدريب (Free360) يعزز بشكل كبير مجال فهم الصور متعددة الاتجاهات.