From Where Things Are to What They Are For: Benchmarking Spatial-Functional Intelligence in Multimodal LLMs
تقدم هذه الورقة البحثية SFI-Bench، وهو معيار تقييم قائم على الفيديو يضم أكثر من 1,500 سؤال تم تصنيفها من قبل خبراء لتقييم النماذج اللغوية الكبيرة متعددة الوسائط في الاستدلال المكاني والوظيفي المهيكل، مما يكشف عن عدم قدرتها الحالية على دمج الذاكرة المكانية مع الاستدلال الوظيفي بفعالية من أجل الذكاء المرتكز على الواقع.
تخيل أنك تعلم روبوتاً كيفية التنقل في منزلك. قد تعتقد أن الجزء الأصعب هو تعليم الروبوت التعرف على كرسي أو كوب قهوة. ولكن وفقاً لهذه الورقة البحثية، فإن هذا هو الجزء السهل في الواقع. التحدي الحقيقي هو تعليم الروبوت شيئين أصعب بكثير: أين توجد الأشياء بالنسبة لبعضها البعض، وما هي الغاية من هذه الأشياء في الأصل.
لقد ابتكر الباحثون اختباراً جديداً يسمى SFI-Bench (معيار ذكاء الاستدلال المكاني والوظيفي) لمعرفة ما إذا كانت نماذج الذكاء الاصطناعي الأكثر ذكاءً اليوم قادرة على القيام بهذه المهام. فكر في الأمر كأنه "اختبار رخصة قيادة" للذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يتعين على الذكاء الاصطناعي التنقل عبر فيديو لغرفة ما والإجابة على أسئلة محيرة حولها.
إليك تفصيل لما توصلوا إليه، باستخدام تشبيهات بسيطة:
1. المهارتان الكبيرتان: الخريطة ودليل الاستخدام
تجادل الورقة البحثية بأن الذكاء الحقيقي يتطلب مهارتين متكاملتين، وهما ما يسمونه "أين توجد الأشياء" و"ما هي الغاية منها".
الـ "أين" (الاستدلال المكاني): هذا يشبه بناء خريطة ذهنية في رأسك. الأمر لا يقتصر فقط على رؤية أريكة؛ بل يتعلق بمعرفة أن الأريكة تقع على يسار التلفاز، وأن هناك ثلاث وسائد عليها، وأنه إذا مشيت بجانب الأريكة، فستصطدم بالحائط.
الاختبار: يُعرض للذكاء الاصطناعي فيديو لغرفة ويُسأل أشياء مثل: "كم عدد الوسائد الزرقاء الموجودة على الأريكة الأبعد عن الباب؟" أو "إذا مشيت من المطبخ إلى غرفة النوم، فما هو الشيء الذي سأمر به أولاً؟"
الـ "ما هي الغاية" (الاستدلال الوظيفي): هذا يشبه فهم دليل الاستخدام. إنه يعني معرفة أن جهاز التحكم عن بعد مخصص للتلفاز، وليس للمحمصة، ومعرفة الأزرار التي يجب الضغط عليها بالضبط لإلغاء دورة غسالة الملابس.
الاختبار: يرى الذكاء الاصطناعي جهازاً غريباً ويجب عليه اكتشاف: "ماذا يفعل هذا الجهاز؟" أو "نظاراتي تخرج من غسالة الأطباق وعليها بقع ملونة؛ ما المشكلة وكيف أصلحها؟"
2. النتائج: جيد في الرؤية، سيء في التفكير
اختبر الباحثون العديد من أكثر نماذج الذكاء الاصطناعي تقدماً في العالم (مثل GPT-5، وGemini، والنماذج مفتوحة المصدر) على هذا المعيار. وإليك النتيجة:
"العيون" مفتوحة: نماذج الذكاء الاصطناعي ممتازة في الإدراك البسيط. إذا سألتها: "هل يوجد قط في الفيديو؟" فستجيب بشكل صحيح في كل مرة تقريباً.
"الدماغ" متعثر: عندما تصبح الأسئلة أصعب، تعاني النماذج.
فجوة الذاكرة: تخيل أنك تحاول تذكر غرفة بعد المرور بها. الذكاء الاصطناعي غالباً ما ينسى من أين بدأ. إذا طلت منه ربط نقطة من بداية الفيديو إلى نهايته، فإنه غالباً ما يضيع أو يقوم بـ "نقل" الأشياء إلى أماكن خاطئة.
فخ "الإفراط في التفكير": وجد الباحثون أنه عندما يخبرون الذكاء الاصطناعي أن "يفكر بعمق أكبر" (عن طريق إعطائه مزيداً من الوقت لتوليد سلسلة طويلة من الاستدلال)، فإنه لا يصبح أذكى. في الواقع، غالباً ما يصبح "أغبى". يبدأ في اختلاق حقائق أو يرتبك بسبب تفسيراته الطويلة الخاصة. إنه يشبه طالباً يستمر في الكتابة والمزيد من الكتابة في الامتحان حتى يمسح الإجابة الصحيحة بالخطأ.
مشكلة "دليل الاستخدام": بالنسبة لأسئلة "ما هي الغاية"، غالباً ما فشل الذكاء الاصطناعي ما لم يُسمح له باستخدام محرك بحث للبحث عن أدلة استخدام حقيقية. بدون هذا المساعدة الخارجية، كان الذكاء الاصطناعي مجرد يخمن، معتمداً على المنطق العام الذي لا يناسب الموقف المحدد (على سبيل المثال، افتراض أن أي جهاز تحكم يعمل مع أي تلفاز).
3. النتائج المفاجئة
الوقت لا يهم كثيراً: البشر يبنون خرائط ذهنية من خلال التحرك عبر الزمن. إذا قمت بخلط إطارات الفيديو بحيث تعمل بترتيب غير صحيح، فسيضيع الإنسان تماماً. ومن المثير للدهشة أن الذكاء الاصطناعي لم يهتم كثيراً؛ فقد نظر إلى جميع الصور دفعة واحدة وحاول التخمين. يبدو أنه لا يفهم "تدفق" الزمن كما نفعل نحن.
الصور تتفوق على الكلمات: حاول الباحثون تغذية الذكاء الاصطناعي بوصف نصي للغرفة بدلاً من الفيديو. انخفض أداء الذكاء الاصطناعي بشكل كبير. اتضح أنه حتى لو وصفت غرفة بدقة بالكلمات، فإن الذكاء الاصطناعي لا يزال بحاجة إلى رؤية الفيديو لبناء خريطة ذهنية صحيحة.
الأكبر ليس دائماً الأفضل: في بعض الأحيان، قدمت النماذج الأصغر والأكثر كفاءة أداءً مماثلاً للنماذج الضخمة، بشرط ألا تتعثر في سلاسل استدلال طويلة وغير ضرورية.
الخلاصة
تخلص الورقة البحثية إلى أنه بينما أصبح الذكاء الاصطناعي جيداً جداً في "رؤية" العالم، فإنه لا يزال يكافح لـ "فهم" العالم. يمكنه التعرف على المحمصة، لكنه لا يستوعب حقاً كيف تتناسب هذه المحمصة مع المطبخ أو كيف يصلحها إذا تعطلت.
لبناء وكلاء أذكياء حقاً (روبوتات أو برمجيات يمكنها التصرف نيابة عنا)، نحتاج إلى تجاوز مجرد تعليمهم التعرف على الأشياء. نحن بحاجة إلى تعليمهم بناء خرائط ذهنية متماسكة، وتذكر أين توجد الأشياء بمرور الوقت، ومعرفة كيفية استخدام الأدوات بناءً على المعرفة الواقعية، وليس مجرد التخمين. حالياً، هم يشبهون السائح الذي يمكنه التقاط صورة رائعة لمعلم سياحي ولكنه لا يعرف كيف يصل إلى هناك أو ماذا يفعل بمجرد وصوله.
ملخص تقني: من أين توجد الأشياء إلى ما هي لأجله (SFI-Bench)
بيان المشكلة
أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تقدماً ملحوفتاً في الإدراك الهندسي منخفض المستوى والاستدعاء الواقعي. ومع ذلك، تفشل المعايקות الحالية إلى حد كبير في تقييم القدرات المعرفية العليا المطلوبة للذكاء الوكيل المرتكز على الواقع. وتحديداً، هناك فجوة في تقييم ما إذا كانت النماذج قادرة على تجاوز مجرد التعرف على "أين توجد الأشياء" (التخطيط المكاني) إلى فهم "ما هي لأجل ماذا" (الإمكانات الوظيفية والمنفعة المعتمدة على السياق). وبينما تختبر أعمال سابقة مثل VSI-Bench الإدراك الهندسي، إلا أنها لا تختبر بشكل كافٍ بناء الخرائط المعرفية المتماسكة، أو استنتاج إمكانات الأشياء، أو دمج المعرفة الخارجية للاستدلال الموجه نحو الأهداف.
المنهجية
معيار SFI-Bench
قدم المؤلفون معيار الذكاء المكاني-الوظيفي (SFI-Bench)، وهو مجموعة تقييم قائمة على الفيديو مصممة لقياس الاستدلال المتقدم في النماذج اللغوية الكبيرة متعددة الوسائط بشكل منهجي.
تكوين مجموعة البيانات: يتكون SFI-Bench من 1,555 سؤالاً من نوع الاختيار من متعدد تم إعدادها من قبل خبراء، مستمدة من 134 مسح فيديو حقيقي من منظور الشخص الأول (مصدرها ARKitScenes وScanNet++)، وتغطي هذه الفيديوهات بيئات سكنية ومهنية وصناعية متنوعة.
تصنيف المهام: يقيم المعيار بُعدين معرفيين متكاملين عبر ست مهام أساسية:
الاستدلال المكاني المهيكل:
العد العالمي والشرطي: يتطلب استدلالاً منطقياً على السمات والعلاقات (على سبيل المثال، عدّ الحد الأقصى لعدد الزجاجات من نفس العلامة التجارية) بدلاً من مجرد التعداد البسيط.
الاستدلال المساري متعدد الخطوات عبر الرؤى: يختبر القدرة على دمج الأدلة المكانية عبر الزمن وزوايا الرؤية لاستنتاج علاقات لا تظهر في إطار واحد.
استنتاج التخطيط: يقيم بناء تخطيط شامل للمشهد والاستدلال حول علاقات الحجب حيث لا تظهر الأشياء المشار إليها معاً أبداً.
الاستدلال الوظيفي:
الارتباط الوظيفي: يختبر استنتاج علاقات الإمكانات بين الأشياء (على سبيل المثال، ربط جهاز التحكم عن بعد بتلفاز معين) بناءً على التصميم أو السياق.
تخطيط التشغيل: يتطلب تحديد كيفية تشغيل جهاز ما، مما يستلزم غالباً استرجاع المعرفة الخارجية (مثل أدلة المستخدم).
الفرضية السببية واستكشاف الأخطاء وإصلاحها: يقيم القدرة على تشخيص المشكلات من خلال الجمع بين فهم المشهد ومصادر المعرفة الخارجية.
خط الإنتاج (Curation Pipeline)
تم بناء مجموعة البيانات عبر خط إنتاج مكون من ثلاث مراحل:
التوليد التلقائي: استخدام Gemini-2.5-Pro لاستخراج بيانات وصفية دقيقة (الأشياء، السمات، العلاقات المكانية، الأدوار الوظيفية) من الفيديوهات، والتي يتم تحويلها بعد ذلك إلى أسئلة مرشحة باستخدام قوالب خاصة بكل مهمة.
التحقق البشري: يقوم خبراء (مهندسو تعلم آلي مدربون) بالتحقق من الأسئلة، والتحقق من صحة الإجابات مقابل الأدلة المرئية، وتحسين الخيارات لضمان التعقيد المعرفي.
تصفية الجودة: تقوم عمليات التحقق الآلية واليدوية بإزالة الأسئلة التي يمكن حلها دون الحاجة إلى التأسيس البصري. بالنسبة للمهام القائمة على المعرفة، يتم اشتقاق الإجابات من أدلة مسترجعة من قبل الخبراء.
إعداد التقييم
قيم المؤلفون مجموعة واسعة من النماذج المملوكة (مثل GPT-5، Gemini-3، o4-mini) والمفتوحة المصدر (مثل Qwen3-VL، InternVL، LLaVA-Video).
الإعدادات: أجريت التقييمات في بيئة "الصفر من المحاولات" (zero-shot).
استخدام الأدوات: بالنسبة للمهام الوظيفية التي تتطلب معرفة خارجية (تخطيط التشغيل، استكشاف الأخطاء وإصلاحها)، سُمح للنماذج التي تمتلك قدرات البحث عبر الويب باسترجاع المعلومات، بينما تم تقييم النماذج الأخرى دون اتصال (offline).
المقاييس: تم قيء الأداء من خلال دقة الإجابة على أسئلة الاختيار من متعدد.
النتائج الرئيسية
أداء النماذج
النماذج المملوكة مقابل مفتوحة المصدر: تتفوق النماذج المملوكة عموماً على نظيراتها مفتوحة المصدر. ومن بين الأنظمة المملوكة، تُظهر النسخ المزودة بقدرات الاستدلال (مثل Gemini-3.1-Pro، GPT-5.4-High) مكاسب كبيرة، حيث حقق Gemini-3.1-Pro أعلى متوسط دقة (73.8%).
المكاني مقابل الوظيفي: بينما تظهر النماذج الرائدة قدرات قوية في بناء الخرائط المعرفية المكانية (مثل استنتاج التخطيط)، فإنها تعاني بشكل كبير في مهام الاستدلال الوظيفي.
عنق الزجاجة: برز "العد الشرطي العالمي" كعنق زجاجة رئيسي لجميع النماذج، مما يكشف عن قصور مستمر في الاستدلال التركيبي والمنطقي.
الاعتماد على استخدام الأدوات: بالنسبة للمهام القائمة على المعرفة، تفوقت النماذج المجهزة بالبحث عبر الويب (مثل GPT-5) بشكل كبير على نظيراتها التي تعمل دون اتصال. ومع ذلك، يشير المؤلفون إلى أن استخدام الأدوات يُدخل ضوضاء؛ فالنماذج الأضعف في الاستدلال غالباً ما كان أداؤها أسوأ مع أدوات البحث مقارنة بالأداء بدونها، مما يشير إلى أن الاستدلال القوي هو شرط مسبق للاستخدام الفعال للأدوات.
تحليل آليات الاستدلال
طول الاستدلال مقابل الجودة: وجدت الدراسة أن سلاسل الاستدلال الأطول لا ترتبط بدقة أعلى. في الواقع، غالباً ما تنتج النماذج سلاسل طويلة غير ضرورية تؤدي إلى انحراف دلالي. "الإفراط في التفكير" يؤدي إلى الأخطاء، لا سيما في مهام الارتباط الوظيفي.
حجم النموذج: تميل النماذج الأكبر (مثل 235 مليار معلمة) إلى توليد سلاسل استدلال أقصر وأكثر فعالية مقارنة بالنماذج الأصغر (مثل 8 مليارات معلمة)، والتي تعتمد على استدلال مطول لكنه سطحي.
التبعية الزمنية: كان لخلط ترتيب إطارات الفيديو تأثير ضئيل على أداء النماذج، مما يشير إلى أن النماذج الحالية تعتمد على الأدلة المرئية المجمعة بدلاً من الديناميكيات المتسقة زمنياً لتشكيل التمثيلات المكانية.
التأسيس البصري (Visual Grounding): انخفض الأداء بشكل كبير عندما تم تزويد النماذج بتعليقات نصية مهيكلة بدلاً من الفيديو الخام، مما يسلط الض الضوء على أن التأسيس البصري المباشر أمر بالغ الأهمية لبناء الخريطة المعرفية.
المساهمات الرئيسية
SFI-Bench: تقديم معيار شامل ينقل تركيز التقييم من الإدراك التعرفي إلى الاستدلال المكاني والوظيفي المهيكل.
الرؤى التشخيصية: تحديد أنماط الفشل المحددة في النماذج اللغوية الكبيرة متعددة الوسائط الحديثة، بما في ذلك أخطاء الإدراك البصري، وعدم الاتساق المكاني (مثل "انتقال الأشياء آنياً")، والإفراط في تعميم الإمكانات.
ديناميكيات الاستدلال: اكتشاف أن الاستدلال الفعال يتمثل في التوافق مع الأدلة الإدراكية وليس في طول سلسلة الاستدلال، وأن نماذج الاستدلال الحالية مفتوحة المصدر (المدربة بـ RLVR) تفشل في نقل قدرات الاستدلال الرياضي إلى المجالات المكانية-الوظيفية.
تكامل المعرفة: تسليط الضوء على الدور الحاسم لاكتساب المعرفة الخارجية للمهام الوكيلية، وإثبات أن الذاكرة المعلمية وحدها غير كافية لسيناريوهات التشغيل واستكشاف الأخطاء وإصلاحها.
الأهمية
يجادل البحث بأن تحقيق ذكاء وكيل حقيقي يتطلب الانتقال من النماذج الموجهة نحو الإدراك إلى أنظمة قادرة على الإدراك المكاني-الوظيفي المتكامل. ويرى المؤلفون أن SFI-Bench يعمل كأداة تشخيصية لقياس التقدم في هذا الاتجاه. وتشير النتائج إلى أن التطورات المستقبلية يجب أن تركز على:
بناء وصيانة خرائط معرفية متماسكة ومتسقة زمنياً.
تطوير استدلال تركيبي قوي يتجنب الانحراف الدلالي.
الدمج السلس للإدراك البصري مع مصادر المعرفة الديناميكية والخارجية لدعم العمل الهادف في البيئات الواقعية.
يؤكد العمل أنه بينما تتفوق النماذج الحالية في الإدراك المحلي، إلا أنها تظل هشة في الحفاظ على الذاكرة المكانية العالمية وتأسيس الإمكانات، مما يمثل جبهة حرجة لأبحاث الذكاء الاصطناي متعدد الوسائط.