💬 NLP

Unleashing Spatial Reasoning in Multimodal Large Language Models via Textual Representation Guided Reasoning

تقدم هذه الورقة البحثية TRACE، وهي طريقة صياغة (prompting) تعزز قدرات الاستدلال المكاني ثلاثي الأبعاد للنماذج اللغوية الكبيرة متعددة الوسائط من خلال توجيهها لتوليد تمثيلات نصية مهيكلة قائمة على المنظور الخارجي (allocentric) لبيئات الفيديو ذات المنظور الذاتي (egocentric)، مما يؤدي إلى تحسينات مستمرة في الأداء عبر مختلف المعايير المرجعية وهياكل النماذج.

المؤلفون الأصليون: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiacheng Hua, Yishu Yin, Yuhang Wu, Tai Wang, Yifei Huang, Miao Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في منزل وأنت تحمل كاميرا، وتصور كل ما تراه. أنت تنظر إلى كوب قهوة، ثم مصباح، ثم باب. هذا هو الفيديو من منظور الشخص الأول (منظور "متمركز حول الذات").

الآن، تخيل أن شخصًا ما سألك سؤالاً محيراً: "إذا كنت واقفاً بجانب سلة المهملات وتنظر باتجاه الهاتف، فهل سيكون الكوب على يساري الأمامي أم على يميني الخلفي؟"

بالنسبة للإنسان، هذا أمر سهل. نحن لا ننظر فقط إلى الفيديو إطاراً تلو الآخر، بل نبني فوراً خريطة ذهنية للغرفة بأكملها في رؤوسنا. نحن نعرف أين توجد الجدران، وأين تقع قطع الأثاث بالنسبة لبعضها البعض، ويمكننا "الانتقال ذهنياً" إلى موقع سلة المهملات للإجابة على السؤال.

المشكلة:
نماذج الذكاء الاصطناعي الحالية (نماذج اللغات الكبيرة متعددة الوسائط - MLLMs) تشبه شخصاً مسموحاً له فقط بالنظر إلى صورة واحدة في كل مرة. إنها بارعة في وصف ما يوجد في الصورة ("أرى كوباً أحمر")، لكنها سيئة جداً في بناء تلك الخريطة الذهنية ثلاثية الأبعاد. فهي تضيع في التفاصيل وتفشل في فهم العلاقات المكانية، تماماً مثل سائح يعرف كيف يبدو الشارع ولكنه لا يعرف كيف يصل من الفندق إلى المتحف.

الحل: TRACE
ابتكر مؤلفو هذه الورقة البحثية طريقة جديدة تسمى TRACE (التمثيل النصي للسياق المتمركز حول الشيء من فيديو منظور الشخص الأول).

فكر في TRACE كأنها مترجم يحول فيديو مشوشاً ومتحركاً إلى "ورقة غش" منظمة أو مخطط قبل أن يحاول الذكاء الاصطناعي الإجابة على السؤال.

إليك كيف يعمل TRACE، باستخدام تشبيه بسيط:

التشبيه: ملف قضية المحقق

تخيل أن الذكاء الاصطناعي هو محقق يحاول حل مسرح جريمة بناءً على فيديو أمني مهتز.

الطريقة القديمة (التلقين المباشر): يشاهد المحقق الفيديو ويحاول تخمين الإجابة فوراً. قد يقول: "أعتقد أن الكوب على اليسار!"، لكنه مجرد تخمين بناءً على إطار واحد ضبابي. وغالباً ما يخطئ في تقديره.
طريقة TRACE: قبل أن يخمن، يُجبر المحقق على كتابة "ملف قضية" (وهو الـ TRACE) الذي ينظم المشهد. يحتوي هذا الملف على ثلاثة أقسام محددة:
- القسم 1: مخطط الغرفة (السياق العام - Meta-Context)
  - التشبيه: يرسم المحقق خريطة بسيطة للغرفة. "إنها مكتب مستطيل. الشمال هو الجدار الذي به النافذة. نقطة الأصل (0,0) هي الباب."
  - لماذا يساعد: يوفر نظام إحداثيات ثابتاً حتى لا يرتبك بسبب دوران الكاميرا حول نفسها.
- القسم 2: سجل الجولة (مسار الكاميرا - Camera Trajectory)
  - التشبيه: يدون المحقق خطواته: "عند الثانية 0، كنت واقفاً عند الباب وأواجه الشمال الغربي. عند الثانية 5، مشيت مترين للأمام واستدرت لليمين لأنظر إلى المكتب."
  - لماذا يساعد: يتتبع الحركة. يعرف الذكاء الاصطناعي بالضبط أين كان "المراقب" في كل لحظة، مما يحول الفيديو الفوضوي إلى مسار واضح.
- القسم 3: سجل الأشياء (سجل الكيانات - Entity Registry)
  - التشبيه: يسرد المحقق كل قطعة تم العثور عليها، مثل قائمة تسوق ولكن مع إحداثيات GPS. "سلة المهملات: متران يسار الباب. الكوب: متر واحد يسار الهاتف."
  - لماذا يساعد: بدلاً من مجرد "رؤية" كوب، أصبح لدى الذكاء الاصطناعي الآن قائمة دقيقة لمكان وجود كل شيء بالنسبة للأشياء الأخرى.

لماذا ينجح هذا؟

بمجرد أن يقوم الذكاء الاصطناعي بإنشاء "ملف القضية" (الوصف النصي)، فإنه لا يضطر للتخمين بعد الآن. يمكنه ببساطة قراءة المخطط للإجابة على السؤال.

السؤال: "هل الكوب على يسار الهاتف؟"
إجابة TRACE: "انظر إلى السجل. الهاتف عند [2, 2]. الكوب عند [1, 2]. إذن، الكوب على اليسار."

النتائج

اختبر الباحثون هذه الطريقة على اثنين من أهم المعايير (VSI-Bench و OST-Bench) باستخدام نماذج ذكاء اصطناعي متنوعة.

النتيجة: تفوقت TRACE باستمرار على جميع الطرق الأخرى. لقد ساعدت حتى نماذج الذكاء الاصط المصغر والأقل قوة على الأداء بشكل أفضل بكثير.
الخلاصة: من خلال إجبار الذكاء الاصطناعي على التوقف و"رسم خريطة" (في شكل نصي) قبل الإجابة، فإننا نطلق العنان لقدرته على فهم الفضاء ثلاثي الأبعاد. الأمر يشبه إعطاء طالب ورقة مربعات ومسطرة قبل مطالبته بحل مسألة هندسية، بدلاً من مطالبته بمجرد تخمين الإجابة في ذهنه.

باخت-طصر، تعلم TRACE الذكاء الاصطناعي كيف يتوقف عن التحديق في البكسلات ويبدأ في بناء خريطة ذهنية، محولةً الفيديو المربك إلى قصة واضحة ومنظمة يمكن للحاسوب أن يستنتج منها المنطق.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "إطلاق العنان للاستدلال المكاني في النماذج اللغوية الكبيرة متعددة الوسائط عبر التمثيل النصي الموجه للاستدلال."

1. بيان المشكلة

تعاني النماذج اللغبية الكبيرة متعددة الوسائط (MLLMs) حاليًا من صعوبات في مهام الاستدلال المكاني ثلاثي الأبعاد (3D)، لا سيال عند معالجة مدخلات الفيديو من منظور الشخص الأول (egocentric). على الرغم من تدريب هذه النماذج على مجموعات بيانات فيديو ضخمة، إلا أنها غالبًا ما تفشل في بناء تجريدات مهيكلة للبيئة ثلاثية الأبعاد. وبدلاً من بناء تمثيلات هرمية للعلاقات المكانية، فإنها تميل إلى:

التركيز المفرط على الإشارات البصرية ثنائية الأبعاد (2D).
الاعتماد على ارتباطات مختصرة من إشارات مكانية ضمنية.
الفشل في الحفاظ على تمثيلات داخلية متسقة ثلاثية الأبعاد، مما يؤدي إلى أخطاء في المهام التي تتطلب فهمًا شموليًا للمشهد (مثل تحديد مواقع الأشياء بالنسبة لكاميرا متحركة).

الحلول الحالية تتطلب إما ضبطًا دقيقًا تحت الإشراف (Supervised Fine-tuning) هائل الحجم (مما يحد من القابلية للتوسع) أو دمج وسائط هندسية/مجسمة معقدة (مما يزيد من تعقيد النظام ويقيد إمكانية التطبيق على النماذج الجاهزة). يطرح المؤلفون السؤال التالي: هل يمكن توجيه النماذج اللغبية الكبيرة متعددة الوسائط لبناء وتمثيل تمثيلات هيكلية "منظورية موضوعية" (allocentric) -أي مرتبطة بمركز العالم- للبيئات المكانية ثلاثية الأبعاد المستمدة حصريًا من الملاحظات البصرية ثنائية الأبعاد؟

2. المنهجية: TRACE

يقترح المؤلفون TRACE (Textual Representation of Allocentric Context from Egocentric Video)، وهي طريقة توجيه (Prompting) تحفز النماذج اللغبية الكبيرة متعددة الوسائط على توليد تمثيل نصي مهيكل للبيئة ثلاثية الأبعاد كأثر استدلال وسيط.

مستلهمًا من النظريات المعرفية للاستدلال المكاني البشري (تحويل المدخلات البصرية إلى تمثيلات هرمية للأشياء والعلاقات)، يجبر نظام TRACE النموذج على إخراج مخطط (Schema) محدد قبل الإجابة على السؤال النهائي. يتم تعريف التمثيل $G$ كزوج مرتب $\langle M, T, E \rangle$ :

المكونات الرئيسية لـ TRACE:

السياق الميتافيزيقي (Meta Context - $M$ ):
- يؤسس نظام إحداثيات محاذٍ للغرفة.
- يحدد طوبولوجيا الغرفة (مثل: "مكتب مستطيل").
- يحاذي محاور الشبكة (على سبيل المثال، جعل محور $+Y$ محاذيًا لأطول جدار مرئي) بدلاً من اتجاه الكاميرا الأولي.
- يسجل اتجاه المراقب الأولي بالنسبة لهذه الشبكة العالمية.
مسار الكاميرا (Camera Trajectory - $T$ ):
- يعيد بناء مسار المراقب كمتتالية منفصلة من الخطوات.
- لكل خطوة، يسجل: الطابع الزمني، الموقع ثنائي الأبعاد التقديري $[x, y]$ ، اتجاه المواجهة (النقاط الأصلية)، وسياق الفعل.
- يسمح هذا للنموذج بالتنقل عبر "خريطة ثابتة" بدلاً من الاعتماد على الذاكرة البصرية العابرة.
سجل الكيانات (Entity Registry - $E$ ):
- يحافظ على قائمة مهيكلة لجميع الأشياء المرصودة مع معرفات فريدة (مثل: chair_01).
- لكل كيان، يسجل:
  - الوسم الزمني: وقت الظهور الأول.
  - البصمة البصرية: وصف موجز للمظهر للتمييز بين الأشياء المتشابهة.
  - التقدير المتري: الإحداثيات ثنائية الأبعاد التقديرية $[x, y]$ بالأمتار بالنسبة لأصل الشبكة.
  - العلاقات المكانية: أوصاف باللغة الطبيعية للعلاقات مع المرتكزات القريبة.
  - التسلسل الصارم: تُدرج الأشياء بشكل فردي لضمان دقة العد والتحديد المحلي.

آلية الاستدلال

عملية الاستدلال هي توليد بمرور واحد (Single-pass generation) حيث يقوم النموذج أولاً بتوليد الـ TRACE المهيكل (الموصِف المكاني) ثم يستخدم هذا "المخزن المؤقت المكاني" النصي للإجابة على الاستعلام (محلل الاستدلال). يعمل هذا بمثำب "سلسلة أفكار" (Chain-of-Thought) متخصصة تقوم صراحةً بتحميل سياق النافذة بالقيود الهندسية قبل اشتقاق الإجابة النهائية.

3. المساهمات الرئيسية

استراتيجية توجيه مبتكرة: قدمت TRACE، وهي أول طريقة تعتمد على التوجيه تمكن النماذج اللغبية الكبيرة متعددة الوسائط من أداء استدلال مكاني ثلاثي الأبعاد مهيكل عبر توليد تمثيلات نصية وسيطة "منظورية موضوعية".
تصميم التمثيل المهيكل: حددت مخططًا صارمًا (السياق الميتافيزيقي، المسار، سجل الكيانات) يجسّر الفجوة بين مدخلات الفيديو ثنائية الأبعاد والاستدلال المكاني ثلاثي الأبعاد، مما يجبر النموذج على حل العلاقات المكانية إلى قيود هندسية.
تقييم شامل: تم التحقق من فعالية النهج على مجموعتين رئيسيتين من الاختبارات (VSI-Bench و OST-Bench) عبر نماذج أساسية متنوعة (Gemini 3 Pro, Qwen2.5-VL, MiMo-VL, o3, GLM-4.5V) ومقاييس بارامترية مختلفة.
رؤى تشخيصية: قدمت تحليلات تفكيكية كشفت أن النماذج اللغبية الكبيرة متعددة الوسائط الحالية غالبًا ما تفشل بسبب نقاط ضعف في "الموصِف المكاني" (الإدراك البصري للهيكل ثلاثي الأبعاد) وليس فقط في محلل الاستدلال، وأن التجذير الهندسي الصريح أمر بالغ الأهمية للنماذج الأصغر.

4. النتائج التجريبية

تسجل الورقة تجارب واسعة النطاق تثبت أن TRACE يتفوق باستمرار على استراتيجيات التوجيه الحالية (Direct, CoT, Tree-of-Thought, Least-to-Most, و Cognitive Map).

مكاسب الأداء:
- VSI-Bench: حققت TRACE نتائج هي الأفضل في فئتها (SOTA). على سبيل المثال، في Gemini 3 Pro، حسنت متوسط الدرجات بنسبة +7.54% مقارنة بالأساس المباشر (Direct) وبنسبة +0.43% مقارنة بأفضل نتيجة سابقة (Cognitive Map). وفي Qwen2.5-VL-72B، حققت تحسنًا بنسبة +3.10%.
- OST-Bench: أظهرت TRACE مكاسب متسقة، لا سيال في نموذج MiMo-VL-7B مفتوح المصدر (+2.4% عن Direct)، مما يثبت فعاليتها للنماذج الصغيرة والمدمجة حيث يكون التجذير الهندسي الصريح أكثر أهمية من الاستدلال اللغوي العام.
المقارنة مع الطرق الأخرى:
- تفوقت TRACE على نهج الخريطة المعرفية (Cognitive Map) (Yang et al., 2025b) بنسبة 9.7% في VSI-Bench (إعداد النص فقط)، مما يثبت أن دقة TRace (الكيانات الفردية مع الإحداثيات) تتفوق على الشبكات الخشنة (10x10).
- كما تفوقت أيضًا على طرق الوصف المكاني (Spatial Captioning) بنسبة 3.53%.
دراسات الاستئصال (Ablation Studies):
- أدى حذف سجل الكيانات (Entity Registry) إلى أكبر انخفاض في الأداء (-5.24%)، مما يبرز أهمية التجذير على مستوى الكائن.
- أدى حذف معلومات المسار (Trajectory) إلى انخفاض بنسبة -1.92%، مما أثر على مهام المسافة وتخطيط المسار.
التعميم: أظهرت الطريقة مكاسب أداء قوية عبر مجموعات بيانات المشاهد الداخلية المختلفة (ARKitScenes, ScanNet, ScanNetPP)، مما يشير إلى أنها لا تعاني من الإفراط في التخصيص (Overfitting) لأنواع بيئات محددة.
كفاءة الرموز (Token Efficiency): في النماذج المدمجة (MiMo)، كانت TRACE أكثر كفاءة في استهلاك الرموز من ToT و LtM مع تقديم دقة أفضل.

5. الأهمية والخاتمة

تعالج هذه الدراسة عقبة حرجة في الذكاء الاصطناعي متعدد الوسائط: عدم قدرة النماذج الحالية على الاستدلال حول الفضاء ثلاثي الأبعاد من فيديو ثنائي الأبعاد. ومن خلال نقل النموذج من رسم الخرائط المباشر من البكسل إلى الإجابة إلى الاستدلال الوسيط الموجه نصيًا، توفر TRACE واجهة بسيطة، قابلة للتوسع، وفعالة للغاية لتعزيز الذكاء المكاني في النماذج اللغبية الكبيرة متعددة الوسائط.

النقاط الجوهرية:

المواءمة المعرفية: يتوافق النهج مع العمليات المعرفية البشرية من خلال إجبار النموذج على بناء نموذج ذهني "منظوري موضوعي" (مرتبط بالعالم) قبل الإجابة.
حيادية النموذج: تعمل بفعالية عبر النماذج المملوكة ومفتوحة المصدر بمختلف أحجامها دون الحاجة إلى تغييرات هيكلية أو إعادة تدريب هائلة.
الاتجاه المستقبلي: يقترح المؤلفون أن هذا التمثيل النصي يمكن أن يعمل كمحرك بيانات لتدريب النماذج المستقبلية الواعية مكانيًا، ويقترحون عملًا مستقبليًا على أطر عمل TRACE الديناميكية والمتدفقة لتتبع حالة الوكيل (Agent State) في الوقت الفعلي.

باختصار، تثبت TRACE أن التمثيلات النصية المهيكلة هي خطوة وسيطة قوية لـ "إطلاق العنان" لقدرات الاستدلال المكاني ثلاثي الأبعاد الكامنة في النماذج اللغبية الكبيرة متعددة الوسائط الموجودة حاليًا.