💻 computer science

CVT-Bench: Counterfactual Viewpoint Transformations Reveal Unstable Spatial Representations in Multimodal LLMs

تقدم هذه الورقة البحثية CVT-Bench، وهو معيار تشخيصي يكشف أنه على الرغم من الدقة العالية في الرؤية الأحادية، تُظهر النماذج اللغوية الكبيرة متعددة الوسائط المتطورة تمثيلات مكانية غير مستقرة تحت تغييرات وجهات النظر الافتراضية، وهي محدودية يتم التخفيف من حدتها باستخدام تمثيلات مدخلات أكثر هيكلية.

المؤلفون الأصليون: Shanmukha Vellamcheti, Uday Kiran Kothapalli, Disharee Bhowmick, Sathyanarayanan N. Aakur

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shanmukha Vellamcheti, Uday Kiran Kothapalli, Disharee Bhowmick, Sathyanarayanan N. Aakur

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقف في غرفة بها طاولة. على الطاولة، يوجد كوب أحمر، وكرة زرقاء، وصندوق أخضر. تنظر إليهما وتقول: "الكوب يقع إلى يسار الكرة".

الآن، تخيل أنك تمشي حول الطاولة لتصل إلى الجانب المقابل. من مكانك الجديد، أصبح الكوب الآن إلى يمين الكرة. العقل البشري يتعامل مع هذا التحول فوراً؛ فأنت لا تحتاج إلى التقاط صورة جديدة، بل تقوم فقط بـ "تدوير" الغرفة في ذهنك وتحديث الخريطة.

هذه الورقة البحثية، CVT-Bench، تشبه "اختبار رخصة القيادة" للذكاء الاصطنا-ئي، ولكن بدلاً من قيادة سيارة، هي تختبر مدى قدرة الذكاء الاصطناعي على القيام بهذا "التدوير الذهني".

المشكلة الكبرى: "فقدان الذاكرة" لدى الذكاء الاصطناعي

وجد الباحثون أنه بينما تبرع نماذج الذكاء الاصطناعي الحديثة (نماذج اللغات الكبيرة متعددة الوسائط) في وصف ما تراه في صورة واحدة، إلا أنها سيئة جداً في تخيل كيف يبدو ذلك المشهد من زاوية مختلفة.

فكر في هذه النماذج كأنها سائح يحمل كاميرا ولكن ليس لديه خريطة:

السائح (الذكاء الاصطناعي): إذا أظهرت له صورة لمنتزه، يمكنه وصف الأشجار والمقاعد بدقة تامة.
الاختبار: إذا سألته: "حسناً، إذا مشيت 90 درجة جهة اليسار، أين ستصبح المقاعد الآن؟"، سيصاب السائح بالذعر. قد يقول: "لا أعرف، ليس لدي سوى هذه الصورة الواحدة!" أو قد يخمن بشكل عشوائي، ويخلط بين اليمين واليسار.

تسمي الورقة البحثية هذا "تحول وجهة النظر المقابلة للواقع" (Counterfactual Viewpoint Transformation). وهي طريقة معقدة للسؤال: "إذا تحركت، كيف سيتغير العالم؟"

التجربة: "النادي الرياضي الذهني"

بنى الباحثون نادياً رياضياً يسمى CVT-Bench لاختبار هذا الأمر.

المشهد: قاموا بإنشاء 100 غرفة رقمية مليئة بأشكال بسيطة (مكعبات، كرات، أسطوانات).
الاختبار: عرضوا على الذكاء الاصطناعي صورة للغرفة. ثم طرحوا أسئلة مثل: "إذا قمت بتدوير الكاميرا بمقدار 180 درجة (دوران كامل)، هل المكعب الأحمر أمام أم خلف الكرة الزرقاء؟"
الفخ: لم يُسمح للذكاء الاصطناعي برؤية الزاوية الجديدة؛ كان عليه الاعتماد كلياً على ذاكرته الداخلية للغرفة لاستنتاج الإجابة.

كما اختبروا الذكاء الاصطناعي في وضعين:

وضع "المرة الواحدة": طرح سؤال واحد عن غرفة واحدة. (الذكاء الاصطناعي يؤدي جيداً هنا).
وضع "الماراثون": طلب من الذكاء الاصطناي حل 20 غرفة مختلفة متتالية دون توقف. (الذكاء الاصطناعي ينهار تماماً هنا).

النتائج: "الدماغ الهش"

كانت النتائج مفاجئة ومثيرة للقلق نوعاً ما بالنسبة لمستقبل الروبوتات:

فشل "الدوران المباغت": عندما كان على الذكاء الاصطناعي تخيل دوران بمقدار 90 درجة (زاوية حادة)، كان غالباً يصاب بارتباك تام. كان يخلط بين "اليسار" و"اليمين" مثل شخص يشعر بالدوار.
مشكلة "الذاكرة الطويلة": عندما كان على الذكاء الاصطناعي تذكر مشاهد كثيرة على التوالي (وضع الماراثون)، انخفض أداؤه بشكل حاد. الأمر يشبه محاولة تذكر قائمة تسوق بينما يصرخ شخص ما بأرقام في أذنك؛ كلما حاولت استيعاب المزيد، فقدت المزيد.
مفاجأة "النص مقابل الصورة": عندما أعطى الباحثون الذكاء الاصطناعي المشهد في شكل وصف نصي (مثلاً: "المكعب عند الإحداثي X، والكرة عند الإحداثي Y") بدلاً من صورة، كان أداء الذكاء الاصطناعي أفضل. وهذا يشير إلى أن الذكاء الاصطناعي لا يفشل لأنه لا يستطيع "رؤية" الصورة، بل لأنه لا يستطيع بناء خريطة ثلاثية الأبعاد مستقرة في ذهنه عند النظر إلى البكسلات.

"النظارات السحرية" (البيانات المهيكلة)

حاول الباحثون إعطاء الذكاء الاصطناعي "تدريبات مساعدة". بدلاً من مجرد صورة أو فقرة، أعطوه "رسم بياني للمشهد" (Scene Graph) — وهو قائمة مهيكلة تقول صراحةً: "المكعب يقع على يسار الكرة".

التشبيه: الأمر يشبه إعطاء السائح ليس فقط صورة، بل خريطة GPS عليها أسهم مرسومة.
النتيجة: أصبح الذكاء الاصطناعي أكثر استقراراً، ولم يعد يشعر بالدوار بنفس القدر. وهذا يثبت أننا إذا أردنا للذكاء الاصطناعي أن يكون جيداً في التفكير المكاني، فلا يمكننا مجرد إلقاء الصور عليه؛ بل نحتاج لمساعدته على تنظيم المعلومات في هيكل واضح أولاً.

لماذا يجب أن تهتم؟

قد تفكر: "وما الفائدة؟ إنها مجرد أشكال لعبة". لكن هذا هو الأساس لـ الروبوتات والسيارات ذاتية القيادة.

الروبوت المنزلي: تخيل روبوتاً في مطبخك. تقول له: "ناولني الكوب الذي على يسار محمصة الخبز". يحتاج الروبوت لمعرفة مكان الكوب من منظورك أنت، وليس فقط من منظوره هو. إذا لم يستطع الروبوت تدوير المشهد ذهنياً، فسوف يمسك الكوب الخطأ أو يقلب الأشياء.
السيارة ذاتية القيادة: إذا رأت السيارة مشاة، فعليها التنبؤ بمكان وجودهم إذا انعطفت السيارة عند زاوية. إذا كان "عقل" السيارة غير مستقر، فقد تعتقد أن الشخص في أمان بينما هو في خطر حقيقي.

الخلاصة

تخلص الورقة البحثية إلى أن الذكاء الاصطناعي الحالي "يعتمد على وجهة النظر". فهو يعتمد بشكل مفرط على الصورة المحددة التي ينظر إليها في تلك اللحظة. لم يتعلم بعد كيفية بناء "نموذج عالم" ثلاثي الأبعاد مستقر يمكنه تدويره في رأسه.

لجعل الذكاء الاصطناعي ذكياً وآمناً حقاً في العالم الحقيقي، نحتاج لتعليمه كيف يحافظ على توازنه عندما يدور العالم من حوله، وليس فقط كيف يصف العالم عندما يكون واقفاً ساكناً.

ملخص تقني لورقة بحثية: "CVT-Bench: التحولات الافتراضية لوجهات النظر تكشف عن تمثيلات مكانية غير مستقرة في النماذج اللغوية الكبيرة متعددة الوسائط."

1. بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) دقة عالية في مهام الاستدلال المكاني أحادية المنظور (مثل تحديد الأشياء ووصف مواضعها النسبية في صورة ثابتة)، لا يزال من غير الواضح ما إذا كانت تمتلك تمثيلات مكانية مستقرة وثابتة تجاه تغير وجهات النظر.

تعتبر التقييمات الحالية عرضية (episodic) إلى حد كبير، حيث تقيم الاستدلال ضمن مشهد واحد ومنظور ثابت. ومع ذلك، تتطلب التطبيقات في العالم الحقيقي (مثل الروبوتات والقيادة الذاتية) من الوكلاء:

استنتاج كيفية تحول العلاقات المكانية تحت تغيرات وجهات نظر افتراضية (على سبيل المثال، "إذا تحركت بمقدار 180 درجة حول هذه الطاولة، فأين يقع الكائن A بالنسبة للكائن B؟") دون مدخلات بصرية جديدة.
الحفاظ على حالات مكانية متسقة عبر تفاعلات تسلسلية ممتدة تتضمن مشاهد متعددة.

يفترض المؤلفون أن النماذج اللغبية الكبيرة متعددة الوسائط الحالية تعتمد بشكل كبير على الإشارات المعتمدة على المنظور بدلاً من استيعاب تمثيل ثلاثي الأبعاد قوي للمشهد، مما يؤدي إلى عدم الاستقرار عند تغير منظور المراقب أو عند زيادة طول السياق.

2. المنهجية: CVT-Bench

قدم المؤلفون CVT-Bench، وهو معيار تشخيصي محكم مصمم لعزل قدرات الاستدلال المكاني عن التعرف على الأشياء والإدراك.

أ. بناء مجموعة البيانات

المصدر: مشاهد مُولدة إجرائياً بناءً على بيئة CLEV، مما يضمن إحداثيات ثلاثية الأبعاد دقيقة وهويات أشياء غير غامضة.
النطاق: 100 مشهد اصطناعي (50 مشهداً شحيحاً: 3–5 أشياء؛ 50 مشهداً كثيفاً: 7–10 أشياء) مع مستويات متفاوتة من الحجب (5%–70%).
الاستعلامات: حوالي 6,000 استعلام علاقاتي.
وجهات النظر: يتم إنشاء الاستعلامات لوجهة نظر مرجعية مرصودة ( $0^\circ$ ) و9 وجهات نظر افتراضية (دورات من $45^\circ$ إلى $360^\circ$ ومنظور علوي من منظور الشخص/الشيء).
المهمة: بالنظر إلى مشهد من وجهة نظر $v_0$ ، يجب على النموذج التنبؤ بالعلاقات المكانية (يسار، يمين، أمام، خلف) بين أزواج الأشياء تحت دوران افتراضي $\theta$ ، دون تلقي مدخلات بصرية من وجهة النظر الجديدة.

ب. بروتوكولات التقييم

التقييم العرضي (Episodic): يتم تقديم كل مشهد بشكل مستقل. يقيس القدرة على الاستدلال اللحظي.
التقييم التسلسلي (Sequential): يتم دمج مشاهد مستقلة متعددة في سياق طويل واحد. يقيس القدرة على الحفاظ على الحالة المكانية دون تداخل من المشاهد السابقة (تراكم السياق).
تمثيلات المدخلات: لتشخيص مصدر الفشل، يتم اختبار النماذج عبر ثلاثة وسائط:
- البصرية: صور مُصورة خام مع علامات للأشياء.
- النصية: أوصاف لغوية طبيعية مهيكلة مع صناديق إحاطة (يزيل الإدراك البصري).
- المخطط البياني للمشهد (Scene Graph): رسوم بيانية علاقية صريحة مشتقة من الإحداثيات الحقيقية (توفر أقصى قدر من الإشراف الهيكلي).

ج. المقاييس

درجة F1: تُستخدم للتصنيف متعدد الملصقات للعلاقات المكانية.
معدل بقاء المكان (Spatial Survival Rate): مقياس جديد يقيس احتمالية حفاظ النموذج على تنبؤات صحيحة بشكل متتالي مع زيادة عمق التفاعل.
اتساق الدورة (Cycle Consistency): التحقق مما إذا كانت إجابة النموذج لـ $0^\circ$ تطابق إجابته لـ $360^\circ$ (وهما متطابقان فيزيائياً).

3. المساهمات الرئيسية

معيار CVT-Bench: مجموعة أدوات تشخيصية تستهدف تحديداً الاستدلال الافتراضي لوجهات النظر وأخذ المنظور البصري، وهي متميزة عن معايير VQA القياسية.
بروتوكول موحد: إطار عمل يميز بين الاستدلال العرضي (المشهد الواحد) والتسلسلي (المشاهد المتعددة) لتحليل الحفاظ على الحالة.
تقييم متحكم في التمثيل: مقارنة منهجية للمدخلات البصرية والنصية والبيانية لعزل ما إذا كان الفشل ناتجاً عن الإدراك، أو هيكل التمثيل، أو منطق الاستدلال.
نتائج واسعة النطاق: أدلة تجريبية تُظهر أن الدقة العالية في المنظور الواحد تخفي عدم استقرار كبير في الاستدلال المكاني تحت الدوران والسياقات الطويلة.

4. النتائج الرئيسية

قيمت الدراسة نماذج رائدة (GPT-5.2, Gemini 3.1 Pro, Qwen 3.5, Kimi 2.5) ووجدت ما يلي:

عدم استقرار وجهة النظر: بينما تحقق النماذج درجة F1 تزيد عن 90% عند وجهة النظر المرجعية ( $0^\circ$ $0^{\circ}$ )، يتدهور الأداء بشكل منهجي تحت الدورات الافتراضية.
- الهبوط المتعامد: تحدث انخفاضات حادة في الأداء عند زوايا $90^\circ$ و $270^\circ$ (الزوايا المتعامدة)، مما يشير إلى أن النماذج تستخدم قواعد استدلال واهية بدلاً من دوران داخلي سلس.
- متانة المنظور العلوي: للمفارقة، غالباً ما يكون أداء الاستعلامات من المنظور العلوي (من منظور الشيء) أفضل من الدورات داخل المستوى، مما يشير إلى أن النماذج تعاني أكثر مع التحولات الأفقية من منظور الشخص.
التدهور التسلسلي: في الإعدادات التسلسلية (BS=20)، ينخفض الأداء بشكل كبير لكل من وجهات النظر المرجعية والدوارة.
- انحراف السياق: تنخفض الدقة مع زيادة عمق المطالبة (يتم الإجابة على المشاهد اللاحقة بدقة أقل)، مما يشير إلى الفشل في الحفاظ على حالة مكانية متماسكة عبر السياقات الطويلة.
- انهيار معدل البقاء: ينخفض "معدل بقاء المكان" (الإجابات الصحيحة المتتالية) بشكل حاد، مما يكشف أن النماذج لا يمكنها الحفاظ على الاتساق العلاقي عبر التفاعلات الممتدة.
تأثير التمثيل:
- النص مقابل الصورة: غالباً ما تُظهر المدخلات النصية فقط تدهوراً أقل من الصور الخام، مما يعني أن التأسيس البصري (visual grounding) قد يُدخل ضوضاء أو عدم استقرار.
- المخططات البيانية للمشهد: تعمل المخططات البيانية المهيكلة على تحسين الاستقرار في بعض النماذج ولكنها لا تحل المشكلة تماماً، مما يشير إلى أن المشكلة ليست مجرد تنسيق المدخلات بل آلية الاستدلال الداخلية.
أنماط الفشل:
- انعكاس وجهة النظر: ارتباك منهجي بين اليسار/اليمين أو الأمام/الخلف عند زوايا محددة.
- التداخل بين المشاهد: في المهام التسلسلية، تخلط النماذج بين العلاقات من المشاهد السابقة والمشهد الحالي.
- عدم اتساق الدورة: غالباً ما تعطي النماذج إجابات مختلفة لاستعلامات $0^\circ$ و $360^\circ$ رغم تطابق الحالات الفيزيائية.

5. الأهمية والخاتمة

المبالغة في تقدير المتانة: تخلص الورقة إلى أن دقة المنظور الواحد القياسية تبالغ في تقدير متانة النماذج اللغبية الكبيرة متعددة الوسائط. فالأداء العالي في الصور الثابتة لا يعني أن النموذج قد تعلم نموذجاً عالمياً ثلاثي الأبعاد مستقراً وقابلاً للتحول.
آلية الفشل: يشير عدم الاستقرار إلى أن هذه النماذج تعتمد على الاستدلال المعتمد على المنظور (ربط الأشياء بميزات الصورة الحالية) بدلاً من الحفاظ على حالة مكانية داخلية ثابتة تجاه تغير وجهات النظر.
الآثار على الذكاء الاصطناዊ المادي (Embodied AI): بالنسبة للروبوتات والأنظمة ذاتية القيادة، حيث يجب على الوكلاء الاستدلال حول العالم من منظورات مختلفة وعبر الزمن، تعتبر هذه النماذج غير موثوقة دون آليات صريحة لتمثيل الحالة العلاقية.
الاتجاهات المستقبلية: يقترح المؤلفون أن تحسين الاستدلال المكاني يتطلب تغييرات هيكلية لنمذجة الحالات العلاقية وتحولات المنظور بشكل صريح، بدلاً من الاعتماد فقط على مسارات الإدراك إلى الفعل (perception-to-action) من الطرف إلى الطرف.

باختصار، يكشف CVT-Bench عن فجوة حرجة في النماذج اللغبية الكبيرة متعددة الوسائط الحالية: فهي ممتازة في وصف "ما تراه"، لكنها تعاني في الاستدلال حول "كيف يبدو العالم من زاوية أخرى" أو "كيف كان العالم يبدو سابقاً"، مما يسلط الضم على نقص جوهري في الإدراك المكاني المستقر.