GeoWorld-VLM: Geometry from World Models for Vision-Language Models
يعالج GeoWorld-VLM محدودية الاستدلال المكاني في النماذج البصرية اللغوية من خلال استخلاص الإشارات الهندسية ثلاثية الأبعاد من نماذج عالم فيديو مجمدة مشروطة بالكاميرا ونقلها إلى المسار البصري، محققاً تحسينات متسقة في الأداء على معايير الاختبار المكانية مع الحفاظ على القدرات اللغوية للنموذج الأصلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة ذكي جداً (وهو نموذج الرؤية واللغة، أو الـ VLM) يمكنه قراءة الكتب ووصف الصور بدقة مثالية. إذا عرضت عليه صورة لقطة على سجادة، يمكنه أن يخبرك: "هذه قطة، وهي فوق السجادة". إنه بارع في تسمية الأشياء وفهم الكلمات.
ومع ذلك، لدى هذا الأمين نقطة عمياء غريبة: فهو سيء جداً في فهم المساحات. إذا سألته: "هل القطة خلف الكرسي أم أمام الكرسي؟" أو "هل المصباح فوق المكتب؟"، فغالباً ما سيخمن بشكل خاطئ. هو يرى الأشياء، لكنه لا "يشعر" بالشكل ثلاثي الأبعاد للغرفة.
المشكلة: الصورة "المسطحة"
يوضح البحث أن هذا يحدث لأن أمين المكتبة يحصل على معلوماته من كاميرا (مشفر الرؤية). هذه الكاميرا تأخذ عالماً ثلاثي الأبعاد وتضغطه في صورة ثنائية الأبعاد. وبذلك، فإنها تتخلص من القرائن المتعلقة بالعمق، والزوايا، وكيف ستبدو الأشياء إذا مشيت حولها. يتلقى أمين المكتبة نسخة "مسطحة" من الواقع ويحاول تخمين العلاقات ثلاثية الأبعاد، مما يؤدي إلى وقوع الأخطاء.
الحل: معلم "الخيال"
ابتكر المؤلفون، رينجي جو وزملاؤه، نظاماً جديداً يسمى GeoWorld-VLM. فكر في الأمر كأنك وظفت مدرساً خاصاً لتدريب عيني أمين المكتبة، وليس عقله.
إليك كيف يعمل هذا المعلم:
- معلم نموذج العالم: يستخدمون ذكاءً اصطناعياً قوياً ("نموذج عالم") يشبه محاكي الواقع الافتراضي. هذا المحاكي بارع جداً لدرجة أنه إذا عرضت عليه صورة لغرفة وقلت له: "تخيل أن الكاميرا تتحرك قليلاً إلى اليسار"، فإنه يستطيع التنبؤ بالضبط كيف ستبدو الغرفة من تلك الزاوية الجديدة. إنه يفهم كيف تختبئ الأشياء خلف بعضها البعض (الاحتجاب) وكيف يتغير المنظور.
- عملية التدريب: بدلاً من مجرد عرض صورة ثابتة على أمين المكتبة، يعرض له المعلم الصورة ويطلب من المحاكي تخيل تحرك الكاميرا. يقوم المحاكي بإنشاء "فيلم ذهني" للمشهد وهو يتغير.
- الدرس: يجبر المعلم نظام الكاميرا الخاص بأمين المكتبة على الانتباه لهذه "الأفلام الذهنية". إنه يعلم الكاميرا: "لا تنظري فقط إلى الصورة المسطحة؛ انظري إلى كيفية تحرك الأشياء إذا تحركتِ!"
الخدعة السحرية: تجميد العقل
عادةً، عندما تقوم بتدريب ذكاء اصطناائي، قد تعيد تدريب عقله بالكامل، مما قد يجعله ينسى كيفية التحدث أو فهم اللغة.
الجزء الذكي في GeoWorld-VLM هو أنهم قاموا بتجميد عقل أمين المكتبة (النموذج اللغوي). لقد أعادوا تدريب العينين فقط (مشفر الرؤية والوصلة).
- التشبيه: تخيل أن لديك مترجماً بارعاً يتحدث 50 لغة ولكن لديه نظر ضعيف. بدلاً من تعليمه لغات جديدة (التي يعرفها بالفعل)، أنت فقط تعطيه نظارات ثلاثية الأبعاد. الآن، عندما ينظر إلى صورة، يمكنه رؤية العمق، لكنه لا يزال يتحدث بنفس الطريقة التي اعتاد عليها دائماً.
ماذا يحدث؟
بعد هذا التدريب، يصبح أمين المكتبة أفضل بكثير في الأسئلة المتعلقة بالمساحات.
- قبل: "أين السياج؟" -> "إنه في الأعلى." (خطأ)
- بعد: "أين السياج؟" -> "إنه خلف المنزل." (صحيح)
اختبر البحث هذا على نوعين مختلفين من أمناء المكتبة (Gemma و InternVL) ووجدوا أن إضافة هذه "النظارات ثلاثية الأبعاد" حسنت درجات الاستدلال المكاني لديهم بنحو 4% عبر اختبارات متنوعة. قد لا يبدو هذا الرقم كبيراً، ولكن في عالم الذكاء الاصطناعي، تعتبر قفزة ثابتة بنسبة 4% أمراً ضخماً للغاية.
لماذا هذا مهم (وفقاً للبحث)
يزعم البحث أن سبب فشل الذكاء الاصطناعي في المهام المكانية ليس لأنه سيء في اللغة؛ بل لأن المعلومات البصرية التي يتلقاها "مسطحة" وتفتقر إلى الهيكل ثلاثي الأبعاد. ومن خلال استخدام "نموذج عالم" (محاكي يفهم كيف يتحرك العالم) لتعليم النظام البصري، يمكننا إصلاح العمى المكاني دون كسر قدرة الذكاء الاصطناعي على الكلام.
باختصار: لقد علموا الذكاء الاصطناعي كيف "يتخيل" التحرك حول مشهد، مما ساعده على فهم أين توجد الأشياء في الفضاء ثلاثي الأبعاد، كل ذلك مع الحفاظ على مهاراته اللغوية كما هي تماماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.