Why MLLMs Struggle to Determine Object Orientations
تُفند هذه الورقة الفرضية القائلة بأن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تفشل في مهام التوجيه الكائني ثنائي الأبعاد بسبب قيود المشفر البصري، مبرهنةً بدلاً من ذلك على أن معلومات التوجيه يمكن استردادها من تضمينات المشفر ولكنها موزعة بشكل منتشر عبر الميزات، مما يشير إلى أن الفشل ينبع من عدم قدرة النموذج على استخدام هذه المعلومات بفعالية بدلاً من غيابها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
اللغز الكبير: لماذا لا يستطيع الذكاء الاصطناعي معرفة أين هو الاتجاه العلوي؟
تخيل أنك تعرض صورة لكلب يقف على شاطئ على روبوت ذكي جداً. ثم تسأله: "هل الكلب مائل بزاوية 45 درجة باتجاه عقارب الساعة؟"
للمفاجأة، حتى أكثر روبوتات الذكاء الاصطناعي تطوراً (والتي تسمى النماذج اللغوية الكبيرة متعددة الوسائط أو MLLMs) سيئة جداً في هذا الأمر. فهي غالباً ما تخمن عشوائياً أو تقول "لا أعرف"، رغم أن الإجابة موجودة أمامها مباشرة في الصورة.
لفترة طويلة، اعتقد الباحثون أن المشكلة تكمن في عيون الروبوت. كانوا يعتقدون أن "المُشفّر البصري" (الجزء من الذكاء الاصطناعي الذي ينظر إلى الصورة) يشبه نظارات لا تفهم سوى ماهية الأشياء (كلب، شجرة، سيارة) لكنها تنسى تماماً كيف تميل هذه الأشياء. ظنوا أن تلك النظارات "عمياء" عن رؤية الدوران.
التجربة: اختبار "جهاز كشف الكذب"
قرر مؤلفو هذه الورقة البحثية اختبار هذه النظرية. طرحوا سؤالاً بسيطاً: "إذا كانت عيون الروبوت لا ترى الدوران، فهل تحتوي 'الذاكرة الرقمية' للصورة فعلياً على معلومات الدوران؟"
ولمعرفة ذلك، لم يطلبوا من الروبوت أن يتحدث. بدلاً من ذلك، نظروا إلى البيانات الخام داخل عقل الروبوت (المسميات بـ التمثيلات الرقمية/embeddings).
التشبيه: تخيل أن عقل الروبوت عبارة عن مكتبة ضخمة. عندما تعرض عليه صورة كلب مائل، فإنه يكتب "تقرير كتاب" (قائمة طويلة من الأرقام) حول تلك الصورة.
- النظرية القديمة: تقرير الكتاب يقول فقط "كلب، شاطئ، مشمس". إنه لا يذكر الزاوية.
- التجربة: أخذ الباحثون تقارير الكتب هذه وأعطوها لآلة حاسبة بسيطة وغبية جداً (مُقدّر خطي - linear regressor). وسألوها: "بناءً على هذه الأرقام فقط، هل يمكنكِ تخمين زاوية ميل الكلب؟"
النتيجة الصادمة:
الآلة الحاسبة البسيطة أصابت الإجابة في كل مرة تقريباً! فقد استطاعت التنبؤ بزاوية الدوران بدقة تصل إلى 3 درجات فقط.
ما يعنيه هذا: عيون الروبوت (المُشفّر البصري) ليست عمياء. إنها ترى الدوران بشكل مثالي، والمعلومات موجودة ومخزنة في الأرقام. المشكلة ليست في أن العيون لا ترى، بل في أن "عقل" الروبوت (النموذج اللغوي) لا يعرف كيف يقرأ هذا الجزء المحدد من التقرير.
المشكلة الحقيقية: "الإبرة في كومة القش"
إذا كانت العيون ترى، فلماذا يفشل الروبوت؟ تعمق المؤلفون ووجدوا سببين رئيسيين.
1. المعلومات "مشتتة" (مشكلة كومة القش)
تخيل أن لديك كومة ضخمة من القش (بيانات عقل الروبوت). في مكان ما هناك، مخبأة بين آلاف القطع الأخرى من القش، توجد إبرة واحدة مكتوب عليها "الكلب مائل بزاوية 30 درجة".
وجد الباحثون أن "معلومات الميل" ليست مخزنة في صندوق واحد مرتب. بل هي موزعة عبر عشرات الآلاف من الأرقام المختلفة في البيانات.
- التشبيه: الأمر يشبه محاولة تخمين أغنية من خلال الاستماع إلى جوقة (كورال) حيث يدندن كل مغنٍ نغمة صغيرة ومختلفة قليلاً من اللحن. إذا قمت بكتم صوت مغنٍ واحد فقط، ستظل الأغنية كما هي. عليك أن تستمع إلى آلاف المغنين في وقت واحد لتسمع اللحن.
- النتيجة: عقل اللغة لدى الروبوت معتاد على البحث عن أنماط واضحة وجلية (مثل "كلب" أو "أحمر"). هو لا يعرف كيف يجمع تلك الآلاف من النغمات الصغيرة والمشتتة ليدرك في النهاية: "أوه، الكلب مائل!". إنه مشغول جداً بالبحث عن الإبرة في كومة القش لدرجة أنه لا يدرك أن الإبرة هي في الواقع مكونة من كومة القش بأكملها.
2. ارتباك "الخلفية"
وجد الباحثون أيضاً أن الروبوت يصاب بالارتباك إذا كانت الخلفية مائلة.
- التشبيه: تخيل أنك تقف على رصيف محطة قطار. إذا مال القطار، ستعرف أن القطار مائل لأن الرصيف مستقيم. ولكن إذا مال العالم كله (الرصيف والقطار معاً)، سيصاب عقلك بالدوار ولن تستطيع معرفة أين هو الاتجاه العلوي.
- النتيجة: يعتمد الروبوت بشكل كبير على كون الخلفية "مستقيمة" (رأسية) ليعرف ما إذا كان الشيء الذي أمامه مائلاً. إذا قمت بتدوير الخلفية، فإن قدرة الروبوت على تحديد دوران الجسم تنهار تماماً.
الخلاصة: ليست العيون، بل العقل
الملخص:
- العيون بخير: الجزء البصري من الذكاء الاصطناعي (SigLIP, CLIP, ViT) يلتقط معلومات الدوران بشكل مثالي. إنه ليس معطلاً.
- العقل مرتبك: الجزء اللغوي من الذكاء الاصطناعي يفشل لأن معلومات الدوران مخبأة في سحابة ضخمة ومشتتة من البيانات التي لا يعرف كيف يفسرها.
- الخلفية مهمة: يحتاج الذكاء الاصطناعي إلى أفق مستقيم ليعرف ما هو "الأعلى".
الخلاصة المستفادة:
نحن لا نحتاج إلى إصلاح نظارات الروبوت. نحن بحاجة إلى تعليم عقله كيف يقرأ "نغمات الميل" المخفية داخل سحابة البيانات الضخمة التي يمتلكها بالفعل. وإلى أن نجد طريقة لمساعدة العقل على ربط تلك النقاط المشتتة، سيستمر ذكاؤنا الاصطناعي في المعاناة لمعرفة الاتجاه الذي هو فيه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.