WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs
تقدم الورقة البحثية WorldSense، وهو أول معيار مصمم لتقييم الفهم الواقعي للنماذج اللغوية الكبيرة متعددة الوسائط من خلال دمج المدخلات الصوتية والبصرية والنصية المتزامنة عبر سيناريوهات متنوعة، كاشفةً أن النماذج الحالية المتطورة لا تزال تواجه تحديات كبيرة في تحقيق إدراك متماسك متعدد الوسائط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يقود سيارة. يمكنك أن تريه صوراً للطريق (الرؤية) وتخبره بقواعد المرور (النص). ولكن ماذا لو عرضت عليه الصور فقط؟ سيفوت عليه صوت سيارة الإسعاف وهي تقترب من الخلف، أو صوت بوق سيارة في المنطقة العمياء لديه. سيكون الأمر أشبه بالقيادة وعيناك مفتوحتان لكن أذنيك مسدودتان.
هذه هي المشكلة التي تحاول ورقة بحث WorldSense حلها.
إليك تحليل بسيط لما فعله الباحثون، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: الروبوت "أعزل السمع"
لفترة طويلة، كانت نماذج الذكاء الاصطناي (أدمغة الروبوتات) بارعة في النظر إلى الصور وقراءة النصوص. ولكن عندما يتعلق الأمر بـ الفيديو، فإنها غالباً ما تتجاهل الصوت. إنها تشبه شخصاً يشاهد فيلماً مع خفض مستوى الصوت تماماً. قد يرى الشخصية وهي تبكي، لكنه لن يسمع الموسيقى الحزينة التي تخبرك لماذا تبكي، أو نبرة الصوت المحددة التي تكشف أنها غاضبة وليست حزينة.
الاختبارات الحالية لهذه النماذج كانت تشبه سؤال شخص معصوب العينين عن أغنية بمجرد النظر إلى غلاف الألبوم؛ فهي لا تختبر ما إذا كان بإمكانهم فهم العالم حقاً.
2. الحل: امتحان "WorldSense"
ابتكر الباحثون اختباراً جديداً وشديد الصعوبة يسمى WorldSense. فكر في هذا كأنه "امتحان المحاماة" للذكاء الاصطناعي، ولكنه مخصص لفهم الحياة الواقعية.
- المكونات: جمعوا 1,662 مقطع فيديو قصيراً من العالم الحقيقي. هذه ليست مجرد رسوم متحركة؛ بل هي مواقف لأشخاص حقيقيين يقومون بأشياء حقيقية، مع كل ضجيج الخلفية، والموسيقى، والمحادثات كما هي.
- الأسئلة: كتبوا أكثر من 3,000 سؤال من نوع الاختيار من متعدد حول هذه الفيديوهات.
- العقدة: تم تصميم الأسئلة بحيث لا يمكنك الإجابة عليها بشكل صحيح إذا تجاهلت إما الصورة أو الصوت.
مثال من الورقة البحثية:
- المشهد: رجل يمسك بفاكهة.
- السؤال: "ماذا يفعل؟"
- الفخ: إذا نظرت إلى الفيديو فقط، سترى رجلاً يمسك بحبة توت أزرق. قد تخمن أنه "يُظهر اللون". ولكن إذا استمعت إلى الصوت، ستسمعه يقول: "هذه أكبر من ربع دولار". الآن عرفت أنه يُظهر الحجم.
- النتيجة: الذكاء الاصطناعي الذي يتجاهل الصوت سيفشل. والذكاء الاصطناعي الذي يتجاهل الفيديو سيفشل أيضاً. يحتاج النموذج إلى استخدام كليهما للإجابة بشكل صحيح.
3. النتائج: الذكاء الاصطناعي لا يزال في مرحلة الطفولة
أخذ الباحثون أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك أسماء كبيرة مثل Gemini من Google و GPT-4o من OpenAI) وأخضعوها لهذا الامتحان.
- الدرجة: أفضل ذكاء اصطناي في العالم حصل فقط على حوالي 65% من الإجابات الصحيحة.
- الواقع الصادم: حصلت العديد من نماذج الذكاء الاصطناعي مفتوحة المصدر (المجانية) على حوالي 25%. وبما أن هناك عادةً 4 خيارات في أسئلة الاختيار من متعدد، فإن 25% تعني في الأساس التخمين العشوائي.
التشبيه: تخيل بشراً يخضع لاختبار قيادة. إذا حصل على 65%، فسوف ينجح، لكنه سيكون سائقاً خطراً. أما إذا حصل على 25%، فسوف يفشل فوراً وسيُطلب منه العودة إلى مدرسة تعليم القيادة. تُظهر الورقة أن حتى "أذكى" نماذج الذكاء الاصطناعي سيئة للغاية حالياً في فهم الصورة الكاملة للحياة الواقعية.
4. لماذا يفشلون؟
وجد الباحثون ثلاثة أسباب رئيسية تجعل نماذج الذكاء الاصطناعي تعاني:
- إنهم "صُم": هم بارعون في الرؤية لكنهم سيئون جداً في السمع. غالباً ما يفوتهم نبرة الصوت، أو ضوضاء الخلفية، أو الموسيقى.
- لا يمتزجون جيداً: حتى عندما يسمعون ويرون، فإنهم لا يعرفون كيفية الجمع بينهما. الأمر يشبه امتلاك دماغ يعالج العين والأذن في غرفتين منفصلتين لا تتواصلان أبداً.
- لا يستطيعون الاستنتاج: أحياناً يرون الشيء الصحيح ويسمعون الشيء الصحيح، لكنهم لا يستطيعون ربط القطع معاً للوصول إلى استنتاج منطقي.
5. المستقبل: بناء "حاسة فائقة"
يأمل المؤلفون أنه من خلال استخدام WorldSense كمعيار للاختبار، سيُجبر الباحثون الآخرون على بناء ذكاء اصطناعي أفضل. إنهم يريدون إنشاء نماذج لا تكتفي فقط بـ "الرؤية" و"القراءة"، بل تدرك العالم حقاً كما يفعل البشر—من خلال دمج البصر والصوت والسياق معاً.
باختالاف شديد:
العالم مكان صاخب، ملون، ومعقد. الذكاء الاصطناعي الحالي يشبه سائحاً يقرأ دليل الإرشادات فقط ويتجاهل المناظر والأصوات من حوله. WorldSense هو الاختبار الذي يجبر الذكاء الاصطناعي على الخروج، والاستماع إلى الشارع، وفهم ما يحدث حقاً. في الوقت الحالي، يفشل الذكاء الاصطناعي في الاختبار، لكن هذا المعيار الجديد يمنحنا خارطة طريق لإصلاح ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.