I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes
تقوم هذه الورقة البحثية بتقييم ثمانية نماذج لغوية كبيرة متعددة الوسائط من أحدث ما توصل إليه العلم في قدرتها على اكتشاف وشرح المعاني المجازية في الميمات (memes) المنتشرة على الإنترنت، كاشفةً عن أنه بينما تستطيع النماذج تحديد مثل هذه المعاني، إلا أنها تظهر انحيازاً قوياً نحو افتراض وجود محتوى مجازي، وغالباً ما تفشل في تقديم تفسيرات دقيقة حتى عندما تكون توقعاتها صحيحة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن الإنترنت عبارة عن حفلة ضخمة وفوضوية، حيث يتبادل الجميع النكات، ويشاركون الميمز (Memes)، ويصنعون نكاتاً داخلية خاصة بهم. الـ ميم (Meme) هو بمثابة بطاقة بريدية من هذه الحفلة: تحتوي على صورة وبعض الكلمات، لكن النكتة الحقيقية غالباً لا تكمن في الكلمات أو الصورة وحدها، بل في التحول المفاجئ (Twist) بينهما.
على سبيل المثال، إذا كانت الصورة تُظهر قطة تبدو عابسة والنص يقول: "أتيت، رأيت، اشتكيت"، فإن النكتة تكمن في السخرية من مقولة بطولية شهيرة. أنت بحاجة لفهم التاريخ، والنبرة، والإشارة البصرية لتدرك المعنى. هذا ما يسمى المعنى المجازي (Figurative Meaning)—أي قول شيء ومعنى آخر، أو استخدام صورة لقول شيء أعمق.
هذه الورقة البحثية تشبه "تقرير الدرجات" لأحدث وأذكى الروبوتات الاصطناعية (التي تُسمى نماذج اللغات الكبيرة متعددة الوسائط أو MLLMs) لترى ما إذا كان بإمكانها حقاً "فهم" هذه النكات.
إليك تفاصيل ما فعله الباحثون وما وجدوه، باستخدام تشبيهات من الحياة اليومية:
1. الاختبار: "أولمبياد الميمز"
أخذ الباحثون ثمانية من أذكى نماذج الذكاء الاصطناي المتاحة (تخيلهم كأفضل الرياضيين في عالم الذكاء الاصطناي) ووضعوهم في اختبار شاق.
- الرياضيون: نماذج من عائلات مثل Aya وGemma وQwen (تتراوح بين النماذج الصغيرة الرشيقة والعمالقة الضخمة الثقيلة).
- الفعاليات: عرضوا على الذكاء الاصطناي ثلاث مجموعات مختلفة من الميمز.
- المهام:
- الكشف: "هل هذا الميم يصنع نكتة (مجازية)، أم أنه مجرد صورة عادية (حرفية)؟"
- الشرح: "لماذا هي نكتة؟ احكِ لنا القصة."
2. المفاجأة الكبرى: "المحقق المتحمس أكثر من اللازم"
كان الاكتشاف الأكبر هو أن نماذج الذكاء الاصطناي تشبه منظري المؤامرة أو المحققين شديدي الحماس.
- الانحياز: حتى عندما يكون الميم جاداً وحرفياً تماماً (مثل صورة كلب يأكل شطيرة)، فإن الذكاء الاصطناي يكاد دائماً يقول: "آه! هذا استعارة عميقة! هناك معنى خفي هنا!"
- التشبيه: تخيل محققاً يرى رجلاً يشتري حليباً فيستنتج فوراً: "إنه بالتأكيد جاسوس يخفي شفرة سرية داخل علبة الحليب!" الذكاء الاصطناي يحب فقط إيجاد المعاني الخفية، حتى عندما لا تكون موجودة. إنه يفترض أن كل ميم هو لغز يجب حله، حتى لو كان مجرد صورة.
3. اختبار "عصابة العينين": ماذا يحتاجون ليروا؟
لمعرفة كيف يفهم الذكاء الاصطناي هذه النكات، لعب الباحثون خدعة. عرضوا الميمات على الذكاء الاصطناي بثلاث طرق:
- الميم الكامل: الصورة + النص.
- النص فقط: الكلمات فقط (تم مسح الصورة).
- الصورة فقط: الصورة فقط (تم مسح الكلمات).
النتائج:
- التهكم والسخرية: هذه تشبه النكات البصرية. إذا أزلت الصورة، يرتبك الذكاء الاصطناي. هو بحاجة لرؤية الوجه العبوس أو الموقف الغريب ليفهم النكتة.
- الاستعارات: هذه تشبه الوصفات المعقدة. أنت بحاجة لكل من المكونات (النص) وطريقة الطبخ (الصورة) لصنع الطبق. إذا أعطيت الذكاء الاصطناي النص فقط أو الصورة فقط، فإنه يفشل فشلاً ذريعاً. هو بحاجة للحزمة كاملة ليفهم الرابط.
- المبالغة: من المثير للاهتمام، أن الذكاء الاصطناي أصبح أحياناً أفضل في رصد المبالغة عندما تمت إزالة النص، مما يشير إلى أنه كان يعتمد كثيراً على الكلمات ويتشتت بها قبل ذلك.
4. مشكلة "الهلوسة": الكذب بثقة
طلب الباحثون من الذكاء الاصطناي شرح لماذا اعتقد أن الميم مضحك. وهنا أصبحت الأمور فوضوية.
- المشكلة: حتى عندما يخمن الذكاء الاصطناي التصنيف الصحيح (مثلاً: "هذا تهكم")، فإن شرحه غالباً ما يكون مختلقاً.
- التشبيه: تخيل طالباً يؤدي اختباراً. يخمن الإجابة الصحيحة، ولكن عندما يسأله المعلم: "اشرح خطواتك"، يكتب الطالب: "لأن القط في الصورة يرتدي قبعة، والقبعات تعني التهكم".
- الإجابة كانت صحيحة، لكن المنطق كان غير منطقي.
- غالباً ما "يهلوس" الذكاء الاصطناي بتفاصيل ليست موجودة (مثل رؤية إصبع فوق فم قطة بينما هو في الواقع يرفع أنفه) أو يفتقد المشاعر الإنسانية الحقيقية وراء النكتة.
5. فجوة "اللمسة البشرية"
قام الباحثون بجعل البشر يقيمون تفسيرات الذكاء الاصطناي.
- الحكم النهائي: الذكاء الاصطناي بارع في قراءة النص، لكنه سيء جداً في "قراءة الغرفة". هو يفتقر إلى الفروق الاجتماعية الدقيقة.
- مثال: أظهر أحد الميمز شخصاً مستعداً لإنفاق 1000 دولار على هاتف، لكنه يغضب بسبب تطبيق سعره 99 سنتاً. النكتة تتعلق بعلم النفس البشري (نحن نبرر الإنفاق الكبير لكننا نكره الرسوم الصغيرة). نصف نماذج الذكاء الاصطناي أخطأت تماماً في هذا، وعاملته كمسألة رياضية حرفية بدلاً من كونه ملاحظة اجتماعية. إنهم يفتقرون إلى "الذكاء الاجتماعي" أو "خبرة الشارع".
الخلاصة
تخبرنا هذه الورقة البحثية أنه بينما يصبح الذكاء الاصطناي بارعاً بشكل لا يصدق في القراءة والرؤية، فإنه لا يزال يعاني من أجل فهم روح الميم.
- هو متحمس أكثر من اللازم: يرى استعارات حيث لا توجد.
- هو راوٍ سيء للقصص: غالباً ما يختلق أسباباً لتخميناته.
- يفتقر إلى الخبرة الحياتية: لا يفهم الطرق الغريبة وغير العقلانية التي يتصرف بها البشر، والتي غالباً ما تجعل الميم مضحكاً.
باختصار: الذكاء الاصطناي يشبه روبوتاً عبقرياً قرأ كل الكتب في المكتبة، لكنه لم يذهب أبداً إلى حفلة. هو يعرف قواعد اللغة، لكنه لم يتعلم بعد فن "النكتة الداخلية".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.