MemeBench: What LVLMs Miss When Interpreting Culture-Dependent Memes
تقدم هذه الورقة MemeBench، وهو معيار تشخيصي يستخدم مخطط VIKR لتقييم وكشف فجوات المعرفة الثقافية المحددة في تفسير نماذج الرؤية واللغة الكبيرة للميمات، مما يوضح أنه بينما يحسن الاسترجاع الموجه نحو الكيانات من دمج المعرفة، فإنه يضحي حالياً بالتغطية البصرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدخل غرفة مليئة بأشخاص يتحدثون لغة لا تعرفها، لكن يمكنك رؤية وجوههم، وملابسهم، والأشياء التي يحملونها. أنت روبوت فائق الذكاء مصمم لوصف ما تراه بدقة. يمكنك القول: "هذا الشخص يرتدي قبعة حمراء"، أو "إنهم يحملون كأساً ذهبية". أنت بارع تماماً في وصف البكسلات. ولكن بعد ذلك، يشير شخص ما إلى صورة قط يرتدي بدلة رسمية صغيرة ويقول: "هذه (ميم - meme) حول كيف تعتقد القطط أنها تملك الإنترنت". إذا كنت لا تعرف ماهية الإنترنت، أو لا تعرف ثقافة مربي القطط، أو لم تفهم النكتة، فقد تقول ببساًا: "إنه قط يرتدي بدلة". لقد وصفت الصورة بدقة، لكنك أخطأت الهدف تماماً.
هذه هي الفجوة التي يحاول الباحثون سدها باستخدام نماذج الرؤية واللغة الكبيرة (LVLMs). هذه أنظمة ذكاء اصطناعي يمكنها "رؤية" الصور و"التحدث" عنها في آن واحد. لفترة طويلة، اعتقدنا أنه إذا استطاع الذكاء الاصطناعي وصف صورة بدقة، فإنه يفهمها. لكن هذه الورقة البحثية تجادل بأن الوصف ليس هو التفسير. إنه الفرق بين قراءة كلمات النكتة وفهم سبب كونها مضحكة حقاً. لفهم الـ "ميم"، تحتاج إلى ما هو أكثر من مجرد عينيك؛ تحتاج إلى مكتبة من المعرفة الثقافية، والنكات الداخلية، وتاريخ المجتمعات الذي لا يكون مكتوباً على الصورة نفسها. إذا لم يستطع الذكاء الاصطناعي الوصول إلى تلك المكتبة الخفية، فسيكون مثل سائح يمكنه قراءة الخريطة لكنه لا يعرف المصطلحات المحلية أو تاريخ المعالم.
هنا يأتي دور MemeBench، وهي أداة تشخيصية جديدة ابتكرها باحثون من "Bilibili" وجامعة "Fudan" وجامعة "Peking" لاختبار المواضع التي تتعثر فيها نماذج الذكاء الاصطنا هذه بالضبط. فكر في MemeBench كأنها "اختبار مفاجئ ثقافي" للذكاء الاصطناعي، يركز تحديداً على عالم الأنمي والكوميكس والألعاب والثقافات الفرعية للإنترنت (التي تُعرف غالباً بـ ACG) المتسارع والمجنون. جمع الباحثون 1,253 "ميم" باللغتين الصينية والإنجليزية. ولكن بدلاً من مجرد سؤال الذكاء الاصطناعي: "هل هذا مضحك؟" أو "ما هي الإجابة؟"، طلبوا من الذكاء الاصطناعي كتابة شرح كامل. ثم قاموا بتفكيك تلك التفسيرات إلى أربعة مكونات محددة باستخدام نظام يسمونه VIKR:
- البصري (Visual): هل رأيت ما هو موجود فعلياً في الصورة؟
- الهوية (Identity): هل عرفت من أو ما هي الشخصيات؟ (على سبيل المثال: هل هذا نينجا عام، أم أنه ناروتو تحديداً؟)
- المعرفة (Knowledge): هل عرفت الخلفية الدرامية أو القاعدة الثقافية التي تجعل هذا مضحكاً؟
- الاستنتاج (Reasoning): هل ربطت النقاط ببعضها لتشرح النكتة؟
اختبر الباحثون 26 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، من أكبر النماذج التجارية إلى التجارب مفتوحة المصدر. وهنا كانت المفاجأة الكبرى التي وجدوها: كل النماذج كانت أفضل في وصف الصورة منها في فهم النكتة. حتى أذكى نموذج في الاختبار كان بإمكانه وصف التفاصيل البصرية بدقة عالية، ولكن عندما يتعلق الأمر بالمعرفة الثقافية اللازمة لتفسير الـ "ميم"، فقد تعثر. بل إن أفضل نموذج كان لديه "فجوة" قدرها 22.6% بين مدى جودة رؤيته للصورة ومدى معرفته بالثقافة. الأمر يشبه امتلاك عينين تعملان بشكل مثالي، ولكن بعقل يفتقر إلى دليل التعليمات الخاص بالعالم.
كما تجادل الورقة البحثية ضد فكرة أن مجرد إعطاء الذكاء الاصطناعي المزيد من "خطوات الاستنتاج" (إخباره بأن "يفكر خطوة بخطوة") يحل هذه المشكلة. فهذا لا يحدث. لا تزال النماذج تغفل السياق الثقافي. ومع ذلك، وجد الباحثون طريقة للمساعدة؛ حيث قدموا طريقة تسمى KAR (الاسترجاع الواعي بالمعرفة). تخيل لو أنه قبل أن يحاول الذكاء الاصطناعي سرد النكتة، سُمح له بالبحث سريعاً عن أسماء الشخصيات وتاريخها في موسوعة متخصصة (التي بنوها تحت اسم CultureBase) قبل البحث في شبكة الإنترنت العامة. هذا لم يجعل الذكاء الاصطناعي أكثر ذكاءً فحسب، بل جعله أكثر دقة أيضاً. لقد ساعد الذكاء الاصطناعي في العثور على القطع الثقافية المفقودة (الهوية والمعرفة) دون إفساد الوصف البصري.
باختصار، تشير هذه الورقة إلى أنه بينما أصبح الذكاء الاصطناعي بارعاً في أن يكون كاميرا، فإنه لا يزال يكافح ليكون ناقداً ثقافياً. النماذج لا تفشل لأنها لا تستطيع الرؤية؛ بل تفشل لأنها لا تعرف القصة الكامنة وراء الصورة. ومن خلال استخدام MemeBench، يمكن للباحثين الآن تحديد الجزء المفقود من التفسير بدقة—سواء كان اسم الشخصية، أو تاريخ الحدث، أو منطق النكتة—بدلاً من مجرد إعطاء درجة واحدة. وهذا يساعد المطورين على بناء ذكاء اصطناعي لا يكتفي بوصف العالم، بل يفهم الثقافة التي بداخله بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.