M-QUEST -- Meme Question-Understanding Evaluation on Semantics and Toxicity
تقدم هذه الورقة M-QUEST، وهو إطار عمل ومعيار دلالي يتكون من 609 أزواج من الأسئلة والأجوبة عبر عشرة أبعاد تفسيرية، صُمم لتقييم وتطوير قدرة النماذج اللغوية الكبيرة على أداء الاستدلال القائم على المنطق العام وكشف السمية في الميمات (memes) المنتشرة على الإنترنت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن الإنترنت عبارة عن ساحة مدينة رقمية ضخمة وفوضوية. في هذه الساحة، لا يكتفي الناس بالحديث فحسب؛ بل يتبادلون "الميمز" (Memes). الميم هو بمثابة حزمة نكتة رقمية: صورة عليها بعض النصوص. أحياناً تكون هذه النكات مرحة وغير ضارة، مثل قطة ترتدي قبعة. ولكن في أحيان أخرى، تكون "سامة" — أي أنها لئيمة، أو كارهة، أو مصممة لإيذاء مجموعات معينة من الناس.
المشكلة تكمن في أن رصد "الميم" السام أمر صعب للغاية على الحواسيب. لماذا؟ لأن الميم ليس مجرد صورة وكلمات؛ بل هو "نكتة ثقافية داخلية". لفهم ما إذا كان الميم لئيماً، يحتاج الكمبيوتر إلى معرفة:
- من الموجود في الصورة؟
- ما هو السياق التاريخي؟
- هل النص يتسم بالسخرية؟
- على مَن تتوجه النكتة في الواقع؟
هذه الورقة البحثية، التي تحمل عنوان M-QUEST، تشبه "اختبار قيادة" جديد للذكاء الاصطناعي (AI) ليرى ما إذا كان بإمكانه فهم هذه النكات المعقدة، والسيئة أحياناً.
المشكلة: الذكاء الاصطناعي يشبه الروبوت الحرفي
تخيل أنك تري روبوتاً صورة لمهرج يحمل لافتة مكتوب عليها "أنا أحب الأطفال".
- الإنسان قد ينظر إلى مكياج المهرج المخيف ويدرك أن النكتة تتعلق في الواقع بمدى رعب المهرجين، أو ربما هي نكتة سوداوية حول حدث معين.
- الذكاء الاصطناعي القديم قد يقول ببساطة: "النص يقول 'أنا أحب الأطفال'، لذا هذه صورة سعيدة وآمنة". إنه يفتقر إلى القدرة على إدراك "الجو العام"، أو "النبرة"، أو "المعنى الخفي".
أدرك مؤلفو هذه الورقة أن أنظمة الذكاء الاصطناعي الحالية بارعة في قراءة النصوص ورؤية الأشياء، لكنها سيئة جداً في فهم "روح" الميم. إنهم بحاجة إلى طريقة أفضل لتعليم الذكاء الاصطناعي كيف يفكر في هذه الصور.
الحل: إطار عمل "تشريح الميم"
لإصلاح ذلك، بنى الباحثون قائمة مرجعية مكونة من 10 أجزاء (إطار عمل) لتشريح الميم. فكر في الأمر كأن طبيباً يجري عملية تشريح لجثة نكتة ليرى ما الذي يجعلها تعمل. تتضمن القائمة ما يلي:
- الأساسيات: ماذا يقول النص؟ وماذا ترى في الصورة؟
- المشهد: كيف تم ترتيب الأشياء؟ (مثلاً: هل يقف شخص فوق شخص آخر؟)
- المعرفة الخلفية: هل تحتاج لمعرفة شيء عن مشهور معين، أو حدث سياسي، أو فيلم لتفهم النكتة؟
- العاطفة: هل الشخص في الصورة غاضب؟ حزين؟ هل تحاول النكتة جعلنا نضحك أم نشعر بعدم الارتياح؟
- الهدف: على من تتوجه النكتة؟ هل هي "تضرب للأعلى" (على الأقوياء) أم "تضرب للأسفل" (على المستضعفين)؟
- "الإسقاط": من هو المشاهد المفترض؟ هل من المفترض أن نشعر بأننا الضحية أم المتنمر؟
- التشبيه: هل تقارن الصورة بين شيئين مختلفين تماماً؟ (مثلاً: "هذا السياسي مثل سفينة غارقة".)
- النية: هل يحاول المبتكر نشر الكراهية، أم مجرد المزاح؟
- السمية: أخيراً، هل هي ضارة حقاً؟
الاختبار: M-QUEST
لم يكتف الباحثون ببناء قائمة المراجعة فحسب؛ بل بنوا اختباراً يسمى M-QUEST.
- أخذوا 307 ميم (معظمها من مجموعة بيانات معروفة بـ "الميمات الكارهة").
- استخدموا الذكاء الاصطناعي لإنشاء 609 سؤالاً من نوع الاختيار من متعدد حول هذه الميمات بناءً على قائمة الأجزاء العشرة الخاصة بهم.
- ثم تدخل البشر لتقييم أسئلة الذكاء الاصطنا আমি. سألوا: "هل هذا سؤال جيد؟ وهل الإجابة صحيحة بالفعل؟"
الأمر يشبه معلمًا يصحح واجبات الطالب قبل إعطائها للفصل. فقط الأسئلة الأفضل والأكثر دقة هي التي وصلت إلى الاختبار النهائي.
التجربة: وضع 8 نماذج من الذكاء الاصطناعي تحت الاختبار
أخذ الباحثون 8 نماذج مختلفة من الذكاء الاصطناعي "الذكي" (مثل Qwen و LLaVA وغيرها) وطلبوا منهم خوض اختبار M-QUEST. أرادوا معرفة: هل يمكن لهذه النماذج شرح لماذا يعتبر الميم ساماً، أم أنها مجرد تخمن؟
النتائج:
- الروبوتات "الغبية": حصلت بعض النماذج القديمة على أقل من 15% من الإجابات الصحيحة. كانت مثل الطلاب الذين لم يقرأوا السؤال حتى.
- الروبوتات "الذكية": حققت أفضل النماذج (تحديداً عائلة "Qwen" الأحدث) أكثر من 86% من الإجابات الصحيحة.
- السر الخفي: لم تكن النماذج الفائزة أكبر حجماً فحسب، بل كانت أفضل في التفكير الاستنتاجي. لقد تم تدريبها على اتباع التعليمات بدقة والتفكير خطوة بخوة (مثل محقق يحل لغزاً) بدلاً من مجرد التخمين.
العقبة:
واجهت حتى أكثر نماذج الذكاء الاصطناعي ذكاءً صعوبة في الجزء الأصعب: الاستدلال البراغماتي (Pragmatic Inference).
وهو القدرة على فهم ما هو مُلمح إليه ولكن ليس مذكوراً صراحة.
- مثال: إذا أظهر الميم كلباً يبدو حزيناً بجانب لافتة تقول "أحضان مجانية"، فإن الإنسان يدرك أن الموقف ساخر أو مأساوي. أما الذكاء الاصطناعي، فغالباً ما يحاول فرض علاقة حيث لا توجد، أو يأخذ النص حرفياً جداً ويفقد المعنى التهكمي.
الخلاصة الكبرى
تخبرنا هذه الورقة البحثية أن فهم ثقافة الإنترنت أمر صعب على الحواسيب.
- الحجم ليس كل شيء: الذكاء الاصطناዊ الأكبر ليس بالضرورة أكثر ذكاءً في فهم النكات. إنه يحتاج إلى تدريب محدد على كيفية التفكير (الاستدلال) وكيفية الاستماع (ضبط التعليمات).
- السياق هو الملك: لرصد الميم السام، لا يمكنك فقط النظر إلى البكسلات. يجب أن تفهم التاريخ، والثقافة، والمعاني الخفية.
- نحن بحاجة إلى اختبارات أفضل: قبل أن نتمكن من الوثوق بالذكاء الاصطناعي للقيام بدور "المراقب" على وسائل التواصل الاجتماعي (لوقف خطاب الكراهية)، يجب أن نتأكد من قدرته على اجتياز اختبارات مثل M-QUEST. حالياً، لا يزالون في مرحلة تعلم الأساسيات.
باختاً مختصراً: بنى المؤلفون "مدرسة ميمات" متطورة لتعليم الذكاء الاصطناعي كيفية فهم الفرق بين النكتة المضحكة والهجوم الكاره. ووجدوا أنه بينما يبلي الطلاب الأكثر ذكاءً بلاءً حسناً، إلا أنهم لا يزالون بحاجة إلى مزيد من التدريب على فهم القواعد الضمنية وغير المنطوقة للثقافة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.