EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection
تقترح هذه الورقة إطار عمل EVL-MCoT، وهو إطار عمل معزز للرؤية واللغة يستفيد من تسلسل الأفكى متعدد المنظور (multi-perspective Chain-of-Thought) وآلية فك ترميز موجهة بالنماذج الأولية (prototype-guided decoding) لتحسين الكشف عن الميمات الضارة من خلال معالجة القيود في دمج المعرفة الخلفية والمحاذاة البصرية-النصية دقيقة التفاصيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لغة الإنترنت الخفية
تخيل الإنترنت كملعب ضخم وفوضوي حيث لا يكتفي الناس بالحديث فحسب، بل يروون النكات باستخدام مزيج من الصور والكلمات. تُسمى هذه الأشياء "الميمز" (Memes). أحيانًا، يكون "الميم" مجرد قطة مضحكة مع تعليق سخيف، ولكن في أحيان أخرى، يكون "الميم" بمثابة حصان طروادة: يبدو كنكتة غير ضارة، لكنه يخفي في داخله رسالة مسيئة أو عنصرية أو كراهية. هذه هي المشكلة المعقدة التي يحاول العلماء حلها. لفهم "الميم"، لا يمكنك النظر إلى الصورة فقط أو قراءة النص فقط؛ بل يجب أن تفهم كيف يعملان معًا. الأمر يشبه محاولة فهم خدعة سحرية من خلال النظر إلى يدي الساحر فقط، أو الاستماع إلى الموسيما فقط، دون رؤية كليهما في وقت واحد.
لفترة طويلة، حاولت الحواسيب رصد هذه "الميمز" السيئة عبر النظر إلى الصورة والنص بشكل منفصل، مثل محققين يعملان في عزلة عن بعضهما البعض. لكن هذا غالبًا ما فشل لأنهم فاتتهم الإشارات الدقيقة، مثل السخرية أو الإشارات الثقافية، التي لا تظهر إلا عند الجمع بين الاثنين. مؤخرًا، بدأ العلماء في استخدام "سلسلة الأفكار" (Chain-of-Thought - CoT). فكر في هذا كطلب من الكمبيوتر أن "يفكر بصوت عالٍ" قبل إعطاء الإجابة، شارحًا خطواته مثل طالب يوضح خطوات حله لمسألة رياضية. ومع ذلك، كانت الطريقة القديمة في القيام بذلك تشبه طلب حل مسألة من طالب باستخدام طريقة واحدة فقط؛ فإذا أخطأ الطالب في خطوته الأولى، ستكون الإجابة بأكملها خاطئة، ولن يكون لديه خطة بديلة. تقدم هذه الورقة البحثية طريقة جديدة لمساعدة الحواسيب على التفكير بعناية أكبر، باستخدام وجهات نظر متعددة للإمساك بـ "الميمز" الماكرة والضارة التي تفوت الآخرين.
فرقة المحققين: EVL-MCoT
يقترح الباحثون، هاو يانغ، وجين وانغ، وشويجي تشانغ من جامعة يونان، نظامًا جديدًا يسمى EVL-MCoT (الاستدلال المتطور متعدد الخطوات عبر الرؤية واللغة). يمكنك التفكير في هذا النظام كفرقة محققين خارقة لا تعتمد على محقق واحد فقط لحل القضية، بل ترسل فريقًا كاملًا للتحقيق في نفس "الميم" من زوايا مختلفة.
إليك كيف يحدث السحر:
1. استراتيجية "فكر مرتين" (Multi-CoT)
في الأيام الخوالي، كان الكمبيوتر ينظر إلى "الميم" ويحاول تخمين ما إذا كان سيئًا أم جيدًا في خطوة واحدة. وإذا ارتبك، كان يكتفي بالتخمين. أما الطريقة الجديدة، EVL-MCoT، فهي تجبر الكمبيوتر على توليد تفسيرات متعددة ومختلفة لنفس "الميم". تخيل أنك تسأل ثلاثة خبراء مختلفين لشرح نكتة مربكة: قد يركز أحدهم على التاريخ، والآخر على الرموز البصرية، والثالث على نبرة الصوت. يقوم النظام بإنشاء تفسير "ضار" وتفسير "غير ضار" لنفس الصورة، ثم يقارن بينهما. ومن خلال النظر في الاختلافات بين هذه المسارات المتعددة، يصبح الكمبيوتر أقل عرضة للخداع من قبل السخرية أو التحيز الخفي. الأمر يشبه مراجعة عملك بعين ثانية قبل تسليم الاختبار.
2. مُفكك الشفرة "المصباح الضوئي" (Prototype-Guided)
إحدى أكبر المشكلات في رصد "الميمز" السيئة هي أن الكمبيوتر غالبًا ما يفتقد التفاصيل الصغيرة والمهمة في الصورة. قد يرى حشدًا كاملاً ولكنه يغفل عن وجه غاضب محدد في الزاوية. ولحل هذه المشكلة، أضاف الباحثون "مُفكك شفرة موجه بالنماذج الأولية" (Prototype-Guided Decoder). فكر في هذا ككشاف ضوئي خاص يستخدمه الكمبيوتر لمسح الصورة؛ فبدلاً من النظر إلى الصورة بأكملها دفعة واحدة، يسلط الكشاف الضوء على "نماذج أولية" أو أنماط رئيسية محددة (مثل رمز معين أو تعبير وجه معين) معروفة بأهميتها. يساعد هذا الكمبيوتر على التركيز على التفاصيل الدقيقة التي يتم تجاهلها عادةً، مما يضمن عدم تفويته للإشارات الصغيرة التي تحول صورة مضحكة إلى محتوى يحض على الكراهية.
3. مُفكك شفرة "السياق" (Context-Guided)
حتى لو رأى الكمبيوتر التفاصيل، فقد لا يفهم لماذا تهم دون السياق المناسب. يعمل "مُفكك الشفرة الموجه بالسياق" (Context-Guided Decoder) كمترجم يربط النقاط بين الصورة والكلمات. فهو يأخذ الإشارات البصرية التي وجدها "المصباح الضوئي" ويتساءل: "كيف تغير هذه الصورة معنى هذا النص؟". على سبيل المثال، إذا كان النص يقول "اذهب إلى المنزل"، فهو نص غير ضار. ولكن إذا كانت الصورة تظهر مجموعة معينة من الناس يتم مطاردتهم، فإن المعنى يتغير تمامًا. يجبر هذا المُفكك النص والصورة على التواصل بعمق، مما يضمن فهم الكمبيوتر للقصة الكاملة، وليس الأجزاء فقط.
ما الذي وجدوه
اختبر الفريق نظامهم الجديد على مجموعتين كبيرتين من "الميمز": مجموعة بيانات Hateful Memes (التي تضم أكثر من 10,000 مثال) ومجموعة بيانات MultiOFF (التي تضم 743 مثالاً). وقارنوا نظامهم بالعديد من النماذج الشهيرة الأخرى، بما في ذلك بعض النماذج التي تستخدم عقولًا اصطناعية ضخمة مثل GPT-4 وLLaVA.
كانت النتائج واعدة للغاية. ففي مجموعة بيانات Hateful Memos، حقق نظام EVL-MCoT دقة بلغت 75.88% في الاختبارات القياسية و75.57% في الاختبارات الصعبة وغير المرئية سابقًا. كما سجل درجة AUROC (وهي مقياس لمدى قدرته على التمييز بين الجيد والسيئ) بلغت 79.25% و79.40% على التوالي. وكانت هذه الأرقام أعلى من معظم الطرق الأخرى التي اختبروها، بما في ذلك بعض الطرق المتقدمة جدًا.
وفي مجموعة بيانات MultiOFF، وصل النظام إلى دقة قدرها 70.0% ودرجة F1 بلغت 63.8، متفوقًا مرة أخرى على النماذج الأخرى.
كما أجرى الباحثون تجارب لمعرفة ما سيحدث إذا تمت إزالة أجزاء من نظامهم. فعندما أزالوا "Multi-CoT" (مسارات التفكير المتعددة)، انخفضت الدقة بشكل ملحوظ. وعندما أزالوا مُفككات الشفرة "الموجهة بالنماذج الأولية" أو "الموجهة بالسياق"، انخفض الأداء أيضًا. وهذا يشير إلى أن كل جزء من فريقهم ضروري لتحقيق أفضل النتائج. وقد وجدوا أن استخدام مسارات تفكير أكثر (تحديدًا توليد 3 تفسيرات ضارة و3 تفسيرات غير ضارة) كان أفضل من استخدام تفسيرين أو واحد فقط.
لماذا يهم هذا الأمر
تشير هذه الورقة البحثية إلى أن الطريقة التي نعلم بها الحواسيب فهم ثقافة الإنترنت يجب أن تتغير. فبدلاً من مجرد النظر إلى صورة والتخمين، أو استخدام خط تفكير واحد، نحتاج إلى أنظمة يمكنها مجادلة نفسها، ومراجعة عملها، وفحص التفاصيل بدقة متناهية. ومن خلال استخدام نهج "Multi-CoT" هذا، يظهر نظام EVL-MCoT أن الحواسيب يمكن أن تصبح أفضل في رصد الرسائل الضارة والمخفية التي تحاول التستر خلف وجه مبتسم. ورغم أن النظام ليس مثاليًا، إلا أنه يمثل خطوة كبيرة للأمام نحو جعل الإنترنت مكانًا أكثر أمانًا من خلال مساعدة الآلات على فهم لغة "الميمز" المعقدة والمراوغة في كثير من الأحيان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.