💬 NLP

FBHM: Functional Benchmarking and Steering of VLMs for Hateful Meme Detection

تقدم هذه الورقة البحثية FBHM، وهو معيار مرجعي جديد يكشف أن نماذج الرؤية واللغة المتطورة تفشل في التعميم على كشف الميمات التي تنطوي على خطاب كراهية بسبب الاعتماد على الاستدلالات الخاصة بمجموعات البيانات، وتقترح LSV، وهي طريقة متجه توجيه منخفضة البيانات تعمل على تحسين الأداء بشكل كبير من خلال تطبيق التدخلات السببية.

المؤلفون الأصليون: Paramananda Bhaskar, Naquee Rizwan, Daksh Jogchand, Saurabh Kumar Pandey, Animesh Mukherjee

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Paramananda Bhaskar, Naquee Rizwan, Daksh Jogchand, Saurabh Kumar Pandey, Animesh Mukherjee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبيرة: "الأخبار الكاذبة" لخطاب الكراهية

تخيل أنك توظف حارس أمن لاكتشاف الأشخاص الذين يحاولون التسلل إلى مبنى بسلاح. أنت تدرب هذا الحارس باستخدام صور لأشخاص يحملون أسلحة واضحة، مثل مسدس أحمر كبير. يصبح الحارس خبيراً في رصد ذلك المسدس الأحمر.

لكن بعد ذلك، يدخل مجرم جديد. هو لا يحمل مسدساً أحمر؛ بل يحمل موزة مطلية لتبدو كمسدس، أو يخفي السلاح داخل محمصة خبز.

يفشل الحارس تماماً. لماذا؟ لأن الحارس لم يتعلم ما هو "السلاح" في جوهره (مفهوم الخطر)؛ بل تعلم فقط التعرف على "المسدس الأحمر" المحدد الذي رآه في التدريب.

هذا هو بالضبط ما تقول الورقة البحثية إنه يحدث مع نماذج الذكاء الاصطناعي (VLMs) التي تحاول اكتشاف الميمات (Memes) التي تحمل خطاب كراهية.

التدريب: النماذج الحالية للذكأ الاصطناعي يتم تدريبها على مجموعات بيانات قياسية (مثل مجموعة بيانات Facebook للصور الساخرة الكريهة). هذه المجموعات هي "رصدية"، بمعنى أنها تعرض فقط أمثلة على الكراهية دون تفكيك كيفية بناء الكراهية.
الفشل: عندما تواجه نماذج الذكاء الاصطناعي هذه نوعاً جديداً من الميمات التي تحمل كراهية — واحدة تستخدم خدعة بصرية مختلفة، أو نكتة مختلفة، أو تستهدف مجموعة مختلفة — فإنها تنهار. لا تؤدي أفضل من التخمين العشوائي. إنها عالقة في البحث عن "المسدس الأحمر" وتغفل عن "الموزة".

الجزء الأول من الحل: الاختبار الجديد (FBHM)

لإصلاح ذلك، قام الباحثون ببناء اختبار جديد وصارم للغاية يسمى FBHM (الميمات الكريهة القائمة على الوظيفة).

فكر في هذا الأمر كأنه اختبار جهد للبرمجيات للسيارة. بدلاً من مجرد قيادتها على طريق عادي، أنت تختبرها في كل تضاريس محددة: الطين، الجليد، الرمل، والتلال شديدة الانحدار، واحداً تلو الآخر.

الهيكل: قاموا بإنشاء 5,000 ميم.
الـ 25 "وظيفة" (Functionalities): هذه هي "الخدع" المختلفة المستخدمة لإخفاء الكراهية. تشمل الأمثلة:
- استخدام الرموز التعبيرية (Emojis) للتعبير عن الكراهية.
- استخدام الإملاء السيئ لإخفاء الألفاظ النابية.
- استخدام صورة "إيجابية" مع تعليق "سلبي" (السخرية/التهكم).
- استخدام الرسوم البيانية أو المخططات لتمرير نقطة كراهية.
الـ 10 "مجتمعات مستهدفة": اختبروا هذه الخدع ضد 10 مجموعات مختلفة (مثل المسلمين، اليهود، النساء، المهاجرين، إلخ).

النتيجة: عندما قاموا بتشغيل أفضل نماذج الذكاء الاصطناي لديهم على هذا الاختبار الجديد، فشلت النماذج فشلاً ذريعاً. لقد أثبتوا أن الذكاء الاصطناعي لم يكن "يفكر" فعلياً في الكراهية؛ بل كان مجرد يحفظ الأنماط من بيانات تدريبه القديمة.

الجزء الثاني من الحل: "عجلة القيادة" (LSV)

احتاج الباحثون إلى طريقة لإصلاح الذكاء الاصطناعي دون إعادة تدريبه من الصفر (وهو أمر مكلف وبطيء) أو مجرد إظهار بعض الأمثلة له (وهو أمر غير كافٍ).

اخترعوا طريقة تسمى LSV (متجهات التوجيه القابلة للتعلم).

التشبيه:
تخيل أن الذكاء الاصطناعي هو تمثال ضخم متجمد. لا يمكنك صهره وإعادة تشكيله (هذا هو إعادة التدريب). ولا يمكنك مجرد الهمس ببعض التعليمات إليه (هذا هو التعلم من أمثلة قليلة).

بدلاً من ذلك، تخيل أنك ترفق عجلة قيادة مغناطيسية صغيرة وغير مرئية بالتروس الداخلية للتمثال.

تحتاج فقط إلى 500 مثال (كمية ضئيلة من البيانات) لمعايرة عجلة القيادة هذه.
بمجرد معايرتها، تقوم "عجلة القيادة" هذه بدفع التروس الداخلية للتمثال بلطف في كل مرة ينظر فيها إلى ميم.
هي لا تغير وجه التمثال أو جسده؛ بل تغير فقط اتجاه تفكيره.

السحر:

قبل: كان الذكاء الاصطناعي يصيب بنسبة 46% تقريباً في الاختبار الجديد (أي التخمين تقريباً).
بعد LSV: قفز الذكاء الاصطناعي إلى حوالي 74–75% صحيحة.
الجزء الأفضل: نظرًا لأنهم لم يكسروا التمثال لإصلاحه، فإن الذكاء الاصطناعي لا يزال جيداً في وظيفته الأصلية. لم ينسَ كيفية رصد "المسدس الأحمر" أثناء تعلم رصد "الموزة".

لماذا هذا مهم؟

تظهر الورقة البحثية أن أدوات سلامة الذكاء الاصطناعي الحالية هشة. فهي تعمل بشكل رائع في الفصل الدراسي (مجموعات البيانات القياسية) لكنها تفشل في العالم الحقيقي (الميمات الجديدة والمخادعة).

أثبت الباحثون أن:

الطرق القديمة تفشل: مجرد إظهار بعض الأمثلة للذكاء الاصطناعي (التعلم داخل السياق - In-Context Learning) أو تعديل أوزانه قليلاً (الضبط الدقيق الفعال للمعلمات - PEFT) لا ينجح عندما تكون البيانات شحيحة.
التوجيه يعمل: باستخدام طريقة "متجه التوجيه" هذه، يمكننا تعليم الذكاء الاصطناعي فهم بنية الكراهية (الـ "كيف") وليس فقط محتوى الكراهية (الـ "ماذا")، باستخدام كمية قليلة جداً من البيانات.

العقبات (القيود)

الكتّاب صريحون بشأن ما لا يفعله هذا البحث:

ليس عصا سحرية: لا يزال الذكاء الاصطناعي يعاني مع أكثر أنواع الكراهية تعقيداً أو تهكماً أو تلك المختبئة خلف الرياضيات.
هو مساعد وليس مديراً: يجب استخدام هذه النماذج لمساعدة المشرفين البشر، وليس لاستبدالهم.
السلامة أولاً: نظرًا لأن هذا البحث يعلمنا كيف تُبنى الكراهية، فإن مجموعة البيانات وأدوات "التوجيه" تظل خاصة. وهي متاحة فقط للباحثين المعتمدين لمنع الجهات السيئة من استخدامها لإنشاء خطاب كراهية "أفضل".

باختصار: قامت الورقة البحثية ببناء اختبار أفضل لإظهار أن الذكاء الاصطناعي "غبي" فيما يتعلق بأنواع الكراهية الجديدة، ثم اخترعت "عجلة قيادة" لتعليم الذكاء الاصطناعي كيف يفكر في الكراهية دون كسر عقله.

ملخص تقني: FBHM: التقييم الوظيفي وتوجيه نماذج الرؤية واللغة (VLMs) للكشف عن الميمات المسيئة

1. بيان المشكلة

لا يزال الكشف عن الميمات المسيئة (Hateful Memes) يمثل تحديًا هائلًا لنماذج الرؤية واللغة (VLMs). إن المعايير المرجعية الحالية، مثل مجموعات بيانات Facebook Hateful Memes (FHM) وMAMI، هي بنيوية رصدية؛ فهي تخلط بين آليات الخطاب المسيء وبين سمات مجتمعات مستهدفة محددة، مما يمنع التقييم السببي لنقاط ضعف النماذج. ونتيجة لذلك، فإن النماذج التي يتم ضبطها بدقة (fine-tuned) على هذه المجموعات غالبًا ما تستغل الاستدلالات الخاصة بمجموعة البيانات (مثل التحيزات الديموغرافية) بدلاً من تعلم الاستدلال متعدد الوسائط القوي. وعند مواجهة تغييرات محكومة في الوظائف أو المجتمعات المستهدفة، تعاني هذه النماذج من فجوة تعميم حادة، حيث تنهار لتصل إلى أداء يقارب العشوائية. علاوة على ذلك، تفشل استراتيجيات التكيف القياسية مثل الضبط الدقيق بكفاءة المعلمات (PEFT) والتعلم داخل السياق بأسلوب بضع عينات (Few-Shot ICL) في سد هذه الفجوة تحت قيود البيانات شديدة الانخفاض (مثل 500 عينة)، مما يؤدي غالبًا إلى نسيان كارثي لأداء النطاق المصدر.

2. المنهجية

أ. معيار FBHM

لمعالجة غياب التقييم السببي، قدم المؤلفون FBHM (الميمات المسيئة القائمة على الوظيفة)، وهو مجموعة بيانات منسقة بشكل منهجي تضم 5,000 ميم. تم بناء مجموعة البيانات وفق محورين متعامدين:

25 وظيفة بلاغية متميزة: مستوحاة من مبادئ الاختبار الوظيفي في هندسة البرمجيات وأعمال معالجة اللغات الطبيعية السابقة المتعلقة بخطاب الكراهية (مثل HateCheck)، تغطي هذه الوظائف خمسة أبعاد: التنسيقات المرئية، التمويه النصي، التركيب الهيكلي، الاستدلال البراغماتي (التداولي)، والتباينات غير المسيئة.
10 مجتمعات مستهدفة: تشمل المسلمين، اليهود، السود، البيض، النساء، الرجال، المتحولين جنسيًا، المثليين، المهاجرين، وذوي الاحتياجات الخاصة.

تتضمن عملية التنسيق إنشاء زوج (صورة-نص) أساسي لوظيفة معينة، ثم توليد 10 متغيرات محكومة عن طريق استبدال المجتمع المستهدف فقط. يتيح هذا الهيكل التقييم المضاد للواقع (counterfactual evaluation) بشكل معزول، مما يسمح للباحثين بتحديد ما إذا كان النموذج يفشل بسبب آلية بلاغية معينة أو بسبب مجموعة مستهدفة معينة.

ب. LSV (متجهات التوجيه القابلة للتعلم)

لسد فجوة التعميم بكفاءة باستخدام الحد الأدنى من البيانات، اقترح المؤلفون LSV، وهي استراتيجية تعمل في نظام البيانات شديدة الانخفاض. على عكس PEFT، الذي يقوم بتحديث أوزان النموذج، يقوم LSV بتطبيق تدخل سببي على نموذج رؤية ولغة (VLM) مجمد عبر تحسين متجهات توجيه مستمرة على مستوى الطبقات.

الآلية: بالنسبة لنموذج مجمد $M$ يحتوي على $L$ من الطبقات، يتعلم LSV مجموعة من متجهات التوجيه على مستوى الطبقات $V = \{v_1, \dots, v_L\}$ ومعاملات قياسية $\alpha = \{\alpha_1, \dots, \alpha_L\}$ . يتم تعديل الحالة الخفية في الطبقة $l$ كالتالي:
$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$
حيث $c$ هو معامل قياس (hyperparameter) أثناء الاستدلال.
هدف التدريب: يتم تحسين المتجهات على مجموعة توجيه دنيا ( $D_{steer}$ $D_{s t eer}$ ) مكونة من 500 عينة (مشتقة من 50 ميمًا أساسيًا فريدًا فقط) باستخدام هدف مزدوج الخسارة:
1. محاذاة التوزيع ( $L_d$ ): يقلل من تباعد كولباك - ليبلر (KL divergence) بين توزيع المفردات للنموذج الموجه على استعلام ما، وتوزيع مرجعي تم بناؤه من مطالبة توضيحية (demonstration prompt) للتعلم داخل السياق (32 نموذجًا استرشاديًا). هذا ينقل الاستدلال المعرفي للمطالبة إلى المتجهات.
2. مرساة الحقيقة الأرضية ( $L_{gt}$ ): خسارة التقاطع المتقاطع (cross-entropy) على أول رمز (token) يتم توليده لضمان محاذاة التوجيه مع تسمية التصنيف الصحيحة.
الاستدلال: أثناء الاستدقاء، يظل النموذج الأساسي مجمدًا، ولا يتم تقديم أي أمثلة توضيحية (ICL demonstrations). يتم حقن المتجهات المتعلمة مباشرة في عملية التمرير الأمامي (forward pass) لصفر من الأمثلة (zero-shot).

3. المساهمات الرئيسية

معيار تشخيصي مبتكر: تقديم FBHM، وهو مجموعة بيانات ذات بنية سببية تتيح التقييم المعزول عبر 25 وظيفة و10 مجتمعات مستهدفة.
دليل تجريبي على فشل التعميم: إثبات أن نماذج VLMs الحديثة (بما في ذلك Qwen-3، Pixtral، InternVL-3.5، والنماذج المملوكة مثل GPT-4.1/5-mini) تحقق درجات عالية في النطاق الداخلي (in-domain) على FHM/MAMI ولكنها تفشل فشلًا كارثيًا في FBHM، مما يثبت اعتمادها على استدلالات زائفة.
محدودية التكيف القياسي: إثبات أن التقنيات القياسية (PEFT و ICL بأسلوب بضع عينات) غير كافية لمحاذاة الاستدلال متعدد الوسائط في ميمات الكراهية المعقدة عند التقييد بمجموعات توجيه دنيا، مما يؤدي غالبًا إلى تدهور أداء النطاق المصدر.
إطار عمل LSV: تقديم LSV، وهي طريقة لتقطير استدلال ICL في متجهات التنشيط عبر هدف تدخل سببي، مما ينجح في استعادة القدرة على التعميم دون تحديث الأوزان.

4. النتائج والتحليل

مكاسب الأداء

يكشف التقييم عن فجوة هائلة في الأداء. النماذج التي تم ضبطها بدقة على FHM/MAMI تنخفض إلى أداء يقارب العشوائية (مثلاً ~45 Macro-F1) في FBHM.

فعالية LSV: يعزز LSV أداء FBHM بحوالي 30 نقطة في Macro-F1. على سبيل المثال، يتحسن نموذج Base Qwen-3 من 45.99 إلى 72.78 Macro-F1 على مجموعة اختبار FBHM.
المقارنة: يتفوق LSV بشكل كبير على كل من PEFT (الذي يحقق مكاسب ضئيلة ويؤدي لتدهور أداء المصدر) و 32-shot ICL (الذي يوفر مكاسب متواضعة ولكنه يفشل في تغطية الفضاء الوظيفي الكامل بسبب حدود نافذة السياق).

المتانة والعدالة

الحفاظ على نطاق المصدر: من المهم ملاحظة أنه نظرًا لأن LSV لا يقوم بتحديث الأوزان، فإنه يحافظ على أو حتى يعزز الأداء على معايير FHM وMAMI الأصلية، متجنبًا النسيان الكارثي.
المحاذاة الموحدة: يظهر تحليل الأداء حسب المجتمع المستهدف أن LSV يوسع حدود التصنيف بشكل موحد إلى نطاق 70-80% عبر جميع المجتمعات العشرة، مما يلغي الاختناقات الخاصة بكل مجتمع التي لوحظت في نماذج ICL.
تغطية الوظائف: يشير تحليل المخطط الراداري إلى أن LSV يعمل على تنعيم قدرات الاستدلال الهيكلي، محققًا مكاسب عبر جميع الوماث الـ 25 تقريبًا، بينما تفشل متغيرات ICL في جيوب وظيفية محددة وموضعية.

تحليل الخطأ

على الرغم من التحسينات، لا تزال هناك أنماط فشل متبقية:

السلبيات الكاذبة (False Negatives): تظل عمليات التمويه المعقدة (الترميز الجبري/السداسي للشتائم)، والخطاب العكسي (تأطير "اليوم المعاكس")، والسخرية التي تبدو إيجابية ظاهريًا، تحديات قائمة.
الإيجابيات الكاذبة (False Positives): غالبًا ما يتم تصنيف اضطرابات الخطوط (OCR تالف) والخطاب المضاد الذي يحتوي على مفردات قريبة من الكراهية بشكل خاطئ. تتكرر هذه الأنماط عبر البنيات المختلفة (Qwen, GPT-4/5)، مما يشير إلى أنها تتطلب فهمًا خطابيًا أعمق يتجاوز مستوى التوجيه في التنشيط.

توسيع الاستدلال

وُجد أن ثابت القياس الأمثل $c$ يعتمد على البنية وعملية الضبط الدقيق. التحقق من صحة التنبؤ عبر تقسيمات صغيرة محتجزة بدقة يتنبأ بالثابت $c$ الأمثل لمجموعة الاختبار، مما يؤكد عملية تطبيق هذا النهج في الواقع دون الحاجة للوصول إلى مجموعة الاختبار.

5. الأهمية والادعاءات

يدعي البحث أن FBHM يكشف خللاً حرجًا في محاذاة نماذج VLMs الحالية: الدرجات العالية في النطاق الداخلي تخفي الفشل في التعميم عبر الهياكل الوظيفية المتنوعة. تكمن أهمية هذا العمل في:

الدقة التشخيصية: توفير أداة للكشف عن التفاوتات في الوظائف والمجتمعات المستهدفة التي تغفل عنها المعايير القياسية.
المحاذاة الفعالة: إثبات أن التدخل السببي عبر متجهات التوجيه القابلة للتعلم يمكنه محاذاة الاستدلال متعدد الوسائط المعقد مع 500 عينة فقط، متفوقًا على التكيف القائم على الأوزان والطرق كثيفة السياق.
السلامة والعدالة: تقديم طريقة لتحسين متانة الكشف عن الكراهية عبر مختلف الديموغرافيات دون التضحية بالأداء على البيانات الحميدة أو الحاجة إلى إعادة تدريب ضخمة.

يخلص المؤلفون إلى أنه بينما يحسن LSV قدرات الكشف في حالة "الصفر من الأمثلة" (zero-shot) بشكل كبير، فإنه يعمل كأداة تشخيصية لمساعدة المشرفين البشريين وليس كحكم مستقل تمامًا، خاصة بالنظر إلى استمرار التحيزات البراغماتية المعقدة مثل السخرية والتمويه الرياضي.