BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes

تخيل الإنترنت كأنه ساحة مدينة ضخمة وفوضوية حيث يصرخ الجميع، ويتهمسون، ويرسمون الصور على الجدران. أحياناً، تكون هذه الصور (التي تسمى "ميمز" أو Memes) مجرد نكات مضحكة، ولكن في أحيان أخرى، تخفي تعليقات مسيئة عن النوع الاجتماعي يصعب رصدها. هذا هو عالم كشف التحيز الجنسي (Sexism Detection)، وهو فرع من علوم الحاسوب حيث نعلم الآلات كيفية "قراءة الغرفة" وفهم ما إذا كانت النكتة غير ضارة أم مسيئة.

لكن الجزء الصعب هنا هو أن البشر لا يتفقون دائماً على ما هو مسيء. قد يرى شخص ما "الميم" كإهانة مباشرة، بينما يراه آخر كنكتة ساخرة خفية، بينما قد لا يرى ثالث أي خطأ على الإطلاق. هذا ما يسمى بالخلاف (Disagreement). في الماضي، كانت الحواسيب تُعلّم اختيار إجابة واحدة "صحيحة" فقط، مثل معلم يصحح اختباراً بمفتاح إجابة واحد صحيح. ومع ذلك، تجادل هذه الورقة البحثية بأنه عندما لا يستطيع البشر الاتفاق، فلا ينبغي للحاسوب أن يخمن إجابة واحدة فحسب؛ بل يجب أن يتعلم فهم نطاق الآراء، تماماً مثل توقعات الطقس التي تقول "هناك احتمال 60% لهطول الأمطار" بدلاً من الصراخ فقط "إنها تمطر!". هذا النهج يسمى التعلم مع الخلاف (Learning with Disagreement)، وهو يساعد الآلات لتصبح أكثر دقة وأقل ثقة مفرطة في قراراتها.

---

مهمة فريق BioSentinel: قراءة النص، وتجاهل الصورة

تعرفوا على فريق BioSentinel، وهم مجموعة من الباحثين الذين شاركوا في مسابقة عالية المخاطر تسمى EXIST 2026. كان تحديهم هو بناء روبوت يمكنه النظر إلى "الميمز" وتحديد ما إذا كان المبتكر مباشراً (متحيز جنسياً بشكل واضح)، أو إصدار أحكام (باستخدام السخرية أو التلميحات الخفية)، أو لا (ليس متحيزاً جنسياً على الإطلاق).

المفاجأة؟ لم تكن المسابقة تريد من الروبوت اختيار تصنيف واحد فقط. بل أرادت من الروبوت أن يخرج "توزيعاً احتمالياً" (Probability Distribution) — وهي طريقة معقدة لقول: "أنا متأكد بنسبة 70% أن هذا مباشر، و20% أنه إصدار أحكام، و10% أنه غير ضار". هذا يحاكي كيف قد يصوت مجموعة من الحكام البشر بشكل مختلف على نفس "الميم".

الاستراتيجية: محقق يعتمد على النص فقط

قرر الفريق، بقيادة تشاندرو مونيسامي وأصدقائه من الهند، لعب لعبة محددة للغاية. على الرغم من أن "الميمز" هي صور تحتوي على نصوص، إلا أنهم اختاروا تجاهل الصور تماماً. لقد تصرفوا كمحقق يقرأ فقط نص المحادثة، متجاهلاً تعبيرات الوجه ولغة الجسد.

لماذا؟ أرادوا معرفة ما إذا كان بإمكانهم أن يصبحوا بارعين حقاً في فهم الكلمات وعدم اليقين في التصنيفات دون أن يتشتتوا بالأجزاء البصرية الفوضوية. استخدموا "دماغ لغوي" قوياً يسمى XGB-RoBERTa (وهو نموذج يحتوي على 270 مليون معلمة ويتحدث الإنجليزية والإسبانية) وعلموه خدعة خاصة.

بدلاً من مجرد إخبار النموذج: "هذه هي الإجابة"، أعطوه نوعين من الواجبات المنزلية:

1. الواجب المنزلي الناعم (Soft Homework): "إليك كيف صوت البشر. حاول مطابقة هذا المزيج الدقيق من الآراء". استخدموا أداة رياضية تسمى تباعد KL (KL Divergence) لجعل تخمينات النموذج تشبه نمط التصويت البشري.
2. الواجب المنزلي الصلب (Hard Homework): "إليك الفائز الرسمي بالتصويت. تأكد من الحصول على هذه الإجابة بشكل صحيح أيضاً". استخدموا أداة قياسية تسمى الاعتلاج الموزون عبر التقاطع (Weighted Cross-Entropy) لضمان عدم ارتباك النموذج.

من خلال دمج هذين الدرسين (70% ناعم، 30% صلب)، أملوا أن يخلقوا نموذجاً دقيقاً وواعياً بالخلاف البشري في آن واحد.

النتائج: أداء قوي، ولكن ليس مثالياً

عندما اختبر فريق BioSentinel نظامهم على الامتحان الرسمي (مجموعة الاختبار)، إليكم ما حدث:

• درجة الملصق الناعم (Soft-Label Score): حققوا درجة 0.3229 (تسمى ICM-Soft-Norm). وكان هذا أفضل من روبوت "تخمين الإجابة الأكثر شيوعاً" الذي حصل فقط على 0.2835.
• درجة الملصق الصلب (Hard-Label Score): بالنسبة لاختيار أفضل إجابة واحدة، سجلوا 0.4236 (درجة F1).
• الترتيب: من بين 118 فريقاً قدموا توقعات الملصقات الناعمة، جاءوا في المركز 40. ومن بين 187 فريقاً قدموا توقعات الملصقات الصلبة، كانوا في المركز 49.

وجد الفريق أن طريقة التدريب القائمة على "المزج والخلط" قد نجحت. فعندما أزالوا الدرس "الناعم" (تباعد KL)، انخفضت قدرتهم على مطابقة الآراء البشرية بشكل حاد (من 0.312 إلى 0.142). وعندما أزالوا الدرس "الصلب"، انخفضت دقة إجاباتهم الفردية. كان الجمع بينهما هو مفتاح نجاحهم.

صراع "إصدار الأحكام"

ومع ذلك، كان لدى الروبوت نقطة ضعف. فقد كان سيئاً جداً في اكتشاف التحيز الجنسي من نوع "إصدار الأحكام" (النوع الساخر والخفي). كانت درجته لهذا التصنيف تحديداً منخفضة جداً عند 0.071.

لماذا؟ أدرك الفريق أنه بدون الصورة، كان الروبوت يفتقد إلى "قفشة" النكتة (Punchline). تعتمد العديد من هذه الميمز على نكتة بصرية — مثل رسم كاريكاتيري أو تعبير وجه محدد — لا يمكن للنص وحده شرحها. على سبيل المثال، نص يقول "الجلوس على طاولة عائلتك..." قد يبدو بريئاً، ولكن إذا كانت الصورة تظهر أباً يحصل على أكبر سمكة بينما تحصل الأم على أصغرها، فإن النكتة تصبح واضحة. بدون الصورة، رأى الروبوت مجرد جملة محايدة.

لاحظ الفريق أيضاً شيئاً غريباً حول كيفية تعلم الروبوت. فخلال أول يومين من التدريب، لم يخمن أبداً فئة "إصدار الأحكام". ولم يبدأ في فهم هذا التصنيف الصعب إلا بعد أن تعلم بالفعل التمييز بين "غير ضار" و"مباشر". وهذا يشير إلى أن الأشياء الخفية هي الأصعب في التعلم وقد تحتاج إلى وقت أكثر أو تدريب خاص.

ما لم يفعلوه (ولماذا يهم ذلك)

تتسم الورقة البحثية بالصراحة الشديدة بشأن ما لم يفعلوه. لم يحاولوا استخدام بيانات موجات الدماغ (EEG) أو بيانات تتبع حركة العين التي قدمها منظمو المسابقة. لماذا؟ لأن البيانات لم تكن متطابقة بين مجموعات التدريب والاختبار. كما لم يحاولوا استخدام نماذج أكبر وأكثر تعقيداً لأن تلك النماذج، في إعدادهم الخاص، أصبحت غير مستقرة ومربكة.

كما اختبروا إعداد "درجة الحرارة" (Temperature) (وهو مفتاح يجعل تخمينات الروبوت أكثر أو أقل ثقة). في اختبارهم التجريبي، جعل ضبط هذا المفتاح على 0.7 الروبوت أفضل قليلاً في مطابقة الآراء البشرية (رفع الدرجة من 0.317 إلى 0.326) وجعل ثقته أكثر واقعية. ومع ذلك، في الاختبار الرسمي النهائي، التزموا بالإعدادات القياسية لضمان السلامة.

الخلاصة

أثبت فريق BioSentinel أنه يمكنك بناء كاشف جيد للتحيز الجنسي باستخدام النص فقط، طالما أنك تعلمه احترام الخلاف البشري. فمن خلال استخدام مزيج من الدروس "الناعمة" و"الصلبة"، أنشأوا نموذجاً يفهم المناطق الرمادية في الرأي البشري بشكل أفضل من الطرق القديمة.

لكن الورقة تحذرنا أيضاً: إذا كنت تريد اصطياد النكات الساخرة والمخادعة، فلا يمكنك الاكتفاء بقراءة النص فقط. يجب أن ترى الصورة. إن معاناة الروبوت مع فئة "إصدار الأحكام" تثبت أنه في بعض الأحيان، يكون السياق البصري هو الشيء الوحيد الذي يجعل النكتة (أو الإهانة) منطقية. ويقترح الفريق أن الروبوتات المستقبلية يجب أن تحاول النظر إلى الكلمات والصور معاً لفهم القصة كاملة.