Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech

ملخص تقني: فك تشفير خطاب الإسلاموفوبيا باستخدام النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تتناول الورقة البحثية الانتشار المتزايد لخطاب الكراهية المناهض للإسلام على منصات التواصل الاجتماعي المتطرفة (مثل 4Chan وGab وTelegram). وتتمثل إحدى التحديات الرئيسية المحددة في التحول من خطاب الكراهية الصريح إلى المصطلحات "شبه المشفرة" والمصطلحات خارج القاموس (OOV). هذه المصطلحات (مثل: muzrat، pislam، mudslime، mohammedan) يتم التلاعب بها لغوياً لتبدو محايدة دلالياً أو غامضة خارج سياقات معينة، مما يسمح لها بالتهرب من الكشف بواسطة المشرفين البشريين والأنظمة الآلية التقليدية. ويجادل المؤلفون بأنه بينما قد تبدو هذه المصطلحات غير ضارة في عزلة، إلا أنها تحمل دلالات مسيئة محددة داخل المجتمعات المتطرفة. علاوة على ذلك، تفترض الورقة أن استراتيجيات الإشراف الحالية تواجه صعوبة في التمييز بين الاستخدام الحميد وخطاب الكراهية عندما يكون السياق دقيقاً، وأن مستويات السمية في خطاب الإسلاموفوبيا قد تختلف بشكل كبير عن أشكال خطاب الكراهية الأخرى، مثل معاداة السامية.

المنهجية
تستخدم الدراسة نهجاً مختلط الأساليب يجمع بين جمع البيانات واسع النطاق، والتدوين اليدوي، وتقييم النماذج اللغوية الكبيرة (LLM).

1. جمع البيانات: استخدم المؤلفون برنامج Pyrra لجمع المنشورات من مختلف منصات التواصل الاجتماعي البديلة بين عامي 2024 و2025، مما نتج عنه مجموعة بيانات تضم حوالي 63,628 حالة. تم تصفية البيانات باستخدام مصطلحات بذرية تشمل الشتائم المعروفة خارج القاموس (muzrat، pislam، إلخ).
2. التدوين والسمات (Tropes): تم تدوين مجموعة فرعية من البيانات يدوياً من قبل باحثين جامعيين وخبراء في المصطلحات الإسلامية. صنف عملية التدوين المحتوى إلى خمس سمات محددة للإسلاموفوبيا:
   • اضطهاد النساء
   • الهجمات على النبي محمد
   • الكراهية ضد الإسلام (كنظام عقائدي)
   • خطاب مناهضة المهاجرين
   • التحيز العرقي
3. اختبار الفرضيات:
   • الفرضية الأولى (H1 - فهم النماذج اللغوية الكبيرة للمصطلحات خارج القاموس): استخدم المؤلفون نموذج GPT-4 لتصنيف المنشورات التي تحتوي على مصطلحات شبه مشفرة، مع تعيين درجة سلبية (0-1) لتحديد ما إذا كان النموذج يمكنه تحديد خطاب الكراهية دون وجود كلمات مفتاحية سامة صريحة.
   • الفرضية الثانية (H2 - مقارنة السمية): باستخدام واجهة برمجة تطبيقات Google Perspective، قارنت الدراسة درجات السمية في منشورات الإسلاموفوبيا مقابل مجموعة بيانات مرجعية لمنشورات معاداة السامية (350 عينة لكل منهما).
   • الفرضية الثالثة (H3 - تصنيف السمات): قيم المؤلفون قدرة GPT-4 على تصنيف السمات المحددة الموجودة في الخطاب، ومقارنة تنبؤات النموذج مقابل الحقيقة الأرضية (ground truth) المدونة بشرياً باستخدام الدقة (precision)، والاستدعاء (recall)، ودرجات F (F-scores).

النتائج الرئيسية

• فهم النماذج اللغوية الكبيرة للمصطلحات خارج القاموس: أظهر GPT-4 قدرة قوية على تحديد النية الكريهة وراء المصطلحات شبه المشفرة. بلغ متوسط درجة السمية التي حددها GPT-4 للشتائم المناهضة للإسلام 0.8767، وهو أعلى بكثير من الخط المرجعي المحايد البالغ 0.5 (t = 10.78, p < 0.05). ومع ذلك، اعتمدت دقة النموذج بشكل كبير على السياق؛ فعلى سبيل المثال، تم تقييم مصطلح mohammedan أحياناً كمتعادل عند افتقاره إلى إشارات عدوانية أخرى، كما تم الخلط أحياناً بين اسم Abdul وبين كونه إشارة حميدة بدلاً من كونه شتيمة.
• مستويات السمية: وجدت الدراسة أن خطاب الإسلاموفوبيا يظهر سمية أعلى بكثير من خطاب معاداة السامية. بلغ متوسط درجة السمية لعينات الإسلاموفوبيا 0.67، مقارنة بـ 0.40 لعينات معاداة السامية (t = 17.01, p ≈ 0). وتم تحديد أكثر السمات سمية في تلك التي تستهدف المهاجرين المسلمين والنبي محمد.
• قيود تصنيف السمات: بينما أدى GPT-4 أداءً جيداً في تحديد السمات المتعلقة بالنبي محمد (درجة F: 0.88) والكراهية ضد دين الإسلام (درجة F: 0.76)، إلا أنه واجه صعوبة في السمات المتعلقة بالتحيز العرقي، والهجرة، واضطهاد النساء. كشفت مصفوفة الارتباك أن النموذج غالباً ما فشل في التمييز بين هذه الفئات، ويرجع ذلك على الأرجح إلى الاعتماد على ارتباطات كلمات مفتاحية محددة (مثل "pedophile" لسمة النبي) بدلاً من الفهم العميق للسرديات الأيديولوجية الكامنة.

الأهمية والادعاءات
تدعي الورقة أنها واحدة من أولى الدراسات واسعة النطاق التي تركز خصيصاً على المصطلحات المشفرة دلالياً والمصطلحات خارج القاموس في سياق الإسلاموفوبيا. وتتمثل مساهماتها الرئيسية في:

1. إثبات قدرة النماذج اللغوية الكبيرة: إظهار أن النماذج اللغوية الكبيرة المتطورة (تحديداً GPT-4) تمتلك الفهم السياقي اللازم للتعرف على الشتائم شبه المشفرة التي قد تغفلها المرشحات التقلية القائمة على الكلمات المفتاحية.
2. التفاوت في السمية: تسليط الضوء على أن محتوى الإسلاموفوبيا على المنصات المتطرفة هو أكثر سمية وعنفاً من الناحية الإحصائية من محتوى معاداة السامية، مما يشير إلى الحاجة إلى استراتيجيات إشراف متمايزة.
3. تحديد الفجوات: خلص المؤلفون بتواضع إلى أنه بينما يمكن للنماذج اللغوية الكبيرة تحديد المصطلحات، إلا أنها لا تزال تظهر قيوداً في التمييز بين السمات الأيديولوجية المحددة التي تقود الخطاب، خاصة عندما يكون الكره دقيقاً أو يعتمد على صور نمطية ثقافية معقدة.

يقترح المؤلفون ضرورة دمج هذه المصطلحات المحددة (خارج القاموس وشبه المشفرة) في استراتيجيات الإشراف الخاصة بمنصات التواصل الاجتماعي. كما أشاروا إلى أن العمل المستقبلي يجب أن يتضمن تدريب نماذج متخصصة للكشف عن هذه المصطلحات وتوسيع التحليل ليشمل شتائم مشفرة أخرى (مثل pajeet، chink) لتعزيز بيئات أكثر أماناً عبر الإنترنت.