💻 computer science

Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks

تقترح هذه الورقة البحثية RoBERTa-OTA، وهي بنية معتمدة على الأنطولوجيا تدمج تضمينات RoBERTa مع الشبكات العصبية التلافيفية الرسومية لتحسين دقة وكفاءة الكشف عن خطاب الكراهية متعدد الفئات بشكل كبير من خلال الجمع بين الفهم السياقي للغة والمعرفة الهيكلية للمجال.

المؤلفون الأصليون: Mahmoud Abusaqer, Jamil Saquer

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mahmoud Abusaqer, Jamil Saquer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل الإنترنت كأنه ساحة مدينة صاخبة ومزدحمة، حيث يصرخ الملايين ويتحدثون ويتجادلون في آن واحد. في هذه الساحة، توجد مشكلة خطيرة: بعض الناس ينشرون خطاب الكراهية، وتحديداً استهداف مجموعات بناءً على أعمارهم، أو جنسهم، أو دينهم، أو عرقهم، أو سمات أخرى.

إن مهمة "حراس المدينة" (مشرفي المحتوى) هي الاستماع إلى هذه الصرخات وإيقاف الكراهية قبل أن تؤذي أي شخص. لكن العائق هو أن الكارهين أذكياء؛ فهم لا يستخدمون دائماً كلمات نابية واضحة، بل يستخدمون أحياناً كلمات مشفرة، أو نكاتاً مبطنة، أو معانٍ خفية يصعب رصدها.

تقدم هذه الورقة البحثية حارساً جديداً فائق الذكاء لساحة المدينة يُدعى RoBERTa-OTA. وإليك كيف يعمل، مشروحاً ببساطة:

1. المشكلة: الكاره "الذكي"

كان الحراس القدامى (برامج الكمبيوتر القديمة) يشبهون أشخاصاً يحفظون قائمة من "الكلمات السيئة" فقط؛ فإذا سمعوا كلمة من القائمة، أوقفوا الشخص. لكن الكارهين المعاصرين مخادعون، فقد يقولون شيئاً مسيئاً تجاه مجموعة معينة دون استخدام كلمة واحدة "سيئة" من القائمة، حيث يستخدمون السياق وتلميحات دقيقة.

حتى الحراس الأحدث والأذكى (مثل نموذج RoBERTa القياسي) بارعون في فهم اللغة، لكنهم قد يفتقدون أحياناً هذه الهجمات المبطنة والمشفرة لأنهم يستمعون فقط إلى الكلمات دون امتلاك "خريطة" أعمق لمن يتم استهدافه.

2. الحل: محقق يمتلك خريطة

قام المؤلفون ببناء RoBERTa-OTA، وهو ما يشبه منح المحقق الآلي قوتين خارقتين في آن واحد:

القوة الخارقة (أ): الأذنان (RoBERT): هذا الجزء يستمع إلى الكلمات الفعلية، والنبرة، وبنية الجملة. وهو بارع جداً في فهم اللغة البشرية، تماماً كالمتحدث الأصلي للغة.
القوة الخارقة (ب): الخريطة (الأنطولوجيا والرسوم البيانية): هذا هو الجزء الجديد والمميز. تخيل خريطة مادية على مكتب المحقق تُظهر كيفية ارتباط المجموعات المختلفة ببعضها البعض.
- الخريطة تعرف أن خطاب الكراهية المتعلق بـ "الدين" غالباً ما يستخدم مصطلحات لاهوتية معقدة.
- الخريطة تعرف أن خطاب الكراهية المتعلق بـ "الجنس" غالباً ما يختبئ في إهانات مبطنة تتعلق بالمظهر.
- الخريطة تعرف أن خطاب الكراهية المتعلق بـ "العمر" يعتمد على الصور النمطية بين الأجيال.

هذه الخريطة ليست مجرد قائمة، بل هي رسم بياني (Graph) (شبكة من الروابط). يستخدم الذكاء الاصطناعي شبكة عصبية تلافيفية رسومية (GCN) للنظر في هذه الخريطة. الأمر يشبه المحقق الذي ينظر إلى الخريطة ويقول: "مهلاً، هذه الجملة تبدو وكأنها تستهدف النساء، رغم أنها لا تستخدم كلمة 'امرأة'، لأن هيكلها يطابق النمط الموجود على خريطتي".

3. كيف يعملان معاً (المسار المزدوج)

فكر في الذكاء الاصطناعي كطريق سريع ذي مسارين:

المسار الأول: يتدفق النص، ويقوم الذكاء الاصطناعي بتحليل الكلمات (الأذنان).
المسار الثاني: ينظر الذكاء الاصط cut إلى "الخريطة" (المعرفة المهيكلة حول فئات خطاب الكراهية) ليرى كيف يجب أن يبدو النص بناءً على المجموعة المستهدفة.

في نهاية الطريق السريع، يلتقي هذان المساران. يقوم الذكاء الاصطناعي بدمج الكلمات التي سمعها مع الأنماط التي يعرفها من الخريطة. وهذا يساعده على ضبط الكارهين "الأذكياء" الذين أفلتوا من الحراس القدامى.

4. النتائج: ضبط المزيد من الأشرار

اختبر الباحثون هذا الحارس الجديد مقابل 39,747 مثالاً من خطاب الكراهية.

الحارس القديم (RoBERTa القياسي): ضبط حوالي 95% من خطاب الكراهي بشكل صحيح.
الحارس الجديد (RoBERTa-OTA): ضبط 96% بشكل صحيح.

قد تبدو هذه الـ 1% ضئيلة، ولكن في العالم الحقيقي، حيث يتم فحص ملايين المنشورات يومياً، تعني هذه الـ 1% الإضافية ضبط آلاف المنشورات الضارة الأخرى التي كانت ستنفذ من خلال الثغرات.

الجزء الأفضل؟
الحارس الجديد "ثقيل" قليلاً فقط. فهو يستخدم قدراً ضئيلاً جداً من ذاكرة الكمبيوتر (مثل إضافة حقيبة ظهر صغيرة لعداء) ولكنه يعمل بنفس السرعة. لم يصبح أبطأ، بل أصبح أكثر ذكاءً فحسب.

5. لماذا يهم هذا؟

كان الفوز الأكبر في الفئات الأصعب في الرصد:

تحسن خطاب الكراهية القائم على الجنس بنسبة 2.36%.
تحسن خطاب الكراهية تحت فئة "أخرى" (الذي يستهدف الإعاقات، أو التوجهات، إلخ) بنسبة 2.38%.

هذه هي أنواع الكراهية التي غالباً ما تكون الأكثر دقة وتشفيراً. ومن خلال استخدام "الخريطة" (الأنطولوجيا) لتوجيه "الأذنين" (الذكاء الاصطناعي)، تعلم النظام كيفية رصد الإشارات الخفية التي فاتت الذكاء الاصطناعي القياسي.

باخت:// خلاصة القول

تقول الورقة البحثية: "لا تكتفوا بالاستماع إلى الكلمات فحسب. انظروا أيضاً إلى خريطة من يتم استهدافهم. عندما تجمعون بين مستمع جيد وخريطة ذكية، تصبحون محققين أفضل بكثير في إيقاف خطاب الكراهية".

إليك ملخص تقني مفصل لورقة البحث بعنوان: "كشف خطاب الكراهية متعدد الفئات باستخدام RoBERTa-OTA: دمج انتباه المحولات وشبكات التلافيف الرسومية (GCN)."

1. تعريف المشكلة

تتناول الورقة تحدي كشف خطاب الكراهية متعدد الفئات عبر فئات ديموغرافية محددة (العمر، العرق، النوع الاجتماعي، الدين، و"أخرى"). وبينما تم دراسة كشف خطاب الكراهية الثنائي (ثنائي الفئة) بشكل جيد، لا يزال التصنيف الدقيق صعباً بسبب:

الاستهداف الضمني: غالباً ما يستخدم خطاب الكراهية لغة مشفرة أو أنماطاً لغوية دقيقة بدلاً من الشتائم الصريحة، لا سيما في الفئات المتعلقة بالنوع الاجتماعي وفئة "أخرى".
التباين اللغوي: تظهر المجموعات الديموغرافية المختلفة هياكل لغوية متميزة (على سبيل المثال، المصطلحات اللاهوتية في الكراهية القائمة على الدين مقابل الصور النمطية الجيلية في الكراهية القائمة على العمر).
قصور النماذج الحالية: تعتمد نماذج المحولات القياسية (مثل RoBERTa) فقط على التمثيلات النصية المتعلمة، وغالباً ما تفتقر إلى العلاقات الدلالية المهيكلة بين فئات الكراهية. كما تفتقر الطرق القائمة على الرسوم البيانية (مثل SOSNet) غالباً إلى الفهم السياقي العميق الذي توفره نماذج المحولات الحديثة.

أسئلة البحث:

هل تتفوق البنى الهيكلية الموجهة بالأنطولوجيا (Ontology-guided) على المحولات القياسية وطرق الحالة الراهنة (SOTA) القائمة على الرسوم البيانية؟
ما هي الفئات الديموغرافية الأكثر صعوبة، وكيف يختلف الأداء باختلافها؟
ما هو العبء الحسابي، وهل هو مبرر بالتحسينات في الأداء؟

2. المنهجية: RoBERTa-OTA

يقترح المؤلفون نموذج RoBERTa-OTA (RoBERTa مع انتباه المحولات الموجه بالأنطولوجيا)، وهو بنية ثنائية المسار تدمج معالجة النصوص غير المهيكلة مع المعرفة المجالية المهيكلة.

أ. مجموعة البيانات والمعالجة المسبقة

مجموعة البيانات: مجموعة فرعية متوازنة مكونة من 39,747 عينة مستمدة من إطار عمل SOSNet، تغطي خمس فئات متميزة من خطاب الكراهية.
التحليل اللغوي: أجرى المؤلفون تحققاً لغوياً أظهر تبايناً كبيراً عبر الفئات (على سبيل المثال، الكراهية القائمة على الدين لديها أعلى عدد من الحروف/الرموز ودرجة تعقيد؛ بينما تمتلك فئة "أخرى" أعلى استخدام للروابط URL).
المعالجة المسبقة: استُخدمت معالجة مسبقة دنيا للحفاظ على الإشارات السياقية الحاسمة (الرموز التعبيرية، حالة الأحرف، وعلامات الترقيم) التي تميز أنماط الاستهداف الديموغرافي.

ب. تصميم البنية

يتكون النموذج من مسارين للمعالجة يعملان بالتوازي، ويتم دمجهما قبل التصنيف:

مسار معالجة النص:
- يستخدم RoBERTa-base (124.6 مليون معلمة) لتوليد تضمينات سياقية.
- يعزز هذه التضمينات بطبقات انتباه حاصل الضرب النقطي المقيّس (Scaled Dot-Product Attention) المحسنة خصيصاً لأنماط خطاب الكراهية.
- المخرج: ميزات نصية مجمعة بالمتوسط (mean-pooled) بأبعاد 768.
مسار معالجة الأنطولوجيا:
- يبني رسم بياني لأنطولوجيا خطاب الكراهية يحتوي على 5 عقد تمثل الفئات الديموغرافية.
- ميزات العقد: يتم ترميز كل عقدة بمتجه مكون من 6 أبعاد مستمد من التحليل اللغوي التجريبي (استهداف ديموغرافي، هوية ثقافية، متعلق بالنوع الاجتماعي، ديني/اعتقادي، تعقيد لغوي، وتنوع الاستهداف).
- هيكل الرسم البياني: رسم بياني كامل الاتصال يسمح بحواف ثنائية الاتجاه بين جميع الفئات لنمذجة التداخلات الدلالية.
- المعالجة: تقوم شبكة تلافيف رسومية (GCN) محسنة ثلاثية الطبقات بمعالجة هذه الميزات (من 6 $\leftarrow$ 64 $\leftarrow$ 64 $\leftarrow$ 32 بُعداً) باستخدام تنشيط ReLU وتطبيع الطبقة (layer normalization).
- المخرج: ميزات أنطولوجية بأبعاد 32.
تكامل الميزات والتصنيف:
- يتم دمج (Concatenation) ميزات النص (768 بُعداً) مع ميزات الأنطولوجيا (32 بُعداً) لتشكيل متجه مكون من 800 بُعد.
- يمر هذا المتجه المدمج عبر شبكة تصنيف عميقة (800 $\to$ 400 $\to$ 200 $\to$ 5) مع تطبيع الدفعة (batch normalization)، وتطبيع الطبقة، وإسقاط تدريجي (dropout) بنسب (0.3، 0.2، 0.1).

ج. إعدادات التدريب

المُحسّن (Optimizer): AdamW (معدل تعلم $1e^{-5}$ ، تلاشي الوزن $1e^{-5}$ ).
دالة الخسارة: Cross-entropy مع تنعيم الملصقات (label smoothing) بقيمة ( $\alpha = 0.1$ ).
التحقق: تحقق تبادلي طبقي خماسي الطيات (5-fold stratified cross-validation).
الأجهزة: وحدتا معالجة رسومية NVIDIA A100.

3. المساهمات الرئيسية

بنية مبتكرة: تقديم RoBERTa-OTA، الذي يجمع بشكل فريد بين الفهم السياقي للمحولات (Transformers) والشبكات التلافيفية الرسومية (GCN) الموجهة بأنطولوجيا مهيكلة.
الانتباه الموجه بالأنطولوجيا: استخدام رسم بياني للمعرفة مجالي (يُشفر التعقيد اللغوي وآليات الاستهداف) لتوجيه تصنيف خطاب الكراهية الضمني.
أداء يمثل الحالة الراهنة (SOTA): وضع معايير جديدة لكشف خطاب الكراهية متعدد الفئات، متفوقاً على نموذج RoBERTa القياسي ونموذج SOSNet السابق القائم على الرسوم البيانية.
تحليل المتانة: تقييم شامل يظهر قدرة النموذج على الصمود أمام اضطرابات نصوص وسائل التواصل الاجتماعي (الأخطاء المطبعية، العامية، الاختصارات).

4. النتائج

تم تقييم النموذج على 39,747 عينة متوازنة.

الأداء العام:
- الدقة (Accuracy): حقق RoBERTa-OTA نسبة 96.04%، مقارنة بـ 95.02% لنموذج RoBERTa الأساسي و94.38% لنموذج SOSNet.
- مقياس F1 الموزون (Weighted F1-Score): حقق RoBERTA-OTA نسبة 96.06%، متفوقاً على النموذج الأساسي (95.04%) وSOSNet (94.44%).
التحسينات الخاصة بالفئات:
- أظهر النموذج أكبر المكاسب في الفئات الأكثر صعوبة (الاستهداف الضمني):
  - الكراهية القائمة على النوع الاجتماعي: تحسن مقياس F1 بمقدار +2.36% (90.70% $\to$ 93.06%).
  - أخرى (Other Hate): تحسن مقياس F1 بمقدار +2.38% (88.94% $\to$ 91.32%).
- شهدت الفئات الصريحة (الدين، العمر، العرق) تحسينات طفيفة، مع الحفاظ على درجات عالية (>98%).
الكفاءة الحسابية:
- زيادة المعلمات: زيادة طفيفة جداً بنسبة 0.33% فقط (124.65 مليون $\to$ 125.06 مليون معلمة).
- الذاكرة: زاد استخدام ذاكرة وحدة معالجة الرسومات بنسبة 19.2% (2.6 جيجابايت $\to$ 3.1 جيجابايت)، مما يظل ضمن حدود النشر العملي.
- التقارب (Convergence): تطلب النموذج دورات (epochs) أقل للتقارب (29 مقابل 31 للنموذج الأساسي)، مما عوض بعض الوقت الإضافي في التدريب.
المتانة (Robustness):
- تحت تأثير اضطرابات النص (مثل حذف 15% من الحروف)، حافظ RoBERTa-OTA على F1 بنسبة 79.64% مقارنة بـ 76.17% للنموذج الأساسي، مما يظهر فجوة قدرها 3.47%، مما يدل على مرونة فائقة تجاه نصوص وسائل التواصل الاجتماعي المشوشة.

5. الأهمية والخاتمة

تثبت الورقة أن دمج المعرفة الأنطولوجية المهيكلة مع آليات انتباه المحولات يعزز بشكل كبير من كشف خطاب الكراهية الضمني والدقيق.

الأثر العملي: التكلفة الحسابية المتواضعة (زيادة 0.33% في المعلمات) تحقق فوائد غير متناسبة في اكتشاف الفئات الصعبة (النوع الاجتماعي، أخرى)، والتي غالباً ما تفشل النماذج القياسية في رصدها. وهذا أمر بالغ الأهمية للإشراف على المحتوى على نطاق واسل حيث يؤدي عدم اكتشاف خطاب الكراهية الضمني إلى عواقب وخيمة في العالم الحقيقي.
العمل المستقبلي: يخطط المؤلفون لتوسيع الإطار ليشمل مجموعات بيانات متعددة اللغات وتحسين كفاءة الحوسبة بشكل أكبر.

باختصار، يمثل RoBERTa-OTA حلاً قوياً وفعالاً وعالي الدقة لتصنيف خطاب الكراهية الديموغرافي متعدد الفئات، حيث يجسّر بفعالية الفجوة بين الفهم اللغوي السياقي العميق والمعرفة المجالية المهيكلة.