A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

ملخص تقني: دراسة مقارنة بين PyCaret AutoML و CNN-BiLSTM للكشف عن خطاب الكراهية الثنائي في تويتر الإندونيسي

بيان المشكلة
تتناول الورقة البحثية تحدي الكشف التلقائي عن خطاب الكراهية على تويتر الإندونيسي. وتتميز هذه المهمة بالنصوص القصيرة، والمشوشة، وغير الرسمية، حيث ينشأ القصد الضار غالبًا من السياق، أو النفي، أو التأطير البراغماتي (التداولي)، وليس فقط من الشتائم الصريحة. يهدف المؤلفون إلى تحديد ما إذا كان النهج العميق المدرك للتسلسل (CNN-BiLSTM) يقدم ميزة ملموسة مقارنة بفرع التعلم الآلي التقليدي المعزز، وذلك عندما يتم تقييمهما تحت ظروف معالجة أولية ومعايير مرجعية متطابقة. تستخدم الدراسة تسمية خطاب الكراهية (HS) من مجموعة بيانات إبراهيم وبودي [1]، مع إعادة صياغة مجموعة البيانات متعددة الملصقات إلى مشكلة تصنيف ثنائي محكومة (خطاب كراهية مقابل غير خطاب كراهية).

المنهجية
تعتمد الدراسة تصميمًا مرجعيًا محكومًا حيث يتشارك الفرعان التقليدي والنيوروني (العصبي) خط معالجة أولية متطابقًا لضمان أن تعكس فروق الأداء قدرة النمذجة وليس عدم الاتساق في إعداد البيانات.

1. البيانات والمعالجة الأولية:

• مجموعة البيانات: مجموعة فرعية مكونة من 13,130 تغريدة من مجموعة بيانات إبراهيم وبودي، بتوزيع فئات يبلغ حوالي 58% لغير خطاب الكراهية و42% لخطاب الكراهية.
• المعالجة الأولية: تشمل تحويل الحروف إلى حالة صغيرة (lowercasing)، وإزالة الروابط (URLs) وأسماء المستخدمين، وتطبيع الرموز، وتطبيع الكلمات العامية باستخدام خرائط مخصصة من المجموعة، وإزالة كلمات التوقف (stopword removal).
• هندسة الميزات: تم اشتقاق ميزة مشتركة "عد الكلمات المسيئة" من معجم الكلمات المسيئة الخاص بالمجموعة.

2. الفرع التقليدي (PyCaret AutoML):

• التمثيل: يتم تمثيل التغريدات باستخدام TF-IDF (أحادية وثنائية الكلمات/unigrams and bigrams، بحد أقصى 5,000 كلمة في المفردات) مدمجة مع عدد الكلمات المسيئة.
• سير العمل: يُستخدم PyCaret AutoML ليس كمصنف واحد، بل كطبقة مرجعية لتوحيد المقارنة عبر عدة مقدرات.
• النماذج: يقوم سير العمل بتقييم وترتيب SVM الخطي، وNaive Bayes، وRandom Forest. ويظهر Random Forest كأقوى مرشح تقليدي.

3. الفرع النيوروني (CNN-BiLSTM):

• البنية: بنية مدمجة مصممة للنصوص القصيرة.
  • التضمين (Embedding): تضمينات كلمات تدريبية بأبعاد 100.
  • طبقة CNN: تستخرج أنماط العبارات المحلية (حجم النواة 3) لالتقاط الأجزاء المسيئة والمكثفات.
  • طبقة BiLSTM: تشفر السياق ثنائي الاتجاه لتفسير الإشارات المحلية ضمن النص المحيط.
  • المخرجات: تفعيل Sigmoid لاحتمالية ثنائية.
• التدريب: تم تحسين النموذج باستخدام خسارة التقاطع الثنائي (binary cross-entropy)، مع معدل تعلم قدره $10^{-3}$، وحجم دفعة 64، ونسبة إسقاط (dropout) قدرها 0.2.

المساهمات الرئيسية
تقدم الورقة أربع مساهمات محددة:

1. إعادة صياغة المعيار المرجعي: تحويل مجموعة البيانات المنشورة متعددة الملصقات إلى معيار مرجعي محكوم لخطاب الكراهية الثنائي.
2. تفعيل خط الأساس التقليدي: بدلاً من استخدام خط أساس ضعيف واحد، تم استخدام PyCaret AutoML لإنشاء معيار مرجعي تقليدي قوي ومنظم.
3. التقييم النيوروني المدمج: تقييم بنية CNN-BiLSTM مصممة خصيصًا للنصوص الإندوسية السياقية القصيرة.
4. التفسير الشامل: تحليل النتائج من خلال إحصائيات المجموعة، ومنحنيات التعلم، ومصفوفات الارتباك للتمييز بين جودة التمثيل واستقرار التدريب.

النتائج
تقارن الدراسة النماذج على تقسيم اختبار مستقل بنسبة 20% (2,626 تغريدة).

• مقاييس الأداء:

  • CNN-BiLSTM: حقق 83.8% دقة، و79.8% دقة موجبة (Precision)، و82.7% استدعاء (Recall)، و81.2% درجة F1.
  • PyCaret-Random Forest (أقوى نموذج تقليدي): حقق 77.2% دقة، و75.8% دقة موجبة، و78.3% استدعاء، و77.0% درجة F1.
  • PyCaret-SVM: 72.3% دقة (الأضعف).
  • PyCaret-Naive Bayes: 75.8% دقة.

• الربح المقارن: حقق الفرع النيوروني تحسنًا في الدقة بمقدار 6.6 نقطة مئوية وفي درجة F1 بمقدار 4.2 نقطة مئوية عن أقوى نموذج تقليدي.

• تحليل الخطأ:

  • أظهر CNN-BiLSTM علامات على الإفراط في التخصيص (overfitting) (ارتفاع خسارة التحقق بعد الدورات الأولى)، مما يشير إلى إمكانية تحسين المكاسب عبر التوقف المبكر والتنظيم (regularization).
  • أشارت مصفوفة الارتباك إلى أن النموذج عدواني نوعًا ما ولكنه متوازن، حيث تتركز الأخطاء في الحالات الحدية التي تتضمن عدائية ضمنية أو إشارات لمجموعات بدلاً من الرموز السامة الصريحة.
  • أظهرت مهمة مساعدة تتعلق بـ "اللغة المسيئة" (وهي أوسع من خطاب الكراهية) منحنيات تعلم أكثر استقرارًا، مما يؤكد أن الكشف الصارم عن خطاب الكراهية هو مهمة أصعب وأكثر اعتمادًا على السياق.

الأهمية والادعاءات
تخلص الورقة إلى تمييز دقيق بين فائدة النهجين:

1. PyCaret AutoML كإطار عمل: تثبت الدراسة أن PyCaret إطار فعال لإنشاء معايير مرجعية تقليدية قوية وقابلة لإعادة الإنتاج. وتوضح أنه حتى مع وجود خط أساس معجمي قوي (TF-IDF + أعداد الكلمات المسيئة) وتحسين AutoML، فإن الفرع التقليدي لا يمكنه استيعاب كامل تفاصيل خطاب الكراهية الإندونيسي.
2. CNN-BiLSTM كنموذج نهائي متفوق: تؤكد النتائج أن بنية CNN-BiLSTM توفر ميزة كبيرة لهذا المعيار المحدد. ويعزو المؤلفون ذلك إلى قدرة النموذج على التقاط كل من الأنماط المعجمية المحلية (عبر CNN) والتفاعلات السياقية قصيرة المدى (عبر BiLSTM)، وهي أمور بالغة الأهمية في تغريدات تويتر الإندونيسية حيث يعتمد القصد غالبًا على التأطير.
3. الآثار العملية: ترى الورقة أن PyCaret يفضل للفحص السريع، والتجارب منخفضة التكلفة، وخطوط الأساس القابلة لإعادة الإنتاج. وعلى العكس من ذلك، يُوصى باستخدام CNN-BiLSTM عندما يكون الهدف الأساسي هو تعظيم التوازن التنبئي عند حدود خطاب الكراهية وعندما تكون التكلفة الحسابية للتعلم العميق مقبولة.

يصرح المؤلفون صراحةً أن هذه النتائج محددة بتكوين المعيار المرجعي هذا (مجموعة بيانات واحدة، خط معالجة أولية واحد، تقسيم واحد) ولا يدعون التفوق العالمي لجميع أشكال خطاب الكراهية عبر الإنترنت. ويقترحون أن العمل المستقبلي يمكن أن يستكشف مساحات بحث أغنى لـ AutoML، وتنظيمًا أقوى، والنماذج القائمة على المحولات (Transformers) مثل IndoBERT.