Hybrid Feature Combinations with CNN for Bangla Fake News Classification

ملخص تقني: تركيبات الميزات الهجينة باستخدام الشبكات العصبية التلافيفية (CNN) لتصنيف الأخبار الزائفة باللغة البنغالية

بيان المشكلة
يشكل انتشار الأخبار الكاذبة على وسائل التواصل الاجتماعي والبوابات الإلكترونية في بنغلاديش مخاطر كبيرة على مصداقية الوسائل الإعلامية الموثوقة وحياة المواطنين اليومية. يفرض اكتشاف الأخبار الزائفة باللغة البنغالية تحديات فريدة بسبب بنيتها الكتابية المعقدة ومفرداتها المتنوعة، والتي تختلف عن اللغة الإنجليزية. وبينما توجد دراسات عديدة لاكتشاف الأخبار الزائفة باللغة الإنجليزية، لا يزال البحث الخاص باللغة البنغالية محدوداً. تعتمد النهج الحالية غالباً على تقنية واحدة أو عدد قليل من تقنيات استخراج الميزات (مثل TF-IDF، أو Word2Vec، أو fastText) دون مقارنة فعاليتها بشكل منهجي أو استكشاف التركيبات الهجينة. علاوة على ذلك، يمكن لمجموعات الميزات عالية الأبعاد أن تؤدي إلى إدخال الضوضاء وتقليل كفاءة النموذج، مما يستلزم استراتيجيات قوية لاختيار الميزات.

المنهجية
يقترح هذا البحث إطار عمل شاملاً لتصنيف الأخبار الزائفة باللغة البنغالية باستخدام مجموعة بيانات BanFakeNews-2.0، والتي تضم 48,678 مقالاً حقيقياً و12,903 مقالاً مزيفاً تم تصنيفها يدوياً. تتبع المنهجية مساراً منظماً:

1. المعالجة المسبقة: يتم تنظيف النص البنغالي الخام عن طريق إزالة علامات الترقيم، والكلمات الشائعة، والرموز الخاصة، وعلامات HTML، مع الاحتفاظ بالأرقام.
2. استخراج الميزات: يتم استخدام ست طرق متميزة لاستخراج الميزات لتحويل النص إلى تمثيلات رقمية:
   • TF-IDF: باستخدام الـ unigrams والـ bigrams (أعلى 5,000 رمز).
   • Word2Vec: باستخدام بنية CBOW مع فضاء متجهي مكون من 100 بُعد.
   • FastText: الاستفادة من معلومات الكلمات الفرعية (subword) للتعامل بشكل أفضل مع الكلمات غير المرئية.
   • ميزات N-Gram: استخراج التسلسلات حتى الحجم 3.
   • TF-IDF على مستوى الحروف: التركيز على الـ n-grams للحروف (بطول 2-4) لالتقاط أنماط الكلمات الفرعية.
   • الميزات الإحصائية: واصفات تم إنشاؤها يدوياً تشمل عدد الحروف/الكلمات/الجمل، متوسط طول الكلمة، ونسب علامات الترقيم.
3. اختيار الميزات: لتحديد الميزات الأكثر معلوماتية وتقليل التعقيد، يتم تطبيق خمسة نهج للاختيار:
   • الطرق الإحصائية (اختبار ANOVA F-test، اختبار Chi-Square، والمعلومات المتبادلة Mutual Information).
   • الأهمية القائمة على التجميع (Random Forest).
   • حذف الميزات المتكرر (RFE).
   • الاختيار القائم على الارتباط (معامل Pearson).
   • الاختيار الأمامي (Forward Selection) واختبار التركيب الشامل (التقييم بالقوة الغاشمة لجميع المجموعات الفرعية).
4. نموذج التصنيف: يُقترح نموذج شبكة عصبية تلافيفية (CNN) ذو بنية متعددة الفروع. يقوم هذا التصميم بمعالجة أنواع مختلفة من ميزات المدخلات عبر مسارات تلافيفية منفصلة، وضغطها عبر التجميع الأقصى العالمي (global max pooling)، ودمج المتجهات الناتجة للتصنيف الثنائي (حقيقي مقابل زائف). يتم تدريب النموذج باستخدام خسارة Binary Crossentropy، ومحسن Adam، وآليات التوقف المبكر.

المساهمات الرئيسية

• التقييم المنهجي للميزات: تقدم الدراسة تحليلاً مقارناً لست تقنيات متنوعة لاستخراج الميزات خصيصاً للنص البنغالي، متجاوزة الاعتماد على نهج الطريقة الواحدة الشائع في الأدبيات السابقة.
• تركيبات الميزات الهجينة: يوضح البحث فعالية دمج الميزات الدلالية (Word2Vec، FastText)، والإحصائية (TF-IDF، N-Gram)، والهيكلية (على مستوى الحروف، والإحصائية).
• استراتيجية اختيار صارمة: من خلال استخدام خوارزميات متعددة لاختيار الميزات واختبار التركيب بالقوة الغاشمة، تحدد الدراسة المجموعات الفرعية المثلى للميزات التي تزيد من أداء التصنيف مع تقليل التكرار إلى أدنى حد.
• التنفيذ مفتوح المصدر: يتم جعل الكود والإعداد التجريبي متاحين للجمهور لتسهيل المزيد من الأبحاث في هذا المجال.

النتائج التجريبية
تم تقييم نموذج CNN المقترح على مجموعة بيانات BanFakeNews-2.0 باستخدام الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1-score.

• الأداء الفردي مقابل الهجين: حققت الميزات الفردية مثل FastText وWord2Vec أداءً متقارباً (F1-score ~0.80). ومع ذلك، أدى دمج الميزات إلى تحسينات ملحوظة.
• التركيبة المثلى: تم تحقيق أعلى أداء من خلال دمج TF-IDF، وWord2Vec، وFastText، وTF-IDF على مستوى الحروف، والميزات الإحصائية. أدى هذا النهج الهجين إلى:
  • الدقة (Accuracy): 0.91
  • الضبط (Precision): 0.90
  • الاستدعاء (Recall): 0.79
  • مقياس F1-score: 0.83
• تفاصيل فئة الأخبار الزائفة: بالنسبة للكشف المحدد عن الأخبار الزائفة، حسّن النموذج الهجين مقياس F1-score إلى 0.73 والاستدعاء إلى 0.61، وهي زيادة ملحوية مقارنة بالميزات الفردية (على سبيل المثال، كان الاستدعاء لـ Word2Vec وحده 0.55 وF1-score هو 0.67).
• استقرار التدريب: أشارت منحنيات التدريب إلى سلوك تعلم مستقر دون أي علامات على الإفراط في التخصيص (overfitting) عبر 50 حقبة (epochs).

الأهمية والادعاءات
يدعي البحث أن الأهمية الأساسية لهذا العمل تكمن في إثبات أن دمج أنواع متعددة من الميزات يعزز بشكل كبير من مقاييس الاستدعاء وF1-scores لتصنيف الأخبار الزائفة باللغة البنغالية مقارم استخدام الميزات الفردية وحدها. ويؤكد المؤلفون أن دمج الميزات الدلالية والإحصائية المتنوعة يسمح للنموذج بالتقاط معلومات متكاملة، مما يؤدي إلى تصنيف أكثر قوة.

تخلص الدراسة إلى أنه بينما تؤدي التضمينات (embeddings) الفردية للتعلم العميق أداءً معقولاً، إلا أنها غالباً ما تفشل في التقاط جزء كبير من الحالات المزيفة (انخفاض الاستدعاء). يعالج النهج الهجين المقترح هذا القصور. ويشير المؤلفون بتواضع إلى أن دراستهم تقتصر على مصنف CNN، ويقترحون أن العمل المستقبلي يمكن أن يستكشف بنيات أخرى للتعلم الآلي والتعلم العميق، بالإضافة إلى تقنيات إضافية لاستخراج الميزات واختيارها.