Hybrid TF--IDF Logistic Regression and MLP Neural Baseline for Indonesian Three-Class Sentiment Analysis on Social Media Text

ملخص تقني: نموذج هجين من الانحدار اللوجستي و(TF–IDF) مع خط أساس عصبي من نوع (MLP) لتحليل المشاعر ثلاثي الفئات باللغة الإندونيسية

بيان المشكلة
تتناول هذه الدراسة تحدي تحليل المشاعر للنصوص الإندونيسية على وسائل التواصل الاجتماعي، وهو مجال يتميز بالمحتوى الذي ينشئه المستخدمون والذي يتسم بالضجيج، والخلط اللغوي، والاختصارات، والغموض الدلالي. وبينما تعطي الأدبيات الحديثة الأولوية غالبًا لنماذج المحولات (Transformers) الضخمة، تجادل هذه الورقة بأنه بالنسبة لمجموعات البيانات الصغيرة وغير المتوازنة ومنخفضة الموارد، فإن الحاجة الملحة هي لوجود مسار عمل قابل لإعادة الإنتاج، وقابل للتفسير، وقابل للنشر، بدلاً من زيادة التعقيد الهيكلي. وتتمثل المهمة المحددة في رسم خريطة لمجموعة بيانات تحتوي على 191 تسمية عاطفية دقيقة إلى ثلاث فئات تشغيلية: إيجابية، وسلبية، ومحايدة. وتتمثل الصعوبات الرئيسية المحددة في عدم التوازن الشديد بين الفئات (الذي تهيمن عليه الحالات الإيجابية)، والغموض الدلالي الناتج عن ضغط التسميات (على سبيل المثال، رسم خرائط "المفاجأة" أو "الشعور المختلط" إلى فئة واحدة)، والقيود المفروضة على أحجام العينات الصغيرة للتعلم العميق.

المنهجية
يقترح المؤلفون نهجًا يركز على الإنتاج يقارن بين خط أساس من التعلم الآلي الكلاسيكي وخط أساس عصبي خفيف الوزن، وكلاهما يستخدم مساحة ميزات هجينة متطابقة.

• معالجة البيانات مسبقًا: تم تنظيف مجموعة البيانات الخام (732 صفًا) لإزالة النصوص المكررة والفارغة، مما نتج عنه 707 عينة. شملت المعالجة المسبقة تحويل الحروف إلى حالة صغيرة (lowercasing)، وإزالة الروابط (URLs) والإشارات (mentions)، وتطبيع لغة "ليت سبيك" (leetspeak)، وتوسيع العامية الإندونيسية (مثل تحويل gak إلى tidak). ومن الأهمية بمكان أنه تمت إعادة رسم خرائط الـ 191 تسمية عاطفية الأصلية إلى الفئات الثلاث المستهدفة، وهي عملية لوحظ أنها تسبب ضجيجًا دلاليًا.
• هندسة الميزات: يستخدم النظام تمثيلًا هجينًا يجمع بين:
  1. ميزات النص: ناقلات (TF–IDF) باستخدام أحاديات الكلمات (unigrams) وثنائياتها (bigrams) (بحد أقصى 3,000 ميزة، مع استخدام مقياس تكرار المصطلح شبه الخطي).
  2. البيانات الوصفية الرقمية: ثلاث ميزات معيارية مشتقة من النص وبيانات التفاعل: عدد الكلمات، وإجمالي التفاعل (الإعجابات + إعادة التغريد)، وعدد الوسوم (hashtags).
• النماذج:
  • نموذج الإنتاج: مصنف انحدار لوجستي متعدد الحدود (multinomial Logistic Regression) تم تدريبه باستخدام خاصية class_weight=balanced للتخفيف من حدة عدم التوازن، باستخدام تقسيم طبقي بنسبة 80/20.
  • خط الأساس العصبي: شبكة إدراك متعدد الطبقات (MLP) بطبقتين مخفيتين (256، 64 عصبون)، وتفعيل ReLU، وتحسين Adam. تم تدريبها على نفس متجه الميزات الهجين لعزل تأثير بنية المصنف بدلاً من تمثيل الميزات.
  • خطوط الأساس المقارنة: حافظت الدراسة أيضًا على نتائج (Linear SVM) و(Random Forest) للمقارنة المرجعية.

المساهمات الرئيسية
تقدم الورقة ثلاث مساهمات محددة:

1. سير عمل قابل لإعادة الإنتاج: وضع مسار عمل متكامل لتحليل المشاعر ثلاثي الفئات باللغة الإندونيسية، يغطي التنظيف، وإعادة رسم خرائط التسميات، وبناء الميزات الهجينة، والاستدلال الجاهز للنشر.
2. مقارنة منضبطة: تقييم نموذج خطي كلاسيكي وشبكة عصبية ضحلة تحت نفس تمثيل المدخلات، مما يوفر مقارنة منضبطة لعائلات المصنفات في بيئة منخفضة الموارد.
3. رؤية منهجية: تسليط الضوء على تداعيات ضغط التسميات وعدم توازن البيانات، وإثبات أن المعالجة المسبقة الدقيقة وهندسة الميزات القابلة للتفسير يمكن أن تظل منافسة للنهج العصبية.

النتائج
أُجريت التجارب على مجموعة اختبار محجوزة (142 عينة) باستخدام الدقة (accuracy)، و(weighted F1)، و(macro F1) كمقاييس.

• الانحدار اللوجستي (الإنتاج): حقق دقة قدرها 0.8028، و(weighted F1) قدره 0.8003، و(macro F1) قدره 0.7276. كان أداؤه الأفضل في الفئة "الإيجابية" التي تمثل الأغلبية، لكنه عانى مع الفئة "المحايدة" الأقلية بسبب الغموض الدلالي وانخفاض عدد العينات.
• خط أساس MLP: حقق دقة أعلى (0.8451) و(weighted F1) قدره (0.8304) ولكنه لم يتفوق بشكل كبير على الانحدار اللوجستي في (macro F1) الذي بلغ (0.7263). يشير هذا إلى أنه بينما حسن النموذج العصبي الأداء في فئات الأغلبية، فإنه لم يحل مشكلة غموض الفئات الأقلية.
• Linear SVM: سجل أعلى أداء بين جميع النماذج المحفوظة (دقة 0.8521، وmacro F1 قدره 0.7553)، رغم أنه لم يتم اختياره كنموذج الإنتاج الأساسي.
• Random Forest: كان أداؤه أسوأ بكثير، لا سيما في (macro F1) الذي بلغ (0.4821)، مما يشير إلى انحياز نحو فئة الأغلبية.

الأهمية والادعاءات
تدعي الورقة بتواضع أنه بالنسبة لمجموعات بيانات المشاعر الإندونيسية المدمجة، يظل المسار الكلاسيكي المصمم بعناية خيارًا فعالًا ومفضلًا للغاية في بيئات الإنتاج. وتجادل الدراسة بأن الانحدار اللوجستي يقدم مقايضة عملية: فهو أسهل في التسلسل (serialization)، والتفسير، وإعادة التدريب من النماذج العصبية، بينما يقدم مخرجات احتمالية مستقرة.

خلص المؤلفون إلى أنه بينما توفر خطوط الأساس العصبية (وLinear SVM) إمكانات لتحقيق دقة أعلى، فإن المكاسب غالبًا ما تكون مدفوعة بأداء فئات الأغلبية بدلاً من حل التحدي الجوهري المتمثل في غموض الفئات الأقلية. لذلك، من الأفضل معاملة خط الأساس العصبي كتجربة مقارنة وليس كنموذج النشر الافتراضي. وتؤكد الدراسة أنه في البيئات منخفضة الموارد، غالبًا ما تكون جودة المعالجة المسبقة، وإعادة رسم خرائط التسميات، وموازنة الفئات أكثر أهمية من اختيار بنية نموذج معقدة. ويُقترح للعمل المستقبلي تضمين التحقق المتقاطع (cross-validation)، والتحليل النوعي للأخطاء، واختبار نماذج سياقية أقوى مثل IndoBERT، لكن العمل الحالي يؤسس لخط أساس قوي وقابل للتفسير.