A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

ملخص تقني: تحليل مقارن لنماذج تعلم الآلة والتعلم العميق لتصنيف مشاعر التغريدات

بيان المشكلة
أدى النمو الهائل لوسائل التواصل الاجتماعي، ولا سيالاً منصة تويتر (X)، إلى توليد كميات هائلة من النصوص غير المهيكلة وغير الرسمية التي تتميز باستخدام العامية، والاختصارات، والسخرية الضمنية. وبينما يعد تحليل المشاعر المؤتمت أمراً ضرورياً لمراقبة الرأي العام في الوقت الفعلي، إلا أن هناك جدلاً مستمراً حول مدى فعالية نماذج التعلم العميق (DL) المعقدة مقابل نهج تعلم الآلة (ML) التقليدي عند تطبيقها على مجموعات بيانات محدودة أو متوسطة الحجم. فغالباً ما تتطلب نماذج التعلم العميق أحجام بيانات ضخمة لتحسين ملايين المعلمات (parameters) دون الوقوع في فخ الإفراط في التخصيص (overfitting)، بينما تعتمد النماذج التقليدية على استخراج الميزات القوي. تعالج هذه الدراسة التساؤل عما إذا كان هيكل "الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه" (BiLSTM) المتطور يمكنه التفوق على نموذج "الانحدار اللوجستي" (Logistic Regression) الكلاسيكي عند تدريبه على مجموعة فرعية محدودة من بيانات التغريدات غير الرسمية.

المنهجية
استخدم البحث مجموعة فرعية مكونة من 10,000 تغريدة من مجموعة بيانات Sentiment140 العامة، والتي تحتوي أصلاً على 1.6 مليون تغريدة تم تصنيفها عبر الإشراف عن بُعد. كانت مجموعة البيانات ثنائية التصنيف بدقة (الفئة 0: سلبي، الفئة 1: إيجابي).

قام البحث بتنفيذ خط معالجة كامل لمعالجة اللغات الطبيعية (NLP) يقارن بين بنيتين مختلفتين:

1. المعالجة المسبقة للبيانات: تم تطبيق خط معالجة صارم على جميع النصوص، شمل ذلك توحيد حالة الأحرف، وتنظيف البيانات (إزالة الروابط، والإشارات @mentions، والوسوم #hashtags، والرموز غير الأسكي)، والتقطيع (tokenization)، والحشو/القص (padding/truncation) إلى طول تسلسل أقصى قدره 50 رمزاً. وقد تم إنشاء مفردات تضم 4,425 رمزاً فريداً.
2. النموذج المرجعي (تعلم الآلة): تم تدريب مصنف الانحدار اللوجستي باستخدام تمثيل TF-IDF (تردد المصطلح - عكس تردد المستند). حُسبت أوزان TF-IDF لإبراز الكلمات النادرة عالمياً ولكنها متكررة في مستندات محددة، مما خلق ناقلات (vectors) عالية الأبعاد ومتفرقة مناسبة للتصنيف الخطي.
3. نموذج التعلم العميق: تم بناء بنية BiLSTM (الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه) باستخدام مكتبة PyTorch. وشملت الإعدادات الرئيسية ما يلي:
   • أبعاد التضمين (Embedding dimension): 128
   • البعد الخفي (Hidden dimension): 128
   • عدد الطبقات: 2 (ثنائية الاتجاه)
   • احتمالية الإسقاط (Dropout probability): 0.3
   • المُحسِّن (Optimizer): Adam مع دالة خسارة التقاطع الثنائي (Binary Cross-Entropy)
   • مدة التدريب: 6 دورات (epochs) بحجم دفعة (batch size) قدره 64.
4. التقييم: تم تقييم النماذج باستخدام الدقة (Accuracy)، والدقة المحددة (Precision)، والاستدعاء (Recall)، ومقياس F1 (F1-Score). كما تم تحليل منحنيات التعلم لتشخيص قدرات التعميم وتشخيص الإفراط في التخصيص.
5. النشر: تم دمج كلا النموذجين في تطبيق ويب تفاعلي باستخدام Streamlit واستضافته على Hugging Face Spaces لإظهار الجاهزية للإنتاج.

النتائج الرئيسية
أشارت النتائج التجريبية إلى أن نهج تعلم الآلة التقليدي قد تفوق على نهج التعلم العميق في هذه المجموعة من البيانات تحديداً:

• الانحدار اللوجستي (TF-IDF): حقق دقة بلغت 73.5%. وأظهر النموذج استقراراً في التعميم، حيث تقلصت الفجوة بين دقة التدريب ودقة التحقق مع زيادة حجم عينة التدريب.
• BiLSTM: حقق دقة بلغت 69.17%. وأظهر النموذج علامات واضحة على الإفراط في التخصيص (overfitting). فبينما ارتفعت دقة التدريب بشكل حاد لتصل إلى ما يقرب من 95% بحلول الدورة الأخيرة، استقرت دقة التحقق عند حوالي 70% بعد الدورة الثانية.

تحليل منحنى التعلم
سلطت الدراسة الضوء على تباين حرج في ديناميكيات التعلم:

• أظهر نموذج الانحدار اللوجستي تقارباً صحياً، حيث أدى زيادة حجم البيانات إلى تحسين أداء التحقق، مما يشير إلى نجاحه في تعلم الحدود القرارية الخطية في الفضاء الدلالي المتفرق.
• وعلى العكس من ذلك، فشل نموذج BiLSTM في التعميم بسبب ندرة البيانات. فقد تسبب الفضاء الهائل للمعلمات (أكثر من 1.2 مليون معلمة قابلة للتدريب) بالنسبة لمجموعة بيانات مكونة من 10,000 عينة في جعل الشبكة تحفظ الضوضاء والخصائص الفريدة بدلاً من استخراج القواعد اللغوية العامة.

الأهمية والادعاءات
تزعم الورقة أنه بالنسبة للنصوص غير الرسمية ذات الحجم المتوسط، يمكن لتعلم الآلة الكلاسيكي مع استخراج الميزات القوي (TF-IDF) أن يحقق نتائج متفوقة على بنيات التعلم العميق المعقدة. وتتحدى النتائج الافتراض القائل بأن الخوارزميات الأكثر تعقيداً تضمن دائماً أداءً أفضل، خاصة عندما تكون البيانات محدودة.

تخلص الدراسة إلى أن الميزة النظرية لنموذج BiLSTM في التقاط السياق التسلسلي قد طغت عليها "فخ الذاكرة" الناجم عن حجم مجموعة البيانات المحدود. وقد نجحت الدراسة في سد الفجوة بين علوم البيانات النظرية والهندسة العملية من خلال نشر كلا النموذجين في واجهات ويب وظيفية وسهلة الوصول، مما يثبت جدواها التشغيلية رغم تفاوت الأداء.

التوجهات المستقبلية
يقترح المؤلفون بتواضع أن توسيع نطاق التدريب ليشمل الـ 1.6 مليون عينة كاملة من مجموعة بيانات Sentiment140 من شأنه أن يسمح لنموذج BiLSTM بالتفوق على الخط المرجعي الخطي. بالإضافة إلى ذلك، يقترحون أن دمج التضمينات السياقية مسبقة التدريب (مثل Word2Vec أو GloBe) أو الانتقال إلى بنيات قائمة على المحولات (Transformers) مثل BERT، يمكن أن يعزز الفهم الدلالي للتغريدات الساخرة أو الضمنية في النسخ المستقبلية.