From TF-IDF to Transformers: A Comparative and Ensemble Approach to Sentiment Classification

ملخص تقني: من TF-IDF إلى المحولات (Transformers): نهج مقارن وتجميعي لتصنيف المشاعر

بيان المشكلة
يهدف تحليل المشاعر، أو تنقيب الآراء، إلى استخراج الآراء الذاتية من البيانات النصية، مثل مراجعات الأفلام، لتصنيفها كإيجابية أو سلبية. وبينما تعد نماذج تعلم الآلة (ML) فعالة، إلا أنها غالباً ما تواجه صعوبة في تفسير السياق، والاستعارات، والتهكم، والنفي المعقد بدقة، لأنها تعتمد بشكل كبير على التمثيلات الإحصائية للكلمات بدلاً من الفهم الدلالي العميق. تعالج هذه الورقة تحدي تصنيف مراجعات أفلام IMDb من خلال مقارنة الأساليب الإحصائية التقليدية، وبنيات التعلم العميق، ونماذج المحولات الحديثة لتحديد النهج الأكثر كفاءة لتصنيف المشاعر المرن.

المنهجية
تستخدم الدراسة مجموعة بيانات IMDb، التي تضم 50,000 مراجعة فيلم متوازنة (25,000 إيجابية و25,000 سلبية). تتبع المنهجية مساراً هيكلياً:

1. المعالجة المسبقة: تخضع النصوص الخام لعمليات التطبيع (Normalization)، والتقطيع (Tokenization)، والجذر أو الرد إلى الأصل (Stemming/Lemelmatization). يتم تقسيم مجموعة البيانات إلى مجموعات تدريب واختبار.
2. هندسة الميزات:
   • النماذج التقليدية: يتم تحويل النص إلى ميزات عددية باستخدام تمثيل TF-IDF، مع قصرها على أكثر 10,000 كلمة معلوماتية بنطاق n-gram يتراوح بين 1-3. هذا يمنع تسرب البيانات (Data Leakage) عبر ضبط أداة التوجيه (Vectorizer) حصرياً على مجموعة التدريب.
   • نماذج المحولات (Transformers): تستخدم هذه النماذج تقطيع الكلمات الفرعية (Subword Tokenization) والتمثيلات السياقية (Contextual Embeddings) مباشرة من نماذج مدربة مسبقاً، مما يوفر تمثيلات دلالية ديناميكية مقارنة بميزات TF-IDF الثابتة.
3. تدريب النماذج: تم تقييم سبعة مصنفات متميزة:
   • تعلم الآلة التقليدي: الانحدار اللوجستي (Logistic Regression)، ونايف بايز متعدد الحدود (Multinomial Naïve Bayes)، وSVM الخطي (Linear SVM)، وLightGBM.
   • التعلم العميق: شبكة LSTM ثنائية الاتجاه (64 وحدة، مع مُحسن Adam).
   • المحولات (Transformers): نموذج DistilBERT ونموذج RoBERBA، تم ضبطهما بدقة (Fine-tuning) باستخدام إطار عمل Hugging Face مع معلمات محددة (مثل طول التسلسل 128، واضمحلال الوزن 0.01).
4. نهج التجميع (Ensemble Approach): تم بناء نموذج تجميع يعتمد على التصويت الناعم (Soft Voting) لدمج الاحتمالات المتوقعة لجميع النماذج السبعة. تم تخصيص وزن متساوٍ لكل نموذج ($w_i = 1/N$)، وتحدد التنبؤ النهائي بناءً على الفئة ذات متوسط درجة الاحتمالية الأعلى.
5. القابلية للتفسير: تم استخدام قيم SHAP (SHapley Additive exPlanations) لتوفير شفافية للنموذج. بالنسبة لنموذج SVM، كانت قيم SHAP تتوافق مع حاصل ضرب أوزان TF-IDF والمعاملات. أما بالنسبة للمحولات، فقد استُخدمت تقنيات قائمة على الاضطراب (Perturbation-based) لحساب نسب التخصيص على مستوى الرمز (Token-level).

المساهمات الرئيسية والنتائج
تقدم الورقة تحليلاً مقارناً لأداء النماذج بناءً على الدقة (Accuracy)، ومقياس F1-score، ومقياس ROC-AUC:

• التسلسل الهرمي للأداء: تفوقت نماذج المحولات (Transformers) على جميع الأساليب الأخرى. حقق نموذج RoBERTa أعلى أداء بـ 93.02% دقة وF1-score قدره 0.9302. وجاء بعده نموذج DistilBERT بفارق ضئيل (92.59% دقة). كما كانت النماذج التقليدية مثل SVM (89.61%) والانحدار اللوجستي (88.91%) بمثابة خطوط أساس قوية وقابلة للتفسير، لكنها تراجعت أمام النماذج السياقية.
• فعالية التجميع: أظهر نموذج التجميع بالتصويت الناعم، الذي جمع تنبؤات من جميع النماذج، أن دمج البنيات المتنوعة يحسن دقة التصنيف. قلل التجميع من التباين وتعامل مع الحالات الغامضة (مثل التهكم والنفي المعقد) بشكل أفضل من النماذج الفردية، مما حقق تحسناً بنسبة 1-3% في جميع المقاييس مقارنة بأفضل نموذج منفرد (RoBERba).
• تحليل الخطأ: حددت الدراسة أوضاع الفشل المحددة، بما في ذلك النفي المعقد (مثل "ليس بدون ميزة") والتهكم، والتي أدت إلى معدلات خطأ أعلى (تصل إلى 18.9% للتهكم). وقد قلل نهج التجميع بشكل ملحوظ من معدلات التصنيف الخاطئ للمراجعات الساخرة بنسبة تقارب 23%.
• رؤى الاستئصال (Ablation Insights): قامت الدراسة بقياس تأثير مكونات محددة، حيث وجدت أن التعامل مع النفي حسن درجات F1 بنسبة 3.2-4.1% للنماذج التقليدية، كما ساهمت عملية القناع الديناميكي (Dynamic Masking) أثناء الضبط الدقيق لنموذج RoBERTa في زيادة قدرها 2.1% في الدقة.

الأهمية والادعاءات
تخلص الورقة إلى أنه بينما تعد نماذج المحولات (خاصة RoBERTa وDistilBERT) متفوقة في التقاط التبعيات السياقية والفروق الدلالية الدقيقة في مهام تحليل المشاعر المعقدة، فإن الطرق التقليدية تظل ذات قيمة. ويُسلط الضوء على نموذج SVM مع ميزات TF-IDF كخط أساس فعال حاسوبياً وقابل للتفسير، ويُقدم DistilBERT كبديل قابل للتطبيق عندما تكون الموارد الحسابية محدودة.

تكمن الأهمية الأساسية لهذا العمل في إثبات أن تجميع النماذج (Model Ensembling) يستفيد بفعالية من نقاط القوة المتكاملة للبنيات المتنوعة (المعجمية، والتسلسلية، والسياقية) للتخفيف من انحيازات النماذج الفردية وتحسين المتانة الإجمالية. ويؤكد المؤلفون أنه بينما تعد المحولات هي الأنسب للمهام المعقدة، فإن النهج الهجين الذي يجمع بين كفاءة الطرق التقلية وقوة التعلم العميق يقدم حلاً شاملاً لتصنيف المشاعر.