Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

ملخص تقني: قياس أداء الانحدار اللوجستي، وآلات ناقلات الدعم (SVM)، ونايف بايز (Naive Bayes)، ونموذج IndoBERT لتحليل المشاعر في اللغة الإندونيسية

بيان المشكلة
أدى التوسع السريع للتجارة الإلكترونية في إندونيسيا إلى توليد حجم هائل من المراجعات غير المهيكلة التي يكتبها المستخدمون للمنتجات. ويعد تحليل مشاعر هذه المراجعات أمراً حاسماً لتقييم رضا العملاء وتحديد مشكلات المنتجات على نطاق واسع. ومع ذلك، تفرض النصوص الإندونيسية تحديات فريدة، بما في ذلك التهجئة غير الرسمية، واللغة العامية، وعلامات الترقيم غير المتسقة، والتعبيرات السياقية. علاوة على ذلك، تظهر بيانات الأسواق الحقيقية خللاً شديداً في توازن الفئات، حيث تفوق المراجعات الإيجابية المراجعات المحايدة والسلبية بشكل كبير. هذا الاختلال يعقد تدريب النماذج، مما يؤدي غالباً إلى مقاييس دقة عالية تخفي الأداء الضعيف في الفئات الأقلية. وتتمثل المشكلة الجوهرية المعالجة في تحديد ما إذا كانت مناهج تعلم الآلة (ML) التقليدية، التي تتميز بكفاءتها الحسابية، يمكنها التفوق على أو مضاهاة نماذج التعلم العميق القائمة على المحولات (Transformers) الحديثة (تحديداً IndoBERT) في هذا السياق المليء بالضجيج، وغير المتوازن، والمتخصص في المجال.

المنهجية
تنفذ الدراسة إطار عمل للمقارنة المرجعية باستخدام مجموعة بيانات Tokopedia Product Reviews 2025، والتي تحتوي على عشرات الآلاف من المراجعات القصيرة والمشوشة المصنفة إلى ثلاث فئات: positif (إيجابي)، netral (محايد)، و negatif (سلبي).

1. خط معالجة البيانات (Preprocessing Pipeline): تم تطوير خط معالجة قوي لتنظيف لغة التجارة الإلكترونية الإندونتسية. شملت الخطوات تحويل النص إلى أحرف صغيرة، وإزالة الروابط (URLs) والرموز غير الأبجدية الرقمية (بما في ذلك الرموز التعبيرية)، وتطبيع المسافات البيضاء، وتعيين التسميات غير المتجانسة إلى فئات معيارية.
2. النماذج المرجعية (تعلم الآلة التقليدي): تم تنفيذ ثلاث خوارزميات باستخدام استخراج الميزات TF-IDF مع الـ unigrams والـ bigrams ($ngram\_range=(1,2)$). تم وضع سقف للمفردات عند 50,000 ميزة. شملت النماذج:
   • الانحدار اللوجستي (Logistic Regression).
   • آلة ناقلات الدعم الخطية (Linear SVC).
   • نايف بايس متعدد الحدود (Multinomial Naive Bayes).
   • التعامل مع عدم التوازن: استخدمت النماذج الخطية التمييزية خاصية class_weight="balanced" لمعاقبة الأخطاء في الفئات الأقلية.
3. نموذج التعلم العميق (IndoBERT): قامت الدراسة بضبط نموذج indobenchmark/indobert-base-p1 بدقة.
   • البنية: مشفر محول (Transformer encoder) يليه رأس تصنيف تسلسلي، يعالج المدخلات حتى 256 رمزاً (token).
   • التعامل مع عدم التوازن: تم هندسة دالة فقدان "التقاطع المتعرج الموزون" (weighted cross-entropy loss) مخصصة، حيث تتناسب أوزان الفئات ($W_c$) عكسياً مع تكرار الفئة ($W_c = \frac{N}{C \times n_c}$).
   • التدريب: تم تدريب النموذج على 3 حقبات (epochs) بحجم دفعة (batch size) قدره 16، ومعدل تعلم $2 \times 10^{-5}$، ونسبة إحماء (warmup ratio) بلغت 0.1.
4. التباين المنهجي: ملاحظة منهجية حرجة هي الاختلاف في أنظمة البيانات. تم تدريب النماذج المرجعية على مجموعة البيانات الكاملة (65,335 سجلاً)، بينما تم تقييد نموذج IndoBERT بـ مجموعة فرعية طبقية (~1,800 سجل تدريبي) بسبب القيود الحسابية.

المساهمات الرئيسية
تفصل الورقة خمس مساهمات محددة:

1. خط معالجة بيانات مصمم عبر التعبيرات النمطية (regular expressions) لنصوص التجارة الإلكترونية الإندونتسية المشوشة.
2. مقارنة مرجعية شاملة لنماذج TF-IDF الأساسية (الانحدار اللوجستي، LinearSVC، ونايف بايز).
3. تنفيذ مفصل لضبط نموذج IndoBERT مع فقدان موزون محسوب ديناميكياً لمعالجة عدم توازن الفئات.
4. تحليل كمي متعمق يقارن الأداء الإجمالي مقابل المقاييس الحساسة للفئات.
5. استراتيجية نشر قابلة لإعادة الإنتاج باستخدام Gradio على Hugging Face Spaces.

النتائج
استخدم التقييم مقاييس الدقة (Accuracy)، ودرجة F1 الكلية (Macro F1-score)، ودرجة F1 الموزونة (Weighted F1-score). وخلافاً للتوقعات بأن نماذج التعلم العميق ستتفوق على الطرق التقليدية، أظهرت النتائج أن Linear SVC تفوق بشكل كبير على نموذج IndoBERT الذي تم ضبطه بدقة في هذا الإعداد التجريبي المحدد.

• Linear SVC: حقق 97.60% دقة و 0.5510 درجة Macro F1.
• IndoBERT: حقق 88.70% دقة و 0.5088 درجة Macro F1.
• النماذج المرجعية الأخرى: حقق الانحدار اللوجستي (94.36% دقة، 0.5164 Macro F1) ونايف بايز (97.50% دقة، 0.3290 Macro F1) أداءً قوياً أيضاً، رغم أن نايف بايز عانى بشكل كبير من التعرف على الفئات الأقلية.

كشف التحليل أنه بينما حققت النماذج المرجعية دقة إجمالية عالية، إلا أنها لا تزال تواجه صعوبة في الفئتين netral و negatif، وغالباً ما تخلط بينهما وبين الفئة المهيمنة positif. ومع ذلك، يُعزى فجوة الأداء بين النماذج المرجعية و IndoBERT أساساً إلى نظام أخذ العينات من البيانات: حيث استخدمت النماذج المرجعية المجموعة الكاملة، بينما تم تقييد نموذج المحولات (Transformer) بمجموعة فرعية صغيرة، مما منعه من الاستفادة الكاملة من قدراته في النمذجة السياقية.

الأهمية والادعاءات
تدعي الورقة أنه بالنسبة لتحليل المشاعر في اللغة الإندونتسية لمراجعات التجارة الإلكترونية، فإن مناهج تعلم الآلة التقليدية (تحديداً TF-IDF مع Linear SVC) تظل فعالة وقوية للغاية، وغالباً ما تتفوق على نماذج المحولات (Transformers) المتطورة عندما تحد القيود الحسابية من بيانات التدريب الخاصة بالأخيرة.

يؤكد المؤلفون أن "ميزة المحولات" ليست تلقائية؛ فهي تعتمد بشدة على حجم البيانات، وتوازن الفئات، وإعدادات التقييم العادلة. وتخلص الدراسة إلى أنه بينما يوفر IndoBERT نمذجة سياقية نظرية متفوقة، إلا أن أداءه التجريبي في هذه الدراسة كان مقيداً بالمجموعة الفرعية المحدودة للتدريب. وبناءً على ذلك، يُقدم TF-IDF مع Linear SVC كحل قابل للتطبيق للغاية للتطبيقات التي تعطي الأولوية للسرعة والأداء المرجعي القوي. وتدعو الورقة إلى إجراء بحوث مستقبلية لضمان مقارنات عادلة من خلال تدريب جميع النماذج على تقسيمات بيانات ضخمة متطابقة واستخدام استراتيجيات متقدمة تراعي عدم التوازن لتحسين التعرف على الفئات الأقلية.