💻 computer science

Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

تقارن هذه الورقة البحثية بين نماذج تعلم الآلة التقليدية ونماذج التعلم العميق من نوع (BiLSTM) على 70,155 مراجعة نظيفة من منصة سبوتيفاي باللغة الإندونيسية، حيث وجدت أنه بينما يحقق نموذج (BiLSTM) أعلى درجة إجمالية لـ (weighted F1-score)، فإن أشجار القرار (Decision Trees) المقترنة بتقنية (SMOTE) تقدم أداءً متوازناً متفوقاً عبر فئات المشاعر الثلاث، لا سيما بالنسبة لفئة المحايد التي تمثل الأقلية.

المؤلفون الأصليون: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مالك لتطبيق بث موسيقي ضخم، سبوتيفاي (Spotify)، ولديك جبل من 100,000 رسالة من مستخدميك في إندونيسيا. بعضها رسائل حب ("إيجابي")، وبعضها تذمر غاضب ("سلبي")، وبعضها مجرد تجاهل أو شكاوى لا تندرج تماماً تحت أي منهما ("محايد"). هدفك هو بناء روبوت يمكنه قراءة هذه الرسائل وفرزها في الأكوام الصحيحة تلقائياً.

هذه الورقة البحثية هي بمثابة تقرير درجات لـ "سباق" بين نوعين مختلفين من الروبوتات التي تحاول القيام بمهمة الفرز هذه.

المتنافسان

فريق "الكلاسيكي" (تعلم الآلة): فكر في هؤلاء كأنهم ثلاثة أمناء مكتبة أذكياء وذوي خبرة (آلة متجه الدعم، ونايف بايز متعدد الحدود، وشجرة القرار). هم جيدون في النظر إلى الكلمات الفردية وعدّ عدد مرات ظهورها. إنهم سريعون، وفعالون، ولا يحتاجون إلى حاسوب خارق للعمل.
فريق "التعلم العميق" (BiLSTM): هذا الروبوت عبارة عن روبوت واحد متطور للغاية مبني بشبكة عصبية (الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه). تخيل هذا الروبوت كمحقق لا ينظر فقط إلى الكلمات، بل يحاول فهم "القصة" و"تدفق" الجملة، حيث يقرأ من اليسار إلى اليمين ومن اليمين إلى اليسار ليدرك السياق الكامل.

الإعداد: سباق بمسارات غير متساوية

وضع الباحثون السباق، ولكن كان هناك عقبة: ملاعب السباق لم تكن متساوية الحجم تماماً.

طاقم التنظيف: قبل السباق، تم تنظيف جميع الرسائل. تم إصلاح الكلمات العامية (تغيير "gak" إلى "tidak")، وإزالة الأخطاء المطبعية، وحذف الكلمات غير الضرورية. كان هذا هو نفسه للجميع.
مسار الفريق الكلاسيكي: حصل الأمناء الثلاثة على فرصة لقراءة جميع الـ +70,000 رسالة المنظفة. كان لديهم مجموعة البيانات الكاملة للتعلم منها.
مسار روبوت التعلم العميق: سُمح للروبوت المتطور فقط بقراءة عينة أصغر قدرها 20,000 رسالة. لماذا؟ لأن الباحثين كانوا يعملون على حاسوب قياسي (CPU) بدون بطاقة رسومات قوية. تدريب هذا الروبوت الكبير على جبل البيانات الكامل سيستغرق وقتاً طويلاً جداً، لذا أعطوه شريحة أصغر وتمثيلية.

النتائج: من فاز؟

1. أداء الفريق الكلاسيكي
من بين الأمناء الثلاثة، كانت شجرة القرار (Decision Tree) هي الفائزة بوضوح.

كيف عملت: قامت ببناء مخطط انسيابي من القواعد لفرز الرسائل.
الدرجة: حصلت على "درجة F1 الموزونة" بلغت 0.727.
العقبة: كانت جيدة جداً في فرز الأكوام الثلاثة (الإيجابية، والسلبية، والمحايدة) بشكل متساوٍ تماماً. لم تتجاهل الرسائل "المحايدة".

2. أداء روبوت التعلم العميق (BiLSTM)
كان روبوت BiLSTM قوة ضاربة، لكن كان لديه نقطة عمياء.

الدرجة: حقق درجة إجمالية أعلى بلغت 0.807.
المشكلة: كان مذهلاً في رصد الرسائل "الإيجابية" و"السلبية"، لكنه فشل تماماً في الفئة "المحايدة". لقد حصل على درجة 0.000 للمحايد. لقد تجاهل ذلك الكومة تماماً، ويرجح أن السبب هو وجود عدد قليل جداً من الرسائل المحايدة في عينة التدريب الخاصة به مقارنة بالآخرين.

الخلاصة الكبرى: المقايضة

تخلص الورقة البحثية إلى تشبيه بسيط:

إذا كنت تريد أفضل دقة إجمالية لمعرفة ما إذا كان التقييم سعيداً أو حزيناً بشكل عام، فإن روبوت التعلم العميق (BiLSTM) هو الخيار الأفضل. إنه يشبه السيارة الرياضية التي سريعة للغاية في الطريق المستقيم ولكنها لا تستطيع التعامل مع المنعطفات الحادة.
إذا كنت بحاجة إلى الإنصاف لجميع الفئات الثلاث (بما في ذلك الفئات "المحايدة" الصعبة والهادئة)، فإن شجرة القرار الكلاسيكية هي الخيار الأفضل. إنها تشبه سيارة الدفع الرباعي الموثوقة؛ ليست الأسرع، لكنها تتعامل مع جميع أنواع التضاريس ولا تترك أي ركاب خلفها.

لماذا حدث هذا؟

مشكلة "المحايد": كانت المراجعات "المحايدة" هي الأقلية (حوالي 6% فقط من البيانات). تعلم روبوت التعلم العميق، الذي تم تدريبه على عينة صغيرة دون مساعدة خاصة، تجاهل المجموعة الأقلية لرفع درجته الإجمالية إلى أقصى حد. أما الفريق الكلاسيكي فقد استخدم تقنية SMOTE (والتي تشبه إنشاء المزيد من الأمثلة "المحايدة" اصطناعياً ليدرسها الروبوت)، مما ساعدهم على معاملة جميع المجموعات بإنصاف.
فجوة البيانات: تعلم روبوت التعلم العميق من أمثلة أقل (14,000 مقابل 70,000). ومع ذلك، حتى مع وجود أمثلة أقل، فقد تفوق على النماذج الكلاسيكية في تقسيم "الإيجابي/السلبي"، مما يشير إلى أن فهم تسلسل الكلمات قوي جداً للمراجعات الإندونيسية القصيرة.

النتيجة النهائية

لم يكتفِ الباحثون بالأرقام فحسب؛ بل وضعوا كلا الروبوتين عبر الإنترنت ليتمكن أي شخص من اختبارهما. وجدوا أنه بينما يعد نموذج التعلم العميق المتطور أكثر قوة بشكل عام، فإن نموذج تعلم الآلة الأبسط هو الأكثر توازناً وموثوقية عندما تحتاج إلى التقاط جميع أنواع المراجعات، وليس فقط المراجعات الصاخبة.

باخت باختصار: الروبوت المتطور أسرع وأقوى، لكن المكتبي البسيط أكثر إنصافاً للأصوات الهادئة في الحشد.

ملخص تقني: تحليل المشاعر لمراجعات تطبيق سبوتيفاي باللغة الإندونيسية باستخدام تعلم الآلة وBiLSTM

بيان المشكلة
تتناول هذه الدراسة تحدي تحليل المشاعر للنصوص الإندونيسية المستخرجة من مراجعات المستخدمين لتطبيق سبوتيفاي (Spotify) على متجر جوجل بلاي (Google Play Store). تزداد المهمة تعقيداً بسبب الطبيعة غير الرسمية للغة، والتي تتضمن تهجئة غير متسقة، واستخداماً مكثفاً للغة العامية، وتنوعات صرفية. يهدف المؤلفون إلى قياس أداء مصنفات تعلم الآلة الكلاسيكية (ML) مقابل نهج التعلم العميق (BiLSTM - الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه) لمهمة تصنيف المشاعر المكونة من ثلاث فئات (سلبية، محايدة، إيجابية). ومن القيود المحددة لهذه الدراسة بيئة التقييم: إعداد يعتمد على وحدة المعالجة المركزية (CPU) فقط، مما يستلزم استخدام أحجام مختلفة من بيانات التدريب لكلا النهجين.

المنهجية
تعتمد الدراسة تصميماً تجريبياً ذا مسارين، حيث يتشارك المساران في خط معالجة مسبقة متطابق، لكنهما يختلفان في بنية النموذج وحجم بيانات التدريب.

مجموعة البيانات: تتكون مجموعة البيانات الخام من 100,000 مراجعة تم جمعها (scraped). بعد عملية التنظيف (إزالة المراجعات المكررة، والمراجعات الفارغة، والعناصر غير النصية)، تبقى 70,155 عينة. تم اشتقاق الملصقات (labels) من تقييمات النجوم: 1-2 نجمة (سلبية)، 3 نجوم (محايدة)، و4-5 نجوات (إيجابية). تعاني مجموعة البيانات من عدم توازن شديد، حيث تشكل المراجعات الإيجابية 68.4%، والسلبية 25.7%، بينما تشكل المحايدة 5.9% فقط.
خط المعالجة المسبقة (Preprocessing Pipeline): يتم تطبيق خط معالجة موحد على جميع النصوص، يشمل:
1. تحويل الحروف إلى حالة صغرى (Lowercasing).
2. إزالة الضجيج (الروابط، الإشارات/mentions، علامات الترقيم، الأرقام).
3. تطبيع العامية (تحويل 124 شكلاً غير رسمي إلى اللغة الإندونيسية القياسية).
4. إزالة كلمات التوقف (809 مصطلحاً عاماً ومصطلحات خاصة بالمجال).
5. التجذير الصرفي (Morphological stemming) باستخدام Sastrawi.
  النتيجة: متوسط طول المراجعة بعد المعالجة هو 4 رموز (tokens)، مع مئوي 95 يبلغ 17 رمزاً.
مسار تعلم الآلة (Machine Learning Track):
- البيانات: تم التدريب على كامل الـ 70,155 عينة المنظفة.
- الميزات: تمثيل متجه TF-IDF (بحد أقصى 3,000 ميزة).
- المصنفات: آلة دعم المتجهات (SVM)، ونايف بايز متعدد الحدود (MNB)، وشجرة القرار (DT).
- التقنية: تحقق تبادلي خماسي الطبقات (Stratified 5-fold cross-validation). ولمعالجة عدم توازن الفئات، تم تطبيق تقنية SMOTE (تقنية الإفراط في أخذ العينات الاصطناعية للأقلية) ضمن كل طبقة تدريبية.
- التقييم: تشمل المقاييس الدقة (Accuracy)، والمساحة تحت المنحنى (AUC)، والدقة (Precision)، والاستدعاء (Recall)، ودرجة F1 (الموزونة والكلية/macro)، ومعامل كوهنز كابا (Cohen's Kappa).
مسار التعلم العميق (Deep Learning Track):
- البيانات: نظراً لقيود وحدة المعالجة المركزية (CPU)، تم تدريب نموذج BiLSTM على عينة طبقية مكونة من 20,000 عينة (14,219 للتدريب، 2,510 للتحقق، 2,953 للاختبار).
- البنية: نموذج BiLSTM ثنائي الطبقات مع تضمينات (embeddings) بأبعاد 128، و128 وحدة مخفية لكل اتجاه، ورأس تصنيف متصل بالكامل. إجمالي المعلمات: حوالي 1.1 مليون معلمة.
- التدريب: مُحسن Adam، معدل تعلم $10^{-3}$ ، حجم الدفعة (batch size) 64، ودالة خسارة Cross-Entropy غير موزونة. تم استخدام التوقف المبكر (early stopping) (أفضل نقطة تفتيش عند الحقبة/epoch 3).
- التقييم: تم التقييم على مجموعة اختبار مستقلة باستخدام نفس مقاييس مسار تعلم الآلة.

المساهمات الرئيسية

المعالجة المسبقة الموحدة: إنشاء خط معالجة مسبقة مشترك لكلا مساري تعلم الآلة والتعلم العميق، مما يضمن أن الاختلافات في الأداء تعزى إلى بنية النموذج وليس إلى اختلافات تنظيف البيانات.
المقارنة المرجعية (Benchmarking): إجراء تحليل مقارن لثلاثة مصنفات كلاسيكية من مكتبة Scikit-learn (SVM، MNB، DT) مقابل نموذج BiLSTM مدمج على مراجعات تطبيقات إندونيسية واسعة النطاق.
الشفافية وقابلية التكرار: يوفر المؤلفون مساحات Hugging Face عامة لكل من نماذج تعلم الآلة والتعلم العميق، مما يسمح بالفحص المباشر لسلوك النموذج.
تحليل عدم التوازن: فحص تفصيلي لكيفية تأثير عدم توازن الفئات على أداء النموذج، وتحديداً تسليط الضوء على فشل نموذج BiLSTM غير الموزون في فئة "المحايد" مقارنة بمسار تعلم الآلة الذي يستخدم SMOTE.

النتائج

أداء تعلم الآلة:
- برزت شجرة القرار (Decision Tree) كأقوى نموذج كلاسيكي، حيث حققت درجة F1 موزونة قدرها 0.7269 ودقة بلغت 0.7286 في التحقق التبادلي خماسي الطبقات.
- تلتها SVM بدرجة F1 موزونة بلغت 0.6958، بينما كان أداء Multinomial Naive Bayes أقل بكثير (0.4619).
- حافظت شجرة القرار على أداء متوازن عبر الفئات الثلاث، حيث سجلت أدنى درجة F1 للفئة المحايدة (0.717) ولكنها ظلت فعالة.
أداء التعلم العميق:
- حقق نموذج BiLSTM درجة F1 موزونة أعلى بلغت 0.8069 ودقة بلغت 0.8314 في مجموعة الاختبار المستقلة.
- ومع ذلك، انخفضت درجة F1 الكلية (Macro F1) إلى 0.5478.
- التفصيل حسب الفئة: قدم النموذج أداءً استثنائياً في المراجعات الإيجابية (F1 0.9028) وأداءً معقولاً في المراجعات السلبية (F1 0.7406). والأهم من ذلك، أنه فشل تماماً في الفئة المحايدة، حيث حقق درجة F1 قدرها 0.0000 (صفر توقعات صحيحة من أصل 176 عينة).
التحليل المقارن:
- بينما تفوق BiLSTM على نماذج تعلم الآلة في المقاييس الموزونة (الأداء العام)، فإن هذا التفوق يتقلص بحقيقة أنه تم تدريبه على عينات أقل بكثير (14,219 مقابل 70,155) وافتقر إلى تقنيات موازنة الفئات.
- وفر نهج تعلم الآلة (شجرة القرار + SMOTE) تعرّفًا أكثر قوة وتوازناً عبر الفئات الثلاث، بينما مال BiLSTM نحو الفئات الأكثر هيمنة.

الأهمية والادعاءات
تزعم الورقة أنه بينما يمكن لنماذج التعلم العميق مثل BiLSTM أن توفر أداءً موزوناً متفوقاً في اكتشاف المشاعر للنصوص الإندونيسية القصيرة وغير الرسمية، إلا أنها معرضة بشدة لمشكلات عدم توازن الفئات عندما تُدرب بدون استراتيجيات تخفيف محددة (مثل وزن الفئات أو الإفراط في أخذ العينات).

خلص المؤلفون إلى أن اختيار النموذج يعتمد على هدف التطبيق المحدد:

يُفضل BiLSTM عندما يكون الهدف الأساسي هو التمييز الدقيق بين المشاعر الإيجابية والسلبية المهيمنة.
يعد تعلم الآلة (تحديداً شجرة القرار مع SMOTE) أكثر ملاءمة عندما يكون المطلوب هو التعرّف المتوازن عبر الفئات الثلاث، بما في ذلك الفئة المحايدة الأقلية.

تقر الدراسة بمحدوديتها، مشيرة إلى عدم التماثل في أحجام بيانات التدريب بين المسارين وغياب التضمينات (embeddings) الإندونيسية سابقة التدريب أو النماذج القائمة على المحولات (transformers). ويُقترح للعمل المستقبلي تدريب BiLSTM على كامل المجموعة، وتطبيق موازنة الفئات في مسار التعلم العميق، واستكشاف بنيات المحولات (transformer architectures).