💻 computer science

Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Ce papier évalue les performances des modèles d'apprentissage automatique classiques et des modèles d'apprentissage profond BiLSTM sur 70 155 avis Spotify indonésiens nettoyés, révélant que si le BiLSTM obtient le meilleur score F1 pondéré global, les arbres de décision combinés à SMOTE offrent des performances équilibrées supérieures pour les trois classes de sentiments, en particulier pour la catégorie neutre minoritaire.

Auteurs originaux : Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le propriétaire d'une application de streaming musical massive, Spotify, et que vous avez une montagne de 100 000 lettres provenant de vos utilisateurs indonésiens. Certaines sont des lettres d'amour (« Positif »), d'autres des colères (« Négatif »), et certaines ne sont que des haussements d'épaules ou des plaintes qui ne correspondent tout simplement à aucune des deux catégories (« Neutre »). Votre objectif est de construire un robot capable de lire ces lettres et de les trier automatiquement dans les bons tas.

Ce document est un bulletin de notes d'une « course » entre deux types de robots différents tentant d'effectuer ce travail de tri.

Les Deux Contendants

L'équipe « Classique » (Machine Learning) : Imaginez-les comme trois bibliothécaires très intelligents et expérimentés (Machine à Vecteurs de Support, Naïve Bayes Multinomiale et Arbre de Décision). Ils sont bons pour examiner les mots individuels et compter leur fréquence d'apparition. Ils sont rapides, efficaces et n'ont pas besoin d'un superordinateur pour fonctionner.
L'équipe « Deep Learning » (BiLSTM) : Il s'agit d'un seul robot hautement sophistiqué construit avec un réseau de neurones (Mémoire à Court et Long Terme Bidirectionnelle). Imaginez ce robot comme un détective qui ne se contente pas de regarder les mots, mais qui tente de comprendre l'histoire et le flux de la phrase, en lisant de gauche à droite et de droite à gauche pour saisir le contexte complet.

Le Déroulement : Une Course sur des Pistes Inégales

Les chercheurs ont organisé la course, mais il y avait un piège : Les terrains de jeu n'étaient pas exactement de la même taille.

L'équipe de Nettoyage : Avant la course, toutes les lettres ont été nettoyées. L'argot a été corrigé (remplacer « gak » par « tidak »), les fautes de frappe ont été supprimées et les mots inutiles ont été effacés. Cela a été identique pour tout le monde.
La piste de l'équipe Classique : Les trois bibliothécaires ont pu lire plus de 70 000 lettres nettoyées. Ils avaient l'ensemble complet des données pour apprendre.
La piste du robot Deep Learning : Le robot sophistiqué n'a eu le droit de lire qu'un échantillon plus réduit de 20 000 lettres. Pourquoi ? Parce que les chercheurs travaillaient sur un ordinateur standard (CPU) sans carte graphique puissante. Entraîner le gros robot sur toute la montagne de données aurait pris une éternité, ils lui ont donc donné une tranche plus petite et représentative.

Les Résultats : Qui a gagné ?

1. La performance de l'équipe Classique
Parmi les trois bibliothécaires, l'Arbre de Décision était le gagnant clair.

Comment cela a fonctionné : Il a construit un organigramme de règles pour trier les lettres.
Le Score : Il a obtenu un « Score F1 pondéré » de 0,727.
Le Piège : Il était assez bon pour trier les trois tas (Positif, Négatif et Neutre) de manière assez équilibrée. Il n'a pas ignoré les lettres « Neutres ».

2. La performance du robot Deep Learning
Le robot BiLSTM était une puissance, mais il avait un angle mort.

Le Score : Il a obtenu un score global plus élevé de 0,807.
Le Problème : Il était incroyable pour repérer les lettres « Positives » et « Négatives », mais il a totalement échoué dans la catégorie « Neutre ». Il a obtenu un score de 0,000 pour Neutre. Il a essentiellement ignoré ce tas en entier, probablement parce qu'il y avait si peu de lettres Neutres dans sa tranche d'entraînement par rapport aux autres.

La Grande Conclusion : Le Compromis

Le document conclut par une analogie simple :

Si vous voulez la meilleure précision globale pour déterminer si un avis est généralement heureux ou triste, le Robot Deep Learning (BiLSTM) est le meilleur choix. C'est comme une voiture de sport incroyablement rapide sur une route droite mais incapable de négocier un virage serré.
Si vous devez être équitable envers les trois catégories (y compris les « Neutres » difficiles et discrets), l'Arbre de Décision Classique est le meilleur choix. C'est comme un SUV fiable qui n'est pas le plus rapide, mais qui gère tous types de terrains bien et ne laisse aucun passager derrière.

Pourquoi cela s'est-il produit ?

Le Problème « Neutre » : Les avis « Neutres » étaient minoritaires (seulement environ 6 % des données). Le robot Deep Learning, entraîné sur un petit échantillon sans aide spéciale, a appris à ignorer le groupe minoritaire pour maximiser son score global. L'équipe Classique a utilisé une technique appelée SMOTE (qui consiste à créer artificiellement plus d'exemples « Neutres » pour que le robot les étudie), ce qui les a aidés à traiter tous les groupes équitablement.
Le Fossé des Données : Le robot Deep Learning avait moins d'exemples pour apprendre (14 000 contre 70 000). Même avec moins d'exemples, il a tout de même battu les modèles classiques sur la séparation « Positif/Négatif », suggérant que comprendre la séquence des mots est très puissant pour les courts avis indonésiens.

L'Essentiel

Les chercheurs ne se sont pas arrêtés aux chiffres ; ils ont mis les deux robots en ligne pour que n'importe qui puisse les tester. Ils ont constaté que si le modèle Deep Learning sophistiqué est globalement plus puissant, le modèle Machine Learning plus simple est plus équilibré et fiable lorsque vous devez attraper chaque type d'avis, pas seulement les plus bruyants.

En bref : Le robot sophistiqué est plus rapide et plus fort, mais le simple bibliothécaire est plus équitable envers les voix discrètes de la foule.

Résumé Technique : Analyse des Sentiments des Avis Spotify Indonésiens par Apprentissage Automatique et BiLSTM

Énoncé du Problème
Cette étude aborde le défi de l'analyse des sentiments sur des textes indonésiens issus des avis d'utilisateurs de l'application Spotify sur le Google Play Store. La tâche est complexifiée par le caractère informel de la langue, qui inclut une orthographe incohérente, un usage intensif d'argot et des variations morphologiques. Les auteurs visent à évaluer les performances des classificateurs d'apprentissage automatique (ML) classiques par rapport à une approche d'apprentissage profond (Deep Learning, DL) (Mémoire à Court Terme Longue Bidirectionnelle, ou BiLSTM) pour une tâche de classification des sentiments en trois classes (Négatif, Neutre, Positif). Une contrainte spécifique de l'étude est l'environnement d'évaluation : un environnement sans GPU (CPU uniquement), ce qui nécessite des échelles de données d'entraînement différentes pour les deux approches.

Méthodologie
La recherche adopte une conception expérimentale à double voie où les deux voies partagent un pipeline de prétraitement identique mais diffèrent par l'architecture du modèle et le volume des données d'entraînement.

Jeu de données : Le jeu de données brut comprend 100 000 avis extraits. Après nettoyage (suppression des doublons, des avis vides et des éléments non textuels), 70 155 échantillons subsistent. Les étiquettes sont dérivées des notes en étoiles : 1–2 étoiles (Négatif), 3 étoiles (Neutre) et 4–5 étoiles (Positif). Le jeu de données est fortement déséquilibré, les avis Positifs représentant 68,4 %, les Négatifs 25,7 % et les Neutres seulement 5,9 %.
Pipeline de prétraitement : Un pipeline unifié est appliqué à tous les textes, comprenant :
1. Mise en minuscules.
2. Suppression du bruit (URLs, mentions, ponctuation, chiffres).
3. Normalisation de l'argot (mappage de 124 formes informelles vers l'indonésien standard).
4. Suppression des mots vides (809 termes généraux et spécifiques au domaine).
5. Racinement morphologique utilisant Sastrawi.
  Résultat : La longueur médiane des avis après traitement est de 4 jetons, avec un 95e percentile de 17 jetons.
Voie Apprentissage Automatique (ML) :
- Données : Entraîné sur l'ensemble des 70 155 échantillons nettoyés.
- Caractéristiques : Vectorisation TF-IDF (maximum 3 000 caractéristiques).
- Classificateurs : Machine à Vecteurs de Support (SVM), Naïve Bayes Multinomiale (MNB) et Arbre de Décision (DT).
- Technique : Validation croisée stratifiée à 5 plis. Pour traiter le déséquilibre des classes, la technique SMOTE (Synthetic Minority Over-sampling Technique) est appliquée dans chaque pli d'entraînement.
- Évaluation : Les métriques incluent la Précision, l'AUC, la Précision, le Rappel, le Score F1 (pondéré et macro) et le Kappa de Cohen.
Voie Apprentissage Profond (DL) :
- Données : En raison des contraintes CPU, le BiLSTM est entraîné sur un sous-ensemble stratifié de 20 000 échantillons (14 219 pour l'entraînement, 2 510 pour la validation, 2 953 pour le test).
- Architecture : Un LSTM bidirectionnel à deux couches avec des embeddings de dimension 128, 128 unités cachées par direction et une tête de classification entièrement connectée. Total des paramètres : ~1,1 million.
- Entraînement : Optimiseur Adam, taux d'apprentissage $10^{-3}$ , taille de lot 64, fonction de perte d'Entropie Croisée non pondérée. L'arrêt anticipé est utilisé (meilleur point de contrôle à l'époque 3).
- Évaluation : Évalué sur un ensemble de test retenu en utilisant les mêmes métriques que la voie ML.

Contributions Clés

Prétraitement Unifié : L'établissement d'un pipeline de prétraitement partagé pour les voies ML et DL, garantissant que les différences de performance sont attribuables à l'architecture du modèle plutôt qu'aux variations de nettoyage des données.
Étalonnage : Une analyse comparative de trois classificateurs classiques Scikit-learn (SVM, MNB, DT) par rapport à un modèle BiLSTM compact sur des avis d'applications indonésiennes à grande échelle.
Transparence et Reproductibilité : Les auteurs fournissent des espaces Hugging Face publics pour les modèles ML et DL, permettant une inspection directe du comportement du modèle.
Analyse du Déséquilibre : Un examen détaillé de la manière dont le déséquilibre des classes affecte les performances du modèle, mettant spécifiquement en évidence l'échec du BiLSTM non pondéré sur la classe minoritaire « Neutre » par rapport à l'approche ML utilisant SMOTE.

Résultats

Performances de l'Apprentissage Automatique :
- L'Arbre de Décision s'est imposé comme le modèle classique le plus performant, atteignant un score F1 pondéré de 0,7269 et une précision de 0,7286 lors de la validation croisée à 5 plis.
- Le SVM a suivi avec un F1 pondéré de 0,6958, tandis que le Naïve Bayes Multinomiale a obtenu des résultats nettement inférieurs (0,4619).
- L'Arbre de Décision a maintenu des performances équilibrées sur les trois classes, avec le score F1 le plus bas sur la classe Neutre (0,717) mais restant fonctionnel.
Performances de l'Apprentissage Profond :
- Le BiLSTM a atteint un score F1 pondéré plus élevé de 0,8069 et une précision de 0,8314 sur son ensemble de test retenu.
- Cependant, le score F1 macro est tombé à 0,5478.
- Répartition par classe : Le modèle a excellé sur les avis Positifs (F1 0,9028) et s'est montré raisonnable sur les avis Négatifs (F1 0,7406). Crucialement, il a totalement échoué sur la classe Neutre, obtenant un score F1 de 0,0000 (0 prédictions correctes sur 176 échantillons).
Analyse Comparative :
- Bien que le BiLSTM ait surpassé les modèles ML sur les métriques pondérées (performance globale), cet avantage est tempéré par le fait qu'il a été entraîné sur nettement moins d'échantillons (14 219 contre 70 155) et n'a pas utilisé de techniques d'équilibrage des classes.
- L'approche ML (Arbre de Décision + SMOTE) a fourni une reconnaissance plus robuste et équilibrée sur les trois classes, tandis que le BiLSTM était biaisé vers les classes majoritaires.

Signification et Revendications
L'article revendique que, bien que les modèles d'apprentissage profond comme le BiLSTM puissent offrir une performance pondérée globale supérieure pour la détection des sentiments dans des textes indonésiens courts et informels, ils sont hautement sensibles aux problèmes de déséquilibre des classes lorsqu'ils sont entraînés sans stratégies d'atténuation spécifiques (comme la pondération des classes ou le suréchantillonnage).

Les auteurs concluent que le choix du modèle dépend de l'objectif d'application spécifique :

Le BiLSTM est préférable lorsque l'objectif principal est une discrimination précise entre les sentiments Positifs et Négatifs dominants.
L'Apprentissage Automatique (spécifiquement l'Arbre de Décision avec SMOTE) est plus approprié lorsqu'une reconnaissance équilibrée sur les trois classes, y compris la classe minoritaire Neutre, est requise.

L'étude reconnaît ses limites, notant l'asymétrie dans les tailles de données d'entraînement entre les deux voies et l'absence d'embeddings indonésiens préentraînés ou de modèles basés sur des transformateurs. Des travaux futurs sont suggérés pour entraîner le BiLSTM sur le corpus complet, mettre en œuvre l'équilibrage des classes dans le pipeline DL et explorer des architectures de transformateurs.