💻 computer science

Sentiment Analysis of Indonesian Spotify Reviews Using Machine Learning and BiLSTM

Dieser Artikel vergleicht klassische Machine-Learning- und BiLSTM-Deep-Learning-Modelle anhand von 70.155 bereinigten indonesischen Spotify-Bewertungen und stellt fest, dass zwar BiLSTM den höchsten overall gewichteten F1-Score erreicht, Decision Trees in Kombination mit SMOTE jedoch eine überlegene, ausgewogene Leistung über alle drei Sentiment-Klassen hinweg bieten, insbesondere für die Minderheitenklasse „neutral".

Ursprüngliche Autoren: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Uliano Wilyam Purba, Andre Hadiman Rotua Parhusip, Sahid Maulana, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Besitzer einer riesigen Musik-Streaming-App, Spotify, und Sie haben einen Berg von 100.000 Briefen von Ihren indonesischen Nutzern. Einige sind Liebesbriefe („Positiv"), einige sind wütende Tiraden („Negativ"), und einige sind nur Achselzucken oder Beschwerden, die nicht ganz in eine der beiden Kategorien passen („Neutral"). Ihr Ziel ist es, einen Roboter zu bauen, der diese Briefe lesen und automatisch in die richtigen Stapel sortieren kann.

Dieser Artikel ist ein Zeugnis für ein „Rennen" zwischen zwei verschiedenen Arten von Robotern, die versuchen, diese Sortieraufgabe zu erledigen.

Die zwei Anwärter

Das „klassische" Team (Maschinelles Lernen): Stellen Sie sich diese als drei sehr kluge, erfahrene Bibliothekare vor (Support Vector Machine, Multinomial Naive Bayes und Decision Tree). Sie sind gut darin, einzelne Wörter zu betrachten und zu zählen, wie oft sie vorkommen. Sie sind schnell, effizient und benötigen keinen Supercomputer, um zu arbeiten.
Das „Deep Learning"-Team (BiLSTM): Dies ist ein einzelner, hochentwickelter Roboter, der mit einem neuronalen Netzwerk gebaut wurde (Bidirectional Long Short-Term Memory). Stellen Sie sich diesen Roboter als Detektiv vor, der nicht nur auf Wörter schaut, sondern versucht, die Geschichte und den Fluss des Satzes zu verstehen, indem er von links nach rechts und von rechts nach links liest, um den vollen Kontext zu erfassen.

Der Aufbau: Ein Rennen mit ungleichen Bahnen

Die Forscher haben das Rennen aufgebaut, aber es gab einen Haken: Die Spielfelder waren nicht genau gleich groß.

Das Reinigungsteam: Vor dem Rennen wurden alle Briefe bereinigt. Umgangssprache wurde korrigiert (Änderung von „gak" zu „tidak"), Tippfehler entfernt und unnötige Wörter gelöscht. Dies galt für alle gleichermaßen.
Die Bahn des klassischen Teams: Die drei Bibliothekare durften alle 70.000+ bereinigten Briefe lesen. Sie hatten den gesamten Datensatz zum Lernen.
Die Bahn des Deep-Learning-Roboters: Dem schicken Roboter war es nur erlaubt, eine kleinere Stichprobe von 20.000 Briefen zu lesen. Warum? Weil die Forscher an einem Standardcomputer (CPU) ohne leistungsstarke Grafikkarte arbeiteten. Das Trainieren des großen Roboters mit dem vollen Datenberg hätte ewig gedauert, also gaben sie ihm einen kleineren, repräsentativen Ausschnitt.

Die Ergebnisse: Wer hat gewonnen?

1. Die Leistung des klassischen Teams
Unter den drei Bibliothekaren war der Decision Tree der klare Gewinner.

Wie es funktionierte: Er erstellte einen Flussdiagramm aus Regeln, um die Briefe zu sortieren.
Die Punktzahl: Er erreichte einen „Weighted F1-Score" von 0,727.
Der Haken: Er war ziemlich gut darin, alle drei Stapel (Positiv, Negativ und Neutral) fair zu sortieren. Er ignorierte die „Neutral"-Briefe nicht.

2. Die Leistung des Deep-Learning-Roboters
Der BiLSTM-Roboter war ein Kraftpaket, hatte aber eine Blindecke.

Die Punktzahl: Er erreichte eine höhere Gesamtpunktzahl von 0,807.
Das Problem: Er war erstaunlich gut darin, „Positive" und „Negative" Briefe zu erkennen, aber er versagte völlig bei der Kategorie „Neutral". Er erreichte eine Punktzahl von 0,000 für Neutral. Er ignorierte diesen Stapel im Wesentlichen vollständig, wahrscheinlich weil es in seinem Trainingsausschnitt im Vergleich zu den anderen so wenige Neutral-Briefe gab.

Die große Erkenntnis: Der Kompromiss

Der Artikel schließt mit einer einfachen Analogie:

Wenn Sie die beste Gesamtgenauigkeit wollen, um festzustellen, ob eine Bewertung allgemein glücklich oder traurig ist, ist der Deep-Learning-Roboter (BiLSTM) die bessere Wahl. Er ist wie ein Sportwagen, der auf einer geraden Straße unglaublich schnell ist, aber keine scharfen Kurven bewältigen kann.
Wenn Sie fair zu allen drei Kategorien sein müssen (einschließlich der schwierigen, leisen „Neutral"-Kategorie), ist der klassische Decision Tree die bessere Wahl. Er ist wie ein zuverlässiger SUV, der nicht der Schnellste ist, aber jede Art von Gelände gut bewältigt und keine Passagiere zurücklässt.

Warum ist das passiert?

Das „Neutral"-Problem: Die „Neutral"-Bewertungen waren in der Minderheit (nur etwa 6 % der Daten). Der Deep-Learning-Roboter, der auf einer kleinen Stichprobe ohne besondere Hilfe trainiert wurde, lernte, die Minderheitengruppe zu ignorieren, um seine Gesamtpunktzahl zu maximieren. Das klassische Team verwendete eine Technik namens SMOTE (was wie das künstliche Erstellen weiterer „Neutral"-Beispiele für den Roboter zum Studium ist), was ihnen half, alle Gruppen fair zu behandeln.
Die Datenlücke: Der Deep-Learning-Roboter hatte weniger Beispiele zum Lernen (14.000 vs. 70.000). Selbst mit weniger Beispielen schlug er die klassischen Modelle bei der Aufteilung „Positiv/Negativ", was darauf hindeutet, dass das Verständnis der Sequenz von Wörtern für kurze indonesische Bewertungen sehr mächtig ist.

Das Fazit

Die Forscher hielten nicht nur bei den Zahlen inne; sie stellten beide Roboter online, damit jeder sie testen kann. Sie stellten fest, dass das ausgefeilte Deep-Learning-Modell zwar insgesamt leistungsfähiger ist, das einfachere Machine-Learning-Modell jedoch ausgewogener und zuverlässiger ist, wenn Sie jede Art von Bewertung erfassen müssen, nicht nur die lauten.

Kurz gesagt: Der ausgefeilte Roboter ist schneller und stärker, aber der einfache Bibliothekar ist fairer gegenüber den leisen Stimmen in der Menge.

Technische Zusammenfassung: Sentiment-Analyse indonesischer Spotify-Bewertungen mittels maschinellem Lernen und BiLSTM

Problemstellung
Diese Studie adressiert die Herausforderung der Sentiment-Analyse von indonesischem Text, der aus Nutzerbewertungen der Spotify-Anwendung im Google Play Store stammt. Die Aufgabe wird durch den informellen Charakter der Sprache erschwert, der inkonsistente Rechtschreibung, eine starke Verwendung von Slang und morphologische Variationen umfasst. Die Autoren zielen darauf ab, die Leistung klassischer Machine-Learning-(ML-)Klassifikatoren mit einem Deep-Learning-(DL-)Ansatz (Bidirectional Long Short-Term Memory, kurz BiLSTM) für eine dreiklassige Sentiment-Klassifizierungsaufgabe (Negativ, Neutral, Positiv) zu vergleichen. Eine spezifische Einschränkung der Studie ist die Evaluierungsumgebung: eine CPU-only-Umgebung, die unterschiedliche Skalierungen der Trainingsdaten für die beiden Ansätze erfordert.

Methodik
Die Forschung verfolgt ein zweigleisiges experimentelles Design, bei dem beide Gleise eine identische Vorverarbeitungs-Pipeline teilen, sich jedoch in der Modellarchitektur und dem Volumen der Trainingsdaten unterscheiden.

Datensatz: Der Rohdatensatz besteht aus 100.000 gescrapten Bewertungen. Nach der Bereinigung (Entfernung von Duplikaten, leeren Bewertungen und Nicht-Text-Elementen) verbleiben 70.155 Stichproben. Die Labels werden aus den Sternbewertungen abgeleitet: 1–2 Sterne (Negativ), 3 Sterne (Neutral) und 4–5 Sterne (Positiv). Der Datensatz ist stark unausgewogen, wobei positive Bewertungen 68,4 %, negative 25,7 % und neutrale nur 5,9 % ausmachen.
Vorverarbeitungs-Pipeline: Eine einheitliche Pipeline wird auf alle Texte angewendet, einschließlich:
1. Umwandlung in Kleinbuchstaben.
2. Rauschentfernung (URLs, Erwähnungen, Satzzeichen, Ziffern).
3. Slang-Normalisierung (Abbildung von 124 informellen Formen auf standardsprachliches Indonesisch).
4. Entfernung von Stoppwörtern (809 allgemeine und domänenspezifische Begriffe).
5. Morphologisches Stemming mittels Sastrawi.
  Ergebnis: Die mediane Bewertungslänge nach der Verarbeitung beträgt 4 Tokens, das 95. Perzentil liegt bei 17 Tokens.
Machine-Learning-Gleis:
- Daten: Trainiert auf den gesamten 70.155 bereinigten Stichproben.
- Merkmale: TF-IDF-Vektorisierung (maximal 3.000 Merkmale).
- Klassifikatoren: Support Vector Machine (SVM), Multinomialer Naiver Bayes (MNB) und Entscheidungsbaum (DT).
- Technik: Stratifizierte 5-fache Kreuzvalidierung. Um die Klassenungleichheit zu adressieren, wird innerhalb jedes Trainingsfolds SMOTE (Synthetic Minority Over-sampling Technique) angewendet.
- Evaluierung: Die Metriken umfassen Genauigkeit (Accuracy), AUC, Präzision, Recall, F1-Score (gewichtet und makro) sowie Cohens Kappa.
Deep-Learning-Gleis:
- Daten: Aufgrund der CPU-Beschränkungen wird das BiLSTM auf einer stratifizierten Teilmenge von 20.000 Stichproben trainiert (14.219 für das Training, 2.510 für die Validierung, 2.953 für den Test).
- Architektur: Ein zweischichtiges Bidirectional LSTM mit 128-dimensionalen Embeddings, 128 versteckten Einheiten pro Richtung und einem vollständig verbundenen Klassifikationskopf. Gesamtzahl der Parameter: ca. 1,1 Millionen.
- Training: Adam-Optimierer, Lernrate $10^{-3}$ , Batch-Größe 64, ungewichteter Cross-Entropy-Verlust. Early Stopping wird verwendet (bester Checkpoint bei Epoche 3).
- Evaluierung: Evaluiert auf einem zurückgehaltenen Testset unter Verwendung derselben Metriken wie beim ML-Gleis.

Hauptbeiträge

Einheitliche Vorverarbeitung: Die Etablierung einer gemeinsamen Vorverarbeitungs-Pipeline für beide ML- und DL-Gleise, wodurch sichergestellt wird, dass Leistungsunterschiede auf die Modellarchitektur und nicht auf Variationen bei der Datenbereinigung zurückzuführen sind.
Benchmarking: Eine vergleichende Analyse von drei klassischen Scikit-learn-Klassifikatoren (SVM, MNB, DT) gegenüber einem kompakten BiLSTM-Modell auf großen indonesischen App-Bewertungen.
Transparenz und Reproduzierbarkeit: Die Autoren stellen öffentliche Hugging Face Spaces für beide ML- und DL-Modelle bereit, die eine direkte Inspektion des Modellverhaltens ermöglichen.
Analyse der Ungleichheit: Eine detaillierte Untersuchung, wie sich Klassenungleichheit auf die Modellleistung auswirkt, wobei speziell das Versagen des ungewichteten BiLSTM bei der Minderheitenklasse „Neutral" im Vergleich zum ML-Ansatz mit SMOTE hervorgehoben wird.

Ergebnisse

Leistung des Machine Learning:
- Der Entscheidungsbaum erwies sich als das stärkste klassische Modell und erreichte bei der 5-fachen Kreuzvalidierung einen gewichteten F1-Score von 0,7269 und eine Genauigkeit von 0,7286.
- Die SVM folgte mit einem gewichteten F1 von 0,6958, während der Multinomiale Naive Bayes deutlich schlechter abschnitt (0,4619).
- Der Entscheidungsbaum zeigte eine ausgewogene Leistung über alle drei Klassen hinweg, wobei der niedrigste F1-Score bei der Neutral-Klasse (0,717) lag, aber dennoch funktional war.
Leistung des Deep Learning:
- Das BiLSTM erreichte einen höheren gewichteten F1-Score von 0,8069 und eine Genauigkeit von 0,8314 auf seinem zurückgehaltenen Testset.
- Der Macro F1-Score sank jedoch auf 0,5478.
- Aufschlüsselung nach Klassen: Das Modell zeigte eine außergewöhnlich gute Leistung bei positiven Bewertungen (F1 0,9028) und eine angemessene bei negativen Bewertungen (F1 0,7406). Entscheidend ist, dass es bei der Neutral-Klasse vollständig versagte und einen F1-Score von 0,0000 erreichte (0 korrekte Vorhersagen aus 176 Stichproben).
Vergleichende Analyse:
- Obwohl das BiLSTM die ML-Modelle bei gewichteten Metriken (Gesamtleistung) übertraf, wird dieser Vorteil dadurch gemildert, dass es auf deutlich weniger Stichproben trainiert wurde (14.219 vs. 70.155) und keine Techniken zur Klassenbalancierung anwandte.
- Der ML-Ansatz (Entscheidungsbaum + SMOTE) bot eine robustere und ausgewogenere Erkennung über alle drei Klassen hinweg, während das BiLSTM zu den Mehrheitsklassen hin verzerrt war.

Bedeutung und Behauptungen
Die Studie behauptet, dass Deep-Learning-Modelle wie BiLSTM zwar eine überlegene gewichtete Gesamtleistung für die Sentiment-Erkennung in kurzen, informellen indonesischen Texten bieten können, jedoch stark anfällig für Probleme der Klassenungleichheit sind, wenn sie ohne spezifische Minderungsstrategien (wie Klassen-Gewichtung oder Oversampling) trainiert werden.

Die Autoren schließen daraus, dass die Wahl des Modells vom spezifischen Anwendungsziel abhängt:

BiLSTM ist vorzuziehen, wenn das primäre Ziel eine genaue Unterscheidung zwischen den dominanten positiven und negativen Sentiments ist.
Maschinelles Lernen (insbesondere Entscheidungsbaum mit SMOTE) ist besser geeignet, wenn eine ausgewogene Erkennung über alle drei Klassen hinweg, einschließlich der Minderheitenklasse Neutral, erforderlich ist.

Die Studie räumt ihre Einschränkungen ein und weist auf die Asymmetrie der Trainingsdatengrößen zwischen den beiden Gleisen sowie das Fehlen vortrainierter indonesischer Embeddings oder transformerbasierter Modelle hin. Als zukünftige Arbeiten wird vorgeschlagen, das BiLSTM auf dem gesamten Korpus zu trainieren, Klassenbalancierung in der DL-Pipeline zu implementieren und Transformer-Architekturen zu erforschen.