💻 computer science

Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Dieser Artikel vergleicht traditionelle maschinelle Lernmodelle mit einem feinabgestimmten IndoBERT-Transformer für die dreiklassige Sentiment-Analyse indonesischer Produktbewertungen und zeigt, dass ein Linear-SVM das Deep-Learning-Modell mit einer Genauigkeit von 97,60 % übertraf, da Letzteres auf eine beprobte Teilmenge der Daten beschränkt war, und demonstriert gleichzeitig die praktische Bereitstellung des besten Modells über eine Gradio-Webanwendung.

Ursprüngliche Autoren: Nabila Zakiyah Zahra, Salwa Farhanatussaidah, Nasywa Nur Afifah, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nabila Zakiyah Zahra, Salwa Farhanatussaidah, Nasywa Nur Afifah, Luluk Muthoharoh, Ardika Satria, Martin C. T. Manullang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Besitzer eines riesigen Online-Marktplatzes in Indonesien, wie ein gigantischer digitaler Einkaufspalast. Jeden Tag hinterlassen Tausende von Kunden Bewertungen für Produkte. Manche sagen: „Toll!" (Positiv), manche sagen: „Es ist in Ordnung" (Neutral), und manche sagen: „Schrecklich!" (Negativ).

Das Problem? Es gibt zu viele Bewertungen, um sie einzeln zu lesen. Sie benötigen einen Roboter, der sie alle liest und in drei Stapel sortiert: Glücklich, In Ordnung und Traurig.

Dieser Artikel ist ein Zeugnis für vier verschiedene „Roboter" (Computermodelle), die versuchen, diese Aufgabe zu erledigen. Die Forscher wollten herausfinden, ob die altmodischen, einfachen Roboter besser waren als die neuen, superintelligenten, teuren Roboter.

Die Teilnehmer

Die Altmodischen Roboter (Logistische Regression, SVM, Naive Bayes):
Stellen Sie sich diese wie eine sehr schnelle, erfahrene Bibliothekarin vor. Sie verstehen die tiefe Bedeutung einer Geschichte nicht, sind aber Experten im Zählen von Wörtern. Wenn sie das Wort „gut" oder „lieben" sehen, wissen sie, dass es eine glückliche Bewertung ist. Wenn sie „schlecht" oder „kaputt" sehen, wissen sie, dass es eine traurige Bewertung ist. Sie verwenden ein System namens TF-IDF, das wie ein Textmarker ist, der die wichtigsten Wörter in einem Satz markiert und die langweiligen ignoriert (wie „der" oder „und").
- Der Haken: Sie behandeln jede Bewertung als eine Tasche von Wörtern. Sie verstehen wirklich nicht, wie Wörter in einem Satz miteinander verbunden sind.
Der Neuzeit-Roboter (IndoBERT):
Dies ist wie ein Genie-Literaturprofessor, der Millionen indonesischer Bücher gelesen hat. Er zählt nicht nur Wörter; er versteht den Kontext. Er weiß, dass „nicht gut" etwas anderes bedeutet als nur „gut". Es ist ein „Transformer"-Modell, was eine ausgefallene Art zu sagen ist, dass es den ganzen Satz auf einmal betrachtet, um die Stimmung zu verstehen.
- Der Haken: Er ist sehr hungrig nach Daten und braucht lange zum Lernen.

Das große Problem: Die unausgewogene Menge

Es gab eine große Wendung in diesem Experiment. Im echten Leben sind glückliche Kunden viel eher bereit, eine Bewertung abzugeben als unzufriedene.

Die Menge: Stellen Sie sich einen Raum mit 100 Personen vor. 90 lächeln (Positiv), 5 zucken mit den Schultern (Neutral) und 5 runzeln die Stirn (Negativ).
Die Falle: Wenn ein Roboter einfach für alle „Lächeln" raten würde, läge er 90 % der Zeit richtig! Aber er wäre schrecklich darin, die 5 Stirnrunzler zu finden. Die Forscher mussten den Robotern beibringen, der leisen, unzufriedenen Minderheit besondere Aufmerksamkeit zu schenken.

Die Rennergebnisse

Die Forscher ließen ein Rennen laufen, um zu sehen, welcher Roboter die Bewertungen am besten sortieren konnte. Sie verwendeten zwei Hauptmethoden zur Bewertung:

Genauigkeit: Wie oft lag der Roboter insgesamt richtig?
Fairness (Makro-F1-Score): Hatte der Roboter bei allen drei Gruppen eine gute Arbeit geleistet, oder ignorierte er einfach die unzufriedenen Menschen?

Der Gewinner: Der Lineare SVC (einer der altmodischen Bibliothekare).

Er erreichte eine Gesamtgenauigkeit von 97,6 %.
Er war auch der fairste Richter und erzielte beim Fairness-Maßstab 0,551.

Der Zweite: Der IndoBERT (der Genie-Professor).

Er erreichte eine Gesamtgenauigkeit von 88,7 %.
Sein Fairness-Score betrug 0,509.

Warte, was? Der einfache Bibliothekar schlug den Genie-Professor!

Warum gewann der einfache Roboter?

Der Artikel erklärt, dass dies kein fairer Kampf war, wie man vielleicht denkt. Es ist wie der Vergleich eines Marathonläufers, der die vollen 26 Meilen gelaufen ist, mit einem Sprinter, der nur eine Meile gelaufen ist, weil er müde war.

Die Datenabweichung: Die altmodischen Roboter durften die gesamte Bibliothek von 65.000 Bewertungen studieren. Dem Genie-Professor (IndoBERT) war es nur erlaubt, eine winzige Stichprobe von etwa 1.800 Bewertungen zu studieren, weil der Computer, auf dem er lief, zu langsam war, um das Ganze zu bewältigen.
Die Schlussfolgerung: Die Forscher stellten fest, dass die einfachen Roboter so gut darin waren, Schlüsselwörter zu erkennen, dass sie das „tiefe Verständnis" des Professors nicht benötigten, um dieses spezifische Rennen zu gewinnen. Allerdings hätte der Professor vielleicht gewonnen, wenn er die gesamte Bibliothek hätte studieren dürfen.

Die Kernaussage

Für Geschwindigkeit und Einfachheit: Wenn Sie eine schnelle, zuverlässige Möglichkeit benötigen, indonesische Produktbewertungen zu sortieren und Sie viele Daten haben, sind die einfachen „Wörter-zählenden" Roboter (insbesondere Linear SVC) unglaublich effektiv und schnell.
Für tiefes Verständnis: Der ausgefallene KI (IndoBERT) hat das Potenzial, besser zu sein, benötigt aber mehr Daten und mehr Rechenleistung, um seine wahren Fähigkeiten zu zeigen. Bei diesem spezifischen Test wurde er durch die geringe Datenmenge, die ihm erlaubt war, zurückgehalten.

Das Endprodukt

Um zu beweisen, dass dies in der realen Welt funktioniert, bauten die Forscher eine Live-Website (unter Verwendung eines Tools namens Gradio). Sie können eine Bewertung auf Indonesisch eingeben, und der Roboter sagt Ihnen, ob sie glücklich, neutral oder traurig ist. Sie haben dies ins Internet gestellt, damit jeder es ausprobieren kann.

Kurz gesagt: Manchmal sind die alten, einfachen Werkzeuge immer noch die besten für den Job, besonders wenn die ausgefallenen neuen Werkzeuge nicht genug Übungszeit bekommen!

Technisches Fazit: Benchmarking von Logistischer Regression, SVM, Naive Bayes und IndoBERT für die indonesische Sentiment-Analyse

Problemstellung
Die rasante Expansion des E-Commerce in Indonesien hat eine massive Menge an unstrukturierten, benutzergenerierten Produktbewertungen hervorgebracht. Die Analyse des Sentiments dieser Bewertungen ist entscheidend für die Bewertung der Kundenzufriedenheit und die Identifizierung von Produktproblemen im großen Maßstab. Indonesischer Text stellt jedoch einzigartige Herausforderungen dar, darunter informelle Rechtschreibung, Slang, inkonsistente Zeichensetzung und kontextabhängige Ausdrücke. Darüber hinaus weist Daten aus realen Marktplätzen eine schwere Klassenungleichgewichtung auf, bei der positive Bewertungen neutralen und negativen Feedbacks weit überlegen sind. Dieses Ungleichgewicht erschwert das Modelltraining und führt häufig zu hohen Genauigkeitsmetriken, die eine schlechte Leistung bei Minderheitenklassen verschleiern. Das Kernproblem besteht darin, festzustellen, ob traditionelle Machine-Learning-Ansätze (ML), die rechnerisch effizient sind, in diesem verrauschten, unausgewogenen und domänenspezifischen Kontext moderne Deep-Learning-Modelle auf Transformer-Basis (insbesondere IndoBERT) übertreffen oder gleichziehen können.

Methodik
Die Studie implementiert einen vergleichenden Benchmarking-Rahmen unter Verwendung des Datensatzes Tokopedia Product Reviews 2025, der Zehntausende kurzer, verrauschter Bewertungen enthält, die in drei Klassen etikettiert sind: positif (positiv), netral (neutral) und negatif (negativ).

Vorverarbeitungspipeline: Eine robuste Pipeline wurde entwickelt, um indonesischen E-Commerce-Slang zu bereinigen. Die Schritte umfassten die Umwandlung von Text in Kleinbuchstaben, das Entfernen von URLs und nicht-alphanumerischen Zeichen (einschließlich Emojis), die Normalisierung von Leerzeichen und die Abbildung heterogener Labels auf standardisierte Klassen.
Basis-Modelle (Traditionelles ML): Drei Algorithmen wurden unter Verwendung der TF-IDF-Merkmalsextraktion mit Unigrammen und Bigrammen ( $ngram\_range=(1,2)$ $n g r am_r an g e = (1, 2)$ ) implementiert. Der Wortschatz war auf 50.000 Merkmale begrenzt. Die Modelle umfassten:
- Logistische Regression
- Lineare Support Vector Machine (Linear SVC)
- Multinominaler Naive Bayes
- Umgang mit Ungleichgewichten: Diskriminierende lineare Modelle nutzten class_weight="balanced", um Fehler bei Minderheitenklassen zu bestrafen.
Deep-Learning-Modell (IndoBERT): Die Studie fine-tunte das indobenchmark/indobert-base-p1-Modell.
- Architektur: Ein Transformer-Encoder gefolgt von einem Sequence-Classification-Kopf, der Eingaben bis zu 256 Tokens verarbeitet.
- Umgang mit Ungleichgewichten: Eine benutzerdefinierte gewichtete Cross-Entropy-Verlustfunktion wurde entwickelt, bei der die Klassen-Gewichte ( $W_c$ ) umgekehrt proportional zur Klassenhäufigkeit sind ( $W_c = \frac{N}{C \times n_c}$ ).
- Training: Das Modell wurde für 3 Epochen mit einer Batch-Größe von 16, einer Lernrate von $2 \times 10^{-5}$ und einem Warmup-Verhältnis von 0,1 trainiert.
Experimentelle Diskrepanz: Ein kritischer methodischer Hinweis ist der Unterschied in den Datenregimen. Die Basis-Modelle wurden auf dem vollständigen Datensatz (65.335 Einträge) trainiert, während das IndoBERT-Modell aufgrund rechnerischer Einschränkungen auf eine stratifizierte Teilmenge (~1.800 Trainingsdatensätze) beschränkt war.

Hauptbeiträge
Die Arbeit detailliert fünf spezifische Beiträge:

Eine Vorverarbeitungspipeline, die mittels regulärer Ausdrücke für verrauschten indonesischen E-Commerce-Text maßgeschneidert wurde.
Ein umfassender Benchmark von TF-IDF-Baselines (Logistische Regression, LinearSVC, Naive Bayes).
Eine detaillierte Implementierung des IndoBERT-Fine-Tunings mit dynamisch berechnetem gewichtetem Verlust zur Bewältigung von Klassenungleichgewichten.
Eine tiefgehende quantitative Analyse, die die aggregierte Leistung mit klassensensitiven Metriken vergleicht.
Eine reproduzierbare Bereitstellungsstrategie unter Verwendung von Gradio auf Hugging Face Spaces.

Ergebnisse
Die Evaluation nutzte Genauigkeit (Accuracy), Macro F1-Score und Weighted F1-Score. Entgegen der Erwartung, dass Deep-Learning-Modelle traditionelle Methoden übertreffen würden, zeigten die Ergebnisse, dass Linear SVC das feinabgestimmte IndoBERT-Modell in diesem spezifischen experimentellen Setup signifikant übertraf.

Linear SVC: Erreichte 97,60 % Genauigkeit und einen 0,5510 Macro F1-Score.
IndoBERT: Erreichte 88,70 % Genauigkeit und einen 0,5088 Macro F1-Score.
Andere Baselines: Logistische Regression (94,36 % Genauigkeit, 0,5164 Macro F1) und Naive Bayes (97,50 % Genauigkeit, 0,3290 Macro F1) schnitten ebenfalls stark ab, wobei Naive Bayes jedoch erhebliche Schwierigkeiten bei der Erkennung von Minderheitenklassen hatte.

Die Analyse ergab, dass die Basis-Modelle zwar eine hohe Gesamtgenauigkeit erreichten, aber dennoch Probleme mit den Klassen netral und negatif hatten und diese häufig mit der dominanten Klasse positif verwechselten. Der Leistungsunterschied zwischen den Baselines und IndoBERT wurde jedoch primär auf das Daten-Sampling-Regime zurückgeführt: Die Baselines nutzten das vollständige Korpus, während der Transformer auf eine kleine Teilmenge beschränkt war, was es ihm verhinderte, seine kontextuellen Modellierungsfähigkeiten voll auszuschöpfen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass für die indonesische Sentiment-Analyse von E-Commerce-Bewertungen traditionelle Machine-Learning-Ansätze (insbesondere TF-IDF mit Linear SVC) nach wie vor hochwirksam und robust sind und State-of-the-Art-Transformer oft übertreffen, wenn rechnerische Einschränkungen die Trainingsdaten für Letztere begrenzen.

Die Autoren betonen, dass der „Transformer-Vorteil" nicht automatisch gegeben ist; er hängt stark vom Datenvolumen, dem Klassenungleichgewicht und fairen Evaluierungsaufbauten ab. Die Studie kommt zu dem Schluss, dass IndoBERT zwar überlegene theoretische kontextuelle Modellierung bietet, seine empirische Leistung in dieser Studie jedoch durch die eingeschränkte Trainings-Teilmenge begrenzt wurde. Folglich wird TF-IDF mit Linear SVC für Anwendungen, die Geschwindigkeit und robuste Basisleistung priorisieren, als hochgradig viable Lösung präsentiert. Die Arbeit plädiert für zukünftige Forschung, um faire Vergleiche sicherzustellen, indem alle Modelle auf identischen groß angelegten Datenaufteilungen trainiert werden und fortschrittliche, auf Ungleichgewichte ausgerichtete Strategien zur Verbesserung der Minderheitenklassen-Erkennung eingesetzt werden.