Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Jeden Tag interagieren Millionen von Menschen über die kleinen Bildschirme ihrer Smartphones mit ihren Regierungen. Sie nutzen Apps, um Rezepte einzulösen, Identitätsdokumente zu verlängern oder auf öffentliche Register zuzugreifen. Während diese Werkzeuge dazu dienen, das Leben einfacher zu machen, erzeugen sie auch einen ständigen Strom an Feedback in Form von Nutzerbewertungen. Diese kurzen, informellen Texte sind eine Goldgrube, um zu verstehen, wie Bürger über digitale öffentliche Dienste denken, stellen Forscher jedoch vor Herausforderungen. Im Gegensatz zu einer einfachen Sternebewertung, die eine einzige Zahl liefert, enthält eine Rezension Wörter, die Nuancen, Ironie und komplexe Emotionen tragen. In Ländern, in denen die Primärsprache nicht Englisch ist, wird die Analyse dieses Feedbacks noch schwieriger, da die üblicherweise verwendeten hochentwickelten Computerprogramme oft auf englischen Daten trainiert wurden und mit der spezifischen Grammatik und dem Vokabular anderer Sprachen kämpfen.

Lange Zeit bestand die Lösung für dieses Problem darin, die Rezensionen entweder ins Englische zu übersetzen oder eine maßgeschneiderte Software für jede spezifische Sprache zu entwickeln – ein Prozess, der enorme Mengen an annotierten Daten und technisches Fachwissen erfordert. Ein neues Typ von künstlicher Intelligenz, bekannt als Large Language Model (großes Sprachmodell), ist jedoch entstanden. Diese Modelle werden mit riesigen Textmengen aus dem gesamten Internet trainiert und können Kontext sowie Anweisungen verstehen, ohne für jede neue Aufgabe neu trainiert werden zu müssen. Die Frage, vor der Forscher stehen, ist, ob diese leistungsstarken Werkzeuge in der Lage sind, die Gefühle in kurzen, nicht-englischen Rezensionen von Regierungs-Apps ohne spezielles Tuning genau zu lesen und zu kategorisieren, und ob sie dies konsistent genug tun können, um von der öffentlichen Verwaltung vertraut werden zu können.

Ein Forschungsteam der Jan Evangelista Purkyně Universität in Ústí nad Labem ging dieser Frage nach, wobei sie die tschechische Sprache als Testfall verwendeten. Sie sammelten eine massive Sammlung von über zehntausend Rezensionen aus sechs verschiedenen mobilen Regierungsanwendungen, die von Bürgern in der Tschechischen Republik genutzt werden. Diese Apps decken ein breites Spektrum an Dienstleistungen ab, von elektronischen Rezepten bis hin zu digitalen Identitätskarten. Die Forscher wollten sehen, ob ein standardisierter Prozess unter Verwendung eines Large Language Models diese Rezensionen in drei einfache Kategorien sortieren kann: positiv, negativ oder neutral. Um sicherzustellen, dass die Ergebnisse zuverlässig sind, vertrauten sie nicht einfach auf die Ausgabe des Computers. Stattdessen erstellten sie eine „Ground Truth“ (Grundwahrheit), indem sie Experten baten, die Stimmung einer sorgfältig ausgewählten Stichprobe von fünfhundert Rezensionen zu lesen und zu vereinbaren. Diese durch Menschen verifizierte Stichprobe diente als Benchmark, gegen die die Leistung des Computers gemessen wurde.

Die Studie verglich das Large Language Model mit mehreren anderen Methoden, darunter einfache Wortzählungswerkzeuge und ältere Arten von KI, die häufig in der Textanalyse eingesetzt werden. Die Wortzählungswerkzeuge, die auf Wörterbüchern mit positiven und negativen Wörtern basieren, schnitten schlecht ab. Sie scheiterten oft daran, den Kontext eines Satzes zu verstehen, und übersahen dabei, dass ein Wort wie „aber“ die Bedeutung einer Rezension komplett umkehren konnte. Die älteren KI-Modelle waren zwar besser als die Wörterbücher, hatten aber dennoch Schwierigkeiten, eine hohe Genauigkeit ohne spezifisches Training mit tschechischen Regierungsdaten zu erreichen. Im Gegensatz dazu demonstrierte das Large Language Model, wenn es klare Anweisungen zur Klassifizierung des Textes erhielt, eine bemerkenswerte Fähigkeit, die Nuancen der tschechischen Sprache zu verstehen. Es identifizierte die Stimmung in der überwiegenden Mehrheit der Testfälle korrekt und stimmte in hohem Maße mit den Urteilen der menschlichen Experten überein.

Einer der kritischsten Befunde der Forschung war die Stabilität der Ergebnisse. Da Large Language Models komplexe Systeme sind, bestand die Sorge, dass die Durchführung derselben Analyse zweimal zu unterschiedlichen Antworten führen könnte. Die Forscher testeten dies, indem sie den Klassifizierungsprozess fünfmal unter identischen Bedingungen durchführten. Sie fanden heraus, dass die neuere Version des Modells unglaublich konsistent war und jedes Mal nahezu die gleichen Ergebnisse lieferte. Diese Konsistenz ist für den realen Einsatz entscheidend, da sie bedeutet, dass man sich auf das Werkzeug verlassen kann, um bei demselben Problem immer die gleiche Antwort zu erhalten. Die ältere Version des Modells zeigte hingegen eine viel größere Variation zwischen den Durchläufen, was darauf hindeutet, dass die spezifische Version der Software eine große Rolle spielt.

Als die Forscher das stabilste und genaueste Modell auf die gesamte Sammlung von zehntausend Rezensionen anwandten, zeichnete sich ein klares Bild der Bürgerstimmung ab. Die Analyse ergab, dass negatives Feedback am häufigsten vorkam, wobei fast zwei Drittel aller Rezensionen Unzufriedenheit ausdrückten. Positive Rezensionen machten etwa ein Viertel der Gesamtzahl aus, während wahrhaft neutrale Kommentare mit weniger als acht Prozent am seltensten waren. Interessanterweise entsprach der Text der Rezensionen nicht immer perfekt den Nutzern gegebenen Sternebewertungen der Apps. Während eine Ein-Stern-Bewertung fast immer mit negativem Text korrespondierte und eine Fünf-Sterne-Bewertung meist zu positivem Text passte, war der Mittelweg unübersichtlich. Viele Drei-Sterne-Bewertungen enthielten negativen Text, und einige Fünf-Sterne-Bewertungen beinhalteten Beschwerden, was zeigt, dass Nutzer ihre Gefühle oft auf eine Weise vermischen, die eine einfache Sternebewertung nicht erfassen kann.

Die Studie hob auch hervor, in welchen Bereichen die Technologie noch vor Herausforderungen steht. Die schwierigste Kategorie für den Computer war die „neutrale“ Stimmung. Diese Kategorie umfasst sachliche Beschreibungen, Fragen oder gemischte Gefühle, bei denen keine starke Emotion vorhanden ist. Das Modell hatte manchmal Schwierigkeiten, einen neutralen Kommentar von einem leicht negativen oder positiven zu unterscheiden. Doch selbst mit dieser Schwierigkeit übertraf das Modell alle anderen verfügbaren Methoden, die kein kundenspezifisches Training erforderten. Die Forscher kamen zu dem Schluss, dass ein standardisiertes Verfahren unter Verwendung eines Large Language Models die Rückmeldungen der Bürger effektiv analysieren kann, sofern der Prozess sorgfältig dokumentiert und gegen menschliches Urteilsvermögen validiert wird.

Diese Arbeit suggeriert nicht, dass die Technologie perfekt ist oder das menschliche Verständnis vollständig ersetzen kann. Die Forscher betonten, dass die Leistung des Modells von den spezifischen Anweisungen abhängt, die ihm gegeben werden, sowie von der Qualität des Validierungsprozesses. Sie merkten auch an, dass die Ergebnisse spezifisch für diesen speziellen Satz von Regierungs-Apps und die tschechische Sprache sind und dass andere Anwendungen oder Sprachen andere Ergebnisse liefern könnten. Dennoch liefert die Studie starke Beweise dafür, dass öffentliche Verwalter nun in der Lage sind, diese Werkzeuge zu nutzen, um in großem Maßstab auf ihre Bürger zu hören, selbst in Sprachen, für die zuvor spezialisierte Software nicht verfügbar war. Indem sie tausende unstrukturierte Kommentare in klare, kategorisierte Daten verwandeln, bieten diese Werkzeuge einen neuen Weg, um die täglichen Erfahrungen der Menschen bei der Nutzung digitaler öffentlicher Dienste zu verstehen und Regierungen dabei zu helfen, die Werkzeuge zu verbessern, die ihnen dienen.