Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Elke dag interageren miljoenen mensen met hun overheid via de kleine schermen van hun smartphones. Ze gebruiken apps om recepten af te rekenen, identiteitsbewijzen te verlengen of toegang te krijgen tot openbare registers. Hoewel deze hulpmiddelen bedoeld zijn om het leven gemakkelijker te maken, genereren ze ook een constante stroom aan feedback in de vorm van gebruikersrecensies. Deze korte, informele teksten zijn een goudmijn voor het begrijpen van hoe burgers denken over digitale publieke diensten, maar ze vormen ook een uitdaging voor onderzoekers. In tegenstelling tot een eenvoudige sterrenscore, die een enkel getal biedt, bevat een recensie woorden die nuance, ironie en complexe emoties dragen. In landen waar de primaire taal niet Engels is, wordt het analyseren van deze feedback nog moeilijker omdat de geavanceerde computerprogramma's die gewoonlijk voor deze taak worden gebruikt, vaak zijn getraind op Engelse gegevens en moeite hebben met de specifieke grammatica en woordenschat van andere talen.

Lama tijd was de oplossing voor dit probleem om de recensies naar het Engels te vertalen of om aangepaste software te bouwen voor elke specifieke taal, een proces dat enorme hoeveelheden gelabelde gegevens en technische expertise vereist. Echter, er is een nieuw type kunstmatige intelligentie opgekomen, bekend als een groot taalmodel (large language model). Deze modellen zijn getraind op enorme hoeveelheden tekst van over het hele internet en kunnen context en instructies begrijpen zonder dat ze voor elke nieuwe taak opnieuw getraind hoeven te worden. De vraag die onderzoekers bezighoudt, is of deze krachtige instrumenten accuraat de gevoelens in korte, niet-Engelse recensies van overheidsapps kunnen lezen en categoriseren zonder speciale afstemming, en of ze dit consistent genoeg kunnen doen om door overheidsbeheerders vertrouwd te worden.

Een team van onderzoekers van de Jan Evangelista Purkyně Universiteit in Ústí nad Labem zette zich in om deze vraag te beantwoorden met het Tsjechisch als hun testgeval. Ze verzamelden een enorme collectie van meer dan tienduizend recensies van zes verschillende mobiele overheidsapplicaties die door burgers in de Tsjechische Republiek worden gebruikt. Deze apps bestrijken een breed scala aan diensten, van elektronische recepten tot digitale identiteitskaarten. De onderzoekers wilden zien of een gestandaardiseerd proces met behulp van een groot taalmodel deze recensies in drie eenvoudige categorieën kon sorteren: positief, negatief of neutraal. Om de resultaten betrouwbaar te maken, vertrouwden ze niet simpelweg op de output van de computer. In plaats daarvan creëerden ze een "ground truth" door menselijke experts de sentimenten van een zorgvuldig geselecteerde steekproef van vijfhonderd recensies te laten lezen en te laten overeenstemmen. Deze door mensen geverifieerde steekproef diende als de benchmark waartegen de prestaties van de computer werden gemeten.

De studie vergeleek het grote taalmodel met verschillende andere methoden, waaronder eenvoudige woordtel-instrumenten en oudere soorten AI die gebruikelijk zijn voor tekstanalyse. De woordtel-instrumenten, die vertrouwen op woordenboeken met positieve en negatieve woorden, presteerden slecht. Ze begrepen vaak de context van een zin niet, waardoor ze de nuance misten dat een woord als "maar" de betekenis van een recensie volledig kon omdraaien. De oudere AI-modellen, hoewel beter dan de woordenboeken, hadden nog steeds moeite om een hoge nauwkeurigheid te bereiken zonder specifieke training op Tsjechische overheidsgegevens. In contrast hiermee demonstreerde het grote taalmodel, wanneer het duidelijke instructies kreeg over hoe de tekst geclassificeerd moest worden, een opmerkelijk vermogen om de nuances van de Tsjechische taal te begrijpen. Het identificeerde correct het sentiment in de overgrote meerderheid van de testgevallen, waarbij het met een hoge mate van overeenstemming overeenkwam met de oordelen van de menselijke experts.

Een van de meest cruciale bevindingen van het onderzoek was de stabiliteit van de resultaten. Omdat grote taalmodellen complexe systemen zijn, bestond de zorg dat het twee keer uitvoeren van dezelfde analyse verschillende antwoorden zou kunnen opleveren. De onderzoekers testten dit door het classificatieproces vijf afzonderlijke keren uit te voeren onder identieke omstandigheden. Ze ontdekten dat de nieuwere versie van het model ongelooflijk consistent was en bij bijna elke run dezelfde resultaten produceerde. Deze consistentie is essentieel voor echt gebruik, aangezien het betekent dat het hulpmiddel erop kan worden vertrouwd om elke keer hetzelfde antwoord op hetzelfde probleem te geven, ongeacht wanneer het wordt gebruikt. De oudere versie van het model vertoonde echter veel meer variatie tussen de runs, wat suggereert dat de specifieke versie van de software er sterk toe doet.

Toen de onderzoekers het meest stabiele en nauwkeurige model toepasten op de gehele collectie van tienduizend recensies, kwam er een duidelijk beeld van het sentiment onder de burgers naar voren. De analyse onthulde dat negatieve feedback het meest voorkwam, waarbij bijna twee derde van alle recensies ontevredenheid uitdrukte. Positieve recensies maakten ongeveer een kwart van het totaal uit, terwijl echt neutrale opmerkingen het zeldzaamst waren en minder dan acht procent bedroegen. Interessant genoeg kwam de tekst van de recensies niet altijd exact overeen met de sterrenscores die gebruikers aan de apps gaven. Terwijl een score van één ster bijna altijd overeenkwam met een negatieve tekst, en een score van vijf sterren meestal overeenkwimde met positieve tekst, was het middengebied rommelig. Veel drie-sterrenrecensies bevatten negatieve tekst, en sommige vijf-sterrenrecensies bevatten klachten, wat aantoont dat gebruikers hun gevoelens vaak op manieren mengen die een eenvoudige sterrenscore niet kan vangen.

De studie benadrukte ook waar de technologie nog steeds uitdagingen kent. De moeilijkste categorie voor de computer om juist te krijgen, was het "neutrale" sentiment. Deze categorie omvat feitelijke beschrijvingen, vragen of gemengde gevoelens waarbij geen sterke emotie aanwezig is. Het model had soms moeite om een neutrale opmerking te onderscheiden van een opmerking die licht negatief of positief was. Ondanks deze moeilijkheid presteerde het model echter beter dan alle andere beschikbare methoden die geen specifieke training vereisten. De onderzoekers concludeerden dat een gestandaardiseerde procedure met behulp van een groot taalmodel effectief de korte, niet-Engelse feedback van burgers kan analyseren, mits het proces zorgvuldig wordt gedocumenteerd en gevalideerd tegen menselijk oordeel.

Dit werk suggereert niet dat de technologie perfect is of dat het de menselijke inzichten volledig kan vervangen. De onderzoekers benadrukten dat de prestaties van het model afhangen van de specifieke instructies die eraan worden gegeven en de kwaliteit van het validatieproces. Ze merkten ook op dat de resultaten specifiek zijn voor deze bijzondere set overheidsapps en de Tsjechische taal, en dat andere applicaties of talen andere resultaten kunnen opleveren. Desalniettemin levert de studie sterk bewijs dat overheidsbeheerders deze instrumenten nu kunnen gebruiken om op grote schaal naar hun burgers te luisteren, zelfs in talen waar gespecialiseerde software voorheen niet beschikbaar was. Door duizenden ongestructureerde opmerkingen om te zetten in duidelijke, gecategoriseerde gegevens, bieden deze instrumenten een nieuwe manier om de dagelijkse ervaringen van mensen die digitale publieke diensten gebruiken te begrijpen, wat overheden helpt de instrumenten te verbeteren die hen dienen.