Sentiment Analysis of Government Mobile App Reviews: Validating Zero-Shot Classification with a Large Language Model

Ogni giorno, milioni di persone interagiscono con i propri governi attraverso i piccoli schermi dei loro smartphone. Utilizzano app per pagare prescrizioni, rinnovare documenti d'identità o accedere a registri pubblici. Sebbene questi strumenti siano pensati per facilitare la vita, generano anche un flusso costante di feedback sotto forma di recensioni degli utenti. Questi testi brevi e informali sono una miniera d'oro per comprendere come i cittadini percepiscano i servizi pubblici digitali, ma rappresentano anche una sfida per i ricercatori. A differenza di una semplice valutazione a stelle, che offre un singolo numero, una recensione contiene parole che portano con sé sfumature, ironia e complessità emotive. Nei paesi in cui la lingua primaria non è l'inglese, analizzare questo feedback diventa ancora più difficile perché i sofisticati programmi informatici solitamente usati per questo compito sono spesso addestrati su dati inglesi e faticano con la grammatica e il vocabolario specifici di altre lingue.

Per molto tempo, la soluzione a questo problema è stata quella di tradurre le recensioni in inglese o di costruire software personalizzati per ogni specifica lingua, un processo che richiede enormi quantità di dati etichettati e competenze tecniche. Tuttavia, è emerso un nuovo tipo di intelligenza artificiale, noto come modello linguistico di grandi dimensioni (large language model). Questi modelli sono addestrati su enormi quantità di testo provenienti da tutto internet e possono comprendere il contesto e le istruzioni senza la necessità di essere riaddestrati per ogni nuovo compito. La domanda che i ricercatori si pongono è se questi potenti strumenti possano leggere e categorizzare accuratamente i sentimenti nelle brevi recensioni non inglesi delle app governative senza alcuna calibrazione speciale, e se possano farlo con una costanza tale da essere affidabili per gli amministratori pubblici.

Un team di ricercatori dell'Università Jan Evangelista Purkyně di Ústí nad Labem si è posto l'obiettivo di rispondere a questa domanda utilizzando la lingua ceca come caso di studio. Hanno raccolto una vasta collezione di oltre diecimila recensioni provenienti da sei diverse applicazioni mobili governative utilizzate dai cittadini nella Repubblica Ceca. Queste app coprono una vasta gamma di servizi, dalle prescrizioni elettroniche alle carte d'identità digitali. I ricercatori volevano vedere se un processo standardizzato utilizzando un modello linguistico di grandi dimensioni potesse classificare queste recensioni in tre categorie semplici: positivo, negativo o neutro. Per garantire l'affidabilità dei risultati, non si sono limitati a fidarsi dell'output del computer. Al contrario, hanno creato una "verità di base" (ground truth) facendo in modo che esperti umani leggessero e concordassero sul sentiment di un campione selezionato di cinquecento recensioni. Questo campione verificato da esseri umani ha servito come parametro di riferimento rispetto al quale è stata misurata la prestazione del computer.

Lo studio ha confrontato il modello linguistico di grandi dimensioni con diversi altri metodi, inclusi semplici strumenti di conteggio delle parole e tipi di IA più datati comunemente usati per l'analisi del testo. Gli strumenti di conteggio delle parole, che si basano su dizionari di parole positive e negative, hanno ottenuto scarsi risultati. Spesso non riuscivano a comprendere il contesto di una frase, perdendo il fatto che una parola come "ma" potesse ribaltare completamente il significato di una recensione. I modelli di IA più vecchi, pur essendo migliori dei dizionari, faticavano comunque a raggiungere un'elevata precisione senza un addestramento specifico sui dati governativi cechi. Al contrario, il modello linguistico di grandi dimensioni, quando riceveva istruzioni chiare su come classificare il testo, dimostrava una straordinaria capacità di comprendere le sfumature della lingua ceca. Identificava correttamente il sentiment nella stragrande maggioranza dei casi di test, concordando con un alto grado di precisione con i giudizi degli esperti umani.

Uno dei risultati più critici della ricerca è stata la stabilità dei risultati. Poiché i modelli linguistici di grandi dimensioni sono sistemi complessi, vi era il timore che eseguire la stessa analisi due volte potesse produrre risposte diverse. I ricercatori hanno testato questo aspetto eseguendo il processo di classificazione cinque volte separate in condizioni identiche. Hanno scoperto che la nuova versione del modello era incredibilmente costante, producendo risultati quasi identici ogni volta. Questa coerenza è fondamentale per l'uso nel mondo reale, poiché significa che lo strumento può essere affidato per dare la stessa risposta allo stesso problema, indipendentemente da quando viene utilizzato. La versione precedente del modello, invece, mostrava molta più variazione tra le varie esecuzioni, suggerendo che la versione specifica del software sia di grande importanza.

Quando i ricercatori hanno applicato il modello più stabile e accurato all'intera collezione di diecimila recensioni, è emersa un'immagine chiara del sentiment dei cittadini. L'analisi ha rivelato che il feedback negativo era il più comune, con quasi due terzi di tutte le recensioni che esprimevano insoddisfazione. Le recensioni positive costituivano circa un quarto del totale, mentre i commenti veramente neutri erano i più rari, rappresentando meno dell'otto per cento. Interessante notare che il testo delle recensioni non corrispondeva sempre perfettamente alle valutazioni a stelle date dagli utenti alle app. Mentre una valutazione a una stella corrispondeva quasi sempre a un testo negativo, e una valutazione a cinque stelle corrispondeva solitamente a un testo positivo, la via di mezzo era confusa. Molte recensioni a tre stelle contenevano testi negativi e alcune recensioni a cinque stelle includevano lamentele, dimostrando che gli utenti spesso mescolano i propri sentimenti in modi che una semplice valutazione a stelle non può catturare.

Lo studio ha inoltre evidenziato dove la tecnologia incontra ancora delle sfide. La categoria più difficile da interpretare correttamente per il computer era il sentiment "neutro". Questa categoria include descrizioni fattuali, domande o sentiment misti in cui non è presente una forte emozione. Il modello a volte faticava a distinguere tra un commento neutro e uno leggermente negativo o positivo. Tuttavia, nonostante questa difficoltà, il modello ha superato tutti gli altri metodi disponibili che non richiedevano un addestramento personalizzato. I ricercatori hanno concluso che una procedura standardizzata che utilizza un modello linguistico di grandi dimensioni può analizzare efficacemente brevi feedback dei cittadini non inglesi, a condizione che il processo sia attentamente documentato e validato rispetto al giudizio umano.

Questo lavoro non suggerisce che la tecnologia sia perfetta o che possa sostituire interamente l'intuizione umana. I ricercatori hanno sottolineato che la prestazione del modello dipende dalle istruzioni specifiche fornite e dalla qualità del processo di validazione. Hanno anche osservato che i risultati sono specifici per questo particolare set di app governative e per la lingua ceca, e che diverse applicazioni o lingue potrebbero produrre risultati differenti. Ciononostante, lo studio fornisce una prova convincente del fatto che gli amministratori pubblici possono ora utilizzare questi strumenti per ascoltare i propri cittadini su larga scala, anche in lingue dove software specializzati non erano precedentemente disponibili. Trasformando migliaia di commenti non strutturati in dati chiari e categorizzati, questi strumenti offrono un nuovo modo per comprendere le esperienze quotidiane delle persone che utilizzano i servizi pubblici digitali, aiutando i governi a migliorare gli strumenti che li servono.