💻 computer science

How Annotator Agreement Affects Sentiment Classification Performance for Indonesian Coastal Tourism Reviews

Questo studio dimostra che l'addestramento di classificatori di sentiment su un dataset più ampio di recensioni sul turismo costiero indonesiano basato sul voto di maggioranza produce prestazioni superiori rispetto a un dataset basato su un consenso strettamente unanime, sebbene i risultati suggeriscano che l'aumento del volume dei dati e dell'equilibrio delle classi, piuttosto che il solo mantenimento di istanze ambigue, possano essere i principali fattori di miglioramento, mentre IndoBERT riduce efficacemente la classificazione errata sistematica delle recensioni neutre.

Autori originali: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Pubblicato 2026-08-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sandy Kurniawan, Henri Tantyoko, Khadijah Khadijah, Helmie Arif Wibawa

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nell'era digitale, la voce del viaggiatore è diventata una vasta, non strutturata biblioteca di opinioni umane. Milioni di persone scrivono recensioni su spiagge, hotel e ristoranti, riversando le loro speranze, delusioni e osservazioni in testi che sono spesso informali, ricchi di slang e profondamente sfumati. Per le aziende e i ricercatori, la sfida è dare un senso a questo flusso. Devono sapere non solo se una recensione è buona o cattiva, ma esattamente come si sente l'autore. Questo è il dominio della sentiment analysis, un ramo dell'informatica che insegna alle macchine a leggere le emozioni. Per anni, l'approccio standard è stato quello di far etichettare queste recensioni dagli esseri umani con categorie semplici come "positivo", "negativo" o "neutro", e poi addestrare i computer a riconoscere tali schemi. Tuttavia, il giudizio umano è raramente perfetto. Quando tre persone leggono la stessa recensione, potrebbero non essere d'accordo sul fatto che sia veramente neutra o leggermente negativa. Questo disaccordo crea un enigma per gli scienziati: dovrebbero scartare le recensioni confuse per tenere solo quelle su cui tutti concordano, o dovrebbero mantenere quelle disordinate e contestate per dare al computer più esempi da cui imparare?

Un team di ricercatori dell'Università Diponegoro in Indonesia ha cercato di risolvere questo specifico enigma utilizzando recensioni di destinazioni turistiche costiere. Si sono concentrati sulla lingua indonesiana, che è ricca di espressioni informali e variazioni regionali, rendendola un caso di test particolarmente difficile per i computer. I ricercatori hanno raccolto centinaia di migliaia di recensioni pubbliche da Google Maps che coprivano le spiagge dell'arcipelago. Dopo aver pulito i dati e filtrato i duplicati o i testi non in indonesiano, hanno selezionato un campione bilanciato di circa 22.000 recensioni da essere lette da tre annotatori umani. Ogni persona ha deciso indipendentemente se una recensione fosse positiva, negativa o neutra. Questo processo ha rivelato una realtà naturale: gli esseri umani non sempre concordavano. Alcune recensioni erano così chiare che tutti e tre gli annotatori sceglievano la stessa etichetta, mentre altre erano abbastanza ambigue che due concordavano e uno dissentiva, o dove tutti e tre sceglievano etichette diverse.

I ricercatori hanno poi diviso i loro dati in due gruppi distinti per vedere come questo disaccordo influenzasse l'apprendimento del computer. Il primo gruppo, che chiamavano il set "unanime", conteneva solo le recensioni in cui tutti e tre gli umani concordavano. Questa era una collezione più piccola e pulita di 15.527 recensioni, ma mancava dei casi complicati e ambigui. Il secondo gruppo, il set "a maggioranza", manteneva le recensioni unanimi ma aggiungeva anche quelle in cui due persone su tre concordavano. Questo set più grande conteneva 21.235 recensioni e includeva molti più esempi di testi neutri, con sentimenti misti o confusi, che spesso mettono in difficoltà i computer. Hanno poi addestrato tre diversi tipi di programmi informatici su questi due gruppi. Due dei programmi utilizzavano metodi tradizionali più vecchi basati sulla frequenza delle parole, mentre il terzo utilizzava un sistema moderno e avanzato chiamato IndoBERT, progettato per comprendere il contesto e le relazioni tra le parole nella lingua indonesiana, molto più come un lettore umano.

I risultati sono stati chiari e piuttosto sorprendenti. Contrariamente all'idea che un computer impari meglio solo da esempi perfettamente concordati, ogni singolo programma ha performato meglio quando addestrato sul gruppo più grande e disordinato che includeva le recensioni contestate. Il sistema più avanzato, IndoBERT, ha ottenuto un punteggio più alto quando ha imparato dal gruppo a maggioranza rispetto al gruppo unanime. Ciò suggerisce che scartando le recensioni ambigue per garantire un accordo perfetto, i ricercatori stavano in realtà scartando lezioni preziose. Le recensioni contestate contenevano spesso i sentimenti complessi e misti che i veri viaggiatori esprimono, e avere più di questi esempi ha aiutato il computer a comprendere l'intera gamma delle emozioni umane. Lo studio ha rilevato che il miglioramento maggiore è avvenuto nella capacità di identificare correttamente le recensioni "neutre". Quando il computer veniva addestrato solo sui dati unanimi e puliti, faticava a distinguere tra una recensione veramente neutra e una leggermente positiva o negativa. Ma quando era stato permesso di studiare i dati a maggioranza, che contenevano molti più esempi di questi casi neutri, è diventato molto più bravo nel riconoscerli.

Tuttavia, i ricercatori sono stati cauti nel notare che questo miglioramento potrebbe non dipendere esclusivamente dal disaccordo in sé. Il gruppo più grande aveva semplicemente più dati e un migliore equilibrio di esempi neutri, che sono naturalmente più difficili da trovare rispetto ai casi netti positivi o negativi. Lo studio non ha dimostrato che il disaccordo sia buono in sé, quanto piuttosto che filtrarlo rimuove troppe informazioni utili. Il computer continuava comunque a faticare con certi tipi di scrittura complessa, come le recensioni che lodavano una parte di una spiaggia criticandone un'altra, o quelle che usavano un linguaggio sottile e indiretto per esprimere delusione. Questi casi difficili rimanevano una sfida anche per il modello più avanzato. In definitiva, il lavoro suggerisce che nel mondo disordinato del linguaggio umano, un po' di disaccordo nei dati di addestramento potrebbe essere necessario per insegnare a un computer di comprendere davvero le sfumature della voce di un viaggiatore.

Sintesi Tecnica: Accordo tra Annotatori e Classificazione del Sentiment nel Turismo Costiero Indonesiano

Problematica
L'elaborazione dei contenuti generati dagli utenti (UGC) per il turismo regionale, specificamente le recensioni sulle coste indonesiane, è ostacolata dalla complessità linguistica, dall'ambiguità e dalla natura soggettiva del sentiment. Sebbene i modelli contestuali profondi come IndoBERT offrano una comprensione semantica superiore rispetto ai baseline tradizionali, la loro efficacia è fondamentalmente limitata dalla qualità dei dati di addestramento annotati. Una sfida metodologica centrale nei compiti di NLP soggettivi è il trattamento del disaccordo tra annotatori. Le strategie convenzionali spesso impiegano il voto di maggioranza per risolvere le controversie, scartando l'informazione relativa al disaccordo stesso, oppure filtrano i dati per mantenere solo il consenso unanime. Ciò crea un compromesso: filtrare per un alto consenso può migliorare la coerenza delle etichette ma rimuove esempi linguisticamente ambigui e informativi, mentre mantenere le istanze risolte a maggioranza aumenta la dimensione e la diversità del dataset ma introduce un potenziale rumore nelle etichette. L'impatere specifico di queste condizioni di accordo di annotazione sulle prestazioni di classificazione del sentiment a valle, in particolare all'interno del dominio indonesiano, rimane poco esplorato.

Metodologia
Lo studio costruisce un dataset di 21.779 recensioni sul turismo costiero indonesiano estratte da Google Maps, che copre regioni dalla Sumatra alla Papua. I dati sono stati sottoposti a sottocampionamento stratificato per bilanciare le valutazioni originali in stelle, seguiti da annotazione manuale da parte di tre annotatori umani indipendenti che assegnano etichette di positivo, negativo o neutro.

I ricercatori hanno organizzato i dati in due distinti percorsi sperimentali di addestramento per isolare gli effetti dell'accordo di annotazione:

Track A (Consenso Unanime): Contiene solo le recensioni in cui tutti e tre gli annotatori hanno assegnato la stessa etichetta ( $n=15.527$ ). Questo sottoinsieme è fortemente sbilanciato verso sentiment polarizzati, con le istanze neutre che comprendono solo il 9,48% dei dati.
Track B (Voto di Maggioranza): Mantiene le recensioni risolte tramite un accordo di due a uno ( $n=21.235$ ). Questo sottoinsieme include tutte le istanze unanimi più quelle con disaccordo risolto, risultando in una proporzione significativamente più alta di etichette neutre (20,08%) e un vocabolario più ampio.

Tre modelli sono stati addestrati e valutati sotto entrambe le condizioni utilizzando un set di test identico e tenuto separato di 300 recensioni bilanciate (100 per classe):

Classificatore a Vettori di Supporto Lineare (SVM) con feature TF-IDF (unigrammi e bigrammi).
Multinomial Naive Bayes con feature TF-IDF.
IndoBERT (indobenchmark/indobert-base-p1), un modello basato su Transformer preaddestrato sul corpus indonesiano Indo4B.

I pipeline di pre-processing differivano per famiglia di modelli: i modelli tradizionali utilizzavano lo stemming e la rimozione delle stopword (mantenendo le parole di negazione), mentre IndoBERT utilizzava un pipeline meno aggressivo che preservava le forme morfologiche originali e la punteggiatura per mantenere l'integrità contestuale.

Risultati Chiave
Contrariamente all'ipotesi che un maggiore consenso di annotazione porti a prestazioni migliori, tutti e tre i classificatori hanno ottenuto punteggi di Accuratezza e Macro F1 più elevati quando addestrati sul Track B (Voto di Maggioranza) rispetto al Track A (Consenso Unanime).

IndoBERT: Ha raggiunto un Macro F1 di 0,9327 sul Track B rispetto a 0,9255 sul Track A.
SVM: È migliorato da un Macro F1 di 0,7223 (Track A) a 0,7552 (Track B).
Naive Bayes: Ha mostrato il guadagno relativo più significativo, passando da 0,5084 (Track A) a 0,6433 (Track B).

Analisi degli Errori e "Neutrality Bleed"
L'analisi della matrice di confusione ha rivelato che la classe neutra era la principale fonte di errore, in particolare per i modelli tradizionali basati su TF-IDF. È stato osservato un fenomeno denominato "Neutrality Bleed" (dispersione della neutralità), in cui i classificatori tradizionali classificavano sistematicamente le recensioni neutre come polarizzate (positive o negative).

Sul Track A, Naive Bayes non è riuscito a identificare alcuna istanza di test neutra (Recall = 0,00), classificandole erroneamente come negative o positive.
IndoBERT ha dimostrato una robustezza superiore, ottenendo una recall per i neutri di 0,83 sul Track A e 0,86 sul Track B, superando significativamente i baseline nel distinguere i sentimenti neutri da quelli polarizzati.

L'analisi qualitativa ha identificato sfide linguistiche specifiche che rimanevano difficili anche per IndoBERT, tra cui:

Sentiment spazialmente conflittuale: Recensioni che valutano diverse parti di una destinazione con polarità opposte (ad esempio, spazzatura sul lato ovest rispetto a grandi onde sul lato nord).
Valutazioni miste multi-aspetto: Recensioni lunghe contenenti molteplici aspetti positivi e negativi che si aggregano in un rating neutro, ma che sono spesso classificate erroneamente come negative a causa del peso cumulativo dei segnali negativi.
Critica indiretta: Espressioni sottili di insoddisfazione (ad esempio, "è un peccato") che i modelli a volte interpretano erroneamente come neutre.

Significatività e Rivendicazioni
L'articolo sostiene che, nel contesto di questo specifico dataset e setup sperimentale, mantenere le istanze risolte a maggioranza (Track B) produce prestazioni predittive migliori rispetto alla restrizione dell'addestramento al consenso unanime (Track A). Gli autori attribuiscono questo miglioramento all'aumento della dimensione del set di addestramento, al vocabolario più ampio e, soprattutto, al potenziamento della rappresentazione della classe neutra nel Track B.

Tuttavia, gli autori dichiarano esplicitamente che questi risultati non possono essere attribuiti esclusivamente all'accordo tra annotatori. Poiché il Track B è un sovrainsi del Track A con diverse distribuzioni di classe e dimensioni del campione, i guadagni di prestazione osservati possono riflettere ugualmente i benefici dell'aumento del volume dei dati. Di conseguenza, lo studio non afferma che il disaccordo tra annotatori sia intrinsecamente benefico; piuttosto, evidenzia un compromesso in cui il filtraggio per il consenso rimuove esempi ambigui e informativi che sono critici per addestrare modelli robusti, specialmente per la classe neutra.

Lo studio conclude che, sebbene IndoBERT mitighi sostanzialmente gli errori associati alla negazione e alle costruzioni di sentiment misto rispetto ai baseline tradizionali, persistono sfide specifiche del dominio come le valutazioni multi-aspetto e le espressioni regionali. Gli autori invocano futuri esperimenti controllati che mantengano costanti la dimensione del set di addestramento e la distribuzione delle classi per isolare il contributo specifico dell'accordo tra annotatori, e suggeriscono di passare all'Analisi del Sentiment Basata sugli Aspetti (ABSA) per gestire meglio le recensioni con polarità conflittuali.

Articoli simili