Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation

Sintesi Tecnica: Chi e Cosa? Utilizzo di Caratteristiche Linguistiche e delle Caratteristiche degli Annotatori per Analizzare la Variazione nell'Annotazione

Dichiarazione del Problema
La variazione nelle etichette umane è un fenomeno centrale nell'Elaborazione del Linguaggio Naturale (NLP), in particolare per compiti soggettivi come il rilevamento del linguaggio dannoso. I recenti cambiamenti nelle pratiche di raccolta dati si sono orientati verso l'aumento del numero di annotatori e il rilascio di dataset disaggregati per catturare le decisioni di etichettatura individuali anziché aggregarle in un'unica etichetta "gold". Sebbene ciò fornisca dati ricchi riguardo a chi ha annotato (sociodemografia, atteggiamenti), il cosa (proprietà linguistiche degli elementi) e l'interazione tra i due hanno ricevuto scarsa attenzione. La ricerca esistente spesso non tiene conto della struttura incrociata-classificata dei dati di annotazione (dove elementi e annotatori sono fattori non annidati) e ignora frequentemente le interazioni tra le caratteristiche degli annotatori e le caratteristiche degli elementi. Questo articolo colma il divario nella comprensione di "chi differisce nella propria percezione di cosa" conducendo un'analisi su larga scala e fondata su principi della variazione nell'annotazione su quattro dataset di riferimento.

Metodologia
Gli autori analizzano quattro dataset inglesi di linguaggio dannoso (CTDP, MHS, POPQUORN, D3CODE), comprendenti oltre 25.000 elementi, 8.000 annotatori e 205.000 annotazioni. Lo studio impiega un quadro di regressione multilivello bayesiano con i seguenti componenti chiave:

1. Struttura dei Dati: I modelli tengono conto della struttura dei dati parzialmente incrociata-classificata includendo intercette casuali sia per gli annotatori che per gli elementi. Questo affronta la variazione sistematica presente a entrambi i livelli.
2. Ingegneria delle Caratteristiche:
   • Caratteristiche degli Annotatori: Fino a 19 caratteristiche per dataset, incluse sociodemografiche (età, genere, razza, istruzione, ecc.) e atteggiamenti (fondamenti morali, ideologia politica, atteggiamenti specifici per elemento).
   • Caratteristiche Linguistiche: Oltre 300 caratteristiche estratte utilizzando il pacchetto elfen, che coprono caratteristiche di superficie, leggibilità, psicolinguistiche, parte del discorso, ricchezza lessicale, morfologiche, teorico-informative, di dipendenza, semantiche, di entità nominate e di emozione/sentimento. Inoltre, segnali lessicali specifici del dominio (ad esempio, insulti, volgarità) sono stati estratti da diversi lessici di discorsi d'odio.
   • Interazioni: I modelli testano esplicitamente le interazioni tra le caratteristiche degli annotatori, tra le caratteristiche linguistiche e, crucialmente, tra le caratteristiche degli annotatori e quelle degli elementi.
3. Approccio di Modellazione: Viene utilizzata una regressione multilivello bayesiana con prior a ferro di cavallo (Horseshoe priors) per gestire l'alta dimensionalità dei predittori (fino a 5.264 effetti fissi) e la multicollinearità. Questo approccio di regolarizzazione riduce aggressivamente gli effetti piccoli e incerti verso zero, consentendo l'identificazione di effetti "sopravvissuti" (quelli con intervalli credibili posteriori al 90% che non sovrapposono lo zero).
4. Scenari Sperimentali: L'analisi è condotta in tre scenari realistici:
   • Confronto degli effetti tra diversi dataset con compiti correlati ma concettualizzazioni diverse.
   • Simulazione di nuovi annotatori dividendo il dataset D3CODE per valutare la variazione intra-gruppo.
   • Simulazione di nuovi lotti dividendo il dataset CTDP per valutare la stabilità tra lotti.

Risultati Chiave
L'analisi rivela che la variazione nell'annotazione è guidata da interazioni complesse piuttosto che da semplici effetti principali delle demografie degli annotatori o delle caratteristiche degli elementi da soli:

• Dominanza delle Interazioni: Le interazioni tra le caratteristiche degli annotatori e le caratteristiche linguistiche sono cruciali. Ad esempio, nel dataset POPQUORN, l'effetto delle parole offensive sui punteggi di offensività varia significativamente in base all'età, con gli annotatori più anziani che mostrano una correlazione più forte. In MHS, la posizione ideologica interagisce con l'età producendo differenze nette nei punteggi, in particolare agli estremi dello spettro politico.
• Indizi Linguistici: Gli indizi lessicali rimangono forti predittori. Caratteristiche come il sentimento negativo, la presenza di token offensivi/volgarità e specifiche entità nominate (ad esempio, nazionalità, gruppi religiosi) influenzano costantemente le annotazioni. Tuttavia, gli indizi specifici variano in base al dataset e al compito.
• Atteggiamenti vs. Demografie: Nella simulazione D3CODE, i proxy sociodemografici (come età o genere) spesso non sono sopravvissuti come effetti principali, mentre i fondamenti morali (in particolare "cura") e gli atteggiamenti specifici per elemento (ad esempio, se un annotatore pensa che un post debba essere rimosso) sono risultati significativi.
• Intersezionalità: Lo studio identifica effetti intersezionali che sono spesso ignorati nei lavori precedenti. Ad esempio, l'interazione tra ideologia ed età in MHS ha rivelato che gli annotatori anziani conservativi hanno valutato i contenuti diversamente rispetto agli anziani liberali, un pattern non visibile osservando l'età o l'ideologia in isolamento.
• Specificità del Dataset: I pattern degli effetti variano considerevolmente tra i dataset. Sebbene il sentimento negativo sia stato un sopravvissuto comune, altri effetti sono stati altamente specifici per le linee guida di annotazione del dataset, la composizione degli elementi e il pool di annotatori. Ciò suggerisce una generalizzabilità limitata dei risultati da una configurazione specifica a un'altra.
• Segnali Spuri: L'analisi ha scoperto potenziali artefatti dei dati, come un'interazione in cui gli annotatori indù hanno valutato gli elementi con token non standard (tag X) come meno offensivi, probabilmente a causa di coincidenze nel campionamento piuttosto che di un effetto linguistico genuino.

Significato e Contributi
Il paper apporta due contributi principali:

1. Metodologico: Stabilisce un approccio fondato su principi per l'analisi di dataset disaggregati su larga scala, dimostrando la necessità di utilizzare modelli multilivello con intercette casuali e regolarizzazione per gestire la struttura incrociata-classificata e gli spazi di caratteristiche ad alta dimensionalità. Sottolinea l'importanza di modellare le interazioni per districare la variazione.
2. Sostanziale: Fornisce la prima valutazione su larga scala del comportamento di annotazione nel rilevamento del linguaggio dannoso da una prospettiva linguistica, di interazione annotatore-elemento e intersezionale.

Gli autori sostengono che rispondere alla domanda "chi annota cosa" è vitale per molteplici comunità NLP. Per la comunità del rilevamento del linguaggio dannoso, offre approfondimenti sui pattern degli effetti che possono informare strategie di raccolta dati migliori (ad esempio, garantendo una rappresentazione diversificata degli annotatori per specifici tipi di elementi). Per la comunità della variazione nelle etichette umane, sottolinea la necessità di considerare sia il "chi" che il "cosa" per comprendere la variazione e guidare la riannotazione mirata. Infine, per le comunità di modellazione e moderazione dei contenuti, i risultati avvertono contro il trattamento della variazione delle etichette come semplice rumore; invece, le differenze sistematiche nel modo in cui gruppi specifici percepiscono specifici elementi testuali dovrebbero essere preservate per evitare di appiattire percezioni sfumate e per identificare potenziali confondenti spuri nell'addestramento dei modelli.

Il paper conclude con un invito alla cautela riguardo alla generalizzazione dei risultati tra diversi dataset e compiti, sottolineando che l'annotazione è un processo interattivo tra identità umane complesse e composizioni linguistiche specifiche.