Quantifying and Predicting Disagreement in Graded Human Ratings

Sintesi Tecnica: Quantificazione e Previsione del Disaccordo nelle Valutazioni Umane Graduati

Enunciato del Problema
Gli annotatori umani manifestano frequentemente disaccordo nelle attività di Elaborazione del Linguaggio Naturale (NLP), in particolare in domini socialmente sensibili come il rilevamento di discorsi d'odio, linguaggio offensivo e contenuti tossici. Sebbene sia riconosciuto che la variazione nell'annotazione sia intrinseca, il grado di questa divergenza non è uniforme su tutte le istanze. Alcuni elementi suscitano un forte consenso, mentre altri innescano una significativa divergenza di opinioni o posizioni opposte. La letteratura corrente tratta spesso il disaccordo come un problema di previsione categorica (ad esempio, classificazione binaria dell'esistenza del disaccordo) o si concentra su etichette di compiti specifici (ad esempio, implicazione NLI). Manca una ricerca che esamini se il grado di incertezza nell'annotazione e l'intera struttura delle distribuzioni di annotazione granulare (in particolare le valutazioni su scala Likert) possano essere inferiti esclusivamente dalle caratteristiche testuali a livello di elemento. Inoltre, le metriche standard per la forma distributiva (come i coefficienti di bimodalità) spesso falliscono quando applicate a dati di annotazione sparsi (ad esempio, 3–5 annotatori per elemento).

Metodologia
Gli autori investigano la prevedibilità della variazione nell'annotazione utilizzando tre dataset annotati con valutazioni su scala Likert: Linguaggio Offensivo (scala a 3 punti), Discorsi d'Odio (scala a 3 punti) e Tossicità (scala a 5 punti). Lo studio si concentra su due obiettivi principali:

1. Inferenza della Varianza delle Valutazioni: Stima della varianza non distorta delle risposte degli annotatori per un dato elemento basata sulle sue caratteristiche testuali.
2. Identificazione di Opinioni Opposte: Rilevamento di istanze in cui gli annotatori mantengono posizioni genuinamente conflittuali (polarizzazione).

Per affrontare questi obiettivi, gli autori propongono due approcci di previsione:

• Previsione Diretta della Varianza: Addestramento di un modello di regressione per prevedere direttamente il valore della varianza ($\sigma^2$) dalle caratteristiche dell'elemento.
• Previsione Basata sulla Distribuzione: Addestramento di modelli per prevedere l'intera distribuzione delle valutazioni Likert ($p_i$) per un elemento, da cui vengono derivate la varianza e altre statistiche.

Lo studio impiega diverse funzioni di perdita adattate alla natura ordinale dei dati Likert, andando oltre la comune entropia incrociata categorica:

• Distanza del Trasportatore di Terra (EMD): Tiene conto della distanza ordinale tra le categorie di valutazione.
• EMD con Regolarizzazione della Media: Combina l'EMD con un termine di errore quadratico medio sulla valutazione attesa per vincolare la tendenza centrale.
• Entropia Incrociata Cumulativa Ordinale: Trasforma il problema multiclasse in $K-1$ decisioni binarie.
• Divergenza di Kullback–Leibler (KL): Utilizzata come baseline per la rappresentazione di etichette morbide senza considerazione esplicita della distanza ordinale.

Per quantificare le posizioni opposte, gli autori introducono l'Indice di Opposizione. Questa metrica divide la distribuzione delle valutazioni in segmenti basso, medio e alto ($P_{basso}, P_{medio}, P_{alto}$). L'indice è definito come $2 \cdot \min(P_{basso}, P_{alto}) \cdot (1 - P_{medio})$. Varia da 0 (consenso/unimodale) a 1 (polarizzazione massima, dove metà degli annotatori sceglie la valutazione più bassa e metà la più alta).

Principali Contributi

• Indice di Opposizione: Una nuova metrica progettata per quantificare l'opposizione di prospettive in contesti di annotazione sparsa dove i test di bimodalità tradizionali sono instabili.
• Modellazione Distributiva: Una dimostrazione che prevedere l'intera distribuzione Likert (utilizzando funzioni di perdita consapevoli dell'ordinale) è un'alternativa valida alla regressione diretta della varianza, recuperando spesso la struttura della variazione nell'annotazione in modo più robusto.
• Analisi Empirica della Polarizzazione: Un'indagine dettagliata sulla prevedibilità degli elementi ad alta opposizione, rivelando sfide specifiche nella modellazione della polarizzazione estrema.

Risultati

• Previsione della Varianza: Esiste una correlazione positiva moderata (Spearman's $r \approx 0,3$–$0,45$) tra la varianza stimata e quella osservata nell'annotazione su tutti i dataset.
  • Prestazioni: La regressione diretta della varianza e la previsione basata sulla distribuzione (in particolare utilizzando EMD+MSE) raggiungono prestazioni comparabili. EMD+MSE supera costantemente l'EMD standard e i modelli KL-soft.
  • Limitazioni: I modelli tendono a sottostimare gli elementi ad alta varianza e raramente prevedono valori di varianza esattamente pari a 0, concentrando spesso le previsioni in un intervallo centrale.
• Previsione di Posizioni Opposte: I modelli distinguono con successo tra elementi senza opposizione e quelli con opposizione moderata. Tuttavia, faticano con la polarizzazione estrema.
  • Sottostima: Gli elementi con alti valori reali dell'Indice di Opposizione (avvicinandosi a 1) sono frequentemente sottostimati dai modelli, con punteggi previsti che spesso si stabilizzano in un intervallo medio (circa 0,4).
  • Cause: Questa sottostima è attribuita alla scarsità di esempi altamente polarizzati nei dati di addestramento, alla sensibilità dell'indice al rumore nell'annotazione e al fatto che l'opposizione estrema può derivare da fattori (ideologia, esperienza personale) non inferibili dal solo testo.
• Rilevamento del Disaccordo: I modelli raggiungono prestazioni elevate (F1 > 0,6) nel rilevare la presenza di qualsiasi variazione nell'annotazione, sebbene le prestazioni varino leggermente in base al dataset e alla funzione di perdita.

Significato e Affermazioni
Il documento afferma che i modelli di annotazione a livello di elemento, in particolare la varianza e l'opposizione di posizione, possono essere parzialmente inferiti dalle caratteristiche testuali, sebbene con una correlazione moderata. Gli autori collocano il loro lavoro come un passo verso la caratterizzazione delle strutture della variazione nell'annotazione umana.

Il significato principale risiede nell'ottimizzazione pratica del flusso di lavoro di annotazione. Identificando gli elementi suscettibili di suscitare una significativa divergenza di opinioni, i ricercatori possono allocare le risorse in modo più efficiente: assegnando più annotatori a casi controversi o con divergenza di prospettive per catturare punti di vista latenti, riducendo al contempo lo sforzo sugli elementi con forte consenso. Lo studio evidenzia anche i limiti dei modelli attuali nel catturare la polarizzazione estrema, suggerendo che le caratteristiche puramente testuali potrebbero essere insufficienti per modellare completamente il giudizio umano in domini socialmente complessi. Gli autori rimangono modesti, notando che i modelli di embedding potrebbero non catturare tutti gli indizi linguistici e che la natura discreta dei dati Likert sparsi limita la granularità delle stime distributive.