Sintesi Tecnica: Offesa Vicaria e Audit del Rumore dei Classificatori di Discorso Offensivo

Definizione del Problema

Il rilevamento del discorso offensivo è una componente critica della moderazione dei contenuti, eppure la definizione di "offensivo" rimane altamente soggettiva, portando a frequenti disaccordi tra moderatori umani e macchine. La letteratura esistente ha indagato la generalizzabilità dei sistemi di rilevamento tra i dataset, le vulnerabilità avversarie e i bias geografici, ma manca di valutazioni complete, "in the wild", sugli esiti del filtraggio nel discorso politico su larga scala e nel mondo reale. Inoltre, gli approcci attuali spesso non tengono conto del fenomeno dell'offesa vicaria — la capacità di un individuo di prevedere come una persona con diverse affiliazioni politiche percepirà un determinato contenuto. Questo studio affronta il divario nella comprensione dell'entità del disaccordo tra i moderatori automatici e i limiti dei moderatori umani nel prevedere le percezioni dell'offesa trans-partitica.

Metodologia

1. Audit del Rumore dei Moderatori Automatici

Gli autori hanno condotto un audit del rumore su larga scala per misurare la variabilità degli esiti tra diversi sistemi decisionali, ispirandosi al concetto di "rumore" nel giudizio umano di Kahneman et al.

• Dataset: Un dataset massiccio comprendente oltre 92 milioni di commenti da 241.112 video di notizie sui canali ufficiali di YouTube di CNN, Fox News e MSNBC (2014–2022). Un campione casuale di 3 milioni di commenti è stato utilizzato per l'audit.
• Moderatori Automatici (MM): Sono stati valutati nove distinti modelli di identificazione del linguaggio offensivo:
  • Otto modelli addestrati su dataset ben noti (AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC) utilizzando architetture BERT-LARGE-CASED.
  • Un modello pubblico, Detoxify (ROBERTA-BASE), addestrato sul dataset di Jigsaw sull'Unintended Bias.
• Metrica: Lo studio ha quantificato l'accordo a coppie utilizzando il $\kappa$ di Cohen e l'accordo complessivo utilizzando il $\kappa$ di Fleiss per determinare la coerenza delle classificazioni "offensivo" vs "non offensivo".

2. Annotazione Umana e Studio sull'Offesa Vicaria

Per completare l'audit delle macchine, gli autori hanno introdotto un nuovo framework di annotazione basato sull'offesa vicaria.

• Costruzione del Dataset: È stato creato un sottoinsieme rappresentativo di 2.310 post sul web sociale, stratificato per disaccordo dei moderatori automatici (sottoinsiemi easy, debated e offensive) e per argomento (generale, controllo delle armi, diritti riproduttivi).
• Annotatori: 753 unici annotatori umani reclutati tramite Amazon Mechanical Turk, bilanciati per garantire la rappresentanza di tre identità politiche: Democratici (35%), Repubblicani (35%) e Indipendenti (30%).
• Task di Annotazione: Per ogni post, gli annotatori hanno risposto a due tipi di domande:
  1. Offesa Personale (Prima Persona): "Trovi questo contenuto offensivo?"
  2. Offesa Vicaria (Seconda Persona): "Pensi che una persona con una diversa identità politica (es. un Repubblicano) troverebbe questo contenuto offensivo?"
• Baseline LLM: Lo studio ha anche utilizzato l'API di ChatGPT (GPT-3.5-turbo) per prevedere l'offesa vicaria, istruendo il modello ad agire come un membro di un determinato partito politico che valuta il contenuto per l'altro partito.

Contributi Chiave

1. Audit del Rumore Senza Precedenti: Il documento presenta un audit del rumore completo che rivela una significativa variabilità negli esiti della moderazione dei contenuti tra nove diversi moderatori automatici su dati politici reali.
2. Dataset VOICED: Il rilascio del dataset VOICED (Vicarious Offense Identification Corpus for Estimating Disagreements). Questo è il primo dataset di questo tipo in cui gli annotatori etichettano sia l'offesa in prima persona che quella vicaria, coprendo Democratici, Repubblicani e Indipendenti.
3. Framework dell'Offesa Vicaria: L'introduzione di una nuova prospettiva sull'offesa che va oltre la soggettività individuale per analizzare quanto bene i gruppi politici comprendano le sensibilità dei gruppi opposti.
4. Analisi dell'Allineamento Umano-Macchina: Un'analisi dettagliata dell'allineamento (e del disallineamento) tra i moderatori umani di diverse inclinazioni politiche e i classificatori automatici, incluso l'uso degli LLM come predittori vicari.

Risultati

Disaccordo tra i Moderatori Automatici

• Basso Consenso: Esiste un ampio disaccordo tra i moderatori automatici. Nessia coppia di modelli ha mostrato un accordo sostanziale ($\kappa \ge 0.81$). Solo una manciata mostrava un accordo moderato ($0.41 \le \kappa \le 0.60$).
• Rumore Complessivo: Il $\kappa$ di Fleiss complessivo attraverso le tre reti di news era basso (0.27, 0.25 e 0.22), indicando che gli esiti della moderazione variano drasticamente a seconda del classificatore specifico impiegato.
• Contenuto Volatile: Quasi la metà del contenuto non è stata segnalata da alcun moderatore automatico, mentre una frazione minuscola (0,03%) è stata segnalata da tutti. Una parte significativa (10,1%) cadeva in una "zona di disputa" dove esattamente la metà dei modelli segnalava il contenuto, rendendo gli esiti della moderazione altamente volatili.

Disaccordo tra i Moderatori Umani e Offesa Vicaria

• Accordo in Prima Persona: L'accordo uomo-uomo era generalmente più alto dell'accordo uomo-macchina, sebbene fosse comunque solo moderato (es. $\kappa = 0.43$ tra Indipendenti e Democratici). Democratici e Indipendenti erano i più allineati.
• Fallimento della Predizione Vicaria: I moderatori umani faticavano a prevedere accuratamente come i gruppi politici opposti avrebbero percepito l'offesa.
  • I Repubblicani erano i peggiori predittori dell'offesa vicaria sia per i Democratici che per gli Indipendenti.
  • Democratici e Indipendenti potevano prevedere ragionevolmente l'offesa l'uno dell'altro, ma faticavano a prevedere cosa i Repubblicani considerassero offensivo.
  • La "Trappola della Coerenza": Un pool di moderatori composto solo da Democratici e Indipendenti potrebbe mostrare un'alta coerenza nel predire ciò che i Repubblicani trovano offensivo, eppure questa predizione potrebbe essere fondamentalmente errata rispetto a ciò che i Repubblicani effettivamente trovano offensivo.

Allineamento Umano-Macchina

• Allineamento Politico: Tutti i gruppi politici mostravano un accordo comparabile con le macchine su ciò che è offensivo, tuttavia i Repubblicani si allineavano leggermente di più alle macchine su ciò che non è offensivo.
• Sfumature Contestuali: Gli esseri umani hanno dimostrato la capacità di rilevare l'offesa basandosi sul contesto e sui target (es. commenti sprezzanti su Caitlyn Jenner) che i moderatori automatici hanno mancato. Al contrario, gli umani talvolta segnalavano contenuti come offensivi basandosi sul disaccordo politico piuttosto che sulla tossicità, mentre le macchine spesso si affidavano alla volgarità.
• Temi Sensibili: Il disaccordo peggiorava significativamente su temi sensibili come il controllo delle armi e i diritti riproduttivi. Su questi argomenti, l'accordo macchina-umano diminuiva sensibilmente e alcune coppie di moderatori raggiungevano valori di $\kappa$ di Cohen negativi, indicando un disaccordo sistematico.

Prestazioni degli LLM

• L'API di ChatGPT (GPT-3.5), utilizzata come predittore vicario, mostrava schemi di accordo simili ai moderatori automatici piuttosto che alla maggioranza umana. Concordava meno con i moderatori umani e di più con la maggioranza delle macchine, evidenziando la difficoltà degli LLM nel modellare la sfumata soggettività politica umana.

Significato e Rivendicazioni

Il documento sostiene di rompere nuovi terreni quantificando il "rumore" nella moderazione dei contenuti su una scala senza precedenti e introducendo il concetto di offesa vicaria. Gli autori sostengono che:

1. La Soggettività è Fondamentale: In un discorso politico altamente polarizzato, può non esserci praticamente alcun accordo tra i gruppi di annotatori, portando a "fatti alternativi" riguardo a ciò che costituisce un contenuto offensivo.
2. Limiti degli Attuali Sistemi: Gli attuali moderatori automatici e persino i grandi modelli linguistici falliscono nel prevedere come diversi gruppi politici percepiscano l'offesa, suggerendo che un singolo label "gold standard" sia spesso insufficiente o fuorviante.
3. Democrazia e Fiducia: Lo studio evidenzia l'erosione della fiducia nella democrazia, notando che diversi gruppi politici hanno visioni divergenti sulla correttezza delle elezioni e sulla tolleranza del discorso offensivo, il che complica il ruolo delle piattaforme social nella moderazione del discorso.

Gli autori posizionano il loro lavoro come primariamente descrittivo, mirando a "chiudere il cerchio" sulla comprensione delle sfide della moderazione dei contenuti offensivi sia dal punto di vista delle macchine che da quello umano, e a fornire una risorsa (VOICED) per lo sviluppo di sistemi di modellazione più robusti e multi-prospettici. Essi dichiarano esplicitamente che i loro risultati suggeriscono che la moderazione dei contenuti sia un argomento sfumato dove i livelli di tolleranza variano per tema e identità politica, e che gli attuali sistemi sono inadeguati a gestire questa complessità senza la supervisione umana o una modellazione più sofisticata della soggettività politica.