💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Questo articolo introduce il framework "Ghost Annotator", che combina la previsione conforme con il filtraggio collaborativo per analizzare la variazione delle etichette umane e rivelare che i modelli linguistici di grandi dimensioni mostrano una maggiore fiducia nelle previsioni che divergono dal consenso umano, esponendo così pregiudizi demografici strutturali radicati nei dati di preaddestramento.

Autori originali: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come decidere cosa è "maleducato" o "dannoso" in una conversazione. Chiedi a un gruppo di 100 esseri umani diversi di leggere un commento specifico e di valutarlo. Poiché le persone hanno background, età e culture diverse, non sono tutti d'accordo. Alcuni pensano che il commento sia divertente; altri lo considerano incitamento all'odio. Questo disaccordo è chiamato Variazione del Label Umano (Human Label Variation).

Il documento presenta un nuovo strumento chiamato "Ghost Annotator" per capire quanto bene i modelli di IA (come quelli che alimentano le chatbot) comprendano questi disaccordi umani e dove sbagliano.

Ecco come funziona il documento, spiegato attraverso semplici analogie:

1. Il Problema: Il Robot contro la Folla

Di solito, quando testiamo un'IA, chiediamo: "Il robot ha dato la risposta 'giusta'?" Ma nella moderazione dei contenuti, spesso non esiste una singola risposta giusta. Se 50 persone dicono che un commento è "leggermente offensivo" e 50 dicono che è "dannoso", l'IA rimane bloccata.

I ricercatori volevano sapere:

L'IA si confonde quando gli umani sono in disaccordo?
L'IA ha una sua "personalità" che la porta ad essere d'accordo con certi tipi di persone e a ignorarne altre?

2. Lo Strumento: Il "Fantasma" nella Macchina

Per risolvere questo problema, il team ha creato un framework utilizzando un metodo statistico chiamato Conformal Prediction. Immaginalo come un "misuratore di fiducia".

La Ghost Prediction (Predizione Fantasma): Immagina che l'IA stia sostenendo un esame. Di solito, l'IA sceglie una risposta che corrisponde a quella scelta dagli umani. Ma a volte, l'IA sceglie una risposta che nessun umano ha scelto. I ricercatori chiamano questa una "Ghost Prediction". È come se l'IA vedesse un fantasma — un'etichetta che non esiste nel mondo umano.
Il Ghost Annotator: Questo è l'invenzione principale del documento. Invece di guardare solo le risposte dell'IA, trasformano il comportamento dell'IA in un "impronta digitale" (un vettore matematico). Chiamano questa impronta digitale il Ghost Annotator. Rappresenta l'opinione unica dell'IA come se fosse un lavoratore umano, anche se si tratta di una macchina.

3. L'Esperimento: Confrontare le Impronte Digitali

I ricercatori hanno preso quattro diversi modelli di IA (due piccoli, due grandi, di due diverse aziende) e li hanno testati su quattro diversi dataset di post sui social media (riguardanti incitamento all'odio, violenza e offensività).

Hanno confrontato l' "Impronta Digitale Fantasma" dell'IA con le impronte digitali di veri annotatori umani, raggruppando gli umani per demografia come età, genere e provenienza (ad esempio, Africa subsahariana, India, Stati Uniti).

la 4. Le Scoperte: Cosa hanno rivelato i Fantasmi

Scoperta A: L' "Outsider Convincente"

L'Analogia: Immagina uno studente piccolo e nervoso che ammette: "Non sono sicuro di questa risposta", quando la classe sta discutendo. Ora immagina uno studente grande e sicuro di sé che dice: "So che la risposta è X", anche quando tutta la classe è in disaccordo.
Il Risultato: I ricercatori hanno scoperto che i modelli di IA più grandi (gli studenti sicuri di sé) erano in realtà più sicuri quando davano risposte che nessun essere umano aveva scelto (Ghost Predictions). Erano certi delle loro risposte "fantasma", anche quando erano completamente fuori sincrono con l'opinione umana. I modelli più piccoli erano meno sicuri in queste situazioni strane.

Scoperta B: Il "Punto Cieco Demografico"

L'Analogia: Immagina un gruppo di giudici. Se chiedi a un giudice del Gruppo A di valutare un film, potrebbe essere d'accordo con l'IA. Ma se chiedi a un giudice del Gruppo B, potrebbe essere completamente in disaccordo. Il documento ha scoperto che l'IA agisce come un giudice che è costantemente "fuori contatto" con un gruppo specifico di persone, indipendentemente da quante persone di quel gruppo siano presenti nella stanza.
Il Risultato: I modelli di IA hanno mostrato un pattern costante di disallineamento demografico. Nello specifico, la "Ghost Fingerprint" dell'IA era costantemente la meno simile agli annotatori umani provenienti dall'Africa subsahariana (SSA).
Il Colpo di Scena: Questo accadeva anche se il gruppo SSA era in realtà il gruppo di annotatori umani più numeroso nello studio. L'IA non li ha ignorati perché c'erano pochi di loro; li ha ignorati a causa di un pregiudizio profondo.
La Causa: I ricercatori ritengono che questo pregiudizio derivi dai dati di pre-addestramento (la massa enorme di testi che l'IA ha letto prima di imparare il compito specifico). È come se l'IA avesse imparato la sua "visione del mondo" da una biblioteca che non aveva abbastanza libri scritti da persone dell'Africa subsahariana. Questo pregiudizio è "strutturale", il che significa che è incorporato nelle fondamenta del modello, non è solo un errore nel test specifico.

5. Perché Questo è Importante (Secondo il Documento)

Il documento sostiene che non possiamo risolvere questo problema semplicemente aggiungendo più etichette umane diversificate ai dati di addestramento. Se la "fondamenta" (il pre-addestramento) dell'IA è già influenzata da pregiudizi, aggiungere alcune voci diverse alla fine non correggerà la prospettiva del "Ghost Annotator".

Il framework Ghost Annotator è un modo per fare una "radiografia" a un modello di IA per vedere esattamente quali gruppi di persone non riesce a comprendere, prima di lasciarlo libero di moderare i contenuti su internet.

In breve: Il documento ha costruito uno strumento per vedere la "personalità" dei modelli di IA. Hanno scoperto che i grandi modelli di IA sicuri di sé hanno spesso un "punto cieco" per specifiche culture, e questo punto cieco è così profondo che deriva proprio dai dati che l'IA ha imparato a leggere fin dall'inizio.

Sintesi Tecnica: Il Framework Ghost Annotator

Problematica
La ricerca attuale nell'elaborazione del linguaggio naturale (NLP) e nella moderazione dei contenuti si concentra prevalentemente sulle metriche di prestazione dei modelli, trascurando spesso la stima dell'incertezza e le sfumature della Variazione dell'Etichettatura Umana (HLV - Human Label Variation). L'HLV si riferisce alla divergenza nelle annotazioni tra gli annotatori umani, in particolare riguardo a fenomeni soggettivi come l'hate speech, l'offensività e la tossicità. Sebbene i recenti paradigmi sostengano la necessità di catturare queste diverse prospettive per migliorare l'equità, rimangono sfide significative: le scoperte sull'HLV sono spesso ostacolate da discrepanze tra dataset e schemi di annotazione, e la crescente dipendenza dai Large Language Models (LLM) per generare dati annotati ha spostato l'attenzione lontano dall'incertezza. Inoltre, i metodi esistenti per valutare gli LLM-come-annotatori spesso non riescono a distinguere tra vera HLV ed errori di annotazione, e gli LLM hanno dimostrato difficoltà nel replicare la diversità delle opinioni umane, mostrando spesso bias verso specifici gruppi demografici o un eccesso di segnalazione di contenuti offensivi.

Metodologia
Gli autori introducono il Ghost Annotator, un framework progettato per modellare il comportamento degli LLM rispetto agli annotatori umani utilizzando la Conformal Prediction. La metodologia procede attraverso i seguenti passaggi tecnici:

Conformal Prediction & Non-Conformity Scores (NCS): Il framework utilizza la Conformal Prediction per generare stime di incertezza calibrate. Invece di un singolo punteggio aggregato, il sistema calcola l'NCS per le singole interazioni modello–annotatore–istanza. L'NCS quantifica quanto la previsione di un modello sia "insolita" rispetto a una distribuzione di calibrazione derivata dalle annotazioni umane.
Metrica di Ghost Prediction: Per andare oltre le tradizionali metriche basate sull'accuratezza (che si basano su una verità di base aggregata), gli autori definiscono la Ghost Prediction come la proporzione di istanze in cui un modello prevede un'etichetta che non è presente in nessuna delle annotazioni umane per quel particolare elemento. Questa metrica quantifica la divergenza tra il modello e l'intero insieme delle prospettive umane disponibili.
Rappresentazione dell'Annotatore (Analogia con il Collaborative Filtering): Ispirandosi al Collaborative Filtering (CF) nei sistemi di raccomandazione, il framework rappresenta sia gli annotatori umani che i modelli come vettori tridimensionali. Questi vettori sono derivati dai quartili delle distribuzioni NCS:
- Annotatori Umani: Rappresentati dalla distribuzione dei valori NCS ottenuti da tutti gli elementi che hanno annotato.
- Ghost Annotator (Modello): Rappresentato dalla distribuzione dei valori NCS calcolati specificamente sulle istanze in cui la previsione del modello differisce da tutte le annotazioni umane (Ghost Predictions).
Analisi dell'Allineamento: Gli autori calcolano la similarità del coseno tra il vettore del Ghost Annotator e i vettori di specifici gruppi socio-demografici di annotatori umani. Ciò consente di profilare con quali gruppi umani il modello si allinea o diverge.

Setup Sperimentale
Il framework è stato valutato su quattro dataset di moderazione dei contenuti: Attitudes (Hate Speech), CADE (Accettabilità), Disentangling (Offensività) e MHS (Violenza). Sono stati testati quattro LLM, appartenenti a due famiglie (Qwen e Llama) e due scale dimensionali (1.5B/1B e 7B/8B di parametri). Il dataset Disentangling è stato utilizzato specificamente per l'analisi dell'allineamento demografico (RQ2) grazie alla sua rappresentazione equilibrata di tratti socio-demografici (genere, età e macro-regione di origine).

Risultati Chiave

Incertezza e HLV (RQ1): Esiste una coerenza tra l'incertezza del modello e l'HLV. Man mano che aumenta il disaccordo tra gli annotatori umani, aumenta di conseguenza l'incertezza del modello (misurata tramite NCS). Tuttavia, è emersa una scoperta controintuitiva riguardo alle Ghost Predictions: i modelli più grandi esibivano una fiducia maggiore (minore incertezza) nel prevedere etichette che nessun annotatore umano aveva selezionato, rispetto ai modelli più piccoli. Ciò suggerisce che i modelli più grandi possono codificare norme della cultura maggioritaria più forti, portando a previsioni sicure ma divergenti nelle regioni in cui le prospettive minoritarie differiscono.
Disallineamento Demografico (RQ2): Il framework Ghost Annotator ha rivelato un pattern robusto e costante di disallineamento demografico. Indipendentemente dall'architettura del modello (Meta vs. Alibaba), dalla scala dei parametri (da 1B a 8B) o dal dataset utilizzato per profilare il modello, i modelli divergono sistematicamente dagli annotatori nel gruppo demografico 18-30, Maschio, Africa Sub-Sahariana (SSA). Al contrario, mostrano il massimo allineamento con il gruppo 30-50, Femmina, Oceania.
Dimensione del Pool di Annotatori: Il disallineamento con il gruppo SSA è persistito nonostante questo gruppo fosse il più numeroso nel dataset Disentangling ( $n=169$ ). Ciò indica che aumentare semplicemente il numero di annotatori diversi non risolve il disallineamento, suggerendo che il bias non è il risultato della scarsità di dati nella fase di annotazione.

Significatività e Rivendicazioni
L'articolo sostiene che il framework Ghost Annotator fornisca un metodo statisticamente garantito (tramite Conformal Prediction) per valutare e posizionare gli LLM nello spazio della diversità degli annotatori umani. La sua principale significatività risiede nell'identificare che il disallineamento demografico osservato è probabilmente un bias strutturale radicato nei corpora di pre-training piuttosto che un artefatto specifico del fine-tuning o dell'architettura del modello.

Gli autori argomentano che, poiché diverse famiglie e dimensioni di modelli convergono sugli stessi pattern di disallineamento, il bias esiste a monte dell'adattamento al compito specifico. Di conseguenza, l'articolo suggerisce che gli interventi a livello di dataset (come l'aumento della diversità degli annotatori) sono insufficienti a risolvere questi bias senza corrispondenti cambiamenti nel modo in cui i modelli vengono pre-addestrati o adattati. Il framework funge da strumento per scoprire queste divergenze strutturali prima del dispiegamento dei modelli, offrendo una via verso un uso più consapevole degli LLM nella creazione e nell'integrazione di dataset per la moderazione dei contenuti.