💬 NLP

Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails

Questo articolo esamina i filtri di pretraining e le barriere di sicurezza in fase di inferenza nei modelli linguistici, rivelando che essi cancellano in modo sproporzionato i riferimenti ai gruppi marginalizzati attraverso la dipendenza da semplici indizi lessicali, pur fallendo nel rilevare l'effettivo incitamento all'odio o le informazioni private, creando così una forma di ingiustizia epistemica che contraddice il giudizio umano.

Autori originali: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

Pubblicato 2026-06-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Marco Antonio Stranisci, A Pranav, Rossana Damiano, Christian Hardmeier, Anne Lauscher

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire una biblioteca immensa di libri per insegnare a un robot super intelligente come parlare e comprendere il mondo. Questo robot, chiamato Large Language Model (LLM), deve leggere miliardi di frasi da internet per imparare.

Tuttavia, prima che il robot inizi a leggere, gli esseri umani mettono in piedi dei filtri (come un bibliotecario severo) per scartare i "libri cattivi". Poi, quando il robot inizia a parlare con le persone, gli esseri umani mettono in piedi dei guardrail (come un ispettore della sicurezza) per impedirgli di dire qualsiasi cosa "non sicura".

Questo articolo è un audit — un'indagine approfondita — su come questi bibliotecari e ispettori della sicurezza stiano svolgendo il loro lavoro. I ricercatori hanno scoperto che, mentre cercano di mantenere il robot al sicuro, stanno accidentalmente cancellando le voci dei gruppi emarginati (come le persone transgender, le donne e le persone dell'America Centrale) e sostituendo il giudizio umano con regole rigide e spesso errate.

Ecco una ripartizione delle loro scoperte utilizzando analogie semplici:

1. La trappola della "Parola Vietata"

I ricercatori hanno scoperto che molti di questi sistemi di sicurezza funzionano come la "lista delle cose cattive" di un bambino.

Come funziona: Se una frase contiene una specifica parola "cattiva" (come un termine volgare o sessuale), il sistema la elimina immediatamente, senza guardare il contesto.
Il problema: È come un bibliotecario che scarta un libro su una procedura medica solo perché menziona una parte del corpo, o che elimina un racconto sui diritti delle lavoratrici del sesso solo perché usa la parola "sesso".
Il risultato: I sistemi sono molto bravi a intercettare le parole nella loro "lista delle cose cattive", ma sono terribili nel individuare il danno reale, come le violazioni della privacy, il furto di copyright o l'odio reale che non utilizza le specifiche parole vietate.

2. Il filtro "Sovrapprotettivo"

Lo studio ha scoperto che questi filtri sono sovrapprotettivi nei confronti di gruppi specifici, agendo come un buttafuori che sospetta di chiunque indossi un certo tipo di cappello.

Persone Transgender: Le frasi che menzionano le identità transgender sono state segnalate per la rimozione molto più spesso rispetto alle frasi riguardanti persone cisgender (non trans).
Donne: I riferimenti alle donne sono stati segnalati significativamente più spesso rispetto a quelli riguardanti gli uomini.
Centroamericani: I contenuti che menzionano persone dell'America Centrale sono stati quasi sempre segnalati per la rimozione, mentre i contenuti riguardanti le persone dell'Europa occidentale sono stati raramente toccati.
L'analogia: Immagina un guardiano di sicurezza in un museo che lascia entrare tutti, tranne le persone di un quartiere specifico. Il guardiano non sta cercando di essere cattivo; sta solo seguendo una regola fallace che assume che le persone di quel quartiere siano "rischiose". Ciò comporta che l'IA non riesca mai a conoscere la cultura di quel quartiere.

3. Il Robot contro l'Umano

I ricercatori hanno chiesto a volontari umani di guardare le frasi che i robot avevano segnalato e decidere: "Dovrebbe restare o andare?"

La statistica scioccante: Gli umani hanno risposto "Mantienilo" nell'88,5% dei casi per le frasi che i filtri di pre-addestramento volevano eliminare, e nel 91,3% dei casi per le frasi che i guardrail volevano bloccare.
L'analogia: È come un robot chef che assaggia una zuppa, decide che è "velenosa" perché contiene un'erba specifica, e butta via l'intera pentola. Un chef umano la assaggia, capisce che è solo una zuppa speziata e dice: "No, è deliziosa e sicura da mangiare".
Il conflitto: I sistemi automatizzati stanno rimuovendo contenuti che gli umani trovano effettivamente preziosi, educativi o innocui. Eliminando queste frasi, l'IA perde la capacità di comprendere questi gruppi e le loro esperienze.

4. La "Cancellazione Silenziosa"

Il documento chiama questo fenomeno "Cancellazione Epistemica".

Cosa significa: "Epistemico" si riferisce alla conoscenza. "Cancellazione" significa cancellare o eliminare qualcosa.
La metafora: Immagina una mappa del mondo dove l'IA sta disegnando i continenti. Poiché i filtri continuano a eliminare le frasi riguardanti le persone transgender o le persone dell'America Centrale, la mappa dell'IA finirà con macchie bianche vuote dove dovrebbero esserci quei gruppi. L'IA letteralmente non "sa" che esistono o quali siano le loro vite perché i dati sono stati ripuliti prima che potessero imparare.

Sintesi delle affermazioni del documento

I sistemi non concordano: I diversi filtri e guardrail spesso non sono d'accordo tra loro. Alcuni intercettano cose che altri perdono, e si affidano pesantemente a semplici liste di parole invece di comprendere il contesto.
Il pregiudizio è sistemico: Questo non è solo un errore tecnico; è un modello. I sistemi di diverse aziende e di diversi continenti sembrano tutti segnalare eccessivamente gli stessi gruppi emarginati.
Il giudizio umano è diverso: Gli umani generalmente vedono queste frasi come sicure o importanti, mentre le macchine le vedono come pericolose.
La conseguenza: Affidandoci a questi sistemi automatizzati, stiamo attivamente plasmando un'IA che è cieca rispetto alle realtà delle persone transgender, delle donne e delle persone di regioni specifiche, silenziando efficacementamente loro nel mondo digitale.

Il documento conclude che, per risolvere il problema, non possiamo limitarci a fare affidamento su automatizzate "liste delle cose cattive". Dobbiamo coinvolgere le persone colpite nel processo decisionale e creare sistemi che comprendano il contesto piuttosto che limitarsi a contare le parole brutte.

Sintesi Tecnica: Ingiustizia Epistemica nei Modelli di Linguaggio

Definizione del Problema

I moderni Large Language Models (LLM) si affidano a due meccanismi primari per mitigare il danno: i filtri di pretraining per rimuovere contenuti indesiderati dai corpora di addestramento e le guardrail all'inferenza per sopprimere output non sicuri durante l'implementazione. Sebbene questi sistemi siano standard nelle pipeline dell'IA, il loro impatto sui gruppi sociali marginalizzati rimane scarsamente compreso. La ricerca esistente si è concentrata ampiamente sul bias nella rilevazione dell'hate speech o sulle prestazioni dei benchmark, lasciando un vuoto nella comprensione degli effetti più ampi sulla rappresentazione derivanti da filtraggio e moderazione. Nello specifico, non è chiaro se questi sistemi siano allineati tra loro, se siano allineati con il giudizio umano e se ergano sistematicamente le identità e le prospettive delle comunità marginalizzate, producendo così un'ingiustizia epistemica.

Metodologia

Gli autori hanno condotto un audit di quattro filtri di pretraining e tre guardrail all'inferenza utilizzando un campione di frasi di Common Crawl. Lo studio si è concentrato sui riferimenti all'identità relativi a genere e origine regionale, categorie centrali nella letteratura sul bias ed estraibili tramite lessici curati e Named Entity Recognition (NER).

Dati e Sistemi

Corpus: Un sottoinsieme filtrato di Common Crawl (inglese, >5 frasi, >10 parole per frase) che ha prodotto oltre 100.000 documenti.
Estrazione dell'Identità: Le entità sono state estratte tramite NER e collegate a Wikidata. Il genere è stato categorizzato in cinque gruppi (uomo, donna, non-binario, questioning, genderfluid) con un asse di modalità trans/cis. L'origine regionale è stata mappata su 17 macro-regioni ONU.
Filtri Auditati:
- HATEBASE: Lessico basato su regole per insulti razziali e misogini.
- SHUTTERSTOCK: Blacklist di vocabolario sessuale basata su regole (usata in C4/T5).
- DOLMA: Classificatore FastText addestrato su dati di tossicità di Jigsaw.
- HATEBERT: BERT ri-addestrato su post di Reddit provenienti da comunità bannate.
Guardrail Auditati:
- Llama-Guard-3-8B: Fine-tuned sulla policy d'uso di Meta (14 categorie di rischio).
- MD-Judge-v0.1: Giudice basato su LLM fine-tuned su SALAD-Bench (6 domini, 66 categorie).
- Qwen3Guard-Gen-8B: Variante generativa addestrata su una tassonomia di danni multilingue che include un'etichetta "controversa".
Annotazione Umana: Un sottoinsieme stratificato di 500 frasi è stato annotato manualmente da due studenti di linguistica. Il compito di annotazione ha inquadrato la rilevazione del danno come un compromesso tra il costo della ritenzione rispetto alla rimozione del contenuto, catturando le giustificazioni sia per mantenere che per rimuovere il testo segnalato.

Framework Analitico

Lo studio ha impiegato due split analitici:

Set Segnalato (Flagged Set): Frasi segnalate da almeno un filtro (72.659 frasi) per l'allineamento tra i sistemi e l'analisi del tasso di segnalazione condizionato dall'identità.
Set Non Segnalato (Unflagged Set): Frasi provenienti dagli stessi documenti sorgente in cui nessun filtro è scattato (257.210 frasi) per l'analisi delle sole guardrail.
La significatività statistica è stata valutata utilizzando il $\kappa$ di Cohen per l'accordo e gli intervalli di confidenza di Wilson per i tassi di segnalazione, con correzione di Benjamini–Hochberg per confronti multipli.

Risultati Chiave

1. Disaccordo tra Filtri e Guardrail

Dipendenza dal Lessico: Le guardrail hanno mostrato una forte correlazione con la blackist SHUTTERSTOCK (vocabolario sessuale), ma una debole correlazione con altri filtri (HATEBASE, DOLMA, HATEBERT).
Categorie di Danno Mancanti: I filtri di pretraining hanno ampiamente fallito nel rilevare categorie che le guardrail segnalano frequentemente, specificamente Proprietà Intellettuale, Privacy e Contenuti Politici. Ad esempio, il 68,6% dei verdetti di insicurezza di Llama-Guard su frasi non segnalate riguardava IP e Privacy, categorie che nessun filtro di pretraining è progettato per rilevare.
Divergenza delle Guardrail: Mentre MD-Judge e Qwen3Guard hanno mostrato un accordo sostanziale ( $\kappa \approx 0,60$ ), Llama-Guard si è comportata come un outlier, mostrando solo un accordo moderato con gli altri, probabilmente a causa della sua dipendenza dalla specifica policy d'uso di Meta piuttosto che da una tassonomia di danno accademica più ampia.

2. Cancellazione Epistemica delle Identità Marginalizzate

L'audit ha rivelato una segnalazione sistematica di specifici gruppi di identità attraverso tutti i sistemi, nonostante l'addestramento su tassonomie e continenti differenti:

Identità Transgender: I riferimenti a persone transgender sono stati segnalati molto più spesso dei riferimenti a persone cisgender (ad esempio, i tassi di segnalazione di SHUTTERSTOCK sono saliti dal 48,5% al 76,8%).
Donne: I riferimenti alle donne sono stati segnalati significativamente più spesso rispetto agli uomini in tutte le guardrail e nella maggior parte dei filtri.
Centroamericani: Questo gruppo ha sperimentato la deviazione più alta, con Llama-Guard, Qwen3Guard e SHUTTERSTOCK che hanno segnalato quasi il 96–99% dei riferimenti, rispetto a un baseline del ~26%.
Regioni Occidentali: Al contrario, i riferimenti a origini dell'Europa occidentale, dell'Asia occidentale e dell'Europa settentrionale sono stati significativamente sotto-segnalati.

3. Tensioni nella Moderazione dei Contenuti (Umano vs. Macchina)

Gli annotatori umani sono in disaccordo con i sistemi automatizzati nella stragrande maggioranza dei casi:

Tassi di Ritenzione: Gli annotatori avrebbero ritenuto l'88,5% dei contenuti segnalati dai filtri e il 91,3% dei contenuti segnalati dalle guardrail.
Danni Rappresentazionali: Lo studio ha identificato tensioni specifiche in cui la rimozione causa danno:
- Lavoro Sessuale: Rimuovere i contenuti spesso priva di visibilità occupazionale le lavoratrici del sesso, mentre mantenerli può perpetuare la commodificazione sessualizzata.
- Politica: Rimuovere i punti di vista politici segnalati porta a una perdita di rappresentazione politica diversificata nei risultati del modello.
- Informazioni Sanitarie/Pratiche: La sovra-segnalazione di informazioni mediche pratiche (es. esame di una verruca) rischia di degradare le capacità del modello nei domini sanitari.
- Oggettivazione Razzializzata: I sistemi spesso non distinguono tra l'oggettivazione razzializzata dannosa e la legittima rappresentazione del gruppo.

Significato e Rivendicazioni

Il paper sostiene di documentare una forma di cancellazione epistemica in cui i riferimenti a gruppi marginalizzati vengono rimosse in modo sproporzionato prima del pretraining e soppressi nuovamente all'inferenza. Gli autori sostengono che questi sistemi non si limitano a ridurre i contenuti dannosi, ma modellano attivamente quali identità, prospettive ed esperienze rimangono visibili nei moderni modelli di linguaggio.

I risultati suggeriscono che gli attuali approcci di filtraggio e moderazione sono insufficienti per un allineamento pluralistico. Gli autori propongono che raggiungere la giustizia epistemica richieda:

Trasparenza: Rilasciare i lessici dei filtri con documentazione sui tassi di segnalazione attraverso i gruppi di identità.
Riflessività: Coinvolgere le comunità colpite nella definizione delle tassonomie di danno e dei pool di annotatori, piuttosto che imporre una "visione dal nulla".
Sovranità dei Dati: Affrontare i bias alla fonte della raccolta e della proprietà dei dati.

Lo studio conclude che i valutatori umani sono sistematicamente in disaccordo con i sistemi automatizzati, vedendo la rimozione di gran parte del contenuto segnalato come non necessaria e una fonte di bias contro specifiche categorie di persone. Gli autori posizionano questo lavoro come un appello a passare dalla riduzione del danno tecnico verso soluzioni socio-tecniche che preservino la diversità epistemica delle comunità marginalizzate.