What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

Questo studio presenta un benchmark sperimentale che rivela come le strategie di filtraggio dei dati, sebbene efficaci nel ridurre i contenuti dannosi per la sicurezza dei modelli linguistici, abbiano l'effetto collaterale di aumentare la sottorappresentazione dei gruppi vulnerabili alla discriminazione nei dataset di addestramento.

L'essenziale

🧠 Il Grande Filtro: Cosa succede quando puliamo i dati dell'IA?

Immagina di voler insegnare a un bambino (l'Intelligenza Artificiale) a parlare e a comportarsi bene. Per farlo, gli dai da leggere milioni di libri, articoli e storie prese da internet (i dati di addestramento).

Il problema è che su internet c'è un po' di tutto: ci sono cose belle, ma anche cose cattive, offensive, razziste o sessiste. Gli scienziati dicono: "Ok, prima di dare questi libri al bambino, dobbiamo filtrarli e buttare via le pagine cattive".

Questo articolo di Marco Stranisci e Christian Hardmeier si chiede: "Quando buttiamo via le cose cattive, stiamo per sbaglio buttando via anche le persone più fragili?"

Ecco i tre punti chiave, spiegati con delle metafore:

1. La Mappa dei Filtri (Cosa stiamo usando?)

Gli autori hanno guardato 55 "ricette" (rapporti tecnici) di diverse Intelligenze Artificiali famose (come GPT, Llama, Gemini) per vedere come fanno a pulire i dati. Hanno scoperto che usano 8 metodi diversi, come se fossero diversi tipi di setacci:

• Il Filtro "Autorità": Prendi solo i libri delle biblioteche ufficiali (es. Wikipedia).
• Il Filtro "Qualità": Se un testo sembra scritto male o confuso, lo butti via.
• Il Filtro "Parole Vietate": Se trovi parole come "sporco" o "razzista", cancelli tutto il paragrafo.
• Il Filtro "Sicurezza Umana": Chiedi a persone reali di controllare cosa è sicuro e cosa no.

La sorpresa: Molti di questi filtri sono segreti! Le aziende dicono "Noi filtriamo", ma non dicono come o cosa buttano via esattamente. È come se un cuoco dicesse "Ho tolto le cose avariate dalla zuppa" ma non ti mostrasse il colino che ha usato.

2. L'Esperimento: Chi viene "cancellato" per sbaglio?

Gli autori hanno fatto un esperimento. Hanno preso un mucchio di testi da internet e li hanno passati attraverso 7 filtri diversi, chiedendosi: "Quante volte vengono menzionati gli uomini? E quante volte le donne? E le persone di origine non occidentale?"

Hanno scoperto una cosa molto triste, come se il filtro fosse un aspirapolvere un po' "schizzinoso":

• Le donne vengono "aspirate" di più: Quando i filtri cercano di rimuovere contenuti offensivi, spesso cancellano anche le donne.
  • L'analogia: Immagina di voler pulire una stanza dai "giocattoli rotti". Se il tuo filtro è troppo sensibile, invece di togliere solo i giocattoli rotti, potresti buttare via tutti i giocattoli che hanno l'etichetta "femmina" perché spesso sono associati a storie "scomode" o a professioni stereotipate (come "attrice pornografica" o "modella").
• Il risultato: I dati che rimangono per addestrare l'IA hanno molte meno donne e molte più uomini rispetto alla realtà. L'IA imparerà che il mondo è fatto soprattutto di uomini, perché le donne sono state "filtrate via" insieme alle cose cattive.

3. Il Paradosso della "Qualità"

C'è un altro trucco. Alcuni filtri dicono: "Buttiamo via tutto ciò che non sembra un testo di alta qualità (come Wikipedia)".
Gli autori hanno scoperto che questo metodo non funziona per la sicurezza.

• La metafora: È come dire "Butta via i libri con la copertina brutta". Il risultato? Ti ritrovi con libri dalla copertina bellissima che però contengono ancora storie razziste o sessiste.
• In pratica, i filtri basati sulla "qualità" tolgono molte menzioni di uomini (perché gli uomini appaiono spesso in testi tecnici o politici), ma lasciano intatte le parole offensive contro le donne. Quindi, non stiamo diventando più sicuri, stiamo solo diventando più sbilanciati.

🎯 La Conclusione in Pillole

1. Il problema: Per rendere l'IA "gentile", stiamo usando filtri che, senza volerlo, cancellano le donne e le minoranze dai libri di testo dell'IA.
2. Il rischio: Se l'IA impara da questi dati filtrati, penserà che le donne siano meno importanti o che esistano meno, e questo porterà a risposte più discriminatorie in futuro.
3. La soluzione proposta: Dobbiamo smettere di usare filtri "alla cieca". Dobbiamo creare filtri intelligenti che sappiano distinguere tra una "parola cattiva" e una "persona reale", senza cancellare le persone vulnerabili solo perché il loro nome appare in un contesto difficile.

In sintesi: Stiamo cercando di pulire la casa dall' sporcizia, ma stiamo per sbaglio buttando via anche i membri più fragili della famiglia. Dobbiamo imparare a pulire meglio, senza perdere nessuno.

Sommario tecnico

1. Il Problema

Lo sviluppo di modelli linguistici su larga scala (LLM) sicuri richiede la rimozione di contenuti dannosi dai dataset di pre-addestramento. Tuttavia, la ricerca attuale si concentra prevalentemente sulle fasi di post-addestramento, trascurando l'impatto delle strategie di filtraggio dei dati prima dell'addestramento.
Il problema centrale identificato dagli autori è che le strategie di filtraggio, sebbene efficaci nel ridurre contenuti tossici, potrebbero avere un effetto collaterale negativo: l'aumento della sottorappresentazione di gruppi vulnerabili alla discriminazione (in base a genere e origine) nei dataset finali. Esiste una mancanza di studi sistematici che valutino come diverse strategie di filtraggio influenzino specificamente questi gruppi demografici.

2. Metodologia

Gli autori hanno adottato un approccio misto basato su due fasi principali: un'analisi sistematica della letteratura e un benchmark sperimentale.

A. Analisi della Letteratura (Survey)

• Campione: Sono stati analizzati 55 rapporti tecnici di modelli linguistici (LM) e LLM di lingua inglese.
• Selezione: I modelli sono stati selezionati da sei leaderboard (inclusi SuperGLUE, SQuAD, MMLU-pro, Chatbot Arena, ALERT e Secure Learning Lab) per garantire una rappresentatività di diverse generazioni di modelli e compiti.
• Obiettivo: Identificare le strategie di filtraggio esistenti, la loro documentazione e la trasparenza (disponibilità di script e dati).

B. Benchmark Sperimentale

Per valutare l'impatto reale delle strategie, è stato progettato un pipeline di analisi:

1. Creazione di una Knowledge Base (People Dataset): È stato sviluppato un corpus di 10,8 milioni di entità "persona" derivato da Wikidata e CaLiGraph. Ogni entità è categorizzata per genere (uomo/donna) e origine (Occidentale/Post-coloniale), creando quattro gruppi di analisi:
   • Uomini Occidentali
   • Donne Occidentali
   • Uomini Post-coloniali
   • Donne Post-coloniali
2. Campionamento: Sono stati prelevati 5 campioni di documenti da Common Crawl (snapshot agosto 2024), filtrati per lingua inglese e qualità sintattica.
3. Entity Linking (EL): È stato implementato un pipeline ibrido (metodi neurali + euristiche) per collegare le entità nominate nei testi al People Dataset, identificando genere e origine.
4. Implementazione delle Strategie di Filtraggio: Sono state applicate 7 strategie diverse (raggruppate in tre categorie) ai campioni di dati per misurare la percentuale di rimozione delle menzioni delle entità:
   • Basate su Regole (Rule-based): Lessici come Shutterstack e HateBase.
   • Basate su Classificatori (Toxicity Classifier): Perspective API, FastText (addestrato su Jigsaw), profanity-check.
   • Basate sulla Qualità (Quality-based): Similitudine documentale rispetto a fonti "di alta qualità" (Wikipedia, OpenWebText).

3. Contributi Chiave

Il lavoro offre tre contributi principali:

1. Prima indagine sistematica: Una tassonomia delle strategie di filtraggio per la riduzione del danno, basata su 55 rapporti tecnici, che rivela una tendenza alla scarsa trasparenza e replicabilità.
2. Pipeline e Risorse per il Benchmark: Sviluppo di un framework sperimentale e di un dataset (People Dataset) per misurare l'impatto demografico del filtraggio.
3. Dimostrazione Empirica: Evidenza sperimentale che le strategie di filtraggio attuali aumentano sistematicamente la sottorappresentazione dei gruppi vulnerabili, in particolare delle donne.

4. Risultati Principali

Tipologie di Filtraggio e Trasparenza

• La maggior parte dei modelli moderni non divulga gli script o i dati grezzi utilizzati per il filtraggio (spesso indicati in rosso o arancione nella tabella di classificazione), rendendo difficile la riproducibilità.
• Esiste un divario tra la documentazione formale (Model Cards) e la descrizione effettiva delle strategie, spesso generica.

Impatto Quantitativo e Qualitativo

• Entità Rimossa: Le strategie basate su regole e classificatori rimuovono meno dell'1-4% delle frasi, mentre quelle basate sulla qualità rimuovono fino al 44,6% del contenuto.
• Disparità di Genere:
  • Le strategie basate su regole e classificatori penalizzano sistematicamente le donne. In particolare, le donne occidentali sono il gruppo più colpito (rimozione fino al -4,2% con Shutterstack e -0,9% con HateBase).
  • Le strategie basate sulla qualità (similitudine documentale) rimuovono più contenuti relativi agli uomini, ma l'analisi mostra che queste strategie non sono efficaci nel rimuovere contenuti tossici (mantengono oltre il 90% delle frasi tossiche identificate da altri metodi).
• Natura del Contenuto Filtrato:
  • Lessici diversi filtrano tipi diversi di danno: Shutterstack si concentra sulla pornografia, mentre HateBase su razzismo e misoginia.
  • I classificatori (es. Perspective API vs FastText) identificano insiemi di contenuti tossici che si sovrappongono solo parzialmente, indicando che la scelta del classificatore determina quali tipi di danno vengono rimossi.

Analisi Occupazionale

L'analisi delle professioni delle entità rimosse rivela pattern discriminatori specifici:

• Per le donne occidentali, la professione più rimossa è "attore pornografico" (non una delle più frequenti nel dataset originale).
• Per le donne post-coloniali, la professione "modella" è sproporzionatamente rimossa.
• Questo suggerisce che il filtraggio non elimina solo contenuti dannosi, ma cancella intere categorie di rappresentazione femminile, aumentando la sottorappresentazione.

5. Significato e Conclusioni

Il paper conclude che l'attuale approccio al filtraggio dei dati per la riduzione del danno è problematico e controproducente per l'equità:

• Trade-off Negativo: Le strategie che riducono i contenuti dannosi lo fanno a scapito della rappresentatività dei gruppi vulnerabili (soprattutto le donne).
• Falsa Neutralità: L'uso di fonti considerate "neutrali" o "di alta qualità" (come Wikipedia o OpenWebText) per il filtraggio basato sulla qualità non garantisce la rimozione di contenuti tossici e può introdurre nuovi bias.
• Mancanza di Strategie Mirate: Non esistono ancora strategie che bilancino efficacemente la rimozione del danno con la preservazione della diversità demografica.

Gli autori sottolineano la necessità di passare da un approccio generico a uno più granulare, coinvolgendo le comunità interessate nella valutazione dei filtri e sviluppando pipeline che tengano conto non solo delle entità nominate, ma anche di riferimenti indiretti a gruppi vulnerabili. Il lavoro evidenzia un rischio sociale significativo: i modelli LLM addestrati su dati filtrati in questo modo potrebbero perpetuare o addirittura amplificare la sottorappresentazione di donne e minoranze.