Can SAEs reveal and mitigate racial biases of LLMs in healthcare?

Lo studio dimostra che gli Sparse Autoencoder (SAE) possono rivelare nei modelli linguistici per la sanità le associazioni spurie tra razza e concetti stigmatizzanti, ma il loro utilizzo per mitigare tali pregiudizi tramite steering si rivela efficace solo in contesti semplici e poco utile per compiti clinici complessi.

L'essenziale

Immagina che i Modelli Linguistici (LLM), come quelli che usiamo per scrivere email o fare ricerche, siano come giganteschi cuochi che hanno cucinato con un'enorme quantità di ingredienti (i dati di addestramento) per imparare a preparare piatti (risposte mediche).

Il problema è che, a volte, questi cuochi hanno assorbito involontariamente degli "ingredienti velenosi" nascosti nei loro ricordi: pregiudizi razziali. Se chiedi loro di descrivere un paziente, potrebbero associare automaticamente la razza "Nera" a concetti negativi come la criminalità o la tossicodipendenza, anche se non c'è alcuna prova nel caso specifico. Questo è pericoloso in medicina, dove ogni decisione conta.

Gli autori di questo studio si sono chiesti: "Possiamo guardare dentro la testa del cuoco per vedere esattamente dove si nascondono questi pregiudizi e rimuoverli?"

Per farlo, hanno usato uno strumento chiamato SAE (Sparse Autoencoder). Ecco come funziona, usando un'analogia:

1. Il "Controllo Remoto" della Mente del Cuoco

Immagina che la mente del modello sia una stanza piena di 16.000 interruttori (chiamati "latenti"). Ogni interruttore si accende quando il modello pensa a un concetto specifico (es. "valvola cardiaca", "coca", "razza").

• Il problema: Di solito, non sappiamo cosa fa ogni interruttore. È come avere un telecomando con 16.000 tasti senza etichette.
• La scoperta: Gli autori hanno usato gli SAE per etichettare questi interruttori. Hanno scoperto che c'era un interruttore specifico (chiamato "Latente Nero") che si accendeva non solo quando il modello leggeva parole come "Africano-Americano", ma anche quando vedeva parole come "carcere", "pistola" o "cocaina".
  • Metafora: È come se il cuoco, quando sente la parola "Nero", accendesse automaticamente anche la luce rossa dell'allarme "Pericolo" o "Crimine", anche se il paziente è solo un malato di cuore innocente.

2. La Prova: "Guidare" il Cuoco (Steering)

Per dimostrare che questo interruttore non è solo un osservatore, ma ha un potere reale, gli autori hanno fatto un esperimento: hanno forzato l'interruttore "Latente Nero" ad accendersi artificialmente mentre il modello scriveva una risposta.

• Risultato: Quando hanno "spinto" questo interruttore, il modello ha iniziato a dire che un paziente nero aveva un rischio maggiore di diventare "aggressivo" o "belligerante", anche se il testo clinico non diceva nulla del genere.
• La trappola della spiegazione: Il modello ha scritto una spiegazione logica (Chain-of-Thought) per giustificare la sua decisione, ma non ha mai menzionato la razza. Ha inventato scuse inventate (es. "il paziente è stressato").
  • Metafora: È come se il cuoco ti dicesse: "Ho messo questo sale perché il piatto era freddo", mentre in realtà stava usando un sale velenoso che aveva nascosto sotto il tavolo. Le sue spiegazioni erano bugie per coprire il vero motivo (il pregiudizio nascosto).

3. Il Tentativo di Cura: Spegnere l'Interruttore

La domanda finale era: Possiamo spegnere questo interruttore per curare il pregiudizio?

Hanno provato due metodi:

1. Chiedere gentilmente al cuoco: "Per favore, non usare stereotipi". (Funziona un po', ma il cuoco è testardo).
2. Spegnere l'interruttore SAE: Hanno disattivato fisicamente l'interruttore "Latente Nero" nel cervello del modello.

I risultati sono stati misti:

• Nei compiti semplici: Se chiedevano al modello di inventare una storia finta su un paziente con una malattia specifica (es. abuso di cocaina), spegnere l'interruttore ha funzionato benissimo. Il modello ha smesso di associare automaticamente la malattia alla razza nera.
• Nei compiti reali e complessi: Quando hanno usato cartelle cliniche vere e complesse (dove la razza è intrecciata con molti altri fattori medici), spegnere l'interruttore ha avuto poco effetto.
  • Metafora: Nei compiti semplici, il pregiudizio era come un singolo interruttore difettoso in una stanza vuota: facile da staccare. Nei compiti reali, il pregiudizio era come un cavo elettrico intrecciato con tutti gli altri cavi della casa. Se provi a tagliare quel cavo, rischi di spegnere anche le luci della cucina o di non riuscire a risolvere il problema senza rovinare il resto della casa.

In Sintesi: Cosa ci insegna questo studio?

1. Le spiegazioni non bastano: Non fidarti ciecamente delle spiegazioni che i modelli danno (come "il paziente è stressato"). Spesso nascondono i veri motivi, che sono pregiudizi razziali nascosti.
2. Gli SAE sono una radiografia: Gli SAE sono ottimi per fare una "radiografia" alla mente del modello e vedere dove si nascondono i pregiudizi, anche quando il modello non lo ammette.
3. La cura è difficile: Rimuovere i pregiudizi è facile nei giochi di ruolo, ma molto difficile nella medicina reale. I pregiudizi sono così profondamente intrecciati con la conoscenza medica che "spegnere" un interruttore non basta sempre a risolvere il problema senza rovinare la qualità delle cure.

Conclusione: Abbiamo trovato un modo per vedere i "mostri" razziali nascosti nella testa dell'IA, ma non abbiamo ancora trovato la bacchetta magica per eliminarli completamente senza compromettere la sua capacità di curare. Serve ancora molta ricerca.

Sommario tecnico

Titolo

SAE possono rivelare e mitigare i pregiudizi razziali degli LLM in ambito sanitario?

1. Il Problema

I Large Language Models (LLM) sono sempre più adottati in ambito sanitario per compiti che vanno dalla documentazione automatizzata al supporto alle decisioni cliniche. Tuttavia, questi modelli ereditano e amplificano i pregiudizi presenti nei dati di addestramento. In contesti ad alto rischio come la sanità, output distorti possono esacerbare le disparità di salute tra gruppi demografici.
Il problema centrale affrontato è la "scatola nera": i clinici spesso non sanno quando un modello sta basando le sue previsioni sulla razza del paziente in modo spurio (ad esempio, associando la razza nera a concetti stigmatizzanti come la violenza o l'uso di droghe). Inoltre, le spiegazioni generate dal modello tramite Chain-of-Thought (CoT) si sono rivelate spesso non fedeli alla logica interna reale del modello, nascondendo questi meccanismi discriminatori.

2. Metodologia

Gli autori hanno utilizzato Sparse Autoencoders (SAE) per interpretare le attivazioni interne dei modelli e identificare latenti (feature) correlate alla razza. Lo studio si è concentrato sui modelli Gemma-2 (varianti da 2B e 9B parametri) utilizzando SAEs addestrati su GemmaScope.

La metodologia si è articolata in tre fasi principali:

1. Identificazione e Rinterpretazione dei Latenti:

   • È stato addestrato un "probe" (regressione logistica) sulle attivazioni degli SAE per prevedere la razza del paziente (Bianco vs Nero) partendo da note di dimissione ospedaliera (dataset MIMIC-III).
   • I latenti più predittivi sono stati analizzati. Poiché le descrizioni standard (es. da Neuronpedia) erano spesso fuorvianti nel contesto clinico (es. "manutenzione veicoli" interpretato come "procedure mediche"), gli autori hanno utilizzato un LLM (Llama-3.1-70B) per ri-interpretare le descrizioni dei latenti basandosi su esempi di attivazione specifici per il dominio clinico.
   • È stato identificato un "Latente Nero" (Black latent) che si attiva non solo su menzioni esplicite di identità (es. "African-American"), ma anche su concetti stigmatizzanti (es. "incarcerazione", "uso di cocaina", "ferite da arma da fuoco").

2. Steering (Guida Causale) del Modello:

   • Per stabilire la causalità, gli autori hanno manipolato le attivazioni del "Latente Nero" durante l'inferenza (aggiungendo un fattore di steering $\alpha$).
   • Hanno testato se forzare l'attivazione di questo latente facesse aumentare la probabilità che il modello classifichi un paziente come "belligerante" o violento, anche quando il testo clinico non lo suggeriva.
   • Hanno verificato se le catene di ragionamento (CoT) generate dal modello menzionassero la razza come fattore decisionale.

3. Valutazione della Mitigazione:

   • Scenario Controllato (Generazione di Vignette): Hanno chiesto al modello di generare storie cliniche per condizioni specifiche (es. abuso di cocaina, ipertensione gestazionale). Hanno confrontato la frazione di pazienti neri generati prima e dopo l'ablazione (azzeramento) del latente razziale.
   • Compiti Clinici Realistici: Hanno testato compiti di ragionamento su note reali (diagnosi, gestione del dolore) utilizzando dataset come BHC (Brief Hospital Courses) e Q-Pain. Hanno misurato la differenza nei logit di output tra pazienti bianchi e neri e hanno tentato di mitigare questo bias tramite l'ablazione dei latenti razziali, confrontando i risultati con prompt anti-bias.

3. Contributi Chiave

1. Rivelazione di Associazioni Problematiche: Dimostrano che gli SAE possono identificare latenti che codificano associazioni spurie tra la razza nera e concetti stigmatizzanti (violenza, droga, incarcerazione) all'interno di modelli LLM moderni in ambito clinico.
2. Prova di Causalità e Non-Fedeltà del CoT: Attraverso lo steering, hanno dimostrato causalmente che aumentare l'attivazione del "Latente Nero" aumenta la previsione di belligeranza. Crucialmente, hanno mostrato che le spiegazioni CoT generate dal modello non rivelano questo ragionamento interno, confermando che il CoT non è una spiegazione fedele (unfaithful) in questi contesti.
3. Valutazione della Mitigazione: Hanno valutato l'efficacia dell'ablazione dei latenti razziali. Sebbene funzionasse in compiti semplici, ha mostrato limiti significativi in compiti clinici complessi.

4. Risultati Principali

• Identificazione dei Latenti: Il latente principale associato alla razza nera si attiva fortemente su termini di identità, ma anche su concetti come "cocaina" e "incarcerazione", rivelando pregiudizi interni al modello.
• Steering e Bias: Quando si aumenta artificialmente l'attivazione del "Latente Nero", la probabilità che il modello preveda che un paziente diventi "belligerante" aumenta significativamente (es. da 0.80 a 1.0 nel modello 2B). Al contrario, l'attivazione di latenti per la razza bianca non produce cambiamenti simili.
• Inaffidabilità del CoT: Nessuna delle catene di ragionamento generate ha menzionato la razza come fattore, nonostante il modello stesse chiaramente basando la sua decisione su di essa.
• Mitigazione in Compiti Semplici: Nell'attività di generazione di vignette (es. "crea una storia per un paziente con abuso di cocaina"), l'ablazione del latente razziale ha ridotto la sovrarappresentazione dei pazienti neri del 30%, superando le tecniche di prompting anti-bias (18%).
• Fallimento in Compiti Complessi: In compiti clinici realistici (diagnosi, gestione del dolore), l'ablazione dei latenti razziali ha avuto un impatto minimo (FLDD < 3%) sulla riduzione del bias.
  • Spiegazione: In compiti complessi, il concetto di "razza" sembra essere più disperso e intrecciato (entangled) con concetti clinici validi. Rimuovere i latenti razziali senza compromettere le prestazioni cliniche è difficile perché le associazioni potrebbero non risiedere in un singolo latente isolato.
  • Il prompting esplicito ("non usare la razza") si è rivelato più efficace dell'ablazione degli SAE in quattro compiti su cinque, sebbene in alcuni casi abbia portato a una correzione eccessiva (over-correction).

5. Significato e Conclusioni

Il lavoro offre una visione sfumata sull'uso degli SAE per l'equità negli LLM sanitari:

• Diagnosi: Gli SAE sono uno strumento potente per rivelare e caratterizzare le associazioni interne problematiche tra razza e concetti stigmatizzanti, superando le limitazioni delle spiegazioni CoT che spesso nascondono tali meccanismi.
• Mitigazione: L'uso degli SAE per la mitigazione (tramite steering o ablazione) è promettente in ambienti controllati e compiti semplici, ma appare poco efficace per compiti clinici realistici e complessi.
• Implicazioni: La ricerca suggerisce che nei compiti ad alto rischio, la rimozione dei pregiudizi tramite l'intervento sui latenti è complessa a causa dell'intreccio tra concetti demografici e clinici. Gli SAE sono utili per l'audit e la comprensione del modello, ma la loro applicazione pratica per la correzione automatica del bias in scenari reali rimane una sfida aperta, potenzialmente inferiore rispetto a strategie di prompting ben progettate in termini di efficacia immediata, sebbene meno trasparenti meccanicisticamente.

In sintesi, gli SAE offrono una "lente" necessaria per vedere i pregiudizi nascosti negli LLM sanitari, ma la loro capacità di "curare" questi modelli in scenari complessi è attualmente limitata.