Toward Localizing and Repairing Bias in Transformer Attention Heads

Sintesi Tecnica: Verso la Localizzazione e la Riparazione del Bias nelle Teste di Attenzione dei Transformer

Definizione del Problema
I modelli linguistici Transformer sono sempre più impiegati come componenti software, eppure i loro output distorti (bias) rimangono difficili da localizzare e riparare. Gli interventi di equità esistenti operano tipicamente a livello di input-output o richiedono il riaddestramento dell'intero modello, fallendo nell'identificare le specifiche strutture interne responsabili dei fallimenti di equità durante l'inferenza. Sebbene ricerche recenti indichino che il comportamento legato al bias nei modelli linguistici mascherati possa concentrarsi in un piccolo set di teste di attenzione, i metodi attuali per modificare queste teste spesso si affidano allo "zeroing dell'intera testa" (whole-head zeroing). Questo approccio assume che una testa selezionata codifichi principalmente il bias, rischiando potenzialmente di rimuovere informazioni linguistiche utili e di degradare le prestazioni del modello. È necessario un metodo di debugging white-box che possa localizzare i componenti suscettibili al bias e applicare una modifica mirata e limitata senza riaddestramento.

Metodologia: ROBIN
Il documento introduce ROBIN (Repair Of Bias via INtervention), un metodo di debugging dell'equità a livello di testa, di tipo white-box. ROBIN opera in due fasi utilizzando un modello transformer addestrato $f_\theta$ e un set di coppie di probe (coppie di testi che differiscono solo per un attributo protetto, come i pronomi di genere).

1. Fase 1: Classificazione delle Teste (Localizzazione)
   ROBIN classifica le teste di attenzione in base alla loro sensibilità alla differenza tra le coppie di probe ($x_a$ e $x_b$).

   • Scoring: Per ogni coppia, il metodo calcola il gradiente della perdita rispetto ai pesi di attenzione di ciascuna testa.
   • Aggregazione: Calcola due metriche per ogni testa: l'entità media del gradiente ($G_h$) e la media del quadrato dell'entità del gradiente ($C_h$). $G_h$ cattura la sensibilità costante tra le coppie, mentre $C_h$ cattura le teste con risposte nette e concentrate.
   • Selezione: Questi punteggi vengono standardizzati e sommati per produrre un ranking combinato ($F_h$). Le prime $k$ teste vengono selezionate per l'intervento.

2. Fase 2: Intervento al Momento dell'Inferenza (Riparazione)
   Invece di azzerare le teste selezionate, ROBIN rimuove solo la componente di bias dai loro output.

   • Stima del Sottospazio: Per ogni testa selezionata, il metodo stima un sottospazio di bias analizzando i vettori di differenza tra gli output della testa sulle coppie di probe. Calcola i primi $r$ vettori singolari destri di questi vettori di differenza per definire la direzione del bias.
   • Proiezione: Durante l'inferenza, l'output di una testa selezionata ($x_h$) viene modificato proiettando fuori la componente che giace all'interno del sottospazio di bias stimato ($V_h$):
     $$x'_h = x_h - V_h^\top V_h x_h$$
   • Questa operazione conserva le componenti ortogonali dell'output della testa, preservando il comportamento linguistico generale pur rimuovendo il bias stimato.

Contributi Chiave

• Inquadramento (Framing): Gli autori inquadrano la mitigazione del bias a livello di testa come un compito di debugging del software white-box che separa esplicitamente la localizzazione dei componenti candidati dalla modifica di tali componenti.
• Algoritmo: La proposta di ROBIN, che identifica le teste di attenzione sensibili al bias e rimuove solo il sottospazio distorto dei loro output durante l'inferenza, evitando la natura distruttiva dell'ablazione dell'intera testa.
• Evidenza Empirica: Uno studio pilota su quattro modelli transformer pre-addestrati (BERT, DistilBERT, GPT-2, DistilGPT-2) dimostra che ROBIN riduce il gap WinoBias limitando l'aumento della perdita di modellazione del linguaggio.

Risultati
Valutati su uno studio pilota con un budget di $k=20$ teste modificate:

• Miglioramento dell'Equità: ROBIN ha ridotto il gap WinoBias in tutti e quattro i modelli. La riduzione assoluta più significativa è stata osservata su BERT, dove il gap è sceso da 45,97 a 19,14.
• Preservazione delle Prestazioni: A differenza dello zeroing dell'intera testa (metodi Gradient e SquaredGrad), che ha causato aumenti sostanziali della perdita di modellazione del linguaggio (ad esempio, fino a 8 volte su GPT-2), ROBIN ha preservato la qualità del modello. Su BERT, ROBIN ha ottenuto il gap più basso con una perdita di modellazione del linguaggio vicina al baseline. Su GPT-2, l'aumento della perdita è stato minimo rispetto al baseline.
• Costo di Inferenza: L'intervento aggiunge una moltiplicazione matriciale per ogni testa scelta. Con $k=20$, l'overhead di latenza è variato da circa il 7% per i modelli di dimensioni base all'11% per i modelli distillati.
• StereoSet: Lo score di stereotipo di StereoSet ha mostrato movimenti inconsistenti tra i modelli e le categorie, portando gli autori a trattare il gap WinoBias come la metrica di equità primaria.

Significatività e Rivendicazioni
Il documento sostiene che la riparazione del bias a livello di testa debba considerare non solo quali teste vengono selezionate, ma anche come esse vengono modificate. I risultati suggeriscono che la rimozione del sottospazio sia un operatore superiore rispetto allo zeroing dell'intera testa perché riconosce che le teste di attenzione spesso supportano molteplici funzioni (sia il bias che la linguistica generale).

Gli autori posizionano ROBIN come uno strumento di localizzazione dei candidati e intervento misurabile, non come una spiegazione causale completa o una garanzia di equità in tutti i contesti di deployment. Affermano esplicitamente che il metodo fornisce una riparazione limitata senza riaddestramento, consentendo ai professionisti di selezionare un budget di compromesso ($k$) basato sulla degradazione delle prestazioni misurata. Lo studio riconosce i limiti, incluso l'uso di dati sovrapposti per il ranking e la valutazione, e il focus su benchmark specifici (WinoBias) piuttosto che sulla fairness dei compiti downstream più ampi. Si identifica come necessario un lavoro futuro per valutare modelli più grandi, varianti istruite tramite instruction-tuning e distribuzioni di dati disgiunte.