UGID: Unified Graph Isomorphism for Debiasing Large Language Models

1. Il Problema: Bias Strutturale e Limiti degli Approcci Esistenti

I Grandi Modelli Linguistici (LLM) incorporano pregiudizi sociali non solo nelle loro uscite finali, ma profondamente all'interno delle loro rappresentazioni interne e dei processi computazionali.

• Limiti dei metodi attuali: Le tecniche di debiasing esistenti si dividono in metodi esterni (ottimizzazione dei dati o dell'output) e metodi interni (localizzazione di singoli componenti come le attention heads). Tuttavia, questi approcci spesso falliscono nel debiasing fondamentale, specialmente su modelli su larga scala.
• Dipendenza dalla scala: Gli esperimenti mostrano che limitare il bias solo nel meccanismo di attention funziona su modelli piccoli (es. GPT-2), ma fallisce su modelli di grandi dimensioni (es. LLaMA-3-8B). In questi ultimi, il bias migra dalle attention heads verso le Feed-Forward Networks (FFN), che agiscono come unità di memorizzazione semantica e fattuale.
• Il trade-off: I metodi aggressivi spesso degradano le capacità generali del modello o cancellano concetti definitoriali (es. confondere "Re" e "Regina"), creando un compromesso negativo tra sicurezza ed utilità.

2. Metodologia: UGID (Unified Graph Isomorphism for Debiasing)

UGID propone un nuovo framework che riformula il problema del debiasing come una sfida di isomorfismo di grafo computazionale. L'idea centrale è modellare il Transformer come un grafo strutturato $G = (V, E)$, dove i token sono i nodi ($V$) e i meccanismi di attenzione definiscono gli archi pesati ($E$).

L'obiettivo è imporre l'invarianza della struttura del grafo tra input controfattuali (es. "L'ingegnere disse che lui..." vs "L'ingegnere disse che lei..."), permettendo differenze solo sugli attributi sensibili, ma mantenendo invariata la topologia di ragionamento.

Il framework si basa su quattro pilastri progettuali:

Design I: Allineamento del Routing (Archi/Edges)

Per affrontare il bias di routing, UGID non allinea i pesi grezzi dell'attenzione, ma le loro caratteristiche spettrali.

• Utilizza un operatore Laplaciano Combinatorio ($L = D - A$) per catturare la topologia del grafo di attenzione.
• Introduce una maschera per l'"Attention Sink" (il primo token che assorbe massa di attenzione) per evitare artefatti.
• Calcola gli autovalori direttamente dagli elementi diagonali per ridurre la complessità computazionale a $O(T)$, rendendo la regolarizzazione fattibile durante l'addestramento.
• Obiettivo: Garantire che la topologia di routing rimanga invariata rispetto alle perturbazioni di genere.

Design II: Prevenzione della Migrazione del Bias (Nodi/Nodes)

Poiché il bias migra negli stati nascosti (FFN), è necessario un allineamento dei nodi.

• Si impone un vincolo di isomorfismo sugli stati nascosti ($H_l$) attraverso contesti controfattuali.
• Questo previene che il bias venga memorizzato nei vettori di valore delle FFN, assicurando che le rappresentazioni interne rimangano coerenti indipendentemente dall'attributo sensibile.

Design III: Preservazione dell'Utilità del Modello

Per evitare la "dimenticanza catastrofica" e mantenere la coerenza linguistica, UGID introduce un obiettivo di stabilità composito:

1. Guida nello Spazio Log: Penalizza la divergenza delle probabilità logaritmiche sugli attributi sensibili per evitare gradienti nulli su token rari.
2. Stabilità Top-K: Ancoraggio dei pattern di attenzione del modello studente a un modello "teacher" congelato per preservare la correttezza sintattica.
3. Preservazione Semantica: Uso di una divergenza KL mascherata e simmetrica per mantenere la conoscenza generale, permettendo variazioni solo sui token sensibili.

Design IV: Gestione del Bias Definitorio (Ancoraggio Selettivo)

Per evitare la cancellazione di concetti necessari (es. distinguere "Re" da "Regina"), UGID utilizza una strategia di Ancoraggio Selettivo.

• Il dataset di addestramento è una miscela di coppie controfattuali stereotipate e coppie "ancora" definitorie.
• La funzione di perdita si adatta dinamicamente: applica vincoli di isomorfismo sulle coppie stereotipate, ma impone una divergenza KL non mascherata sulle coppie definitorie per preservare rigorosamente la semantica di genere fondamentale.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come LLaMA-3-8B, Qwen-2 e Gemma-2.

• Efficacia nel Debiasing: UGID riduce i punteggi di bias in scenari In-Distribution (ID) e Out-of-Distribution (OOD) a livelli quasi neutri (circa 1.06x), superando significativamente metodi come CDA, KLAAD e Self-Debias.
• Robustezza: Il modello mostra una varianza minima rispetto a diverse formulazioni dei prompt (robustezza ai prompt), evitando i picchi di bias osservati in altri metodi quando il linguaggio cambia leggermente.
• Preservazione dell'Utilità: A differenza di altri metodi che degradano la fluidità linguistica (misurata tramite Perplexity), UGID mantiene le capacità generali del modello.
• Sicurezza dei Concetti: UGID è l'unico metodo che mantiene il 100% di accuratezza sugli "ancoraggi definitori" (es. distinguere correttamente Re/Regina), evitando la cancellazione di concetti fattuali.
• Analisi Meccanicistica: Le verifiche tramite Logit Lens, Activation Patching e analisi spettrale confermano che UGID non maschera semplicemente l'output, ma decoupla causalmente i percorsi di bias dalla topologia di ragionamento interna, interrompendo la propagazione del bias attraverso i livelli del modello.

4. Contributi Chiave

1. Primo Framework di Isomorfismo Unificato: Introduce UGID, il primo approccio che tratta il debiasing come un problema di allineamento strutturale globale (nodi e archi) basato sull'isomorfismo di grafi.
2. Interpretabilità Meccanicistica: Fornisce prove visive e causali (tramite diagnosi spettrali e patching) che il bias viene eliminato a livello topologico, offrendo una spiegazione fisica del governo del bias interno.
3. Superiorità Scalabile: Dimostra che il metodo è invariante alla scala, funzionando efficacemente su modelli da 2B a 14B parametri, occupando la regione "ottimale" nel trade-off tra efficacia di debiasing e stabilità strutturale.
4. Efficienza Operativa: Non introduce overhead computazionale durante l'inferenza (latenza identica al modello base) grazie a un meccanismo di "folding" dei pesi che integra i vincoli strutturali nei parametri congelati.

5. Significato e Impatto

UGID rappresenta un cambio di paradigma nel campo della sicurezza e dell'allineamento degli LLM. Invece di trattare il bias come un problema superficiale o locale, lo affronta come una malastruttura topologica nel grafo computazionale del modello.

• Impatto Tecnico: Offre una soluzione scalabile e robusta che risolve il problema della migrazione del bias verso le FFN, un limite critico dei metodi precedenti su modelli grandi.
• Impatto Sociale: Contribuisce allo sviluppo di sistemi AI più equi riducendo il rischio di discriminazione in applicazioni ad alto rischio, mantenendo al contempo l'affidabilità e l'utilità del modello.
• Futuro: La prospettiva strutturale proposta potrebbe essere applicata oltre il bias sociale, ispirando ricerche future sull'allineamento interno e la robustezza in sistemi neurali su larga scala.