Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

Sintesi Tecnica: Fairness Pruning

Problematica
I Large Language Models (LLM) ereditano e amplificano i pregiudizi demografici presenti nei loro corpora di pre-training. Le attuali strategie di mitigazione operano in tre fasi distinte del ciclo di vita: filtraggio dei dati di pre-training, fine-tuning/allineamento post-training e post-elaborazione dell'editing delle rappresentazioni. Gli autori sostengono che questi approcci condividano un difetto strutturale: intervengono su tutti i pesi del modello simultaneamente o modificano gli embedding senza distinguere tra i pesi che codificano il bias e quelli che supportano le capacità generali. Questa mancanza di specificità rischia di degradare le prestazioni generali del modello o di causare un dimenticatoio catastrofico (catastrophic forgetting). Sebbene l'interpretabilità meccanicistica (ad esempio, gli Autoencoder Sparsi) offra precisione, essa richiede risorse computazionali significative per l'addestramento aggiuntivo, creando un divario tra l'intervento di massa e la dissezione precisa ed economica del bias.

Metodologia: Fairness Pruning
Il paper propone il "Fairness Pruning", un metodo di intervento strutturale leggero progettato per localizzare e mitigare il bias demografico senza addestramento aggiuntivo. Il metodo è specificamente adattato per architetture MLP basate su GLU (ad esempio, Llama, Salamandra) e opera attraverso una pipeline a quattro fasi:

1. Costruzione di Prompt Contrastivi: Il metodo utilizza coppie di prompt minimamente contrastivi in cui l'unica differenza è un singolo attributo demografico (ad esempio, "uomo" vs "donna"). Per garantire un confronto valido delle attivazioni, entrambi i prompt in una coppia devono tokenizzare esattamente lo stesso numero di token. Gli autori hanno rilasciato due dataset pubblici (inglese e spagnolo) che coprono cinque categorie: Età, Genere, Aspetto Fisico, Razza/Etnia e Religione.
2. Cattura delle Attivazioni Differenziali: Durante l'inferenza, il metodo cattura le attivazioni all'ingresso dello strato down_proj nei blocchi MLP. Questo punto specifico è scelto perché, nelle architetture SwiGLU, il contributo effettivo di un neurone è il prodotto degli output di gate_proj e up_proj, che viene poi proiettato da down_proj.
3. Scoring dei Neuroni:
   • BiasScore: Calcolato come la differenza assoluta tra le medie delle attivazioni dei due prompt in una coppia, mediata su tutte le coppie in una categoria. Questo identifica i neuroni che reagiscono diversamente ai cambiamenti demografici.
   • FairnessPruningScore: Una metrica composita che combina il BiasScore con l'importanza strutturale (stimata tramite la Magnitudo Picco-Picco, PPM). Tuttavia, negli esperimenti esplorativi (rimuovendo ≤40 neuroni), gli autori hanno scoperto che il solo BiasScore era sufficiente, poiché la scala dell'intervento era troppo piccola per richiedere la penalizzazione dell'importanza strutturale.
4. Azzeramento Selettivo (Selective Zeroing): I neuroni identificati vengono "azzerati" impostando le corrispondenti righe nei pesi gate_proj e up_proj, e la colonna corrispondente nei pesi down_proj, a zero. Questa operazione simmetrica assicura che il neurone venga rimosso dal residual stream.

Contributi Chiave

1. Un Metodo di Localizzazione Senza Addestramento: Un metodo per localizzare il bias demografico negli LLM utilizzando attivazioni differenziali su prompt contrastivi, eseguibile su hardware consumer senza addestramento aggiuntivo.
2. Dataset Pubblici: Il rilascio di due dataset di coppie di prompt contrastivi in inglese e spagnolo, allineati con i benchmark BBQ e EsBBQ.
3. Evidenza Empirica di Circuiti Dissociabili: Dimostrazione che l'elaborazione degli attributi demografici e le capacità generali del modello operano su circuiti sufficientemente dissociabili, permettendo interventi mirati senza una degradazione apprezzabile del ragionamento o della conoscenza.
4. Scoperta della Destabilizzazione Bidirezionale: Evidenza che lo azzeramento dei neuroni selezionati da uno score di attivazione differenziale non firmato produce effetti non monotoni e di inversione del segno sull'aggregato del bias. Ciò indica che i set di candidati mescolano neuroni che amplificano gli stereotipi con quelli che li sopprimono, e l'effetto netto dipende da quale segno domina.

Risultati

• Localizzazione: I segnali di bias sono robustamente localizzati negli strati finali dei blocchi MLP. In Salamandra-2B, fino al 94% dei neuroni più influenzati dal bias per una categoria è stato trovato nello strato finale. La struttura spaziale di questi neuroni è sparsa attraverso la larghezza dello strato, non contigua.
• Specificità del Circuito: Vi è una bassa sovrapposizione tra i circuiti per diverse categorie demografiche (ad esempio, i circuiti del Genere condividono pochissimi neuroni con altri), suggerendo una specializzazione funzionale.
• Effetti dell'Intervento:
  • Bias: Lo azzeramento dei neuroni identificati non ha prodotto una riduzione piatta del bias. Invece, ha causato una "destabilizzazione del bias bidirezionale". In alcuni casi, il bias è stato ridotto; in altri, è stato amplificato o invertito (ad esempio, passando da uno stereotipo a un anti-stereotipo). Ciò conferma che i neuroni selezionati agiscono come regolatori con effetti opposti, e lo azzeramento cieco interrompe il meccanismo di modulazione.
  • Capacità: L'intervento è stato estremamente chirurgico. Lo azzeramento di fino a 40 neuroni in Llama-3.2-1B (meno dello 0,031% della larghezza totale dell'MLP) ha portato a una ritenzione media del 99,49% nei benchmark di ragionamento e conoscenza generale (WikiText, MMLU, ARC-Challenge, HellaSwag).
• Osservazioni Qualitative: Gli esempi di testo generato hanno mostrato che lo stesso set di neuroni azzerati poteva ridurre il bias in un contesto, mentre lo amplificava in un altro, o lasciava invariata la conoscenza fattuale (ad esempio, "Capitale della Francia").

Significatività e Rivendicazioni
Il paper sostiene di stabilire le fondamenta metodologiche per passare dallo "azzeramento cieco" verso la "modulazione del comportamento direzionale".

• Dissociabilità: La scoperta principale è che l'elaborazione del bias e le capacità generali sono dissociabili, validando l'ipotesi che il bias sia concentrato in neuroni identificabili piuttosto che distribuito diffusamente.
• Limiti delle Metriche Non Firmate: Il lavoro evidenzia come l'uso di score differenziali non firmati (solo magnitudo) porti a esiti imprevedibili perché confonde gli amplificatori con i regolatori.
• Direzioni Future: Gli autori sostengono che il passo successivo non sia semplicemente rimuovere più neuroni, ma evolvere il dataset affinché sia asimmetrico (conoscendo a priori quale prompt è influenzato dal bias). Ciò permetterebbe un BiasScore firmato, consentendo lo "steering dell'attivazione" (scaling moltiplicativo) invece dello azzeramento, per spingere il modello verso la neutralità senza aggiornamenti del gradiente.

Lo studio è modesto nella sua portata, limitato a modelli con meno di 4 miliardi di parametri e focalizzato su attributi demografici espliciti tramite benchmark a scelta multipla. Esclude esplicitamente i meccanismi di attenzione e le dinamiche di generazione aperta dalla sua attuale validazione, notando che le dinamiche di destabilizzazione osservate potrebbero non generalizzarsi direttamente a tali contesti senza ulteriori studi.