GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Sintesi Tecnica: GKnow: Misurare l'Intreccio tra Bias di Genere e Genere Fattuale

Enunciato del Problema
La recente ricerca sull'interpretabilità meccanica si è concentrata sull'identificazione e la mitigazione del bias di genere nei Modelli Linguistici di Grandi Dimensioni (LLM) analizzando componenti specifici responsabili di output distorti. Tuttavia, gli approcci attuali soffrono di due limitazioni primarie: (i) mirano spesso a compiti molto specifici, come la previsione di pronomi di genere, e (ii) non riescono a distinguere tra genere fattuale (la corretta associazione semantica tra un sostantivo e il suo genere, ad esempio "donna" $\to$ "lei") e genere stereotipato (output basati su stereotipi sociali, ad esempio "infermiere" $\to$ "lei").

Questa mancanza di distinzione porta a un effetto collaterale critico negli sforzi di debiasing: il degrado della conoscenza del genere fattuale del modello. Il lavoro esistente suggerisce che i segnali di bias di genere e di genere fattuale sono intrecciati all'interno delle rappresentazioni interne del modello, eppure la storia meccanica di questo intreccio a livello di circuiti e neuroni rimane in gran parte inspiegata. Di conseguenza, tecniche di debiasing semplici come l'ablazione dei neuroni potrebbero rimuovere inadvertitamente la capacità del modello di prevedere correttamente il genere fattuale, pur dichiarando successo sui benchmark di bias.

Metodologia
Per colmare queste lacune, gli autori propongono un approccio multifacciale che combina la curatela di dataset, l'analisi dei circuiti e esperimenti di ablazione dei neuroni su due modelli transformer solo-decoder: Llama-3.1-8b e Olmo-7b.

1. Curatela del Dataset (GKnow):
   Gli autori introducono GKnow, un benchmark progettato per valutare la conoscenza e il bias di genere attraverso diversi tipi di previsione. GKnow categorizza i prompt in base all'assunzione (soggetto) e all'output atteso. Il dataset include:

   • Sottoinsiemi fattuali: Basati su sostantivi con genere lessicale (ad esempio "donna"), nomi e indicatori espliciti di genere.
   • Sottoinsiemi stereotipati: Basati su occupazioni stereotipicamente di genere (ad esempio "infermiere") o tratti (ad esempio "accudente").
   • Tipi di previsione: Previsione di pronomi di genere, identificazione del genere e previsione di nomi.
     GKnow permette di separare i compiti in categorie "stereotipate" (propense al bias) e "fattuali" (basate sulla conoscenza) per misurare l'intreccio.

2. Analisi dei Circuiti:
   Utilizzando EAP-IG (Edge Attribution Patching con Integrated Gradients), gli autori identificano circuiti minimi fedeli responsabili delle previsioni di genere. Analizzano:

   • Intersezione su Unione (IoU): Misurando la sovrapposizione di bordi e nodi tra circuiti per diversi compiti.
   • Fedeltà Cross-task: Valutando se un circuito identificato per un compito (ad esempio, previsione stereotipata) può riprodurre fedelmente il comportamento di un compito diverso (ad esempio, previsione fattuale).

3. Analisi a Livello di Neurone e Ablazione:
   Gli autori impiegano Integrated Gradients per identificare neuroni rilevanti per il compito, specificamente quelli associati a previsioni stereotipate (poiché questi sono i tipici target per il debiasing). Eseguono ablazione dei neuroni (impostando le attivazioni a zero) sui primi 10 e 50 neuroni identificati.

   • Valutazione: L'impatto dell'ablazione è misurato su GKnow, StereoSet e DiFair (un benchmark per la valutazione disaccoppiata della conoscenza di genere e del bias).
   • Metriche: Lo studio traccia $P_{exp}$ (probabilità del token atteso), $P_{opp}$ (token di genere opposto), $P_{other}$ e il divario di probabilità ($\Delta$) tra output maschili e femminili.

Risultati Chiave

• Intreccio a Livello di Circuito:

  • I circuiti responsabili delle previsioni di genere stereotipate e fattuali mostrano un'alta sovrapposizione e una bassa separazione.
  • La fedeltà cross-task è elevata: i circuiti identificati per compiti stereotipati possono recuperare le prestazioni dei compiti fattuali (e viceversa). Ad esempio, applicare il circuito gender_prediction_based_on_stereo al sottoinsieme gender_prediction_based_on_pronoun ha raggiunto una fedeltà di 1.0.
  • Ciò indica che il genere fattuale e quello stereotipato sono gravemente intrecciati a livello di circuito.

• Intreccio a Livello di Neurone ed Effetti dell'Ablazione:

  • L'ablazione dei neuroni identificati tramite prompt stereotipati causa una diminuzione significativa della capacità del modello di prevedere il genere fattuale.
  • Nei sottoinsiemi GKnow Factual, l'ablazione dei neuroni principali ha portato a brusche diminuzioni di $P_{exp}$ (ad esempio, un calo dal 91,49% al 79,86% in Llama per 50 neuroni) e aumenti di $P_{opp}$ e $P_{other}$.
  • Crucialmente, mentre l'ablazione spesso migliora le metriche sui benchmark stereotipati (ad esempio, riducendo $P_{exp}$ per le previsioni stereotipate in StereoSet), questi risultati "positivi" mascherano un collasso simultaneo nella competenza del genere fattuale.
  • Il divario di probabilità ($\Delta$) tra output maschili e femminili diminuisce significativamente, indicando una perdita di fiducia nelle previsioni di genere sia nei sottoinsiemi fattuali che in quelli stereotipati.

• Interpretabilità Umana:

  • Utilizzando la tecnica Logit Lens, gli autori hanno scoperto che i neuroni condivisi tra diversi compiti di genere sono interpretabili dall'uomo. Ad esempio, sono stati trovati neuroni specifici in Olmo e Llama che sopprimono o promuovono token di genere specifici (ad esempio pronomi come "lei" o nomi come "Maria") sia in contesti fattuali che stereotipati.

Contributi Chiave

1. Benchmark GKnow: La curatela di GKnow, che colma una lacuna nelle risorse disponibili per valutare l'intreccio tra bias di genere e conoscenza del genere fattuale attraverso vari tipi di compiti in inglese.
2. Evidenza a Livello di Circuito: La dimostrazione, tramite EAP-IG, che i segnali di genere stereotipato e fattuale sono intrecciati all'interno degli stessi circuiti computazionali, sfidando l'assunzione che possano essere facilmente separati.
3. Analisi di Ablazione dei Neuroni: La constatazione empirica che una semplice ablazione dei neuroni, sebbene potenzialmente efficace nel ridurre il bias stereotipato su benchmark specifici, compromette gravemente la conoscenza del genere fattuale. Ciò suggerisce che l'ablazione è un metodo non affidabile da solo per il debiasing.

Significato e Affermazioni
Il paper sostiene che l'intreccio tra bias di genere e genere fattuale è una proprietà fondamentale delle attuali architetture LLM, osservabile sia a livello di circuito che di neurone. Gli autori affermano che:

• I metodi attuali di debiasing sono difettosi: Tecniche come l'ablazione dei neuroni, che mirano ai "neuroni di bias", distruggono inadvertitamente la conoscenza fattuale perché i meccanismi sottostanti sono condivisi.
• I benchmark di valutazione sono insufficienti: I benchmark che non tengono conto del genere fattuale (come StereoSet) possono nascondere il degrado della competenza linguistica causato dai tentativi di debiasing.
• Il lavoro futuro richiede una valutazione robusta: C'è un urgente bisogno di dataset di valutazione del bias di genere che misurino esplicitamente la preservazione della conoscenza del genere fattuale insieme alla riduzione del bias.

Gli autori concludono con un avvertimento contro l'"ablazione non filtrata dei neuroni" come unico metodo per il debiasing di genere, sottolineando che senza benchmark robusti come GKnow, il settore rischia di migliorare le metriche del bias a scapito della comprensione di base del linguaggio. Il paper riconosce le limitazioni, notando che i risultati sono attualmente specifici per l'inglese e per modelli relativamente piccoli, e che il bias di genere potrebbe manifestarsi in forme non coperte dai loro stereotipi basati su occupazioni e aggettivi.