Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

Questo studio propone un audit di equità meccanicistico che localizza i pregiudizi demografici a livello di singoli attention head nell'encoder visivo di CLIP, dimostrando che l'ablazione di specifici neuroni riduce efficacemente il bias di genere con un impatto minimo sulla precisione, mentre il bias legato all'età risulta più diffuso e meno localizzabile.

L'essenziale

Immagina di avere un cervello digitale molto intelligente (chiamato CLIP) che guarda le foto e cerca di indovinare quale lavoro fa la persona ritratta: "Questo è un medico", "Questa è una ballerina", "Quello è un operaio".

Purtroppo, questo cervello ha imparato dai libri di storia e dai social media, e quindi ha ereditato alcuni pregiudizi umani. Per esempio, se vede una donna con un camice bianco, il 78% delle volte pensa: "Ah, sarà un'infermiera!" invece di "Medico". Se vede un uomo, invece, pensa subito "Medico".

Il problema è che, fino ad oggi, sapevamo che il cervello era pregiudizioso, ma non sapevamo dove esattamente, dentro il suo cervello, si nascondeva questo errore. Era come sapere che un'auto ha un motore che fa rumore, ma non sapere quale pezzo specifico sta cigolando.

L'Investigazione: "Dove si nasconde il pregiudizio?"

Gli autori di questo articolo hanno creato una sorta di microscopio per il cervello digitale. Hanno deciso di smontare il cervello pezzo per pezzo per trovare esattamente quale "pezzo" (chiamato "testina di attenzione") sta causando l'errore.

Ecco come hanno fatto, usando delle metafore semplici:

1. Il Cervello è una Squadra di 384 Operai:
   Il cervello digitale è fatto di 24 strati, e in ogni strato ci sono 16 "operai" (le testine di attenzione). In totale, sono 384 operai che lavorano insieme. Ogni operaio guarda un pezzo diverso dell'immagine e dice la sua opinione.

   • L'idea: Forse non è tutto il cervello ad essere razzista o sessista, ma solo uno o due operai che urlano cose sbagliate.

2. La Lista dei "Sospetti" (La Mappa):
   Hanno creato una lista di parole chiave. Non solo "Medico" o "Infermiera", ma anche "Uomo", "Donna", "Giovane", "Anziano".
   Hanno chiesto a ogni operaio: "Cosa vedi? Vedi più un 'Medico' o una 'Donna'?".
   Se un operaio, quando vede una foto di una donna, pensa subito a "Donna" invece che al suo lavoro, allora è un sospetto. È come se un operaio, invece di guardare il camice, guardasse solo i capelli lunghi e dicesse: "È una donna, quindi deve essere infermiera!".

3. L'Esperimento del "Silenzio" (Ablazione):
   Una volta trovati i sospetti, hanno fatto un esperimento curioso: hanno zittito questi operai. Hanno detto: "Ok, voi quattro operai, chiudete la bocca e non dite nulla, lasciate parlare solo gli altri".
   Poi hanno guardato cosa succede.

Cosa hanno scoperto?

1. Il Caso del "Sessismo" (Genere)

Hanno trovato 4 operai (su 384!) che erano i colpevoli principali.

• L'effetto: Quando hanno zittito questi 4 operai, il cervello ha smesso di fare l'errore "Donna = Infermiera".
• La sorpresa: Non solo ha smesso di sbagliare, ma è diventato anche più intelligente nel suo insieme! La precisione è aumentata leggermente.
• Il colpevole principale: C'era un operaio in particolare (chiamato L23H4, l'ultimo della fila) che faceva il 90% del lavoro sporco. Se lo zittivi, il problema del "Medico vs Infermiera" si risolve quasi da solo. È come se avessi trovato la valvola che faceva fuoriuscire l'acqua sporca: chiudendola, il serbatoio diventa pulito.

2. Il Caso dell'"Età" (Giovane vs Anziano)

Hanno provato a fare la stessa cosa per l'età (es. "Guardia giovane" vs "Guardia anziana").

• Il risultato: Hanno trovato alcuni sospetti, ma quando li hanno zittiti... non è successo quasi nulla.
• La lezione: Questo significa che il pregiudizio sull'età non è nascosto in un solo "cattivo operaio". È come se tutti gli operai avessero imparato un po' di pregiudizio sull'età, sparpagliato un po' ovunque. Non c'è un singolo pezzo da togliere per risolvere il problema; è un problema "diffuso" in tutto il cervello.

Perché è importante?

Immagina di avere un'auto che va a scatti.

• Prima: Sapevamo solo che l'auto era rotta.
• Ora: Sappiamo che è il terzo cilindro (l'operaio L23H4) che sta facendo rumore.

Questo studio ci insegna due cose fondamentali:

1. Possiamo trovare i colpevoli: Non dobbiamo buttare via tutto il cervello digitale. Possiamo identificare esattamente quali pezzi causano ingiustizie.
2. Non è tutto uguale: Alcuni pregiudizi (come il genere) sono concentrati in pochi pezzi facili da trovare. Altri (come l'età) sono sparsi ovunque e molto più difficili da sistemare.

Conclusione Semplificata

Gli autori non hanno "aggiustato" il cervello per sempre (non hanno riparato l'auto), ma hanno creato una radiografia che mostra esattamente dove sta il problema. Hanno dimostrato che, almeno per il sessismo, il problema è così specifico che se togliessimo quel singolo "pezzo" difettoso, il cervello diventerebbe più giusto e più preciso.

È un passo enorme verso il rendere l'intelligenza artificiale più equa, perché prima di poterla riparare, dobbiamo sapere esattamente dove si trova la crepa.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder", tradotto e strutturato in italiano.

1. Il Problema

I modelli fondazionali multimodali, come CLIP, replicano sistematicamente i bias sociali presenti nei dati di addestramento. Le audit di equità standard quantificano se un modello è distorto (ad esempio, classificando erroneamente le donne come infermiere invece che come medici), ma non riescono a spiegare dove all'interno della rete neurale risiede questo bias.
La sfida principale è passare da una misurazione dell'output a un'analisi meccanicistica che identifichi i componenti specifici (in questo caso, le "teste" di attenzione nei Transformer) responsabili della codifica di informazioni demografiche spurie, distinguendole dalle informazioni rilevanti per il compito (come l'occupazione).

2. Metodologia

Gli autori propongono una pipeline di audit di equità meccanicistica applicata al codificatore visivo CLIP ViT-L-14. La metodologia si basa su tre pilastri principali:

• Decomposizione del Residual Stream Proiettato:
  Sfruttando l'ipotesi del residual stream, l'output finale dell'immagine viene scomposto nelle contribuzioni additive delle singole teste di attenzione e dei blocchi MLP. Ogni contributo viene proiettato nello spazio congiunto testo-immagine di CLIP.

• Zero-Shot Concept Activation Vectors (CAV) e Ranking delle Teste:
  Gli autori adattano i CAV al contesto zero-shot di CLIP. Invece di addestrare classificatori su immagini etichettate, definiscono "prototipi" testuali (es. "Uomo", "Donna", "Medico", "Infermiere") codificati direttamente dal text encoder di CLIP.
  Per ogni testa di attenzione $(l, h)$ e classe di professione, calcolano la similarità coseno tra il vettore centrale visivo della testa e i prototipi demografici rispetto a quelli occupazionali. Le teste che mostrano una forte allineamento con i prototipi demografici (più che con l'occupazione) vengono classificate come candidate per il bias.

• Analisi TextSpan Arricchita (Bias-Augmented):
  Per fornire annotazioni semantiche leggibili, estendono il dizionario dell'algoritmo TextSpan originale (3.497 concetti visivi) includendo 42 professioni e 6 attributi demografici. Questo permette di verificare qualitativamente se le teste identificate come "bias" codificano effettivamente concetti demografici (es. "faccia femminile") invece di concetti visivi generici.

• Validazione Causale tramite Ablazione Media:
  Per confermare che le teste identificate siano causalmente responsabili del bias, viene eseguita un'ablazione media: l'output proiettato di una testa target viene sostituito con la sua media calcolata sull'intero set di valutazione. Questo neutralizza il contributo specifico dell'input mantenendo l'effetto medio.
  Cruciale: Viene utilizzato un controllo casuale matched per layer (ablazione di teste random dello stesso livello) per escludere che la riduzione del bias sia dovuta semplicemente alla rimozione di capacità di attenzione.

3. Contributi Chiave

1. Metodologia Diagnostica: Un nuovo approccio per localizzare il bias demografico a livello di singola testa di attenzione nei Vision Transformer, combinando decomposizione del residual stream, CAV zero-shot e TextSpan arricchito.
2. Dimostrazione di Fattibilità su CLIP: Evidenza empirica che il bias di genere in CLIP ViT-L-14 è localizzabile in un piccolo insieme di teste negli strati terminali. L'ablazione di queste teste riduce il bias globale e migliora leggermente l'accuratezza.
3. Differenziazione degli Attributi Protetti: Dimostrazione che il grado di localizzabilità varia a seconda dell'attributo: il bias di genere è concentrato e localizzabile, mentre il bias legato all'età appare codificato in modo più diffuso e non risponde alla stessa localizzazione a livello di testa.

4. Risultati Principali

Lo studio è stato condotto sul benchmark FACET (42 classi di professioni).

• Bias di Genere:

  • La pipeline ha identificato 4 teste negli strati terminali (in particolare L23H4, L21H2, L21H10, L22H14) come responsabili del bias.
  • L'ablazione di queste 4 teste ha ridotto il bias globale (misurato con il coefficiente di Cramér's V da 0.381 a 0.362) e ha aumentato l'accuratezza complessiva da 64.30% a 64.72%.
  • Il controllo casuale matched per layer non ha prodotto effetti simili, confermando la specificità delle teste identificate.
  • Dominanza di una singola testa: La testa L23H4 (ultimo strato) è responsabile da sola dell'87% della riduzione del bias nella classe "Medico". L'ablazione di questa testa sola ha portato l'accuratezza delle donne "medico" dal 13.4% al 26.3%, correggendo l'errore sistematico di classificarle come "infermiere".
  • Trade-off: L'ablazione non crea un modello neutro perfetto; riduce il bias per una classe (es. Medico) ma può spostare le previsioni verso un'altra (es. Infermiere), dimostrando che l'ablazione è uno strumento diagnostico e non una strategia di debiasing definitiva.

• Bias legato all'Età:

  • La stessa pipeline ha identificato teste candidate per il bias legato all'età, ma l'ablazione ha prodotto effetti deboli e inconsistenti.
  • Nella classe "Guardia" (dove il bias di età è più alto: 89.3% accuratezza per i giovani vs 44.8% per gli anziani), l'ablazione delle teste candidate ha addirittura aumentato leggermente il bias.
  • Questo suggerisce che il bias legato all'età è codificato in modo diffuso attraverso la rete e non risiede in un piccolo numero di teste identificabili con questo metodo.

• Entanglement degli Attributi:
  La testa L23H4 appare sia nel ranking per il genere che per l'età, suggerendo che alcune componenti della rete codificano informazioni demografiche trasversali che non sono facilmente separabili per singolo attributo protetto.

5. Significato e Conclusioni

Questo lavoro fornisce prove preliminari che la localizzazione del bias a livello di testa è fattibile per i codificatori visivi discriminativi.

• Implicazioni per l'Interpretabilità: Dimostra che il bias non è un fenomeno emergente indistinto, ma può essere tracciato a componenti architetturali specifiche (testhe terminali).
• Limiti dell'Ablazione: L'ablazione media rivela che le teste identificate trasportano segnali demografici usati attivamente dal classificatore. Tuttavia, rimuoverle non garantisce un modello equo, ma piuttosto una redistribuzione delle previsioni, evidenziando la necessità di strategie di intervento più sofisticate rispetto alla semplice rimozione di componenti.
• Differenze tra Attributi: La scoperta che il bias di genere è localizzabile mentre quello legato all'età non lo è suggerisce che le strategie di auditing e mitigazione devono essere adattate specificamente al tipo di attributo demografico in esame.

In sintesi, il paper offre un nuovo strumento diagnostico per "smontare" i modelli fondazionali e capire esattamente dove e come codificano i pregiudizi, aprendo la strada a interventi di equità più mirati e meccanicisticamente fondati.