Unveiling the "Fairness Seesaw": Discovering and Mitigating Gender and Race Bias in Vision-Language Models

Riassunto Tecnico: "Unveiling the ‘Fairness Seesaw’"

1. Il Problema: Il "Black Box" dei Bias nei Modelli Vision-Language (VLM)

Nonostante il successo dei modelli Vision-Language (VLM) come LLaVA e Qwen, i meccanismi interni che governano i pregiudizi sociali (gender e race bias) rimangono poco compresi. La ricerca identifica due lacune critiche negli studi precedenti:

• Limiti della valutazione superficiale: Molti studi si concentrano solo sulla correttezza della risposta (es. "il modello identifica correttamente il genere?"), ignorando il bias di background. Un modello potrebbe rispondere correttamente a un'immagine singola ma mantenere stereotipi profondi nelle sue distribuzioni di probabilità.
• Mancanza di analisi sulla confidenza: I modelli spesso generano risposte "eque" in superficie, ma mantengono punteggi di confidenza fortemente sbilanciati verso determinati gruppi sociali (miscalibrazione), rivelando un pregiudizio latente.

2. Metodologia: Scoperta e Mitigazione

A. Nuova Modalità di Valutazione (MCS):
Gli autori introducono un compito di Multiple-Choice Selection (MCS) basato su prompt progettati per interrogare l'opinione generale del modello sulla società (es. "In questa società, quale genere è più propenso a essere un ingegnere?"), utilizzando le immagini solo come riferimento e non come prova assoluta. Questo permette di misurare sia la risposta (fairness) che la distribuzione della probabilità (confidenza/calibrazione) tramite la divergenza KL.

B. Scoperta del "Fairness Seesaw" (L'altalena della Fairness):
Attraverso l'analisi degli stati latenti, gli autori scoprono che la conoscenza della fairness non è uniforme:

1. Fluttuazione per livelli: La fairness raggiunge il picco nei livelli intermedi ma subisce un'erosione nei livelli finali.
2. Discrepanza dei residui: All'interno di un singolo strato, i diversi flussi residui (residual streams) possono trasportare informazioni contrastanti: alcuni promuovono l'equità, altri amplificano il bias.

C. Proposta: RES-FAIR (Residual Flow Adjustment for Inference Recalibration):
È un framework post-hoc (che non richiede riaddestramento) basato sulla decomposizione dello spazio latente.

• Decomposizione in sottospazi: Si assume che ogni vettore nascosto $v_i$ possa essere scomposto in una componente "fair", una "biased" e una neutra.
• Proiezione Ortogonale: RES-FAIR identifica le direzioni dei residui che portano a risposte distorte e le proietta via (annullandole), mentre contemporaneamente amplifica le componenti che portano a risposte eque attraverso una proiezione ortogonale.
• Formula chiave: Il nuovo vettore $v_{new}$ viene calcolato rimuovendo la proiezione del bias e scalando la proiezione della fairness: $v_{new} = \lambda_2 P_{fair} (\lambda_1 (v_i - P_{biased} v_i))$.

3. Contributi Chiave

1. Analisi della Confidenza: È il primo studio a esaminare non solo la risposta testuale dei VLM, ma anche la loro affidabilità probabilistica rispetto ai bias sociali.
2. Nuovo Protocollo di Test: Creazione di nuovi prompt e task MCS basati sui dataset PAIRS e SocialCounterfactuals per valutare esplicitamente le opinioni sociali dei modelli.
3. Framework RES-FAIR: Un metodo efficiente e versatile per mitigare il bias agendo direttamente sui flussi residui durante l'inferenza.

4. Risultati Principali

• Efficacia della Mitigazione: Gli esperimenti su modelli SOTA (LLaVA-NeXT-13B e Qwen2.5-VL-32B) dimostrano che RES-FAIR aumenta significativamente il livello di fairness nelle risposte e riduce drasticamente la divergenza KL (migliorando la calibrazione della confidenza).
• Confronto con il Training: Mentre il metodo di training proposto (DPO + KL) è efficace sui modelli più deboli, il metodo post-hoc RES-FAIR risulta superiore sui modelli più potenti (LLaVA-NeXT e Qwen2.5), dove il controllo diretto dei residui è più preciso.
• Preservazione delle Capacità: I test sul dataset VQAv2 confermano che la mitigazione del bias non compromette le capacità di ragionamento generale e di comprensione visiva del modello.

5. Significato e Implicazioni

Il lavoro rivela che la "fairness" nei modelli multimodali è un equilibrio instabile (l'altalena). La scoperta che i bias sono codificati in direzioni specifiche all'interno dei flussi residui apre nuove strade per rendere l'IA più etica senza dover affrontare i costi computazionali proibitivi del riaddestramento completo. Fornisce una lente fondamentale per comprendere come i modelli multimodali memorizzano e processano informazioni sociali sensibili.