Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models

1. Il Problema: Limiti degli Approcci Correnti

I Modelli Vision-Language (VLM) hanno rivoluzionato il ragionamento multimodale, ma ereditano e amplificano i bias demografici presenti nei dati di addestramento (es. associazioni di genere nelle professioni, distorsioni razziali).
Gli approcci esistenti per la mitigazione del bias post-hoc (senza riaddestramento), in particolare il metodo SFID (Selective Feature Imputation for Debiasing), operano sostituendo le coordinate specifiche dell'embedding più correlate agli attributi sensibili con valori neutri.

Tuttavia, gli autori identificano tre limitazioni critiche di questo approccio "coordinate-wise":

1. Intreccio delle caratteristiche (Feature Entanglement): Le dimensioni dell'embedding non sono disgiunte per attributi diversi. Rimuovere le coordinate per il genere, ad esempio, distorce inevitabilmente le rappresentazioni di razza o età, poiché le stesse dimensioni codificano informazioni multiple.
2. Scarsa generalizzazione cross-dataset: Le dimensioni "importanti" per un attributo cambiano a seconda del dataset. Un metodo basato su indici fissi non trasferisce bene tra dataset diversi.
3. Rimozione incompleta del bias: Il bias non è concentrato in poche coordinate. Anche sostituendo le top-$m$ dimensioni, rimane un segnale di attributo linearmente decodabile, indicando che l'informazione è distribuita su un numero molto maggiore di dimensioni.

2. Metodologia: Subspace Projection Debiasing (SPD)

Il paper propone SPD, un framework geometrico che tratta il bias non come un insieme di coordinate sparse, ma come una sottospazio lineare all'interno dello spazio degli embedding.

Il processo si articola in tre fasi principali:

1. Identificazione del Sottospazio di Bias (Bias Subspace Identification):

   • Utilizzando l'algoritmo INLP (Iterative Null-space Projection), il metodo addestra classificatori lineari iterativi per estrarre le direzioni nello spazio degli embedding che sono più discriminative per l'attributo sensibile.
   • Invece di selezionare indici fissi, INLP costruisce una base ortonormale $U$ che spanna il sottospazio dove risiede l'informazione del bias. Questo cattura la struttura distribuita e intrecciata del bias.

2. Proiezione del Sottospazio (Subspace Projection):

   • Gli embedding vengono proiettati sul complemento ortogonale del sottospazio di bias appreso ($U$).
   • Matematicamente, per un embedding $x$, la rappresentazione debiasata è $x' = x(I - U^\top U)$. Questo rimuove le componenti lineari decodabili dell'attributo sensibile.

3. Re-iniezione Neutra (Neutral Reinjection):

   • La proiezione ortogonale può causare una perdita di utilità semantica o uno spostamento fuori dalla varietà (off-manifold drift).
   • Per preservare la fedeltà semantica, il metodo re-inietta una media neutra ($\bar{x}_{low}$) calcolata sui campioni a bassa confidenza (quelli in cui il classificatore è incerto sull'attributo).
   • La formula finale è: $x'' = x' + U^\top (U \bar{x}_{low})$. Questo ricalibra gli embedding lungo il sottospazio rimosso senza reintrodurre la varianza specifica dell'attributo.

3. Contributi Chiave

• Ridefinizione Geometrica del Bias: Dimostrazione empirica che il bias nei VLM è strutturato come un sottospazio lineare e non come coordinate isolate, invalidando l'assunzione di base dei metodi attuali come SFID.
• Framework Training-Free: SPD è un metodo post-hoc che non richiede riaddestramento del modello, è efficiente (operazioni a forma chiusa) e applicabile a qualsiasi encoder/decoder congelato.
• Controllo del Trade-off Utilità-Fairness: Il numero di direzioni rimosse ($r$) agisce come un "knob" controllabile, permettendo di bilanciare la rimozione completa del bias con la preservazione delle prestazioni del task.
• Robustezza Cross-Dataset: Essendo basato su direzioni apprese dinamicamente piuttosto che su indici fissi, SPD generalizza meglio tra diversi dataset e task.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre task downstream rappresentativi: classificazione zero-shot, recupero immagine-testo e generazione immagine-testo, utilizzando diversi backbone (CLIP, XVLM, SDXL, CoDi).

• Mitigazione del Bias: SPD supera costantemente i baseline (incluso SFID, DeAR, CLIP-clip) riducendo significativamente le disparità demografiche.
  • Miglioramento medio del 18.5% su quattro metriche di equità.
  • Nel task di classificazione zero-shot (FACET), SPD ottiene il più basso $\Delta DP$ (Demographic Parity Gap) su tutti i backbone.
  • Nel recupero testo-immagine (Flickr30K), riduce lo skew demografico mantenendo o migliorando il Recall@K.
• Preservazione delle Prestazioni: A differenza di altri metodi che degradano la qualità semantica, SPD mantiene prestazioni di task competitive o superiori rispetto ai modelli non debiasati.
• Generazione Immagini: SPD riduce i tassi di mismatch di genere e produce distribuzioni più bilanciate per prompt neutri, mantenendo la qualità realistica delle immagini generate.
• Ablation Study: La fase di "re-iniezione neutra" è cruciale; senza di essa, le prestazioni di accuratezza diminuiscono leggermente, confermando che essa preserva la fedeltà semantica senza reintrodurre bias.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma fondamentale nella debiasing dei modelli multimodali. Spostando l'attenzione dalla manipolazione di coordinate discrete alla proiezione geometrica su sottospazi, SPD offre una soluzione più robusta, interpretabile e teoricamente fondata.
La metodologia dimostra che è possibile mitigare i bias sociali profondi nei VLM senza comprometterne l'utilità generale, fornendo un framework unificato che può essere applicato a vari modelli e task, avanzando sia la responsabilità sociale dell'IA che l'integrità della generalizzazione multimodale.