Sintesi Tecnica: BioPro – Verso una Fairness di Genere Consapevole delle Differenze per i Modelli Vision-Language

1. Definizione del Problema

I modelli Vision-Language (VLM) ereditano significativi bias sociali dai loro dati di addestramento, in particolare riguardo alla rappresentazione di genere. Gli interventi di fairness esistenti adottano spesso una prospettiva "non consapevole delle differenze" (difference-unaware), imponendo un trattamento uniforme tra tutti i gruppi demografici. Gli autori sostengono che questo approccio non riesca a distinguere tra contesti in cui è richiesta la neutralità (ad es. descrivere un soggetto ambiguo) e contesti in cui gli attributi specifici di un gruppo sono legittimi e devono essere preservati (ad es. descrivere chiaramente una dottoressa).

Il documento formalizza il problema della fairness di genere consapevole delle differenze (difference-aware gender fairness) per i VLM, rivolgendosi specificamente a due compiti:

1. Image Captioning: Il modello deve evitare di inferire il genere per soggetti ambigui (neutralità della fairness) pur preservando fedelmente le informazioni di genere per soggetti chiaramente identificabili (fedeltà esplicita).
2. Generazione da Testo a Immagine (Text-to-Image Generation): Il modello deve generare una distribuzione di genere bilanciata per prompt neutri (ad es. "una foto di una persona") pur aderendo rigorosamente alle identità di genere specificate in prompt espliciti (ad es. "una foto di una dottoressa").

La sfida centrale è ottenere un debiasing selettivo: mitigare il bias indesiderato nei contesti neutri senza cancellare le distinzioni valide nei contesti espliciti, il tutto mantenendo la fedeltà semantica.

2. Metodologia: BioPro (Bias Orthogonal Projection)

Gli autori propongono BioPro, un framework interamente privo di addestramento (training-free) che opera tramite proiezione ortogonale nello spazio delle rappresentazioni. Il metodo identifica un sottospazio di variazione di genere a bassa dimensionalità e neutralizza selettivamente le informazioni relative al genere in base al contesto dell'input.

2.1 Costruzione del Sottospazio di Variazione di Genere

BioPro utilizza embedding controfattuali per definire la direzione del bias.

• Fonte dei Dati: Il metodo impiega il dataset SCFs [19], che genera coppie di immagini identiche in tutte le caratteristiche tranne che per l'attributo di genere (ad es. un soggetto maschile rispetto a uno femminile nella stessa posa/scena).
• Estrazione del Sottospazio: Per una coppia di embedding $(h_m, h_f)$, il vettore di differenza codifica una variazione di genere ad alta purezza. Raccogliendo queste differenze in una matrice $D$, gli autori eseguono la Decomposizione ai Valori Singolari (SVD) per estrarre le direzioni principali della variazione di genere. I primi $k$ vettori singolari formano il sottospazio di variazione di genere $S$.

2.2 Implementazione Specifica per Compito

A. Image Captioning (Debiasing Selettivo)

Per il captioning, l'obiettivo è rimuovere l'informazione di genere solo quando l'input è ambiguo.

1. Proiezione Ortogonale: Il modello proietta l'embedding fuso testo-immagine sul complemento ortogonale del sottospazio di genere ($P^\perp$). Ciò rimuove la componente di genere ($H_{bias}$) preservando la componente semantica ($H_{sem}$).
2. Selezione Basata sulla Proiezione: Per evitare una correzione eccessiva degli esempi espliciti, BioPro introduce un meccanismo di selezione. Esso analizza l'entità della proiezione degli embedding sul sottospazio di genere.
   • Esempi espliciti (chiaramente legati al genere) mostrano magnitudo di proiezione maggiori.
   • Esempi neutri (ambigui) mostrano magnitudo di proiezione minori.
   • Una soglia $\delta_c$ viene appresa (tramite l'ottimizzazione di un coefficiente di trade-off $\lambda_c$) per distinguere tra le due distribuzioni (modellate come distribuzioni skew-normal).
   • Azione: Se la magnitudo della proiezione di un campione è inferiore a $\delta_c$, viene applicata la proiezione ortogonale. Se è superiore, l'embedding originale viene mantenuto per preservare la fedeltà di genere esplicita.

B. Generazione da Testo a Immagine (Calibrazione)

Per la generazione, lo spazio di output è intrinsecamente binario (le immagini devono mostrare attributi di genere), rendendo la semplice proiezione insufficiente poiché potrebbe comunque risultare in distribuzioni sbilanciate.

1. Termine di Calibrazione: BioPro introduce un obiettivo di ottimizzazione che combina il termine di proiezione ortogonale con un termine di calibrazione.
   • L'obiettivo minimizza la distanza tra la matrice di proiezione $P$ e il proiettore ortogonale $P^\perp$ (per preservare la semantica).
   • Simultaneamente, minimizza la distanza tra gli embedding femminili proiettati e quelli maschili (e viceversa) per bilanciare la direzione generativa.
2. Soluzione in Forma Chiusa: Gli autori derivano una soluzione in forma chiusa per la matrice di proiezione ottimale $P_{f \to m}$, consentendo al modello di spostare le rappresentazioni verso i generi sottorappresentati nei prompt neutri senza cancellare la semantica intesa nei prompt espliciti.

2.3 Generalizzazione al Bias Continuo

Il framework è esteso per gestire variabili di bias continue, come la luminosità della scena. Costruendo coppie di prompt con intensità variabili (ad es. "foto luminosa" vs "foto scura"), BioPro identifica un sottospazio di bias continuo. Un termine di calibrazione consente il controllo regolabile del livello di luminosità della scena generata tramite un iperparametro $\lambda_g$, dimostrando l'applicabilità oltre gli attributi categorici discreti.

3. Contributi Chiave

1. Estensione Concettuale: Il documento estende il concetto di fairness consapevole delle differenze dai Large Language Models (LLM) testuali ai modelli multimodali Vision-Language, fornendo una formulazione rigorosa per la mitigazione selettiva del bias.
2. Framework BioPro: Introduce BioPro, un metodo training-free che bilancia efficacemente la neutralità della fairness e la fedeltà esplicita di genere attraverso la proiezione ortogonale e meccanismi adattivi di selezione/calibrazione.
3. Gestione del Bias Continuo: Per quanto a conoscenza degli autori, questo è il primo metodo che gestisce efficacemente variabili di bias continue (come la luminosità della scena) nei compiti di generazione da testo a immagine, andando oltre la mitigazione del bias binario o categorico.

4. Risultati Sperimentali

Gli autori hanno valutato BioPro nel captioning di immagini (usando LLaVA-1.5 e LLaVA-NeXT) e nella generazione da testo a immagine (usando FLUX.1-dev e FLUX.1-schnell).

• Image Captioning:

  • BioPro ha ottenuto il miglior Composite Bias Rate (CBR), indicando un equilibrio superiore tra la riduzione del bias nei casi neutri ($BR_n$) e il mantenimento della fedeltà nei casi espliciti ($BR_e$).
  • Ha superato significativamente i baseline come Prompting, LIBRA e SFID.
  • Le metriche di preservazione semantica (METEOR e CLIP-S) sono rimaste coerenti con i modelli base, confermando che il debiasing non ha degradato la qualità del caption.
  • Gli studi di ablazione hanno mostrato che la rimozione del modulo "Selection" portava a un calo significativo della fedeltà esplicita, validando la necessità del meccanismo di selezione.

• Generazione da Testo a Immagine:

  • BioPro ha ottenuto i punteggi di Skew più bassi (indicando un migliore bilanciamento di genere) sia per le professioni stereotipate maschili che femminili.
  • Ha mantenuto un tasso di misclassificazione (MR) vicino allo zero per i prompt espliciti, garantendo che i generi specificati fossero rispettati.
  • Le metriche di qualità dell'immagine (CLIP-S e MUSIQ) hanno mostrato una degradazione trascurabile rispetto ai modelli base.
  • La variante "w/o Calibration" ha mostrato un debiasing significativamente più debole, evidenziando l'importanza del termine di calibrazione per i compiti di generazione.

• Bias Continuo (Luminosità della Scena):

  • BioPro ha gestito con successo l'aggiustamento della luminanza delle immagini generate (ad es. rendere le scene del cielo più scure) in base al parametro $\lambda_g$.
  • Il metodo ha preservato l'allineamento semantico (CLIP-S) e la qualità dell'immagine (MUSIQ) mitigando efficacementamente il bias verso scene sovraesposte.

5. Significato e Rivendicazioni

Il documento afferma che BioPro fornisce un paradigma controllabile ed efficace per la generazione consapevole del bias nei VLM. La sua importanza risiede in:

• Sensibilità al Contesto: A differenza degli approcci di fairness "ciechi" che trattano tutti i gruppi in modo identico, BioPro rispetta le sfumature contestuali, preservando le distinzioni legittime pur rimuovendo gli stereotipi spurii.
• Efficienza Training-Free: Come intervento post-hoc al tempo di inferenza, evita i costi computazionali e i requisiti di dati del retraining o del fine-tuning di grandi modelli.
• Generalizzabilità: Il framework dimostra che la mitigazione del bias può essere generalizzata dagli attributi discreti (genere) alle variabili continue (luminosità), offrendo una soluzione unificata per diversi tipi di bias.

Gli autori concludono che, sebbene il loro approccio di intervento lineare possa non tenere pienamente conto dell'entanglement non lineare tra gli attributi, esso offre una soluzione pratica, flessibile e di alta qualità per ottenere una fairness selettiva nei sistemi multimodali.