FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato capacità eccezionali nella generazione di testi basati su immagini, ma presentano rischi significativi di ingiustizia algoritmica (bias) tra diversi gruppi demografici (età, sesso, razza).
Nel contesto clinico, in particolare nella generazione di referti radiologici (Radiology Report Generation - RRG), queste disparità possono portare a diagnosi disuguali e minare la fiducia nell'IA.
Le sfide specifiche identificate dagli autori sono:

• Natura del Bias: A differenza dei modelli linguistici puri dove il bias è spesso esplicito (es. stereotipi di genere nel testo), nei referti radiologici i marcatori demografici sono raramente espliciti. Tuttavia, i modelli possono sfruttare "scorciatoie" (shortcut) latenti presenti nelle immagini mediche stesse o nei processi di acquisizione (es. tipo di dispositivo, protocollo) per inferire attributi sensibili e influenzare l'output.
• Limiti delle Tecniche Esistenti: I metodi classici di mitigazione del bias (resampling, reweighting) trattano le disparità come semplici squilibri di conteggio, ignorando le dipendenze intersezionali. I metodi basati su classificatori avversari pre-addestrati tendono a causare un dimenticanza catastrofica (catastrophic forgetting) delle conoscenze cliniche, degradando le prestazioni complessive del modello.
• Mancanza di Metriche Adatte: Le metriche di equità standard (basate su punteggi calibrati o decisioni binarie) non sono direttamente applicabili alla generazione di testo aperto, dove l'omissione di informazioni cliniche cruciali è dannosa quanto un errore.

2. Metodologia: FairLLaVA

Gli autori propongono FairLLaVA, un metodo di fine-tuning efficiente in termini di parametri (Parameter-Efficient Fine-Tuning - PEFT) progettato per mitigare le disparità di gruppo senza compromettere le prestazioni complessive.

Architettura e Processo:

1. Fase di Allineamento (Stage 1): Viene eseguito un fine-tuning standard del proiettore multimodale per allineare gli embedding dell'immagine con lo spazio del Linguaggio (LM), utilizzando la funzione di perdita a entropia incrociata (Cross-Entropy).
2. Fase di Fine-Tuning Consapevole dell'Equità (Stage 2):
   • Minimizzazione dell'Informazione Mutua (MI): L'obiettivo è ridurre la dipendenza tra gli stati nascosti del modello (hidden states) e gli attributi demografici sensibili. Questo viene ottenuto minimizzando l'Informazione Mutua tra gli stati nascosti e l'attributo demografico.
   • Classificatore Demografico Variational (DAC): Poiché il calcolo esatto della MI è intrattabile, viene introdotto un classificatore leggero (DAC) che tenta di prevedere l'attributo demografico dagli stati nascosti.
   • Meccanismo di Regularizzazione: Il processo avviene in due passi iterativi:
     1. Si addestra il DAC per massimizzare la sua capacità di prevedere l'attributo (per identificare dove "trapela" l'informazione demografica).
     2. Si fissa il DAC e si aggiornano gli adattatori del modello (LoRA) e il proiettore per minimizzare la capacità del DAC di prevedere l'attributo dagli stati nascosti, pur mantenendo la capacità di generare il referto corretto.
   • Efficienza: Il metodo utilizza LoRA (Low-Rank Adapters) sui blocchi Transformer del LM, congelando il backbone del LM e l'encoder delle immagini. Questo rende il metodo leggero e agnostico rispetto all'architettura.

Funzione di Perdita Totale:
La perdita totale combina tre componenti:
$$L_{total} = \lambda_1 L_{DAC} + \lambda_2 L_{DIM} + \lambda_3 L_{LLM}$$
Dove $L_{DIM}$ è la perdita di minimizzazione dell'informazione demografica e $L_{LLM}$ è la perdita standard di generazione del linguaggio.

3. Contributi Chiave

• FairLLaVA: Una strategia di fine-tuning che rimuove le scorciatoie demografiche dalle rappresentazioni interne del modello tramite regolarizzazione dell'informazione mutua, operando con un intervento minimo sul modello base.
• Estensione della Metrica ES-M (Equity-Scaled Metric): Gli autori estendono le metriche di equità esistenti per i modelli generativi, creando un indicatore che bilancia le prestazioni complessive ($M_{all}$) e il divario di equità ($\Delta M$) tra i gruppi: $ES\text{-}M = M_{all} / (1 + \Delta M)$. Questo evita che un modello con prestazioni globalmente basse ma gap ridotti venga considerato "equo".
• Validazione Sperimentale Estesa: Dimostrazione dell'efficacia su dataset su larga scala di radiologia toracica (MIMIC-CXR, PadChest) e dermatoscopia (HAM10000), mostrando superiorità rispetto a modelli medici e generici (LLaVA-Rad, MedGemma, Qwen, ecc.) e rispetto a baseline di fairness esistenti.

4. Risultati

Gli esperimenti confermano che FairLLaVA:

• Riduce le Disparità: Diminuisce consistentemente i gap di prestazioni tra gruppi demografici (sesso, età, razza) su metriche cliniche (RadGraph-F1, GREEN) e linguistiche (BLEU, ROUGE).
• Migliora le Prestazioni Globali: A differenza di metodi come il reweighting o il resampling che spesso migliorano un sottogruppo a scapito degli altri o delle prestazioni complessive, FairLLaVA migliora sia l'equità che la qualità generale del referto.
• Efficacia Cross-Modale: Il metodo funziona sia su immagini radiografiche in scala di grigi (X-ray) che su immagini RGB (dermatoscopia), dimostrando generalizzazione.
• Confronto con Baseline: Su MIMIC-CXR, la variante "FairLLaVA-All" ottiene 7 dei 12 migliori punteggi ES tra tutte le metriche testate, superando significativamente approcci basati su classificatori avversari pre-addestrati che soffrono di dimenticanza catastrofica.

5. Significato e Implicazioni

Il lavoro di FairLLaVA è significativo perché affronta una barriera critica per l'adozione sicura dell'IA in ambito sanitario: la fiducia.

• Sicurezza Clinica: Garantire che i modelli non producano diagnosi di qualità inferiore per specifici gruppi demografici è fondamentale per evitare danni ai pazienti.
• Efficienza Computazionale: Offrendo una soluzione parameter-efficient, rende la mitigazione del bias accessibile anche per modelli di grandi dimensioni senza richiedere risorse computazionali proibitive per il ri-addestramento completo.
• Approccio Agnostico: La capacità di funzionare come un "plug-in" leggero lo rende applicabile a una vasta gamma di assistenti visivi-linguistici futuri.

In sintesi, FairLLaVA rappresenta un passo avanti verso MLLM clinicamente affidabili ed equi, dimostrando che è possibile allineare le rappresentazioni interne del modello per essere invarianti rispetto alla demografia, mantenendo al contempo un'elevata accuratezza diagnostica.