FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment

Riassunto Tecnico: FAIR_XAI

1. Il Problema (Problem Statement)

L'integrazione di modelli di apprendimento automatico multimodale nella valutazione del benessere mentale (in particolare per la previsione della depressione) offre un enorme potenziale clinico. Tuttavia, l'adozione dei Vision-Language Models (VLM) in contesti clinici è ostacolata dal problema della "black-box" (mancanza di trasparenza) e dal rischio di bias sistematici (pregiudizi) legati a variabili demografiche come genere ed etnia.

Il lavoro affronta tre lacune critiche:

1. La variabilità delle prestazioni dei VLM tra ambienti di laboratorio controllati e ambienti clinici naturali (unconstrained).
2. La persistenza di disparità di performance (bias) tra diverse architetture di modelli.
3. L'efficacia degli interventi basati sulla Explainable AI (XAI) per mitigare tali bias senza compromettere l'accuratezza.

2. Metodologia (Methodology)

Il framework proposto, FAIR_XAI, utilizza un approccio multimodale che integra segnali audio, visivi (espressioni facciali) e testuali (trascrizioni). La metodologia si articola in due pipeline parallele:

• Generative Classification Pipeline (Zero-shot): Utilizza modelli VLM (Qwen2-VL e Phi-3.5-Vision) tramite prompting. Per gestire i limiti di contesto, i ricercatori hanno effettuato una selezione delle feature basata sull'informazione mutua ($I(X;Y)$). Il prompt include metadati demografici, biomarcatori clinici e istruzioni di task.
• Embedding Classification Pipeline: Estrae rappresentazioni fisse dai codificatori (encoder) congelati dei VLM e le combina con encoder MLP per audio e volto tramite early fusion. Questa pipeline viene utilizzata per studi di ablazione sulle modalità.

Interventi di Mitigazione:

• Prompt-based Fairness Intervention: Per la pipeline generativa, viene applicata una tecnica di Chain-of-Thought (CoT) combinata con un set di regole di equità (fairness rules) inserite nel prompt per forzare il modello a basarsi solo su indicatori clinici.
• Counterfactual Fairness Algorithm (CFA): Per la pipeline di embedding, viene introdotta una penalità nella funzione di perdita ($L_{total} = L_{CE} + \lambda L_{CFA}$) che penalizza le feature che hanno un'alta importanza predittiva ma sono fortemente correlate con attributi sensibili (es. genere), utilizzando i gradienti (integrated gradients).

3. Contributi Chiave (Key Contributions)

1. Benchmark Cross-Domain: Dimostrazione di come le prestazioni dei VLM cambino drasticamente tra dataset di laboratorio (AFAR-BSFT) e dataset "in-the-wild" (E-DAIC).
2. Audit di Equità (Fairness Audit): Un'analisi sistematica che rivela come i bias siano specifici sia del modello che del dominio (es. alcuni modelli sono più influenzati dal genere, altri dall'etnia).
3. Valutazione dell'Intervento XAI: Un'analisi critica di come l'esplicabilità possa influenzare l'equità, evidenziando il rischio che una maggiore trasparenza procedurale non si traduca necessariamente in risultati equi.

4. Risultati (Results)

I risultati mostrano una complessità significativa:

• Prestazioni (RQ1): Esiste una forte discrepanza architettonica. Su E-DAIC, Phi-3.5-Vision ha raggiunto un'accuratezza dell'80.4%, mentre Qwen2-VL è crollato al 33.9%. In entrambi i dataset, i modelli tendono a sovra-predire la depressione (alta sensibilità, bassa specificità).
• Bias (RQ2): I bias sono presenti ma differiscono tra i modelli: Qwen2-VL mostra disparità dominate dal genere, mentre Phi-3.5-Vision mostra disparità legate all'etnia. L'integrazione di più modalità può talvolta diluire il bias, ma combinazioni specifiche (es. testo + volto) possono amplificarlo drasticamente.
• Interventi XAI (RQ3): I risultati sono misti e presentano un "paradosso dell'equità":
  • Su AFAR-BSFT, l'intervento ha migliorato la coerenza logica delle spiegazioni ($\Delta REF$), ma ha amplificato il bias razziale nei risultati finali.
  • Su E-DAIC, l'intervento su Qwen2-VL ha ottenuto un'equità perfetta ($\Delta EO = 0$) ma a costo di un'accuratezza estremamente bassa.
  • L'algoritmo CFA ha causato il "collasso del modello" (il modello predice sempre la stessa classe), rendendolo inutile.

5. Significato e Conclusioni (Significance)

Il paper conclude che la trasparenza procedurale (spiegabilità) non garantisce l'equità degli esiti. Un modello può fornire spiegazioni logicamente coerenti basandosi su pregiudizi interni, agendo come una "finestra diagnostica" sui bias esistenti piuttosto che come uno strumento di correzione.

Raccomandazioni cliniche:

• I VLM non devono sostituire il giudizio clinico, ma servire solo come segnali di screening.
• È necessario testare l'equità su più assi demografici simultaneamente.
• Gli sviluppatori devono monitorare congiuntamente accuratezza, equità demografica e validità clinica, evitando interventi che portino al collasso delle prestazioni (fenomeno definito "fairness through failure").