Sintesi Tecnica: Attribuzione Controfattuale della Modalità per i Modelli Linguistici Multimodali (MLLM)

Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) sono sempre più impiegati in domini ad alto rischio, come il supporto alle decisioni cliniche, dove integrano informazioni complementari da immagini e testi. Mentre i metodi di spiegabilità esistenti (ad esempio, mappe di salienza, pesi dell'attenzione) identificano con successo le caratteristiche influenti all'interno di singole modalità (ad esempio, specifiche regioni dell'immagine o token di testo), essi non riescono a rispondere a una domanda fondamentale: quale modalità sta effettivamente guidando una predizione?

I metodi attuali operano localmente all'interno di singoli canali e non possono quantificare il contributo relativo di intere modalità o delle loro interazioni. Di conseguenza, un modello può produrre un output corretto affidandosi a una "scorciatoia" da una singola modalità ignorando prove critiche in un'altra (ad esempio, diagnosticando correttamente la polmonite da una radiografia ma ignorando una nota testuale su un'allergia alla penicillina). Questa dipendenza occulta dalla modalità maschera schemi di ragionamento non sicuri che rimangono invisibili alle standard metriche di accuratezza predittiva. Il documento sostiene che l'attribuzione della modalità sia un obiettivo di spiegabilità distinto e complementare all'attribuzione delle caratteristiche, necessario per l'audit dei modelli fondativi multimodali.

Metodologia: Attribuzione Controfattuale della Modalità (CMA)

Gli autori propongono la Counterfactual Modality Attribution (CMA), un framework agnostico rispetto al modello che quantifica i contributi a livello di modalità utilizzando una combinazione di priori di diffusione accoppiati e teoria dei giochi cooperativi. Il framework opera in tre fasi:

1. Generazione Controfattuale Guidata e Diffusione Accoppiata

A differenza dei precedenti metodi controfattuali che intervengono su una singola modalità, la CMA genera controfattuali sincronizzati solo-immagine, solo-testo e multimodali congiunti all'interno di un framework di ottimizzazione unificato.

• Priori: Il metodo utilizza modelli di diffusione pre-addestrati indipendentemente: un Denoising Diffusion Probabilistic Model (DDPM) per le immagini e un Riemannian Diffusion Language Model (RDLM) per il testo.
• Sincronizzazione: Durante il processo di diffusione inversa, i modelli di immagine e di testo sono sincronizzati allo stesso timestep. Sono entrambi guidati dai gradienti di un classificatore MLLM pre-addestrato per minimizzare una perdita di margine Carlini–Wagner ($L_{CW}$). Ciò garantisce che i controfattuali siano realistici (situati sul manifold dei dati) e rappresentino interventi minimi che cambiano la predizione.
• Modalità:
  • CF Solo-Immagine: Il testo è fisso; l'immagine è ottimizzata per invertire la predizione.
  • CF Solo-Testo: L'immagine è fissa; il testo è ottimizzato per invertire la predizione.
  • CF Congiunto: Entrambe le modalità sono ottimizzate simultaneamente per catturare le dipendenze cross-modali.

2. Definizione del Valore della Coalizione

I controfattuali generati definiscono un gioco cooperativo a due giocatori dove le modalità Immagine ($I$) e Testo ($T$) agiscono come giocatori. La funzione valore $v(S)$ per una coalizione $S \subseteq \{I, T\}$ è definita come il punteggio logit assegnato alla classe predetta originale $\hat{y}$ quando le modalità in $S$ rimangono invariate e le modalità non presenti in $S$ sono sostituite dai rispettivi controfattuali.
I quattro valori di coalizione richiesti sono:

• $v(\{I, T\})$: Campione originale $(x_I, x_T)$.
• $v(\{I\})$: Immagine originale, Testo controfattuale $(x_I, x'_T)$.
• $v(\{T\})$: Immagine controfattuale, Testo originale $(x'_I, x_T)$.
• $v(\emptyset)$: Entrambi i controfattuali $(x'_I, x'_T)$.

3. Attribuzione tramite Valore di Shapley

Il framework calcola i valori di Shapley ($\theta_I, \theta_T$) per quantificare il contributo marginale di ciascuna modalità. Per un gioco a due giocatori, questi ammettono una soluzione in forma chiusa:
$$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$$
$$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$$
Gli score di attribuzione finali sono normalizzati in percentuali (Immagine% e Testo%) per indicare quale modalità guida principalmente la decisione.

Contributi Chiave

1. Obiettivo di Spiegabilità Complementare: Il documento formula l'attribuzione della modalità come un complemento necessario all'attribuzione delle caratteristiche, affrontando il vuoto nella comprensione di quale modalità guidi una decisione.
2. Nuovo Framework Controfattuale: La CMA è il primo framework in grado di generare controfattuali sincronizzati, realistici, solo-immagine, solo-testo e congiunti per MLLM pre-addestrati utilizzando priori di diffusione accoppiati.
3. Formulazione di Attribuzione Principata: Introduce un approccio basato sulla teoria dei giochi utilizzando i valori di Shapley per convertire i controfattuali multimodali in score interpretabili che quantificano i contributi individuali e le interazioni non lineari cross-modali.
4. Validazione Estesa: Il metodo è validato su benchmark sintetici controllati e su un dataset clinico reale, dimostrando prestazioni superiori rispetto ai baseline esistenti nell'identificare le modalità che guidano la decisione.

Risultati Sperimentali

Gli autori hanno valutato la CMA su due benchmark:

1. MNIST Multimodale Sintetico: Un benchmark controllato con conoscenza della verità fondamentale (ground-truth) della dipendenza dalla modalità (varianti Image-Biased, Text-Biased e Balanced).
2. OpenI Multiclass: Un dataset reale di radiografie del torace accoppiate a report radiologici.

Prestazioni:

• Accuratezza: Sui benchmark sintetici MNIST, la CMA ha identificato correttamente la modalità che guidava la decisione nei casi controllati nel 98% delle volte.
• Confronto con i Baseline: La CMA ha superato significativamente i baseline inclusi Input $\times$ Gradient, Perturbation SHAP, EAGLE, MM-SHAP e MultiViz. In particolare, MM-SHAP e MultiViz hanno ottenuto rispettivamente lo 0% e il 3% di accuratezza sui campioni con bias d'immagine, fallendo nel recuperare i bias noti del modello.
• Risultati Qualitativi: Nel dataset OpenI, la CMA ha rivelato che un modello che predice "Nodulo" si affidava a correlazioni spurie con i lead ECG (visibili nell'immagine) piuttosto che a evidenze cliniche. I controfattuali solo-testo non sono riusciti a invertire la predizione perché la scorciatoia dell'immagine rimaneva presente, dimostrando la necessità dell'analisi controfattuale congiunta.
• Studio di Ablazione: Esperimenti di corruzione progressiva hanno mostrato che gli score di attribuzione della CMA si adattano continuamente all'evidenza disponibile. Man mano che una modalità viene corrotta, la sua attribuzione scende allo 0%, spostandosi interamente sulla modalità intatta, rivelando un collasso unimodale che le metriche di accuratezza non colgono.

Significato e Rivendicazioni

Il documento sostiene che l'attribuzione della modalità sia una dimensione critica, precedentemente non affrontata, della spiegabilità per l'IA multimodale. Andando oltre le spiegazioni a livello di feature, la CMA fornisce un framework principato per l'audit per verificare se un modello si affida a prove complementari o a scorciatoie non sicure.

Gli autori affermano che la CMA consente:

• Rilevamento di Fallimenti Nascosti: Identificare casi in cui predizioni corrette si basano sulla modalità sbagliata (ad esempio, ignorando avvisi di allergia nel testo).
• Audit del Ragionamento Cross-Modale: Quantificare le interazioni non additive tra le modalità che le indipendenti interazioni unimodali non possono catturare.
• Deployment Affidabile: Fornire un meccanismo per verificare che decisioni ad alto rischio (ad esempio, in ambito sanitario) siano guidate dalla combinazione appropriata di fonti di evidenza.

Il lavoro conclude che, sebbene la CMA operi attualmente a livello di modalità e comporti costi computazionali dovuti alla generazione tramite diffusione, essa stabilisce un approccio fondativo per l'audit sistematico dei modelli fondativi multimodali in applicazioni critiche per la sicurezza.