Structure Causal Models and LLMs Integration in Medical Visual Question Answering

Titolo: Integrazione di Modelli Causali Strutturali e LLM nel Rispondere a Domande Mediche su Immagini (MedVQA)

1. Il Problema: Bias e Correlazioni Spurie nel MedVQA

Il compito di Medical Visual Question Answering (MedVQA) mira a rispondere a domande mediche basandosi su immagini cliniche. Tuttavia, l'articolo identifica due sfide critiche che limitano l'affidabilità dei modelli attuali:

• Bias nei Dati e Confondenti: I dataset medici sono spesso sbilanciati (es. più casi di "infiltrazione" che di "versamento pleurico"). Questo porta a bias di dati dove le associazioni statistiche spurie tra immagini e domande (es. una certa regione dell'immagine associata erroneamente a una patologia specifica a causa della frequenza nei dati di addestramento) ingannano il modello.
• Relatività dei Confondenti: Un fattore che è un confondente per una domanda può essere la causa reale per un'altra. I modelli tradizionali, basati su associazioni statistiche $P(A|I, Q)$, non riescono a distinguere tra correlazioni spurie e relazioni causali vere, portando a diagnosi errate.
• Limitazioni degli LLM: I Large Language Models (LLM) tendono a generare risposte non standardizzate o irrilevanti quando forniti solo con una singola domanda, mancando di un contesto guidato per compiti medici complessi.

2. Metodologia: Framework di Inferenza Causale (CIF) e Prompting

Gli autori propongono un nuovo framework chiamato Causal Inference Framework (CIF), integrato con una strategia di prompting avanzata.

• Analisi Causale e Grafico Diretto Aciclico (DAG):
  Il lavoro modella il problema utilizzando un modello causale strutturale. Identifica i confondenti totali ($C$) che influenzano sia l'immagine ($I$) che la domanda ($Q$), creando percorsi "backdoor" che distorcono la previsione della risposta ($A$).

  • Obiettivo: Interrompere i percorsi backdoor per stimolare l'effetto causale vero $P(A|do(I, Q))$.

• Regolazione Front-Door con Resampling Multi-Variabile:
  Poiché i confondenti sono spesso non osservabili, il metodo utilizza la regolazione front-door. Vengono introdotti due mediatori:

  1. $M_i$ (Mediatore Visivo): Cattura le relazioni tra caratteristiche locali e globali dell'immagine.
  2. $M_q$ (Mediatore Testuale): Cattura le associazioni semantiche all'interno della domanda e tra domanda e immagine.
     Vengono utilizzati reti di de-confondimento (basate su meccanismi di attenzione e MLP) per separare le caratteristiche causali dai fattori di confondimento. Un metodo di resampling multi-variabile basato sull'informazione reciproca viene applicato per campionare questi mediatori, garantendo che l'adattamento sia specifico per ogni domanda e rimuova le correlazioni spurie.

• Modulo di Prompting (PM):
  Per migliorare la capacità degli LLM di generare risposte clinicamente rilevanti, viene introdotto un modulo di prompting.

  • Il sistema genera dinamicamente coppie di Domanda-Risposta (QA) aggiuntive basate sull'immagine originale.
  • Queste coppie, insieme a istruzioni specifiche (es. "Descrivi l'immagine", "Fai una diagnosi differenziale"), vengono inserite come prompt contestuali all'LLM.
  • Questo guida il modello a concentrarsi sui pattern causali piuttosto che su indizi testuali superficiali.

• Strategia di Addestramento:
  Viene utilizzata una funzione di perdita combinata che include:

  • Perdita supervisionata (Cross-Entropy) per domande chiuse.
  • Perdita di generazione per domande aperte.
  • Perdita Causale ($L_{cau}$): Una divergenza KL che forza le previsioni basate sulle caratteristiche causali ($f'$) a essere coerenti con quelle basate sulle caratteristiche originali ($f$), garantendo che l'adattamento causale non degradi le prestazioni.

3. Contributi Chiave

1. Framework di Inferenza Causale Multi-Variabile (CIF): Primo approccio a considerare esplicitamente la relatività dei confondenti nel MedVQA. Utilizza la regolazione front-door con mediatori visivi e testuali per eliminare gli effetti di confondimento non osservati.
2. Strategia di Prompting Ibrida: Integrazione di un modulo di prompting che genera esempi di QA contestuali per guidare gli LLM, migliorando la precisione e la standardizzazione delle risposte mediche.
3. Validazione Estensiva: Dimostrazione empirica che l'approccio raggiunge correlazioni causali vere, superando i limiti dei modelli basati puramente su associazioni statistiche.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque dataset MedVQA (VQA-RAD, SLAKE, PathVQA, PMC-VQA, ProbMed) utilizzando backbone visivi (CLIP ViT-B/16) e linguistici (LLaMA-7B e 13B).

• Prestazioni Generali: Il metodo proposto supera lo stato dell'arte (SOTA) su tutti i dataset.
  • Su VQA-RAD, migliora l'accuratezza complessiva del 1.5% rispetto al SOTA.
  • Su SLAKE, raggiunge un'accuratezza del 91.0% (con LLaMA-13B), superando i metodi precedenti di oltre il 2%.
  • Su PathVQA, mostra un miglioramento significativo nelle domande aperte (+1.4% rispetto al SOTA), dimostrando una migliore capacità di ragionamento creativo.
• Analisi di Ablazione:
  • L'uso isolato del CIF porta a miglioramenti massicci (fino al +16.4% su ProbMed), confermando l'efficacia nella rimozione dei bias.
  • L'uso isolato del PM migliora la comprensione del contesto, specialmente per domande complesse.
  • La combinazione CIF + PM produce i risultati migliori, dimostrando un effetto sinergico.
• Analisi Qualitativa: Le visualizzazioni mostrano che, senza CIF, il modello si concentra su regioni spurie (es. attribuire un versamento pleurico al lobo destro a causa di bias nei dati). Con il CIF, l'attenzione si sposta correttamente sulla lesione reale (es. lobo sinistro), portando a risposte corrette.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'affidabilità clinica dei modelli AI.

• Affidabilità Diagnostica: Passando da correlazioni statistiche a relazioni causali, il modello riduce il rischio di diagnosi errate causate da bias nei dati di addestramento, un problema critico in medicina.
• Generalizzabilità: La capacità di gestire la "relatività dei confondenti" rende il modello più robusto in scenari clinici reali dove le patologie e le presentazioni variano notevolmente.
• Integrazione LLM Causale: Dimostra come gli LLM possano essere guidati non solo da dati, ma da strutture causali, migliorando la loro utilità pratica come assistenti diagnostici.
• Efficienza: Utilizzando backbone pre-addestrati e congelati, il metodo migliora le prestazioni senza richiedere un costo computazionale di addestramento massiccio, rendendolo più accessibile per la ricerca e l'applicazione medica.

In sintesi, l'articolo propone una soluzione elegante che combina teoria causale avanzata (front-door adjustment) con tecniche moderne di prompting per risolvere il problema fondamentale del bias nei dati medici, portando a sistemi di VQA più precisi, interpretabili e clinicamente utili.