Sintesi Tecnica: Risposta Clinica Multimodale Efficiente per la Valutazione del Rischio di Embolia Polmonare

Definizione del Problema

L'embolia polmonare (EP) è una condizione cardiopulmonare ad alto rischio che richiede una diagnosi tempestiva e una valutazione affidabile del rischio clinico futuro. La pratica clinica attuale si affida a un approccio multimodale, integrando l'imaging della Tomografia Computerizzata Angio-Polmonare (TCAP) con dati longitudinali delle Cartelle Cliniche Elettroniche (EHR), inclusi l'anamnesi del paziente, i parametri vitali e i risultati di laboratorio. Tuttavia, gli approoli esistenti di deep learning per la predizione del rischio di EP spesso si basano su sistemi convenzionali basati su punteggi o su CNN 3D specializzate che mancano della capacità di generare spiegazioni o di supportare il ragionamento clinico interattivo. Inoltre, i Large Language Models Multimodali (MLLM) su larga scala capaci di tale ragionamento spesso richiedono l'inferenza basata su cloud, sollevando preoccupazioni sulla privacy, o richiedono risorse computazionali non disponibili in molti contesti clinici.

Esiste la necessità di valutare modelli linguistici multimodali compatti (efficienti) che possano operare localmente pur integrando efficacemente le evidenze visive (TCAP) e testuali (EHR) per rispondere a specifiche domande cliniche riguardanti la diagnosi e la prognosi dell'EP.

Metodologia

Dataset: INSPECT

Lo studio utilizza il dataset INSPECT, un benchmark su larga scala contenente 23.248 studi TCAP da 19.402 pazienti. Il dataset collega gli studi TCAP indice con le impressioni dei referti radiologici e i record strutturati longitudinali delle EHR.

• Task: Gli autori riformulano otto endpoint come task strutturati di risposta a domande cliniche (QA):
  • 1 Task Diagnostico: Presenza di EP alla TCAP indice.
  • 7 Task Prognostici: Mortalità ospedaliera (1, 6, 12 mesi), riammissione (1, 6, 12 mesi) e ipertensione polmonare (12 mesi).
• Gestione dei Dati: I campioni prognostici con follow-up insufficiente sono contrassegnati come censurati ed esclusi dalle specifiche valutazioni dei task. Il dataset è suddiviso a livello di paziente per prevenire la fuga di dati (data leakage).

Setup Sperimentale

• Modelli: Quattro MLLM compatti sono stati valutati senza aggiornamenti dei parametri (zero-shot o few-shot):
  • Qwen3.5 4B
  • Gemma4 E4B (4B)
  • Gemma4 E2B (2B)
  • MedGemma (4B)
• Modalità di Input: Sono stati testati tre setting:
  1. Solo TCAP: TCAP volumetrica convertita in un montaggio deterministico 2D di fette assiali.
  2. Solo EHR: Dati strutturati serializzati delle EHR (demografia, diagnosi, farmaci, ecc.) disponibili prima della scansione indice.
  3. TCAP+EHR: Evidenze visive e testuali combinate.
• Prompting: Gli esperimenti hanno confrontato il zero-shot e il four-shot prompting. Le dimostrazioni sono state estratte rigorosamente dalla suddivisione di training con separazione a livello di paziente.
• Output: I modelli sono stati istruiti a restituire una risposta strutturata vincolata contenente una predizione binaria e un punteggio di confidenza.
• Metriche: Le prestazioni sono state misurate utilizzando AUROC, AUPRC (fondamentale a causa dello sbilanciamento delle classi), Accuratezza e F1 score. È stata utilizzata la media macro (macro-averaging) attraverso gli otto task.

Contributi Chiave

1. Benchmark MLLM Compatto: Gli autori hanno stabilito un benchmark per la diagnosi e la prognosi dell'EP multimodale utilizzando il dataset INSPECT, riformulando otto endpoint come task di QA clinica strutturata attraverso i setting CTPA-Only, EHR-Only e CTPA+EHR.
2. Valutazione delle Strategie di Prompting: Lo studio ha valutato il prompting zero-shot e four-shot su quattro modelli compatti, dimostrando che gli esempi in-context migliorano le prestazioni principalmente quando il modello possiede già la capacità di interpretare l'evidenza clinica pertinente.
3. Identificazione dei Modelli di Fallimento (Failure Modes): Il lavoro identifica specifici modelli di fallimento nella QA medica multimodale compatta, tra cui:
   • Collasso della classe maggioritaria (Majority-class collapse): Modelli che ottengono un'alta accuratezza predicendo la classe negativa a causa dello sbilanciamento delle classi.
   • Debole performance CTPA-Only: I modelli compatti faticano a utilizzare i dati di imaging volumetrici senza il contesto clinico.
   • Eterogeneità a livello di task: Significativi gap di performance tra i task diagnostici e i task prognostici longitudinali.

Risultati

Performance Aggregata

• Varianza dei Modelli: Qwen3.5 4B e MedGemma si sono comportati vicino al livello del caso (chance level) in tutte le modalità, mostrando spesso un comportamento da classe maggioritaria (alta accuratezza, F1 vicino allo zero).
• Modelli Gemma: Gemma4 E4B e Gemma4 E2B hanno dimostrato la capacità di estrarre segnali clinici significativi, in particolare quando l'evidenza EHR era disponibile.
• Migliore Performance: La più forte performance zero-shot è stata ottenuta da Gemma4 E4B con input CTPA+EHR (AUROC: 0.6893, F1: 0.3286). Il prompting four-shot ha ulteriormente migliorato il recupero dei casi positivi per le configurazioni Gemma più forti.

Risultati Specifici per Task

• Diagnosi di EP: Questo è il task più accessibile. Gemma4 E4B ha raggiunto un AUROC di 0.9683 (zero-shot, CTPA+EHR) e 0.9706 (four-shot, CTPA+EHR). Notevolmente, l'input solo EHR ha prodotto comunque un'alta performance, suggerendo che il contesto clinico serializzato contiene segnali diagnostici forti. La performance CTPA-Only è rimasta debole.
• Predizione della Mortalità: Più difficile della diagnosi, ma ha mostrato una discriminazione significativa per i modelli Gemma con contesto clinico. Gemma4 E4B ha raggiunto un AUROC di 0.7242 (zero-shot, CTPA+EHR).
• Predizione della Riammissione: Il gruppo di task più difficile. Anche le migliori configurazioni (Gemma4 E2B, four-shot, CTPA+EHR) hanno ottenuto solo un AUROC di 0.6141, indicando che la riammissione è modellata da fattori complessi non pienamente catturati dai dati disponibili.
• Ipertensione Polmonare: Ha mostrato una difficoltà intermedia, con Gemma4 E4B che ha raggiunto un AUROC di 0.6952 (zero-shot, CTPA+EHR).

Modelli di Fallimento

• Collasso della Classe Maggioritaria: Modelli come Qwen3.5 e MedGemma hanno spesso predetto la classe negativa per la maggior parte dei casi, risultando in un'accuratezza ingannevolmente alta ma con scarsa utilità clinica (basso F1/AUPRC).
• Disallineamento delle Modalità: Fornire più evidenze (CTPA+EHR) non ha migliorato le prestazioni per tutti i modelli; ha beneficiato solo i modelli (come Gemma) capaci di allineare l'evidenza con il task.
• Impatto Limitato del Few-Shot: Il prompting four-shot ha raffinato l'allineamento del task e il recupero dei casi positivi per i modelli capaci, ma non è riuscito a compensare i modelli privi della capacità sottostante di interpretare l'evidenza.

Significato e Rivendicazioni

Il paper afferma che i modelli multimodali compatti hanno il potenziale per la rilevazione precoce del rischio di EP e la spiegazione dello stesso, ma il loro successo dipende fortemente dall'allineamento tra la capacità del modello, la modalità di input e l'endpoint clinico.

• Rilevanza Clinica: Lo studio evidenzia che una valutazione robusta dell'EP è intrinsecamente multimodale. Sebbene l'imaging sia critico per la diagnosi, gli esiti prognostici (mortalità, riammissione) dipendono fortemente dal contesto clinico longitudinale presente nelle EHR.
• Efficienza vs Capacità: I risultati suggeriscono che, sebbene i modelli compatti possano essere efficaci, essi sono fragili. Richiedono fonti di evidenza appropriate (EHR o combinate) per funzionare correttamente; fare affidamento esclusivamente sulle immagini TCAP porta a una scarsa performance per queste specifiche architetture.
• Rigore della Valutazione: Gli autori sottolineano che le metriche di accuratezza standard sono insufficienti per i task medici sbilanciati. Raccomandano di valutare la discriminazione (AUROC), il recupero della classe positiva (AUPRC/F1) e l'eterogeneità del task per evitare conclusioni fuorvianti sull'utilità del modello.

Lo studio conclude che, sebbene gli MLLM compatti offrano una via verso un'IA clinica locale e che preservi la privacy, rimangono sfide significative nel garantire che non collassino in predittori della classe maggioritaria e che possano utilizzare efficacemente input multimodali complessi per task prognostici a lungo termine.