Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling

1. Il Problema

L'elaborazione di dati clinici multimodali (es. note testuali, immagini radiografiche, segnali fisiologici, dati demografici) presenta sfide significative a causa della natura intrinsecamente temporale, irregolare e sparsa dei dati sanitari.

• Modelli Statici: L'approccio dominante nella letteratura attuale utilizza architetture statiche che aggregano tutti i dati di un paziente in un singolo vettore ("bag-of-features"). Questo impedisce di tracciare l'evoluzione delle credenze diagnostiche nel tempo e non permette ai clinici di auditare la sequenza di evidenze che porta alla decisione.
• Gestione dei Dati Mancanti: Le strategie attuali per gestire le modalità mancanti (es. quando manca una radiografia o un referto) sono spesso inadeguate:
  • Imputazione: Tentano di inferire o ricostruire i dati mancanti, rischiando di "allucinare" segnali clinici falsi.
  • Padding Zero o Drop: Semplicemente ignorano i dati mancanti o li riempiono con zeri, distruggendo la geometria dello spazio latente e introducendo bias.
• Mancanza di Trasparenza: I modelli esistenti spesso operano come "scatole nere", senza fornire spiegazioni meccanicistiche su come le modalità mancanti influenzino il ragionamento diagnostico o su come il modello possa diventare dipendente da dati demografici (bias) quando i dati clinici sono assenti.

2. Metodologia Proposta

Gli autori propongono un framework in due fasi che riconcettualizza la diagnosi clinica come un compito di modellazione sequenziale autoregressiva, utilizzando decodificatori di grandi modelli linguistici (LLM) basati su Transformer.

A. Pre-addestramento Contrastivo Consapevole della Mancanza (Missingness-Aware)

Prima del fine-tuning, viene introdotto un nuovo obiettivo di pre-addestramento chiamato "Masked Global Alignment".

• Token di Mancanza Apprendibili: Invece di eliminare i campioni o usare padding zero, il modello introduce un set di token di placeholder apprendibili ($t_i$) per ogni modalità mancante.
• Meccanismo di Iniezione: Durante il forward pass, se una modalità è presente, i dati grezzi passano attraverso il suo encoder; se manca, viene iniettato direttamente il token $t_i$ nello spazio latente.
• Funzione di Perdita (Loss): Viene utilizzata una funzione di perdita contrastiva che allinea le rappresentazioni delle modalità osservate con un "centroide complementare" (la somma aggregata delle altre modalità disponibili dello stesso paziente). Questo forza il modello a imparare rappresentazioni robuste e invarianti alla modalità, anche quando i dati sono incompleti.
• Dropout delle Modalità: Durante il pre-addestramento, viene applicato un dropout stocastico delle modalità (con probabilità $p=0.15$) per simulare scenari reali di dati mancanti e garantire la robustezza.

B. Modellazione Sequenziale Autoregressiva

• Architettura: I dati pre-elaborati vengono strutturati in sequenze temporali ordinate cronologicamente di eventi clinici discreti.
• Token [PREDICT]: Viene inserito un token speciale [PREDICT] dopo ogni evento clinico, costringendo il modello a aggiornare autoregressivamente il suo stato di credenza e la previsione ad ogni passo temporale man mano che arrivano nuove evidenze.
• Backbone: Vengono utilizzati diversi decoder di LLM pre-addestrati (es. Llama-3, Mistral, DeepSeek, BioMistral) che vengono adattati tramite tecniche di Parameter-Efficient Fine-Tuning (LoRA). Gli encoder delle modalità specifiche rimangono congelati e fungono da estrattori di feature.

3. Contributi Chiave

1. Nuova Funzione di Perdita Ibrida: Introduzione di un loss contrastivo che impara esplicitamente token di "mancanza", allineando stati multimodali incompleti in una rappresentazione latente globale robusta.
2. Fusione Pre-addestramento/Sequenza: Integrazione del pre-addestramento contrastivo con architetture Transformer per modellare le traiettorie dei pazienti, dimostrando prestazioni superiori rispetto ai baselines statici (MLP, LSTM) sui dataset MIMIC-IV ed eICU.
3. Analisi Meccanicistica e Sicurezza: Fornitura di prove meccanicistiche che mostrano come l'allineamento contrastivo prevenga il collasso del ragionamento e l'uso improprio di dati demografici (bias) quando le modalità cliniche sono assenti, rendendo il processo decisionale trasparente e auditabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su MIMIC-IV (con CXR) e eICU.

• Integrazione Semantica: Il pre-addestramento contrastivo ha dimostrato un allineamento semantico eccellente tra le diverse modalità (es. radiografie e note cliniche) nello spazio latente, con punteggi di Silhouette molto bassi (indicando una buona coesione) e un miglioramento significativo nelle metriche di recupero cross-modale (es. miglioramento di 37x su MIMIC-IV per Recall@1).
• Prestazioni di Predizione:
  • MIMIC-IV (Alta Sparsità): In questo dataset, dove l'86% delle degenze ha solo una modalità su cinque, i modelli sequenziali combinati con il pre-addestramento contrastivo hanno mostrato guadagni drastici. Ad esempio, per la previsione della mortalità, il modello DeepSeek-LLM-7B è passato da un AUROC di 0.5720 (addestrato da zero) a 0.8409 con il pre-addestramento contrastivo.
  • eICU (Bassa Sparsità): In questo dataset, dove oltre il 50% dei pazienti ha tutte le modalità, i modelli sequenziali addestrati da zero hanno spesso performato leggermente meglio di quelli con pre-addestramento contrastivo, suggerendo che il beneficio del contrasto è massimo quando la sparsità dei dati è elevata.
• Robustezza e Sicurezza (Interpretabilità):
  • Ablazione delle Modalità: Rimuovendo le modalità (es. note radiologiche o serie temporali) durante l'inferenza, i modelli non contrastivi mostravano un collasso delle prestazioni o un cambiamento errato della diagnosi.
  • Bias Demografico: Nei modelli non contrastivi, la rimozione di dati clinici causava un "crollo" dell'attenzione sui dati demografici (diventando un "attention sink"), portando a previsioni basate su pregiudizi demografici invece che sulla fisiologia del paziente.
  • Resilienza: I modelli con pre-addestramento contrastivo mantenevano schemi di attenzione distribuiti e clinicamente fondati anche in assenza di modalità critiche, dimostrando una maggiore sicurezza e affidabilità.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti verso l'IA clinica sicura, trasparente e robusta.

• Superamento dei Limiti Statici: Dimostra che modellare le traiettorie cliniche come sequenze temporali dinamiche è superiore all'approccio statico, specialmente in scenari reali dove i dati sono incompleti.
• Sicurezza Operativa: Identifica e mitiga un rischio critico: la tendenza dei modelli ML a fare affidamento su proxy facili (come età o genere) quando mancano dati clinici complessi. Il metodo proposto previene questo comportamento pericoloso.
• Trasparenza Clinica: L'uso di modelli autoregressivi permette di tracciare il "percorso di ragionamento" del modello, mostrando esattamente quali eventi storici hanno influenzato la diagnosi finale. Questo è fondamentale per l'audit clinico e l'accettazione da parte dei medici.
• Scalabilità: Sebbene l'approccio attuale sia computazionalmente costoso (limitato a modelli da 3-8B parametri), apre la strada all'uso di modelli più grandi e all'adattamento a architetture più efficienti (come gli State Space Models) per la modellazione di intere carriere cliniche.

In sintesi, il paper propone un framework che non solo migliora l'accuratezza predittiva in presenza di dati mancanti, ma garantisce che il modello mantenga un ragionamento clinicamente valido e trasparente, un requisito essenziale per il dispiegamento reale nell'assistenza sanitaria.