Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

Riepilogo Tecnico: Il Testo Sa Cosa, le Tabelle Sanno Quando

Enunciato del Problema
Ricostruire cronologie cliniche precise è fondamentale per modellare le traiettorie dei pazienti e prevedere i rischi in condizioni complesse come la sepsi. Tuttavia, le fonti dati esistenti offrono una visione complementare ma frammentata della storia del paziente. Le narrazioni cliniche non strutturate (testo) offrono descrizioni semanticamente ricche e contestualmente complete del decorso del paziente, inclusi indicatori precoci di deterioramento e stato funzionale, ma spesso mancano di precisione temporale e contengono tempistiche di eventi ambigue. Al contrario, i dati strutturati delle cartelle cliniche elettroniche (EHR) (tabelle) forniscono ancoraggi temporali precisi attraverso valori di laboratorio, parametri vitali e farmaci, ma spesso trascurano una porzione sostanziale di eventi clinicamente significativi, come la progressione dei sintomi, i risultati riportati dal paziente e il contesto causale. Lavori precedenti hanno dimostrato che affidarsi a una sola modalità comporta traiettorie temporalmente imprecise o una copertura degli eventi incompleta.

Metodologia
Gli autori propongono un framework di allineamento multimodale potenziato dal recupero che colma queste lacune per migliorare la precisione temporale delle cronologie cliniche assolute estratte dal testo. L'approccio formula la ricostruzione della cronologia come un processo multistep basato su grafi piuttosto che come un'attività di estrazione in un singolo passaggio. La pipeline opera in quattro fasi:

1. Costruzione dell'Impalcatura Centrale: Il sistema estrae prima un insieme di "eventi centrali" temporalmente informativi dalla narrazione per fungere da ancoraggi temporali. Successivamente, stima le relazioni temporali pairwise tra questi eventi centrali per costruire un grafo temporale relativo iniziale.
2. Calibrazione dell'Impalcatura (RAG): L'impalcatura centrale iniziale viene calibrata utilizzando righe strutturate EHR recuperate. Il sistema recupera le top-$k$ righe strutturate più rilevanti per ogni evento centrale tramite similarità basata su embedding e utilizza questa evidenza per rifinire i timestamp assoluti degli ancoraggi centrali.
3. Assemblaggio della Cronologia Completa: Gli eventi non centrali vengono estratti dal testo e collegati all'impalcatura centrale con offset temporali relativi. Questi vengono combinati con la cronologia centrale calibrata per formare una cronologia completa iniziale.
4. Rifinitura Finale: Viene eseguita un'ulteriore aggiornamento potenziato dal recupero sull'insieme completo di eventi, utilizzando evidenze EHR strutturate per rifinire ulteriormente i timestamp dell'intera traiettoria.

Il framework utilizza grandi modelli linguistici (LLM) addestrati con istruzioni per tutte le fasi di estrazione, ragionamento e calibrazione, orchestrati tramite un workflow basato su grafi (LangChain/LangGraph). La valutazione è stata condotta sul benchmark i2m4, derivato dai riassunti di dimissione MIMIC-III e MIMIC-IV, confrontando la pipeline multimodale con baseline unimodali basate solo sul testo.

Contributi Chiave
Il paper apporta cinque contributi principali:

1. Integrazione Multimodale Basata su RAG: Sviluppo di un framework che allinea le cronologie degli eventi derivate dal testo con le righe strutturate EHR, dimostrando una maggiore precisione temporale rispetto alla ricostruzione unimodale basata solo sul testo.
2. Pipeline Multistep Basata su Grafi: Introduzione di una strategia di decomposizione che utilizza eventi centrali come ancoraggi temporali per impalcare la ricostruzione, seguita dall'attaccamento e dalla rifinitura degli eventi non centrali, superando le formulazioni in singolo passaggio.
3. Analisi di Integrazione Specifica per Fase: Confronto empirico delle strategie di calibrazione (aggiornamento solo dell'impalcatura centrale, solo della cronologia finale, entrambe o nessuna), isolando il valore specifico dell'evidenza strutturata in diverse fasi.
4. Analisi delle Lacune dei Dati Tabellari: Una caratterizzazione empirica degli eventi clinicamente rilevanti presenti nel testo ma assenti, ritardati o semanticamente compressi nei dati tabellari, quantificando la necessità del testo non strutturato per una ricostruzione completa della traiettoria.
5. Caratterizzazione delle Prestazioni: Analisi che mostra come l'allineamento multimodale produca i guadagni più significativi quando la tempistica degli eventi non può essere direttamente inferita dal testo, in particolare per gli eventi supportati da evidenze strutturate.

Risultati
Valutati su sette LLM addestrati con istruzioni (inclusi varianti di DeepSeek, GLM e Qwen), la pipeline multimodale ha migliorato costantemente la concordia temporale e l'Accuratezza del Timestamp Assoluto (AULTC) rispetto alle baseline unimodali basate solo sul testo, senza compromettere i tassi di corrispondenza degli eventi.

• Precisione Temporale vs. Recupero degli Eventi: L'aggiunta di evidenze strutturate ha avuto scarso effetto sul numero di eventi recuperati (il tasso di corrispondenza degli eventi è rimasto stabile), ma ha migliorato significativamente l'accuratezza dei loro timestamp. Ad esempio, GLM5 ha raggiunto la più alta concordanza (0,812) e AULTC (0,829) nell'ambiente multimodale.
• Studi di Ablazione: La decomposizione multistep basata su grafi si è dimostrata superiore alla generazione in singolo passaggio. Le migliori prestazioni sono state ottenute quando le evidenze strutturate sono state utilizzate per calibrare sia l'impalcatura centrale sia la cronologia completa finale.
• Analisi di Sensibilità: Gli eventi supportati da evidenze EHR strutturate hanno mostrato miglioramenti uniformi nell'AULTC. Gli eventi centrali hanno dimostrato guadagni significativi nell'ordinamento temporale (concordanza), sebbene i guadagni nell'accuratezza del timestamp assoluto siano stati talvolta compromessi per imporre una cronologia coerente.
• Lacuna Informativa: L'analisi delle lacune ha rivelato che il 34,8% degli eventi derivati dal testo era completamente assente dai registri tabellari. Gli eventi mancanti includevano sintomi iniziali, stato funzionale e fattori causali. Quando esistevano controparti tabellari, spesso fornivano utili ancoraggi temporali (discrepanza mediana di 2,6 ore), ma non riuscivano a catturare l'intero contenuto semantico della narrazione.

Significato e Affermazioni
Il paper afferma che il beneficio principale dell'allineamento multimodale nella ricostruzione delle cronologie cliniche è la calibrazione temporale piuttosto che la scoperta di eventi. I dati EHR strutturati servono più efficacemente come ancoraggio temporale esterno per affinare la tempistica degli eventi identificati nel testo narrativo, piuttosto che come sostituto del contenuto degli eventi della narrazione.

Gli autori sostengono che la costruzione di cronologie cliniche dovrebbe essere vista come un problema di allineamento tra fonti complementari di evidenze temporali. Mentre il testo narrativo fornisce l'account più completo del decorso del paziente (inclusi sintomi precoci e contesto), i registri strutturati forniscono ancoraggi temporali più nitidi. Ricostruendo cronologie esplicite dei pazienti attraverso questo allineamento multimodale, i registri retrospettivi possono essere trasformati in rappresentazioni strutturate longitudinalmente più adatte alla previsione del rischio, all'analisi causale e al supporto decisionale temporale. Lo studio suggerisce che anche in contesti basati solo sul testo, decomporre l'attività attorno a eventi ancoraggio temporalmente informativi può migliorare la qualità della cronologia, ma l'integrazione di dati strutturati offre un vantaggio distinto nella fedeltà temporale.