Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

Sintesi Tecnica: Ricostruzione delle Traiettorie della Sepsi dai Referti Clinici di Casi utilizzando LLM

Enunciato del Problema
I referti clinici di casi e i riassunti di dimissione offrono la sintesi più completa e accurata degli incontri con i pazienti; tuttavia, vengono finalizzati solo dopo la conclusione dell'incontro, risultando in una risoluzione temporale grossolana rispetto agli eventi granulari che descrivono. Al contrario, i flussi di dati strutturati (ad esempio, segni vitali, esami di laboratorio) sono disponibili in tempo reale ma spesso soffrono di una significativa incompletezza, rendendo difficile formulare o confermare diagnosi come la sepsi. Sebbene i dati strutturati siano la risorsa principale per i sistemi di allerta precoce e gli studi di fenotipizzazione attuali, la loro incompletezza porta a una modellazione subottimale. Vi è un bisogno critico di un dataset che combini la completezza narrativa del testo clinico con una granularità temporale fine per abilitare migliori analisi temporali, ragionamento causale e previsione delle traiettorie della sepsi. Gli sforzi esistenti si sono concentrati prevalentemente sulle relazioni temporali tra concetti clinici piuttosto che sulla tempistica degli eventi, o hanno utilizzato dimensioni campionarie ridotte e riassunti estratti.

Metodologia
Gli autori introducono una pipeline per costruire il corpus Textual Time Series for Sepsis-3 (T2S2), composto da 2.139 referti di casi open access dal sottoinsieme PubMed Open Access (PMOA). La metodologia prevede un processo in quattro fasi:

1. Rilevamento del Referto di Caso e Fenotipizzazione: La pipeline filtra i referti PMOA utilizzando espressioni regolari (regex) e Modelli Linguistici di Grande Dimensione (LLM) per identificare i referti che soddisfano i criteri Sepsis-3 (infezione sospetta/confermata più anomalie qSOFA).
2. Estrazione dei Reperti Clinici: Utilizzando un prompt strutturato con esempi few-shot, sei LLM (inclusi GPT-5, DeepSeek-R1 e vari modelli Llama 3.x) estraggono i reperti clinici. Le regole di estrazione richiedono la divisione delle congiunzioni (ad esempio, "metastasi al fegato e al pancreas" diventa due eventi) e la preservazione di specifici segmenti di testo.
3. Assegnazione Temporale: I modelli assegnano timestamp relativi all'ingresso ($t=0$) in ore. Gli eventi pre-ingresso ricevono timestamp negativi. La pipeline gestisce gli eventi di durata assegnando l'ora di inizio e inferisce i tempi per gli eventi privi di marcatori temporali espliciti utilizzando il ragionamento contestuale.
4. Quadro di Valutazione: Il sistema è validato contro un set gold-standard di 40 referti annotati da clinici (sepsi-40) e un set proxy bronze-standard (sepsi-100). Le metriche di valutazione includono:
   • Tasso di Corrispondenza degli Eventi: Migliore corrispondenza ricorsiva utilizzando la distanza coseno degli embedding di PubMedBERT (soglia $\theta=0.1$).
   • Ordinamento Temporale: Indice di concordanza (c-index) per le coppie di eventi.
   • Accuratezza Temporale: Errore Assoluto Mediano (MAE) e Area Sotto la Curva del Tempo Logaritmico (AULTC), che integra le discrepanze attraverso le scale temporali per impedire che errori a lungo termine dominino la metrica.

Contributi Chiave

1. Corpus T2S2: Il primo corpus di serie temporali testuali open access per la Sepsis-3, contenente 2.139 referti di casi con coppie evento-timestamp estratte.
2. Pipeline di Annotazione: Un approccio innovativo LLM-come-annotatore specificamente progettato per estrarre reperti clinici associati al tempo da testo libero, distinto dal lavoro precedente focalizzato sulle relazioni di concetto in stile i2b2.
3. Annotazioni Gold-Standard: 3.229 eventi di riferimento annotati manualmente su 40 referti di casi PMOA, fornendo un benchmark rigoroso per la valutazione.
4. Criteri di Valutazione: Metriche adattate per le serie temporali testuali dove i reperti corrispondenti non devono essere stringhe identiche, utilizzando distanze di embedding semantico e scalatura del tempo logaritmico per la misurazione dell'errore.
5. Validazione Multistrato: Un quadro completo che include quantificazione dell'incertezza tramite bootstrap, accordo tra annotatori (clinico vs clinico), audit delle allucinazioni, analisi di auto-coerenza e accordo incrociato tra modelli su tutto il corpus.

Risultati

• Prestazioni di Estrazione: Sul set di clinici annotati sepsi-40, GPT-5 ha dimostrato le prestazioni complessive più forti con un tasso di corrispondenza degli eventi di 0,93, una concordanza di 0,965 e un errore assoluto mediano di 4 ore. DeepSeek-R1 e Llama 3.3 70B hanno fornito baseline competitive tra i modelli open, con DeepSeek-R1 che ha raggiunto un tasso di corrispondenza di 0,79 e Llama 3.3 che ha raggiunto 0,76.
• Ordinamento Temporale: I modelli di grandi dimensioni hanno mostrato forti capacità di ordinamento temporale. GPT-5 e Llama 3.3 hanno ottenuto punteggi di concordanza di 0,965 e 0,908 rispettivamente, superando significativamente i modelli più piccoli (ad esempio, Llama 3.1 8B a 0,856) e la baseline di regressione temporale BERT.
• Risultati di Validazione:
  • Audit delle Allucinazioni: In un audit manuale di 1.517 eventi da DeepSeek-R1 e Llama 3.3, zero eventi allucinati non supportati sono stati identificati, sebbene errori di timestamp siano rimasti possibili anche per eventi fondati.
  • Auto-Coerenza: La generazione multi-passaggio ha mostrato un'alta stabilità attraverso semi casuali, indicando che il processo di estrazione non è guidato da rumore stocastico.
  • Variabilità Umana: L'accordo tra clinici sugli stessi referti è stato imperfetto (tasso di corrispondenza 0,681), suggerendo che il divario tra le prestazioni del modello e quelle umane si sta restringendo e che gli errori del modello sono spesso comparabili alla variabilità dell'annotazione umana.
  • Limitazioni: Le prestazioni sono peggiorate sul dataset i2m4 (concetti legacy i2b2) a causa di disallineamenti dell'ontologia (concetti frammentati vs reperti compositivi) e bias di sottoriconoscimento. Inoltre, gli eventi a lungo termine (mesi/anni) hanno mostrato maggiori discrepanze nei timestamp.

Significato e Affermazioni
Il documento caratterizza la capacità degli LLM di localizzare temporalmente i reperti clinici, dimostrando che i modelli fondazionali con tuning delle istruzioni possono ricostruire efficacemente le traiettorie cliniche retrospettive dal testo. Gli autori affermano che T2S2 funge da risorsa di ricerca retrospettiva ad alta fedeltà per attività a valle come la previsione del rischio, il ragionamento causale e la caratterizzazione delle traiettorie della malattia.

Gli autori dichiarano esplicitamente che T2S2 non è un sistema di estrazione clinica pronto per il deployment. Evidenziano limitazioni tra cui il bias di pubblicazione intrinseco nei referti di casi, la mancanza di una validazione esaustiva da parte dei clinici per l'intero corpus e la difficoltà di tradurre questa pipeline in contesti clinici prospettici e in tempo reale, dove i dati sono più rumorosi e in continua evoluzione. Il lavoro suggerisce che, sebbene gli LLM possano recuperare strutture temporali con alta fedeltà, la modalità di fallimento primaria è spesso l'assegnazione di tempi errati a reperti reali piuttosto che la fabbricazione di eventi. L'utilità futura è immaginata nell'integrazione di queste linee temporali derivate da narrazioni con dati fisiologici strutturati per costruire rappresentazioni multimodali complete delle traiettorie dei pazienti.