Informative Missingness to Generate Irregular Clinical Time Series

Sintesi Tecnica: Generazione di Serie Temporali Cliniche Irregolari tramite Mancanza Informativa

Problematica
I test di laboratorio nelle cartelle cliniche elettroniche (EHR) vengono raccolti in modo irregolare, dove l'assenza di un ordine di test è spesso informativa quanto la misurazione stessa. Questa "mancanza informativa" riflette le decisioni cliniche e la fisiologia del paziente, particolarmente in contesti di dati mancanti non a caso (MNAR - Missing-Not-At-Random), dove la decisione di effettuare un test dipende da stati clinici non osservati o parzialmente osservati. Gli approcci di modellazione generativa esistenti spesso trattano la mancanza di dati come un artefatto di pre-elaborazione da imputare o si concentano su segnali quasi regolari (ad es. parametri vitali), fallendo nel catturare la distribuzione congiunta dei valori di laboratorio e dei loro modelli di osservazione (burst di campionamento e tempistica). Di conseguenza, i benchmark di imputazione standard non validano necessariamente se un generatore sia in grado di riprodurre il complesso accoppiamento tra la fisiologia del paziente e il comportamento di test clinico.

Metodologia
Gli autori propongono un framework basato sulla diffusione, adattato dall'architettura TimeDiff, per generare serie temporali cliniche che modellino congiuntamente valori di laboratorio continui e pattern di mancanza discreti.

• Dataset: Lo studio utilizza il benchmark DACMI (Data Analytics Challenge on Missing data Imputation), derivato da MIMIC-III. Questo dataset include 13 variabili comuni di laboratorio ematico. Gli autori hanno costruito una rappresentazione accoppiata in cui ogni passo temporale contiene valori di laboratorio continui e una maschera di mancanza binaria (0 per osservato, 1 per mancante).
• Pre-elaborazione:
  • Allineamento Temporale: I tempi dei grafici sono stati discretizzati in intervalli di 4 ore per minimizzare la mancanza artificiale.
  • Finestratura (Windowing): Le ammissioni sono state segmentate in finestre non sovrapposte di 7 giorni (42 passi temporali). Le ammissioni che superavano questa durata sono state suddivise in finestre consecutive.
  • Normalizzazione: Le caratteristiche sono state sottoposte a trasformazioni logaritmiche o Box-Cox seguite da standardizzazione z-score per approssimare la gaussianità.
  • Rappresentazione dell'Input: L'input del modello consiste in 26 canali: 13 valori di laboratorio standardizzati e 13 maschere binarie.
  • Condizionamento Delta: Per codificare la recenza dell'osservazione, è stato introdotto un tensore di condizionamento delta. Per ogni laboratorio e indice temporale, questo valore rappresenta il numero di passi dall'osservazione più recente, normalizzato a $[0, 1)$. Questo contesto ausiliario guida la rete di denoising senza far parte dell'output generato finale.
• Architettura del Modello e Addestramento:
  • L'approccio estende TimeDiff per gestire variabili miste (gaussiane continue e binarie discrete) tramite obiettivi di diffusione complementari.
  • Modifica della Loss: La loss numerica (gaussiane) è stata modificata per escludere i valori di laboratorio realmente mancanti, trattando la mancanza come un'assenza piuttosto che come valori rumorosi.
  • Ottimizzazione: Il modello è stato addestrato per 200.000 passi utilizzando l'ottimizzatore Adam. È stato applicato un fattore di ponderazione ($\lambda = 10^{-5}$) alla loss della mancanza discreta rispetto alla loss del valore continuo per bilanciare gli obiettivi.
  • Campionamento: 16.000 finestre sintetiche sono state generate attraverso il denoising iterativo di rumore casuale.

Contributi Chiave

1. Pipeline di Generazione Congiunta: Un framework basato sulla diffusione che genera simultaneamente sia i valori di laboratorio che gli indicatori di osservazione, mirando specificamente ai laboratori irregolari e alla mancanza informativa per supportare l'inferenza a valle.
2. Adattamento della Funzione di Loss: Una modifica della loss numerica di TimeDiff per escludere esplicitamente i valori mancanti dall'errore di ricostruzione, garantendo che la mancanza sia modellata come un'assenza.
3. Protocollo Preservante l'MNAR: Una strategia pratica di pre-elaborazione e finestratura progettata per preservare le strutture di tipo MNAR (dove la frequenza di campionamento riflette le decisioni cliniche) pur rimanendo compatibile con l'addestramento della diffusione.
4. Valutazione Comprensiva: Una strategia di valutazione che utilizza distribuzioni univariata, embedding congiunti di valori e maschere, e metriche di similarità delle traiettorie (EMD e DTW) per valutare il realismo sia nella fisiologia che nel comportamento di campionamento.

Risultati

• Distribuzioni Univariate: I dati sintetici si sono avvicinati strettamente alle traiettorie reali per le singole distribuzioni di laboratorio. Ad esempio, la densità sintetica per l'Emoglobina ha corrisposto all'istogramma reale intorno al modo principale e alla coda superiore, mentre il conteggio dei Globuli Bianchi (altamente asimmetrico a destra) è stato ben preservato nelle regioni ad alta densità e nei profili della coda.
• Embedding Congiunti: Utilizzando UMAP con una metrica di distanza Dynamic Time Warping (DTW) su tutti i 26 canali (13 valori + 13 maschere), le distribuzioni dei dati sintetici e reali hanno mostrato una sovrapposizione sostanziale, indicando una generazione di alta qualità senza istanze fuori supporto.
• Metriche Quantitative:
  • Condizionamento Delta: I modelli che utilizzano il condizionamento delta hanno ottenuto punteggi medi di Earth Mover's Distance (EMD) e DTW inferiori rispetto a quelli senza condizionamento, avvicinandosi ai valori di riferimento Real–Real.
  • Prevalenza della Mancanza: Sebbene il modello abbia migliorato la struttura congiunta, la prevalenza della mancanza sintetica è stata costantemente inferiore a quella osservata nei dati reali (ad es. prevalenza media reale 0,79 vs sintetica 0,74), suggerendo che il modello sottostima ancora la frequenza delle misurazioni non osservate.
• Similarità delle Traiettorie: Le distanze DTW per le traiettorie sono state generalmente basse, indicando che la dinamica temporale dei dati generati si allinea bene con i dati reali quando limitata ai punti temporali osservati.

Significatività e Rivendicazioni
Gli autori posizionano questo lavoro come un passaggio preliminare verso lo sviluppo di modelli fondativi clinici. Affermano che i modelli di diffusione sono una base promettente per generare dati di laboratorio sintetici realistici sotto mancanza di tipo MNAR, catturando le dipendenze clinicamente significative tra fisiologia e comportamento di test.

La significatività primaria risiede nella capacità di produrre prior sintetici che preservano le relazioni chiave fisiologia-mancanza. Questi prior sono destinati a servire come componente iniziale per l'addestramento di Prior-Data Fitted Networks, che gli autori intendono investigare in lavori futivi per sfruttare la mancanza informativa in compiti a valle come l'imputazione e la previsione sotto cambiamenti di distribuzione. Il documento dichiara esplicitamente che questi risultati sono prove preliminari della capacità del modello di catturare processi accoppiati, piuttosto che una validazione completa dell'utilità clinica a valle.