Differentiable latent structure discovery for interpretable forecasting in clinical time series

1. Enunciato del Problema

Il processo decisionale clinico si basa sulla previsione dell'evoluzione futura della condizione di un paziente sulla base di Cartelle Cliniche Elettroniche (EHR) campionate in modo irregolare. Gli approcci attuali affrontano un compromesso tra interpretabilità, quantificazione dell'incertezza e scalabilità:

• Metodi basati sull'imputazione: Il ricampionamento dei dati irregolari su una griglia fissa introduce distorsioni e sovraccarico computazionale.
• Deep Learning (es. GNN, RNN): Sebbene potenti, spesso mancano di una quantificazione dell'incertezza fondata su principi e producono previsioni "black box" difficili da interpretare in ambito clinico.
• Processi Gaussiani (GP) standard: Offrono una quantificazione dell'incertezza fondata su principi, ma spesso assumono l'indipendenza tra i compiti o si affidano a strutture di dipendenza fisse e non apprendibili, limitando la loro capacità di catturare relazioni causali complesse tra variabili.

Gli autori mirano a sviluppare un modello che operi in tempo continuo, scopra strutture di dipendenza interpretabili (Grafici Aciclici Diretti) tra le variabili cliniche, catturi modelli di progressione condivisi tra i pazienti (percorsi latenti) e fornisca stime di incertezza calibrate.

2. Metodologia

Il documento introduce due modelli principali costruiti su Convoluzioni di Processo, un framework che definisce i Processi Gaussiani (GP) come l'output di un sistema lineare tempo-invariante guidato da rumore bianco.

A. StructGP: Struttura Grafica Inter-Task

• Concetto Chiave: StructGP modella un GP multivariato $Y(t)$ convolvendo un processo di rumore bianco multivariato $w(t)$ con un filtro a valori matriciali $H(t)$.
• Apprendimento della Struttura Differenziabile: La matrice del filtro è parametrizzata come $H(t) = (I + S) \circ L(t)$, dove:
  • $S$ è una matrice sparsa, triangolare inferiore che codifica il Grafico Aciclico Diretto (DAG) delle dipendenze inter-task.
  • $L(t)$ contiene filtri gaussiani apprendibili con scale di lunghezza $\ell_{vu}$.
• Vincolo di Aciclicità: Per garantire che $S$ rappresenti un DAG, gli autori adattano il framework NOTEARS. Impongono l'aciclicità tramite un vincolo liscio $h(S) = \text{Tr}(\exp(S \circ S)) - k = 0$, ottimizzato utilizzando il metodo del Lagrangiano Aumentato.
• Standardizzazione Interna: Per disaccoppiare la forza della dipendenza dalle scale delle variabili, il modello normalizza la varianza marginale di ogni processo a 1, garantendo che il grafo appreso rifletta l'indipendenza condizionale piuttosto che differenze di magnitudine.

B. LP-StructGP: Percorsi Latenti Inter-Soggetto

• Concetto Chiave: Per catturare modelli di progressione condivisi tra i pazienti (ad esempio, diversi pazienti che seguono traiettorie simili di sepsi), LP-StructGP introduce percorsi latenti.
• Meccanismo:
  • Un insieme di GP multivariati latenti condivisi ($Q_u$) rappresenta le traiettorie a livello di gruppo.
  • Le traiettorie dei singoli pazienti ($Y_i$) sono modellate come una miscela di questi percorsi latenti più un residuo specifico del soggetto.
  • Filtri di Accoppiamento: I filtri specifici per il soggetto $G_{iu}(t)$ includono un parametro di spostamento temporale $\tau_{iu}$ per tenere conto delle differenze nella velocità di progressione della malattia.
  • Meccanismo di Gate: Una funzione softmax assegna probabilità ai pazienti di appartenere a specifici percorsi latenti.
• Scalabilità: Per gestire grandi coorti, il modello utilizza Processi Gaussiani nello Spazio di Hilbert (HSGP) per l'approssimazione a rango ridotto e un obiettivo di verosimiglianza pseudo-marginalizzata online condizionata. Ciò consente l'addestramento in mini-batch trattando i soggetti come condizionalmente indipendenti data la stima empirica corrente dei percorsi latenti.

C. Ottimizzazione

• Addestramento: I modelli sono addestrati minimizzando la verosimiglianza marginale negativa (o la verosimiglianza pseudo-marginalizzata per LP-StructGP) con penalità di sparsità ($\ell_1$) e vincoli di aciclicità.
• Solver: Utilizza l'ottimizzatore Adam con un approccio Lagrangiano Aumentato per gestire il vincolo di aciclicità non convesso.
• Inferenza: Le distribuzioni predittive posteriori sono calcolate in modo efficiente utilizzando le identità di matrice di Woodbury e risolutori Cholesky in batch su GPU.

3. Contributi Chiave

1. StructGP: Un GP multi-task a tempo continuo che unifica le convoluzioni di processo con l'apprendimento differenziabile della struttura per scoprire automaticamente DAG sparsi e ordinati di dipendenze inter-variabili senza pre-specificare il grafo.
2. LP-StructGP: Un'estensione che integra percorsi latenti direttamente nella struttura di covarianza, consentendo al modello di apprendere motivi temporali condivisi tra i pazienti mantenendo al contempo la variabilità specifica del soggetto.
3. Algoritmi di Apprendimento Scalabili: Sviluppo di un framework di apprendimento online che utilizza approssimazioni a rango ridotto (HSGP) e verosimiglianze pseudo-marginalizzate condizionali, permettendo al modello di scalare a dataset con migliaia di pazienti e milioni di osservazioni.
4. Standardizzazione Interna: Un nuovo passo di normalizzazione che stabilizza l'apprendimento e garantisce che la struttura scoperta sia invariante rispetto alle scale di misura delle variabili cliniche.

4. Risultati

A. Studi di Simulazione

• Recupero del Grafo: StructGP recupera in modo affidabile i DAG reali, con la Distanza di Hamming Strutturale (SHD) che si avvicina a 0 all'aumentare della dimensione della coorte.
• Recupero del Percorso: LP-StructGP identifica accuratamente le assegnazioni dei percorsi latenti (alto Indice di Rand Aggiustato) e inferisce correttamente la miscelazione delle dinamiche a livello di gruppo e a livello individuale.

B. Coorte di Shock Settico MIMIC-IV ($n=1.008$)

• Previsione a Breve Termine (6h):
  • StructGP ha superato significativamente le baseline di task indipendenti (RMSE medio: 0,68 vs 0,88).
  • Con 15 variabili di input aggiuntive, il modello strutturato è stato cruciale, riducendo l'RMSE da 3,02 (non strutturato) a 0,63 e migliorando la calibrazione (copertura 0,96 vs 0,84).
  • Interpretabilità: Il grafo appreso ha correttamente identificato relazioni fisiologiche (ad esempio, aggiustamenti del dosaggio di Norepinefrina in risposta a cambiamenti della Pressione Arteriosa Media), catturando il ciclo di feedback clinico piuttosto che solo l'effetto emodinamico immediato.
• Previsione a Lungo Termine (6 giorni):
  • LP-StructGP ha superato StructGP per Creatinina e Norepinefrina (ad esempio, RMSE Creatinina 0,95 vs 1,17).
  • Ha migliorato la copertura predittiva (0,94 vs 0,91) e ha identificato con successo percorsi latenti distinti corrispondenti a diversi modelli di recupero dallo shock settico.

C. PhysioNet Challenge (12k pazienti, 41 variabili)

• Prestazioni: StructGP ha raggiunto un'accuratezza competitiva (MAE $3,72 \times 10^{-2}$) rispetto alla rete neurale grafica all'avanguardia GraFITi (MAE $3,50 \times 10^{-2}$).
• Incertezza: A differenza di GraFITi, StructGP ha fornito stime di incertezza ben calibrate. Quando limitato alle previsioni ad alta confidenza, StructGP ha superato leggermente GraFITi.
• Efficienza: Il modello ha elaborato 5,26 milioni di osservazioni in circa 45 minuti su una singola GPU.

5. Significato e Conclusione

Questo lavoro colma il divario tra modellazione probabilistica interpretabile e deep learning scalabile per le serie temporali cliniche.

• Utilità Clinica: Svelando DAG sparsi e ordinati, il modello offre ai clinici informazioni attuabili sulle dipendenze tra variabili (ad esempio, cicli di feedback causali nel trattamento), piuttosto che semplici previsioni black box.
• Consapevolezza dell'Incertezza: La quantificazione dell'incertezza fondata su principi è critica per le decisioni mediche ad alto rischio, permettendo ai clinici di valutare l'affidabilità di una previsione.
• Generalizzabilità: La capacità di apprendere sia le strutture inter-task che i percorsi latenti inter-paziente rende il framework robusto all'eterogeneità dei dati clinici reali.

Gli autori concludono che le convoluzioni di processo strutturate con percorsi latenti offrono una direzione promettente per l'apprendimento della struttura auto-supervisionato, passando dai flussi di dati grezzi alla conoscenza medica attuabile mantenendo rigorose garanzie statistiche.