Differentiable latent structure discovery for interpretable forecasting in clinical time series

1. Probleemstelling

Klinische besluitvorming is afhankelijk van het voorspellen van het toekomstige beloop van de toestand van een patiënt op basis van onregelmatig bemonsterde Elektronische Gezondheidsdossiers (EHR). Huidige benaderingen staan voor een afweging tussen interpretatievermogen, kwantificering van onzekerheid en schaalbaarheid:

• Imputatie-gebaseerde methoden: Het hersamplen van onregelmatige data naar een vast rooster introduceert bias en rekenkundige overhead.
• Deep Learning (bijv. GNN's, RNN's): Hoewel krachtig, missen ze vaak een principiële kwantificering van onzekerheid en produceren ze "black box"-voorspellingen die klinisch moeilijk te interpreteren zijn.
• Standaard Gaussische Processen (GPs): Bieden een principiële onzekerheid, maar veronderstellen vaak onafhankelijkheid tussen taken of vertrouwen op vaste, niet-leerbare afhankelijkheidsstructuren, wat hun vermogen beperkt om complexe causale relaties tussen variabelen te vangen.

De auteurs beogen een model te ontwikkelen dat werkt in continue tijd, interpretabele afhankelijkheidsstructuren (Gerichte Acyclische Grafen) tussen klinische variabelen ontdekt, gedeelde patiëntprogressiepatronen (latente paden) vastlegt en gekalibreerde onzekerheidsschattingen biedt.

2. Methodologie

Het artikel introduceert twee primaire modellen die zijn gebaseerd op Procesconvoluties, een kader dat Gaussische Processen (GPs) definieert als de output van een lineair tijd-invariant systeem aangedreven door witte ruis.

A. StructGP: Inter-taak Grafische Structuur

• Kernconcept: StructGP modelleert een multivariate GP $Y(t)$ door een multivariate witruisproces $w(t)$ te convolueren met een matrixwaardig filter $H(t)$.
• Differentieerbare Structuurstudie: De filtermatrix wordt geparametriseerd als $H(t) = (I + S) \circ L(t)$, waarbij:
  • $S$ een spijze, onder-triangular matrix is die de Gerichte Acyclische Graaf (DAG) van inter-taak afhankelijkheden codeert.
  • $L(t)$ leerbare Gaussische filters bevat met lengteschalen $\ell_{vu}$.
• Acyclische Beperking: Om te waarborgen dat $S$ een DAG voorstelt, passen de auteurs het NOTEARS-kader toe. Ze handhaven acyclische eigenschappen via een gladde beperking $h(S) = \text{Tr}(\exp(S \circ S)) - k = 0$, geoptimaliseerd met de Augmented Lagrangian-methode.
• Interne Standaardisatie: Om de sterkte van afhankelijkheid te ontkoppelen van variabeleschalen, normaliseert het model de marginale variantie van elk proces naar 1, zodat de geleerde graaf conditionele onafhankelijkheid weerspiegelt in plaats van grootteverschillen.

B. LP-StructGP: Inter-Subject Latente Paden

• Kernconcept: Om gedeelde progressiepatronen over patiënten heen te vangen (bijv. verschillende patiënten die vergelijkbare sepsis-trajecten volgen), introduceert LP-StructGP latente paden.
• Mechanisme:
  • Een set gedeelde latente multivariate GPs ($Q_u$) vertegenwoordigt trajecten op groepsniveau.
  • Individuele patiënttrajecten ($Y_i$) worden gemodelleerd als een mengsel van deze latente paden plus een subject-specifiek residu.
  • Koppelingsfilters: Subject-specifieke filters $G_{iu}(t)$ bevatten een tijdsverschuivingsparameter $\tau_{iu}$ om rekening te houden met verschillen in de snelheid van ziekteprogressie.
  • Gating-mechanisme: Een softmax-functie wijst kansen toe aan patiënten die tot specifieke latente paden behoren.
• Schaalbaarheid: Om grote cohorten te verwerken, gebruikt het model Hilbert Space Gaussian Processes (HSGP) voor benadering met lage rang en een online conditionele pseudo-marginal likelihood-doelstelling. Dit maakt mini-batch training mogelijk door patiënten conditioneel onafhankelijk te behandelen gegeven de huidige empirische schatting van de latente paden.

C. Optimalisatie

• Training: De modellen worden getraind door de negatieve marginale likelihood (of pseudo-marginal likelihood voor LP-StructGP) te minimaliseren met sparsiteitsstraffen ($\ell_1$) en acyclische beperkingen.
• Oplosser: Gebruikt de Adam-optimizer met een Augmented Lagrangian-benadering om de niet-convexe acyclische beperking te hanteren.
• Inferentie: Posterior predictieve verdelingen worden efficiënt berekend met Woodbury-matrixidentiteiten en gebatchte Cholesky-oplossers op GPU's.

3. Belangrijkste Bijdragen

1. StructGP: Een continue-tijd multi-task GP die procesconvoluties verenigt met differentieerbare structuurstudie om automatisch spijze, geordende DAG's van inter-variabele afhankelijkheden te ontdekken zonder de graaf vooraf te specificeren.
2. LP-StructGP: Een extensie die latente paden direct integreert in de covariantiestructuur, waardoor het model gedeelde temporele motieven over patiënten heen kan leren terwijl subject-specifieke variabiliteit behouden blijft.
3. Schaalbare Leeralgoritmen: Ontwikkeling van een online leerframework met benaderingen van lage rang (HSGP) en conditionele pseudo-marginal likelihoods, waardoor het model kan schalen naar datasets met duizenden patiënten en miljoenen observaties.
4. Interne Standaardisatie: Een nieuwe normalisatiestap die het leren stabiliseert en ervoor zorgt dat de ontdekte structuur invariant is voor de meetschalen van klinische variabelen.

4. Resultaten

A. Simulatiestudies

• Graafherstel: StructGP herstelt betrouwbaar grond-waarheid DAG's, waarbij de Structurele Hamming-afstand (SHD) naar 0 nadert naarmate de cohortgrootte toeneemt.
• Padherstel: LP-StructGP identificeert nauwkeurig toewijzingen aan latente paden (hoge Adjusted Rand Index) en infereert correct de menging van dynamiek op groepsniveau en individueel niveau.

B. MIMIC-IV Septische Shock Cohort ($n=1.008$)

• Korte-termijn Voorspelling (6u):
  • StructGP presteerde significant beter dan onafhankelijke-taak baselines (Avg RMSE: 0,68 vs. 0,88).
  • Met 15 extra invoervariabelen was het gestructureerde model cruciaal, met een vermindering van de RMSE van 3,02 (ongestructureerd) naar 0,63 en een verbeterde kalibratie (dekking 0,96 vs. 0,84).
  • Interpretatievermogen: De geleerde graaf identificeerde correct fysiologische relaties (bijv. aanpassingen van noradrenalinedosering als reactie op veranderingen in de gemiddelde arteriële druk), waardoor de klinische feedbacklus wordt vastgelegd in plaats van alleen het directe hemodynamische effect.
• Lange-termijn Voorspelling (6 dagen):
  • LP-StructGP presteerde beter dan StructGP voor Creatinine en Noradrenaline (bijv. Creatinine RMSE 0,95 vs. 1,17).
  • Het verbeterde de predictieve dekking (0,94 vs. 0,91) en identificeerde succesvol distincte latente paden die overeenkomen met verschillende herstelpatronen bij septische shock.

C. PhysioNet Challenge (12k patiënten, 41 variabelen)

• Prestatie: StructGP behaalde een concurrerende nauwkeurigheid (MAE $3,72 \times 10^{-2}$) vergeleken met de state-of-the-art graafneuraal netwerk GraFITi (MAE $3,50 \times 10^{-2}$).
• Onzekerheid: In tegenstelling tot GraFITi leverde StructGP goed gekalibreerde onzekerheidsschattingen op. Bij beperking tot voorspellingen met hoge zekerheid presteerde StructGP licht beter dan GraFITi.
• Efficiëntie: Het model verwerkte 5,26 miljoen observaties in ongeveer 45 minuten op een enkele GPU.

5. Betekenis en Conclusie

Dit werk overbrugt de kloof tussen interpretabel probabilistisch modelleren en schaalbaar deep learning voor klinische tijdsreeksen.

• Klinische Nut: Door spijze, geordende DAG's bloot te leggen, biedt het model clinicians actieerbare inzichten in variabele-afhankelijkheden (bijv. causale feedbacklussen in behandeling), in plaats van alleen black-box voorspellingen.
• Bewustzijn van Onzekerheid: De principiële kwantificering van onzekerheid is kritiek voor medische beslissingen met hoge inzet, waardoor clinicians de betrouwbaarheid van een voorspelling kunnen inschatten.
• Generaliseerbaarheid: Het vermogen om zowel inter-taak structuren als inter-patiënt latente paden te leren, maakt het kader robuust voor de heterogeniteit van klinische data uit de echte wereld.

De auteurs concluderen dat gestructureerde procesconvoluties met latente paden een veelbelovende richting bieden voor zelftoezicht-gebaseerde structuurstudie, waarbij men van ruwe datastromen naar actieerbare medische kennis gaat terwijl rigoureuze statistische garanties worden behouden.