Informative Missingness to Generate Irregular Clinical Time Series

Technische Samenvatting: Informatieve Missingness voor het Genereren van Irreguliere Klinische Tijdreeksen

Probleemstelling
Laboratoriumtesten in Elektronische Gezondheidsdossiers (EHRs) worden onregelmatig verzameld, waarbij de afwezigheid van een testorder vaak even informatief is als de meting zelf. Deze "informatieve missingness" weerspiegelt klinische beslissingen en de fysiologie van de patiënt, met name in situaties van Missing-Not-At-Random (MNAR), waar de beslissing om te testen afhangt van niet-geobserveerde of gedeeltelijk geobserveerde klinische toestanden. Bestaande generatieve benaderingen behandelen missingness vaak als een voorverwerkingsartefact dat geïmputeerd moet worden, of richten zich op bijna-reguliere signalen (bijv. vitale functies), waardoor ze er niet in slagen de gezamenlijke verdeling van laboratoriumwaarden en hun observatiepatronen (sampling bursts en timing) te vatten. Bijgevolg valideren standaard imputatiebenchmarks niet noodzakelijkerwijs of een generator in staat is de complexe koppeling tussen patiëntfysiologie en klinisch testgedrag te reproduceren.

Methodologie
De auteurs stellen een op diffusie gebaseerd framework voor, aangepast van de TimeDiff-architectuur, om klinische tijdreeksen te genereren die zowel continue laboratoriumwaarden als discrete missingness-patronen gezamenlijk modelleren.

• Dataset: De studie maakt gebruik van de DACMI (Data Analytics Challenge on Missing data Imputation) benchmark, afgeleid van MIMIC-III. Deze dataset bevat 13 veelvoorkomende bloedlaboratoriumvariabelen. De auteurs hebben een gekoppelde representatie geconstrueerd waarbij elk tijdstap een continue laboratoriumwaarde en een binaire missingness-masker bevat (0 voor geobserveerd, 1 voor ontbrekend).
• Voorverwerking:
  • Temporele Uitlijning: Chart-tijden zijn gediscretiseerd in intervallen van 4 uur om kunstmatige missingness te minimaliseren.
  • Windowing: Opnames zijn gesegmenteerd in niet-overlappende vensters van 7 dagen (42 tijdstappen). Opnames die deze duur overschreden, werden opgesplitst in opeenvolgende vensters.
  • Normalisatie: Kenmerken ondergingen log- of Box-Cox-transformaties gevolgd door z-score standaardisatie om Gaussianiteit te benaderen.
  • Input Representatie: De modelinput bestaat uit 26 kanalen: 13 gestandaardiseerde laboratoriumwaarden en 13 binaire maskers.
  • Delta Conditioning: Om de recentheid van observaties te coderen, is een delta conditioning-tensor geïntroduceerd. Voor elk lab en elke tijdindex vertegenwoordigt deze waarde het aantal stappen sinds de meest recente observatie, genormaliseerd naar $[0, 1)$. Deze aanvullende context stuurt het denoising-netwerk aan zonder deel uit te maken van de uiteindelijke gegenereerde output.
• Modelarchitectuur & Training:
  • De aanpak breidt TimeDiff uit om gemengde continue (Gaussiaanse) en discrete (binaire) variabelen te verwerken via complementaire diffusie-objectieven.
  • Loss Modificatie: De numerieke (Gaussiaanse) loss is aangepast om werkelijk ontbrekende laboratoriumwaarden uit te sluiten, waarbij missingness wordt behand behandeld als een afwezigheid in plaats van ruisige waarden.
  • Optimalisatie: Het model is getraind voor 200.000 stappen met de Adam-optimizer. Een weegfactor ($\lambda = 10^{-5}$) werd toegepast op de discrete missingness-loss ten opzichte van de continue waarde-loss om de objectieven in balans te brengen.
  • Sampling: 16.000 synthetische vensters zijn gegenereerd door iteratief ruis te denoisen.

Belangrijkste Bijdragen

1. Gezamenlijke Generatie Pipeline: Een op diffusie gebaseerd framework dat zowel laboratoriumwaarden als hun observatie-indicatoren simultaan genereert, specifiek gericht op irreguliere labs en informatieve missingness om downstream inferentie te ondersteunen.
2. Adaptatie van de Loss Functie: Een modificatie van de numerieke TimeDiff-loss om ontbrekende waarden expliciet uit te sluiten van de reconstructiefout, waardoor missingness wordt gemodelleerd als een afwezigheid.
3. MNAR-Preserverend Protocol: Een praktische voorverwerkings- en windowingstrategie die is ontworpen om MNAR-achtige structuren te behouden (waar de bemonsteringsfrequentie de klinische beslissingen reflecteert) terwijl het compatibel blijft met diffusietraining.
4. Uitgebreide Evaluatie: Een evaluatiestrategie die gebruikmaakt van univariate distributies, gezamenlijke embeddings van waarden en maskers, en traject-gelijkenisstatistieken (EMD en DTW) om de realiteitszin in zowel fysiologie als bemonsteringsgedrag te beoordelen.

Resultaten

• Univariate Distributies: De synthetische data kwamen nauw overeen met de echte patiënttrajecten voor individuele laboratoriumdistributies. Zo kwam de synthetische dichtheid voor Hemoglobine goed overeen met de echte histogram rond de hoofdmodus en de bovenste staart, terwijl de telling van Witte Bloedcellen (sterk rechts-scheef) goed werd bewaard in de gebieden met hoge dichtheid en de staartprofielen.
• Gezamenlijke Embeddings: Gebruikmakend van UMAP met een Dynamic Time Warping (DTW) afstandmetriek op alle 26 kanalen (13 waarden + 13 maskers), vertoonden de synthetische en echte datadistributies een substantiële overlap, wat wijst op hoogwaardige generatie zonder "out-of-support" instanties.
• Kwantitatieve Metrieken:
  • Delta Conditioning: Modellen die gebruikmaakten van delta conditioning behaalden lagere gemiddelde Earth Mover's Distance (EMD) en DTW-scores vergeleken met modellen zonder conditioning, waardoor ze dichter bij de Real–Real referentiewaarden kwamen.
  • Missingness Prevalentie: Hoewel het model de gezamenlijke structuur verbeterde, was de synthetische missingness prevalentie consistent lager dan de geobserveerde prevalentie in echte data (bijv. gemiddelde echte prevalentie 0,79 versus synthetisch 0,74), wat suggereert dat het model de frequentie van niet-geobserveerde metingen nog steeds onderschat.
• Traject Gelijkenis: DTW-afstanden voor trajecten waren over het algemeen laag, wat aangeeft dat de temporele dynamiek van de gegenereerde data goed overeenkomt met de echte data wanneer men beperkt blijft tot de geobserveerde tijdstippen.

Significantie en Claims
De auteurs positioneren dit werk als een voorlopige stap naar de ontwikkeling van klinische foundation-modellen. Zij claimen dat diffusiemodellen een veelbelovende basis vormen voor het genereren van realistische synthetische labdata onder MNAR-achtige missingness door klinisch betekenisvolle afhankelijkheden tussen fysiologie en testgedrag te vangen.

De primaire significantie ligt in het vermogen om synthetische priors te produceren die de sleutelrelaties tussen fysiologie en missingness behouden. Deze priors zijn bedoeld als de initiële component voor het trainen van Prior-Data Fitted Networks, die de auteurs in uitgebreid werk willen onderzoeken voor het benutten van informatieve missingness in downstream taken zoals imputatie en forecasting onder distributieverschuivingen. De paper stelt expliciet dat deze resultaten een voorlopig bewijs zijn van het vermogen van het model om gekoppelde processen te vangen, in plaats van een volledige validatie van de downstream klinische bruikbaarheid.