Technische Samenvatting: Latent Laplace Diffusion voor Irreguliere Multivariate Tijdreeksen

1. Probleemstelling

Irreguliere multivariate tijdreeksen (IMTS), die veel voorkomen in de gezondheidszorg, klimaatwetenschap en financiële wereld, vormen een fundamentele afweging voor forecasting op de lange termijn. Bestaande benaderingen vallen over het algemeen uiteen in drie categorieën, die elk significante beperkingen hebben:

• Discrete-tijd pipelines: Deze methoden interpoleren of herstructureren data naar een regelmatige structuur. Hoewel efficiënt, vervormt agressieve re-gridding de temporele informatie en vervaagt het de semantiek van ontbrekende gegevens onder ernstige irregulariteit.
• Continue-tijd modellen (bijv. Neural ODEs/CDEs): Deze integreren tijdstempels op natuurlijke wijze maar vertrouwen op sequentiële numerieke integratie. Dit verhoogt de computationele kosten en leidt tot foutaccumulatie (drift) over lange horizonten, met name wanneer de gaten groot zijn.
• Diffusion/Score-gebaseerde modellen: Hoewel deze sterke kwantificering van onzekerheid bieden, denoisen de meeste bestaande tijdreeks-diffusiemodellen direct in de observatieruimte. Ze missen vaak een expliciete dynamische structuur of stabiliteitscontrole, wat de generatie op de lange termijn fragiel maakt onder irreguliere bemonstering.

De kernuitdaging is om IMTS te modelleren op een manier die de fysieke tijd en bemonsteringsgaten respecteert zonder de irregulariteit te reduceren tot een preprocessing-artefact, terwijl tegelijkertijd stabiele generatie van trajecten op de lange termijn wordt gewaarborgd zonder de drift die geassocieerd wordt met sequentiële solvers.

2. Methodologie: Latent Laplace Diffusion (LLapDiff)

LLapDiff is een conditioneel generatief framework dat de kloof tussen discrete en continue modellering overbrugt. Het vermijdt sequentiële numerieke integratie over de fysieke tijd door het doel als een laagdimensionaal latent traject te modelleren en diffusie in de latente ruimte uit te voeren.

2.1. Latente Trajectrepresentatie

De methode representeert irreguliere doelhorizonten als laagdimensionale latente trajecten $z$ op een manifold. Een vooraf getrainde Variational Autoencoder (VAE) codeert de grondwaarheid-doelen naar deze latente ruimte. Het diffusieproces corrumpeert en denoiset deze latente trajecten in plaats van de ruwe, ijle observaties, waardoor direct denoising over gemaskeerde data wordt vermeden.

2.2. Stabiliteitsbias via Stochastische Port-Hamiltoniaanse Dynamica

Om het reverse diffusieproces te sturen naar stabiele dynamica zonder numerieke solvers, putten de auteurs inspiratie uit stochastische port-Hamiltoniaanse systemen.

• Energiebalans: Het framework legt een passiviteitsgebaseerde inductieve bias op waarbij de verwachte systeemenergie niet toenemend is tussen context-updates. Dit isoleert voorspelbare dynamica van stochastische volatiliteit.
• Laplace-domein Parameterisatie: In plaats van tijdstappen te nemen, wordt de gemiddelde evolutie van het latente traject geparametriseerd in het Laplace-domein. Het systeem wordt gemodelleerd met behulp van stabiele complex-convergente polen $(\rho_k, \omega_k)$, waarbij $\rho_k$ de dempingssnelheden representeert en $\omega_k$ de oscillatiefrequenties.
• Stabiele Modale Synthese: De denoiser voorspelt deze modale parameters (polen en residuen) geconditioneerd op de historie. Het latente traject wordt vervolgens gesynthetiseerd via een gesloten vorm van gedempte sinusvormen:
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  Dit maakt generatie over de gehele horizon mogelijk in één paralleliseerbare pass, waardoor de noodzaak voor sequentiële integratie wordt omzeild.

2.3. Renewal-Averaging en Gap-bewuste Conditionering

De auteurs leggen een theoretische link tussen continue-tijd polen en willekeurige bemonsteringsgaten via een renewal-averaging analyse.

• Effectieve Polen: Willekeurige gaten mappen continue-tijd polen naar effectieve event-domein polen. De variantie van de gaten moduleert de effectieve demping en oscillatie.
• History Summarizer: Om geleerde dynamica aan te passen aan irreguliere patronen, aggregeert een "gap-aware history summarizer" observaties, tijdstempels en missingness-maskers. Deze summarizer conditioneert de modale predictor, waardoor het model continue-tijd parameters kan leren die consistent blijven, zelfs onder complexe, niet-renewal samplingpatronen.

2.4. Architectuur

Het model bestaat uit:

1. History Summarizer ($S_\phi$): Codeert de geobserveerde historie naar een tokensequentie die port-signalen, dynamica-proxies en temporele/gap-encodings bevat.
2. Modal Predictor ($L_\theta$): Voorspelt continue-tijd modale parameters (polen en residuen) geconditioneerd op de ruisige latente staat en de history summary.
3. Modal Synthesizer ($L^+_\theta$): Reconstrueert het gedenoisede latente traject met behulp van de voorspelde parameters via de gesloten Laplace-domein vergelijking.

3. Belangrijkste Bijdragen

1. LLapDiff Framework: Een latent diffusie framework voor IMTS dat de evolutie modelleert als laagdimensionale latente trajecten terwijl de timestamp-getrouwheid behouden blijft, waardoor de drift van sequentiële solvers wordt vermeden.
2. Laplace-domein Modale Parameterisatie: Een afleiding geworteld in stochastische port-Hamiltoniaanse dynamica die horizon-brede generatie mogelijk maakt met expliciete stabiliteitscontrole door geconstreerde pool-demping ($\rho_k > 0$).
3. Theoretische Link naar Sampling Gaps: Een analyse die continue-tijd polen koppelt aan willekeurige bemonsteringsgaten via renewal averaging, wat een gap-aware historie conditionering motiveert die de long-horizon modellering verbetert.

4. Experimentele Resultaten

De auteurs evalueerden LLapDiff op zeven real-world datasets variërend van luchtkwaliteit, gezondheidszorg (PhysioNet), meteorologie (NOAA) tot financiën (Crypto, US Equity).

• Forecasting Prestaties: LLapDiff behaalde de beste distributionele metrieken (CRPS) en competitieve punt-metrieken (MAE/MSE) over de meeste datasets. De winst was het meest uitgesproken bij forecasting op de lange termijn (bijv. 168 stappen) en op zeer irreguliere datasets (bijv. PhysioNet, NOAA UK).
• Imputatie: Vanwege de traject-genererende aard ondersteunt het model missing-value imputatie door hetzelfde model te bevragen op historische tijdstempels. Het presteerde beter dan baselines zoals CSDI in probabilistische imputatie-taken.
• Stabiliteit en Robuustheid:
  • Pool Visualisatie: Geleerde polen voldeden consistent aan $\rho_k > 0$, wat exponentiële decay en stabiliteit garandeert. Het model paste decay-snelheden aan op basis van gap-statistieken.
  • Stress Tests: Het model vertoonde een gracieuze degradatie onder geïnduceerde missingness. Hoewel de prestaties daalden bij extreem verlies van dekking, bleef het robuust vergeleken met baselines die vaak driften of overmatig vloeken (oversmoothing).
  • Regime Shifts: Het model behield stabiliteit onder gecontroleerde spectrale verschuivingen (frequentie en decay veranderingen).
• Efficiëntie: In tegenstelling tot Neural ODEs of continue-tijd Transformers die sequentiële solver-stappen vereisen, bleef de inferentietijd van LLapDiff nagenoeg vlak over verschillende forecast horizonten. Het was aanzienlijk sneller dan TimeGrad (39.8x) en ContiFormer (150.6x) in de wall-clock inferentietijd.

5. Betekenis en Claims

Het artikel claimt dat LLapDiff erin slaagt de kloof tussen discrete en continue tijdreeksmodellering te overbruggen door latentie-diffusie te integreren met een stabiele continue-tijd inductieve bias.

• Solver-Vrije Generatie: Door de dynamica-modellering naar het Laplace-domein te verplaatsen en gebruik te maken van stabiele modale parameterisatie, bereikt de methode horizon-brede generatie zonder fysieke tijdstappen te nemen, wat effectief het driftprobleem van sequentiële solvers oplost.
• Verenigde Forecasting en Imputatie: Het continue latente traject-perspectief staat toe dat hetzelfde model zowel forecasting als missing-value imputatie uitvoert door simpelweg verschillende tijdstempels op te vragen, wat een verenigde aanpak biedt voor irreguliere data.
• Gap-Aware Adaptatie: De renewal-averaging analyse biedt een theoretische basis voor het conditioneren op bemonsteringsgaten, waardoor het model kan leren werken met dynamica die robuust is tegen irreguliere observatiepatronen.

De auteurs erkennen beperkingen, waaronder een afhankelijkheid van vooraf getrainde latente representaties en een lokaal lineaire modale benadering. Ze suggereren dat toekomstig werk rijkere niet-lineaire dynamica en snellere reverse sampling kan verkennen. Het werk wordt gepositioneerd als een stap naar meer stabiele en efficiënte generatieve modellering voor real-world, irreguliere tijdreeksen.