Technische Samenvatting: Deep ZakaiJ

Probleemstelling

Tijdreeksdata in domeinen zoals financiën en oceanografie vertonen vaak abrupte sprongdiscontinuïteiten die worden gedreven door niet-geobserveerde latente toestanden (bijvoorbeeld macro-economische schokken of stormregimes). Het voorspellen van deze trajecten is uitdagend omdat het tijdstip en de omvang van sprongen niet uitsluitend uit de geobserveerde geschiedenis kunnen worden afgeleid.

Bestaande benaderingen ondervinden aanzienlijke beperkingen:

• Klassieke Sprong-Diffusiemodellen: Hoewel ze wiskundig onderbouwd zijn (bijvoorbeeld de modellen van Merton), vertrouwen ze op starre parametrische aannames en hebben ze moeite om complexe, niet-lineaire latente structuren te vangen.
• Neurale Sprongmodellen: Recente deep learning-benaderingen (bijvoorbeeld Neural Jump SDE's) werken vaak op volledig geobserveerde trajecten en slagen er niet in de verborgen toestanden die de dynamiek beheersen, af te leiden.
• Latente-Toestandsmodellen: Methoden zoals Latent ODE's of Neural CDE's behandelen latente toestanden als impliciete representaties die worden geleerd via geamortiseerde variatie-inferentie. Ze missen een principieel Bayesiaans update-mechanisme voor het omgaan met de volledig ontoegankelijke stoptijden die kenmerkend zijn voor sprongprocessen.
• Kalman-filteruitbreidingen: Modellen zoals CRU en NCDSSM integreren Kalman-filtering in diepe architecturen, maar zijn beperkt tot lineair-Gaussische dynamica, wat de niet-lineariteiten inherent aan sprong-diffusiesystemen niet kan modelleren.

Er is behoefte aan een raamwerk dat niet-lineaire filtering uitvoert over latente regimes in gedeeltelijk geobserveerde sprong-diffusiesystemen, terwijl het differentieerbaar en trainbaar blijft.

Methodologie: Deep ZakaiJ

De auteurs stellen Deep ZakaiJ voor, een latente-toestandsmodel dat de Zakai niet-lineaire filtervergelijking inbedt in een neurale encoder-decoder-architectuur. Het raamwerk is ontworpen voor gedeeltelijk geobserveerde systemen waarbij een geobserveerd proces $X_t$ wordt gedreven door een niet-geobserveerde latente toestand $\Theta_t$.

1. Theoretische Grondslag

Het model is gebaseerd op de Zakai-vergelijking, die de evolutie beschrijft van de niet-genormaliseerde voorwaardelijke wet (filter) van de latente toestand gegeven waarnemingen. Door het maatstelsel te veranderen naar een referentiemaatstelsel $Q$ waarbij het waarnemingsproces driftvrij is, leiden de auteurs een zwakke vorm van de Zakai-vergelijking af (Vergelijking 3) die de niet-genormaliseerde dichtheid $q_t(\phi)$ doet evolueren.

2. De Zakai-encoder

De kerninnovatie is een Strang-splitting-discretisatie van de Zakai-vergelijking, die de belief-update decomposeert in drie interpreteerbare, differentieerbare sub-stappen:

• A-stap (Prior Propagatie): Propageert de latente prior met behulp van een numerieke propagator (Markov-overgangskern) die is afgeleid van de latente generator. Een geleerde residucorrectie $R^A_\psi$ wordt toegevoegd om modelmismatch en numerieke bias te compenseren.
• B-halfstap (Diffusie-innovatie): Update de belief op basis van het continue component van de waarneming. Het voert een Bayes-herweging uit met behulp van een lokale Gaussische benadering van het continue increment.
• C-halfstap (Sprong-innovatie): Update de belief op basis van het sprongcomponent. Het maakt gebruik van een "hoogstens één sprong"-benadering die geldig is voor kleine tijdstappen, waarbij de posterior wordt gewogen tegen een mengsel van hypothesen "geen sprong" en "sprong opgetreden". Dit stelt de filter in staat scherp te reageren op grote dislocaties.

De encoder werkt recursief de niet-genormaliseerde posterior $q_k$ bij over een vast latente rooster, en extraheren een laagdimensionale belief-feature $\beta_k$ voor voorspelling. De auteurs bewijzen dat deze discrete encoder eerste-orde globale nauwkeurigheid bereikt ten opzichte van de exacte Zakai-evolutie.

3. Gestructureerde Sprong-Diffusie-decoder

De decoder is een gestructureerd model dat de conditionele verdeling van toekomstige incrementen parameteriseert, gegeven de huidige waarneming, de gefilterde belief $\beta_k$, en een kandidaat-late toestand $\theta$.

• Het ontkoppelt expliciet continue dynamica (drift $\mu$, volatiliteit $\sigma$) van discontinuïteitschokken (sprongintensiteit $\lambda$, spronggrootte-kaart $\gamma$).
• Neuronale netwerken conditioneren deze coëfficiënten op de waarneming en de belief-feature.
• Kleine-sprongbenadering: Om infinitief actieve sprongen binnen een discrete architectuur te hanteren, absorbeert de decoder micro-sprongen (grootte $<\epsilon$) in effectieve continue coëfficiënten, en behandelt alleen macroscopische sprongen expliciet in de filterstap.

4. Gezamenlijke Training

Het model wordt end-to-end getraind door een stapsgewijze doelstelling te maximaliseren die combineert:

1. Voorspellingswaarschijnlijkheid: De log-waarschijnlijkheid van toekomstige incrementen onder de geleerde sprong-diffusiewet.
2. Filterregularisatie: Een KL-divergentie-term die de gefilterde posterior aanmoedigt dicht bij de prior te blijven (om instorting te voorkomen).

Gradienten worden backpropageerd door de Strang-splitting-operaties en normalisatiestappen.

Belangrijkste Bijdragen

1. Zakai-encoder: Een discretisatie van de Zakai-vergelijking via Strang splitting in drie interpreteerbare stappen (prior, diffusie-innovatie, sprong-innovatie). Het biedt een differentieerbare, eerste-orde-accurate benadering van de exacte filterevolutie voor gedeeltelijk geobserveerde sprong-diffusiesystemen.
2. Gestructureerde decoder: Een sprong-diffusiemodel dat expliciet is geconditioneerd op de gefilterde latente belief, waarbij de scheiding tussen continue en discontinuïteitsdynamica wordt behouden en een voorspelbare compensator wordt geleerd.
3. Empirische validatie: Aangetoonde verbeteringen in de kwaliteit van distributievoorspellingen (kalibratie en scherpte) over synthetische, financiële en oceanografische datasets, terwijl concurrerende puntnauwkeurigheid wordt behouden.

Experimentele Resultaten

De auteurs hebben Deep ZakaiJ geëvalueerd op:

• Synthetische Data: Een gedeeltelijk geobserveerd sprong-diffusieproces met bekende ground truth.
• Financiële Data: XAU/USD (Goud vs. USD) slotkoersen van 10 minuten.
• Oceanografische Data: NOAA/NDBC golfhoogte (WVHT) waarnemingen.

Prestaties:

• Kwaliteit van de verdeling: Deep ZakaiJ presteerde consequent beter dan baselines (inclusief Latent SDE's, Neural Jump SDE's en fundamentele modellen zoals Chronos) wat betreft CRPS (Continuous Ranked Probability Score) en Log-Likelihood.
• Kalibratie: Het model bereikte goed gekalibreerde voorspellingsintervallen, met een dekking van 90% (Cov90) dicht bij het nominale niveau (bijvoorbeeld 89,0% op synthetisch, 92,9% op XAU/USD, 85,3% op NDBC). Daarentegen lieten veel baselines aanzienlijke onder- of overdekking zien.
• Puntnauwkeurigheid: Het model bleef concurrerend in MAE en RMSE, vaak gelijkend op of licht verbeterend ten opzichte van state-of-the-art puntvoorspellers.
• Latente Herwinning: In synthetische en kwalitatieve casestudies slaagde de afgeleide filter erin veranderingen in de latente toestand te volgen en te reageren op regimeverschuivingen (bijvoorbeeld trendomkeringen in goudprijzen), wat aantoont dat er interpreteerbare latente structuren worden geëxtraheerd.

Betekenis en Claims

Het artikel stelt dat Deep ZakaiJ de kloof overbrugt tussen principieel stochastisch filteren en moderne deep learning. Door de Zakai-vergelijking direct in een neurale architectuur in te bedden, stelt het model:

• Gestructureerde inferentie mogelijk voor gedeeltelijk geobserveerde systemen met sprongen, een capaciteit die ontbreekt in huidige neurale sprongmodellen.
• Interpreteerbare latente representaties die continue dynamica scheiden van discrete schokken.
• Superieure onzekerheidskwantificatie, waarbij gekalibreerde voorspellingsintervallen worden geproduceerd, zelfs onder structurele verschuivingen waarbij andere modellen falen.

De auteurs positioneren dit werk als een stap naar robuustere tijdreeksvoorspelling in omgevingen die worden gekenmerkt door latente regimes en abrupte discontinuïteiten, zoals financieel risicomanagement en vroege waarschuwingssystemen voor het milieu. Ze erkennen beperkingen, waarbij ze opmerken dat de huidige formulering univariaat is en vertrouwen op een vast latente rooster, wat toekomstig werk suggereert in hoogdimensionale en adaptieve representaties.