Technisch overzicht: De dynamisch-probabilistische consistentiekloof in chaotische surrogaatmodellering

1. Probleemstelling

Dynamical Systems Reconstruction (DSR) streeft naar het aanleren van generatieve neurale surrogaatmodellen die de onderliggende dynamica van tijdreeksgegevens vastleggen. Voor wetenschappelijke toepassingen—zoals bifurcatieanalyse, schatting van de invariante maat of controle op lange termijn—moeten deze surrogaatmodellen niet alleen een nauwkeurigheid in korte termijn voorspellingen bereiken, maar ook de langetermijnstructuur van het systeem reproduceren, inclus�clusief de geometrie van de attractor en de Lyapunov-exponenten.

Een betrouwbare inzetbaarheid in ruisgevoelige regimes vereist echter probabilistische staatsschatting en onzekerheidsbewuste voorspelling. Het artikel identificeert een fundamenteel conflict dat de Dynamisch-Probabilistische Consistentiekloof (DPC-kloof) wordt genoemd: het streven naar probabilistische doelstellingen met een eindig horizon (bijv. het maximaliseren van de likelihood of het minimaliseren van de Negative Log-Likelihood) kan de geleerde autonome dynamica degraderen of de voorspellende onzekerheid ontkoppelen van de lokale tangentiële dynamica die deze zou moeten reflecteren.

Specifiek in chaotische systemen kan de fysiek correcte lokale expansie de voorspellende volumes vergroten. Standaard probabilistische doelstellingen bestraffen deze volumegroei vaak (als een vorm van "automatische Occam's Razor"), wat leidt tot optimalisatie-short-cuts die de fysieke getrouwheid van het surrogaatmodel in gevaar brengen.

2. Methodologie

2.1 Mechanistische Taxonomie van Foutmodi

De auteurs isoleren drie specifieke mechanismen waarbinnen de DPC-kloof zich manifesteert, gecategoriseerd naar de trainingsdoelstelling (Open-Loop versus Filtered Innovation) en de covariantie-parametrisatie (Jacobiaan-getransporteerd versus Staat-invariant):

1. Core Collapse (Kerninstorting): Treedt op bij Open-Loop doelstellingen en Jacobian-transported covariantie. De log-determinant term in de Gaussische likelihood bestraft de groei van het voorspellende volume. Omdat chaotische expansie inherent het volume vergroot, probeert de optimizer de geleerde Jacobiaan-producten te verkleinen om deze straf te onderdrukken, waardoor de chaotische dynamica effectief wordt samengeperst tot een stabiel of minder chaotisch regime.
2. Noise Masking (Ruismaskering): Treedt op bij Open-Loop doelstellingen en State-invariant (geen transport) covariantie. De optimizer blaast de proces- of observatieruisparameters ($\Gamma, \Lambda$) op om modelfouten te absorberen en de likelihood-scores te verbeteren zonder de deterministische kern te corrigeren. Dit resulteert in slechte autonome dynamica ondanks goede voorspellende scores.
3. Blind Uncertainty (Blinde Onzekerheid): Treedt op bij Filtered doelstellingen en State-invariant covariantie. Hoewel de deterministische kern gezond blijft, is de voorspellende covariantie niet dynamisch gegrond. Het slaagt er niet in om de lokale expansie- en contractiesnelheden te volgen en blijft ongevoelig voor de lokale Jacobiaan-structuur.

2.2 Voorgestelde Oplossing: KAFFEE

Om de DPC-kloof te mitigeren, stellen de auteurs KAFFEE voor (Kalman-Aware Framework For Ergodic Emulation). KAFFEE is een differentieerbaar trainingsframework gebaseerd op het Extended Kalman Filter (EKF) dat voldoet aan twee ontwerpprincipes:

• Lokale Evaluatie: De likelihood wordt geëvalueerd op gefilterde innovaties (residuen na data-assimilatie) in plaats van op lange open-loop voorspellende covarianties. Dit voorkomt dat de doelstelling de cumulatieve volumegroei bestraft die vereist is voor chaotische expansie.
• Dynamische Gronding: De voorspellende onzekerheid wordt getransporteerd door de geleerde lokale Jacobianen ($J_{\theta_c}$). De covariantie-update volgt de standaard EKF-voorspellingsstap: $\Sigma_{t|t-1} = J_{\theta_c,t} \Sigma_{t-1|t-1} J_{\theta_c,t}^\top + \Gamma_{\theta_s}$.

KAFFEE minimaliseert de negative log-likelihood (NLL) van de innovatieserie:
$$\mathcal{L}_{EKF} = \sum_{t=1}^T \left( \frac{1}{2} \log \det \Omega_t + \frac{1}{2} \| x_t - B z_{t|t-1} \|_{\Omega_t^{-1}}^2 \right)$$
waarbij $\Omega_t$ de innovatie-covariantie is afgeleid van de Jacobiaan-getransporteerde staatscovariantie. Deze aanpak behandelt de deterministische kern en de stochastische schil als één verenigd systeem, waarbij de Kalman-update zorgt voor een staat-afhankelijke, anisotrope dempingsfactor die de training stabiliseert zonder de dynamica te laten instorten.

3. Experimentele Opzet en Evaluatie

De auteurs evalueren de DPC-kloof en KAFFEE met behulp van twee complementaire settings:

1. Mechanistische Ablatie: Gebruik van Piecewise-Affine RNN's (AL-RNN's) op het stochastische, hyperchaotische Lorenz-96 systeem ($N=20$). Dit maakt exacte Jacobiaan-berekening en gecontroleerde isolatie van foutmodi mogelijk.
2. Foundation Model Adaptatie: Het probabilistisch adapteren van DynaMix, een gepre-traind Dynamical Systems Foundation Model (DSFM), over 13 gehouden-afstaande chaotische ODE-systemen (bijv. Lorenz-63, Chen, Rabinovich-Fabrikant) met 10% observatieruis.

Evaluatiekader:
Het artikel introduceert een evaluatiekader met drie assen om de lokale probabilistische gedragingen te scheiden van de dynamische getrouwheid:

• Lokaal Probabilistisch Gedrag: Gemeten via NLL, CRPS en $G_{tan}$ (Spearman rangcorrelatie tussen de groei van de surrogaatvariantie en de ware lokale tangentiële expansie).
• Stochastische Dynamische Getrouwheid: Gemeten via staatruimte-divergentie en de fout in de onstabiele-volumegroei-snelheid (som van positieve Lyapunov-exponenten) met de actieve schil.
• Deterministische Dynamische Getrouwheid: Gemeten via staatruimte-divergentie, spectrale overlap (Hellinger-afstand) en KS-entropie met de verwijderde schil (om de kern te isoleren).

4. Belangrijkste Resultaten

4.1 Lorenz-96 Ablatie

• Core Collapse: Open-loop doelstellingen met Jacobian-transport degradeerden de deterministische kern aanzienlijk, wat de KS-entropie verminderde en er niet in slaagde de hyperchaotische expansie te vangen.
• Noise Masking: Open-loop doelstellingen zonder transport behaalden concurrerende NLL-scores, maar leerden de correcte dynamica niet, waarbij $G_{tan}$ nabij nul lag.
• Blind Uncertainty: Filtered doelstellingen zonder transport behielden de kern, maar waren niet in staat de onzekerheid te gronden ($G_{tan} \approx 0$).
• KAFFEE Prestaties: KAFFEE (Filtered + Tied Transport) was de enige methode die gelijktijdig:
  • De intrinsieke hyperchaotische expansie van het systeem behield (overeenkomend met de deterministische prior's KS-entropie).
  • Een hoge voorspellende kalibratie behield (concurrerende NLL/CRPS).
  • Een sterke dynamische gronding bereikte ($G_{tan} \approx 0.475$, aanzienlijk hoger dan de baselines).

4.2 DynaMix Adaptatie

• Bij het adapteren van het gepre-trainde DynaMix foundation model, veroorzaakte open-loop fine-tuning dat de autonome kern afweek van de zero-shot dynamica (toename in $D_{stsp}$ en spectrale fouten).
• KAFFEE-DynaMix behield de zero-shot autonome dynamica (minimale drift in $D_{stsp}$ en spectrale overlap) terwijl het de probabilistische scores (NLL) verbeterde ten opzichte van de frozen-core baseline.
• Cruciaal is dat KAFFEE in-context Bayesiaanse filtering voor het foundation model mogelijk maakte, waardoor het schaarse ruizige observaties online kon assimileren terwijl de geleerde fysieke invarianten behouden bleven.

4.3 Niet-Chaotische Controles

Experimenten op stabiele lineaire spiralen en Van der Pol limit cycles bevestigden dat de mechanismen van de DPC-kloof verschillen van klassieke "noisy-state attenuation" (waarbij het behandelen van ruizige observaties als staten leidt tot bevooroordeelde, overmatig gecontracteerde schattingen). KAFFEE herstelde succesvol de correcte spectrale radii en limit cycle geometrieën waar naïeve maximum likelihood estimatie faalde.

5. Betekenis en Claims

Het artikel claimt dat de DPC-kloof een structureel probleem is in probabilistische DSR, waarbij doelstellingen met een eindig horizon voor voorspellende scores kunnen leiden tot shortcuts die de wetenschappelijke bruikbaarheid van een surrogaat vernietigen.

• Theoretische Bijdrage: De auteurs formaliseren de DPC-kloof en identificeren drie specifieke foutmodi (Core Collapse, Noise Masking, Blind Uncertainty), waarmee zij aantonen dat likelihood-gebaseerde training de dynamische invarianten in chaotische regimes actief kan degraderen.
• Methodologische Bijdrage: KAFFEE biedt een concrete realisatie van "dynamisch gegronde" probabilistische DSR. Door gefilterde innovatie-scoring te koppelen aan Jacobian-gebaseerde covariantie-transport, mitigeert het de volume-druk shortcuts die inherent zijn aan open-loop doelstellingen.
• Praktische Impact: De resultaten suggereren dat voor wetenschappelijke surrogaatmodellen, met name foundation modellen, probabilistische adaptatie moet worden beperkt om de autonome dynamica te behouden. KAFFEE maakt het mogelijk om deterministische foundation modellen uit te rusten met gekalibreerde, lokaal gegronde onzekerheid zonder hun zero-shot dynamische getrouwheid op te offeren.

De auteurs concluderen dat hoewel KAFFEE de lokale Gaussische benadering van de EKF overneemt (wat de representatie van multimodale onzekerheden kan beperken), het een principiële stap is naar het ontwikkelen van surrogaatmodellen die onzekerheid consistent afhandelen met de onderliggende chaotische dynamica. Toekomstig werk wordt gesuggereerd om rijkere filtering-benaderingen (bijv. particle filters, ensemble Kalman filters) en low-rank benaderingen voor hoogdimensionale systemen te verkennen.