Teacher Forcing as Generalized Bayes: Optimization Geometry Mismatch in Switching Surrogates for Chaotic Dynamics

1. Probleemstelling

Het paper adresseert een fundamenteel paradox in Dynamical Systems Reconstruction (DSR) met behulp van Recurrente Neuronale Netwerken (RNN's), met name voor chaotische systemen:

• Het Doel: Surrogaatmodellen leren die het langetermijn-invariante gedrag (bijv. Lyapunov-exponenten, attractorgeometrie) van een chaotisch systeem nauwkeurig reproduceren, in plaats van slechts korte-termijn trajectvoorspelling.
• De Uitdaging: Chaotische systemen vertonen een gevoelige afhankelijkheid van beginvoorwaarden (positieve Lyapunov-exponenten). Dit veroorzaakt dat gradiënten op trajectniveau exploderen tijdens standaard Backpropagation Through Time (BPTT), waardoor directe training op lange horizon numeriek instabiel wordt.
• De Omweg: Sparse Teacher Forcing (STF), specifiek Identity Teacher Forcing (ITF), wordt veel gebruikt. Het overschrijft periodiek de latente toestand van het model met waargenomen data om gradiënten te stabiliseren.
• Het Kernprobleem: STF is een interventie-gebaseerde trainingsmethode. Het optimaliseert een voorspellingsverlies onder een gewijzigde rollout-verdeling (gedwongen door data), wat het trainingsdoel statistisch ontkoppelt van de marginaal waarschijnlijkheid van het autonome (vrij draaiende) generatieve model.
• Hypothese: Het paper onderzoekt of de lokale optimalisatie-geometrie (kromming) geïnduceerd door ITF overeenkomt met de geometrie van de ware marginale waarschijnlijkheid. Het postuleert dat ITF conditie legt op één gedwongen pad, waardoor schakelambiguïteit (onzekerheid over welk lineair regime de data genereerde) wordt genegeerd. Dit kan leiden tot een oververzekerde, scherpe kromming die niet overeenkomt met de ware posterior-geometrie die nodig is voor langetermijn-dynamische invarianten.

2. Methodologie

A. Modelarchitectuur: Bijna-lineaire RNN's (AL-RNN's)

De auteurs gebruiken AL-RNN's als testomgeving. Deze modellen combineren lineaire recurrente structuren met een klein aantal gegateerde niet-lineaire eenheden (ReLU).

• Schakelende Dynamica: De dynamica schakelt tussen lineaire regimes op basis van een binaire "schakelcode" $c_t$ bepaald door het teken van specifieke latente coördinaten.
• Interpreteerbaarheid: Deze structuur maakt expliciete symbolische codes en hanteerbare, gesloten-vorm Jacobiaan-berekeningen mogelijk, wat de analyse van schakelregimes faciliteert.

B. Theoretisch Kader: Generalized Bayes versus Marginale Waarschijnlijkheid

Het paper contrasteert twee statistische perspectieven:

1. ITF als Generalized Bayes: ITF minimaliseert een voorspellingsverlies. Statistisch gezien komt dit overeen met een Gibbs-posterior (Generalized Bayes-update). De kromming van dit doel wordt benaderd door een Generalized Gauss-Newton/Fisher-matrix ($I_{ITF}$) berekend langs het gedwongen traject.
2. Marginale Waarschijnlijkheid (PAL-RNN): Om een referentiegeometrie vast te stellen, augmenteren de auteurs het AL-RNN probabilistisch tot een Probabilistic AL-RNN (PAL-RNN).
   • Schakelcodes worden behandeld als latente stochastische variabelen die worden beheerst door een probit-gate (introductie van stochasticiteit).
   • Het doel is de marginale waarschijnlijkheid $p(x_{1:T})$, verkregen door integratie over latente toestanden en schakelcodes.
   • Louis' Identiteit: De kromming van de marginale waarschijnlijkheid (Waargenomen Informatie, $I_{obs}$) wordt berekend met behulp van Louis' identiteit:
     $$I_{obs}(\theta) = E[I_{comp}(\theta) | x] - I_{miss}(\theta)$$
     Waar $I_{miss}$ de term ontbrekende informatie is die voortkomt uit latente onzekerheid (ambiguïteit over het schakelpad).

C. Experimentele Opstelling

• Dataset: Lorenz-63-systeem (een klassiek chaotisch attractor).
• Krommingsanalyse:
  • Bereken $I_{ITF}$ (gedwongen pad) en $I_{obs}$ (marginaal pad via Rao-Blackwellized Particle Filtering en Louis' identiteit).
  • Meet de Krommingskloof ($g_Q$) tussen de trace van $I_{ITF}$ en $I_{obs}$.
  • Analyseer de relatie tussen schakelambiguïteit (posterior-entropie van de gate) en de krommingskloof.
• Fine-tuning Experiment:
  • Initialiseer PAL-RNN's vanuit ITF-getrainde AL-RNN-checkpoints.
  • Fine-tune met Particle Stochastic Approximation EM (SAEM) om de windowed conditional log-evidence te maximaliseren.
  • Vergelijk drie configuraties: Baseline (geen update), Kalibratie (alleen ruis-update) en Volledige SAEM (drift + ruis-update).
  • Evalueer Quantiteiten van Interesse (QoI's): Overlap van toestandsverdeling ($D_{stsp}$) en fout in de grootste Lyapunov-exponent ($\hat{\lambda}_1 - \lambda_{ref}$).

3. Belangrijkste Bijdragen

1. Formalisatie van ITF als Generalized Bayes: Het paper positioneert Teacher Forcing niet alleen als een trainingstruc, maar als een specifieke scoringsregel die een generaliseerde posterior induceert met een onderscheidende lokale geometrie.
2. Identificatie van Geometrische Mismatch: Het toont aan dat ITF scherpere kromming (hogere zekerheid) induceert dan de ambiguïteitsbewuste marginale waarschijnlijkheid. Dit komt omdat ITF conditie legt op één gedwongen schakelpad, terwijl de marginale waarschijnlijkheid rekening houdt met meerdere plausibele regime-paden, waardoor de geometrie wordt afgevlakt via de ontbrekende-informatiecorrectie (Louis-term).
3. Kwantificering van de Krommingskloof: De auteurs introduceren een metriek ($g_Q$) die aantoont dat de krommingskloof schaalt met schakelambiguïteit (entropie). Wanneer meerdere regimes plausibel zijn, overschat ITF de kromming met ordes van grootte in vergelijking met de ware marginale waarschijnlijkheid.
4. Evidence-QoI Misalignement: Het paper levert empirisch bewijs dat optimalisatie voor windowed evidence (een proxy voor waarschijnlijkheid) dynamische invarianten kan verslechteren. Specifiek kan het fijnafstemmen van driftparameters om evidence te verbeteren leiden tot het instorten van het model in een stabiel, niet-chaotisch attractor (negatieve Lyapunov-fout), waarbij langetermijn-dynamische betrouwbaarheid wordt ingeruild voor korte-termijn voorspellende fit.

4. Belangrijkste Resultaten

• Kromming versus Ambiguïteit: In een toy schakelend AR(1)-model verhoogt het verhogen van gate-ruis (en dus posterior schakelambiguïteit) de Missing Information Ratio (MIR) en verlaagt het de waargenomen kromming. Dit valideert dat latente onzekerheid de geometrie van de marginale waarschijnlijkheid afvlakt.
• De Krommingskloof: Op Lorenz-63-data varieert de krommingskloof $g_Q$ van $\approx 10$ tot $\approx 10^3$. De ITF-kromming is significant scherper dan de ambiguïteitsbewuste waargenomen informatie.
  • Matrixanalyse: De mismatch is anisotroop. Hoewel de trace suggereert dat ITF veel scherper is, toont een generaliseerde eigenwaarde-analyse aan dat dit geen uniforme schaling is; eerder zijn specifieke deelruimten oververzekerd onder ITF, terwijl andere dat niet zijn.
• Mislukking van Fine-tuning:
  • Kalibratie (Alleen ruis): Verbeterd evidence zonder QoI's te veranderen (zoals verwacht).
  • Volledige SAEM (Drift + Ruis): Verbeterd significant de vastgehouden windowed evidence, maar verslechtert dynamische QoI's ernstig. De fout in de grootste Lyapunov-exponent verschuift van bijna nul naar sterk negatief, wat aangeeft dat het model een stabiele, contracterende dynamiek heeft geleerd in plaats van de chaotische attractor.
  • Kwalitatieve Visualisatie: De attractor van het SAEM-fine-getunte model stort in tot een periodieke baan, terwijl de ITF-voorgetrainde baseline de chaotische geometrie behoudt.

5. Betekenis en Implicaties

• Geen Canonieke Posterior: Het paper betoogt dat er geen enkele "correcte" posterior bestaat voor chaotische DSR. De keuze van doel (interventie-gebaseerd versus marginale waarschijnlijkheid) dicteert de lokale geometrie en bijgevolg de geleerde dynamica.
• Beperkingen van Waarschijnlijkheid-gebaseerde Fine-tuning: Het simpelweg maximaliseren van waarschijnlijkheid (zelfs met windowing) op chaotische systemen die zijn geïnitieerd vanuit teacher-forced modellen kan leiden tot dynamisch instorten. Het optimalisatielandschap voor evidence kan parameterreeksen bevoordelen die lokaal voorspellend zijn maar globaal instabiel of niet-chaotisch.
• QoI-bewust Leren: De bevindingen suggereren dat voor chaotische systemen trainingsdoelen moeten worden afgestemd op Quantiteiten van Interesse (QoI's) (bijv. Lyapunov-exponenten, invariante maten) in plaats van alleen voorspellingsfout of waarschijnlijkheid.
• Geometrie-bewuste Actief Leren: De mismatch impliceert dat onzekerheidskwantificering (bijv. Laplace-benaderingen) gebaseerd op ITF-kromming oververzekerde zal zijn. Toekomstige strategieën voor actieve dataverzameling moeten rekening houden met de "ontbrekende informatie" door schakelambiguïteit.

Kortom, het paper onthult een kritiek verband tussen de stabiliteitsmechanismen die worden gebruikt om chaotische RNN's te trainen (Teacher Forcing) en de statistische eigenschappen die nodig zijn om hun ware langetermijndynamica te herstellen. Het waarschuwt dat optimalisatie voor waarschijnlijkheid in schakelende surrogaten onbedoeld de zeer chaotische invarianten kan vernietigen die onderzoekers proberen te reconstrueren.