Teacher Forcing as Generalized Bayes: Optimization Geometry Mismatch in Switching Surrogates for Chaotic Dynamics

1. Énoncé du problème

L'article aborde un paradoxe fondamental dans la Reconstruction de Systèmes Dynamiques (DSR) utilisant des Réseaux de Neurones Récurrents (RNN), en particulier pour les systèmes chaotiques :

• L'Objectif : Apprendre des modèles de substitution capables de reproduire avec précision le comportement invariant à long terme (par exemple, les exposants de Lyapunov, la géométrie de l'attracteur) d'un système chaotique, plutôt que de simplement prédire les trajectoires à court terme.
• Le Défi : Les systèmes chaotiques présentent une dépendance sensible aux conditions initiales (exposants de Lyapunov positifs). Cela provoque l'explosion des gradients au niveau des trajectoires lors de la rétropropagation standard à travers le temps (BPTT), rendant l'entraînement direct sur de longs horizons numériquement instable.
• La Contournement : Le Forçage d'Enseignant Épars (STF), et spécifiquement le Forçage d'Enseignant Identité (ITF), est largement utilisé. Il écrase périodiquement l'état latent du modèle avec des données observées pour stabiliser les gradients.
• Le Problème Central : Le STF est une méthode d'entraînement basée sur l'intervention. Il optimise une perte de prédiction sous une distribution de déploiement modifiée (forcée par les données), ce qui découple statistiquement l'objectif d'entraînement de la vraisemblance marginale du modèle génératif autonome (en libre fonctionnement).
• Hypothèse : L'article examine si la géométrie d'optimisation locale (courbure) induite par l'ITF correspond à la géométrie de la vraie vraisemblance marginale. Il postule que l'ITF conditionne sur un seul chemin forcé, ignorant l'ambiguïté de commutation (l'incertitude quant au régime linéaire ayant généré les données), ce qui peut entraîner une courbure trop confiante et abrupte, ne correspondant pas à la géométrie du vrai postérieur requise pour les invariants dynamiques à long terme.

2. Méthodologie

A. Architecture du modèle : RNN quasi-linéaires (AL-RNN)

Les auteurs utilisent des AL-RNN comme terrain d'essai. Ces modèles combinent des structures récurrentes linéaires avec un petit nombre d'unités non linéaires à portes (ReLU).

• Dynamiques de commutation : Les dynamiques basculent entre des régimes linéaires en fonction d'un "code de commutation" binaire $c_t$ déterminé par le signe de coordonnées latentes spécifiques.
• Interprétabilité : Cette structure permet des codes symboliques explicites et des calculs de jacobienne en forme fermée et traitables, facilitant l'analyse des régimes de commutation.

B. Cadre théorique : Bayes généralisé vs Vraisemblance marginale

L'article oppose deux perspectives statistiques :

1. ITF comme Bayes généralisé : L'ITF minimise une perte de prédiction. Statistiquement, cela correspond à un postérieur de Gibbs (mise à jour Bayésienne généralisée). La courbure de cet objectif est approximée par une matrice Gauss-Newton/Fisher généralisée ($I_{ITF}$) calculée le long de la trajectoire forcée.
2. Vraisemblance marginale (PAL-RNN) : Pour établir une géométrie de référence, les auteurs augmentent probabilistiquement l'AL-RNN en un PAL-RNN (Probabilistic AL-RNN).
   • Les codes de commutation sont traités comme des variables aléatoires latentes régies par une porte probit (introduisant de la stochasticité).
   • L'objectif est la vraisemblance marginale $p(x_{1:T})$, obtenue en intégrant sur les états latents et les codes de commutation.
   • Identité de Louis : La courbure de la vraisemblance marginale (Information Observée, $I_{obs}$) est calculée en utilisant l'identité de Louis :
     $$I_{obs}(\theta) = E[I_{comp}(\theta) | x] - I_{miss}(\theta)$$
     Où $I_{miss}$ est le terme d'information manquante découlant de l'incertitude latente (ambiguïté sur le chemin de commutation).

C. Configuration expérimentale

• Jeu de données : Système de Lorenz-63 (un attracteur chaotique classique).
• Analyse de courbure :
  • Calcul de $I_{ITF}$ (chemin forcé) et $I_{obs}$ (chemin marginal via filtrage particulaire Rao-Blackwellisé et identité de Louis).
  • Mesure de l'Écart de Courbure ($g_Q$) entre la trace de $I_{ITF}$ et $I_{obs}$.
  • Analyse de la relation entre l'ambiguïté de commutation (entropie postérieure de la porte) et l'écart de courbure.
• Expérience de fine-tuning :
  • Initialisation des PAL-RNN à partir de points de contrôle d'AL-RNN entraînés par ITF.
  • Fine-tuning utilisant l'EM Stochastique par Approximation de Particules (SAEM) pour maximiser la log-vraisemblance conditionnelle fenêtrée.
  • Comparaison de trois configurations : Base (aucune mise à jour), Calibration (mise à jour du bruit uniquement) et SAEM complet (mise à jour de la dérive + bruit).
  • Évaluation des Quantités d'Intérêt (QoI) : Chevauchement des distributions d'état ($D_{stsp}$) et erreur de l'exposant de Lyapunov le plus grand ($\hat{\lambda}_1 - \lambda_{ref}$).

3. Contributions clés

1. Formalisation de l'ITF comme Bayes généralisé : L'article cadre rigoureusement le Teacher Forcing non pas comme un simple tour de passe-passe d'entraînement, mais comme une règle de score spécifique induisant un postérieur généralisé avec une géométrie locale distincte.
2. Identification d'un décalage de géométrie : Il démontre que l'ITF induit une courbure plus abrupte (confiance plus élevée) que la vraisemblance marginale consciente de l'ambiguïté. Cela est dû au fait que l'ITF conditionne sur un seul chemin de commutation forcé, tandis que la vraisemblance marginale prend en compte plusieurs chemins de régime plausibles, aplanissant la géométrie via la correction d'information manquante (terme de Louis).
3. Quantification de l'écart de courbure : Les auteurs introduisent une métrique ($g_Q$) montrant que l'écart de courbure évolue avec l'ambiguïté de commutation (entropie). Lorsque plusieurs régimes sont plausibles, l'ITF surestime la courbure de plusieurs ordres de grandeur par rapport à la vraie vraisemblance marginale.
4. Désalignement Preuve-QoI : L'article fournit des preuves empiriques que l'optimisation de la vraisemblance fenêtrée (un proxy de la vraisemblance) peut dégrader les invariants dynamiques. Plus précisément, le fine-tuning des paramètres de dérive pour améliorer la preuve peut amener le modèle à s'effondrer vers un attracteur stable et non chaotique (erreur de Lyapunov négative), échangeant la fidélité dynamique à long terme contre l'ajustement prédictif à court terme.

4. Résultats clés

• Courbure vs Ambiguïté : Dans un modèle AR(1) de commutation simplifié, l'augmentation du bruit de la porte (et donc de l'ambiguïté de commutation postérieure) augmente le Ratio d'Information Manquante (MIR) et diminue la courbure observée. Cela valide que l'incertitude latente aplatit la géométrie de la vraisemblance marginale.
• L'Écart de Courbure : Sur les données de Lorenz-63, l'écart de courbure $g_Q$ varie d'environ $10$ à environ $10^3$. La courbure de l'ITF est nettement plus abrupte que l'information observée consciente de l'ambiguïté.
  • Analyse matricielle : Le décalage est anisotrope. Bien que la trace suggère que l'ITF est beaucoup plus abrupte, l'analyse des valeurs propres généralisées montre qu'il ne s'agit pas d'un scaling uniforme ; plutôt, des sous-espaces spécifiques sont trop confiants sous l'ITF, tandis que d'autres ne le sont pas.
• Échec du Fine-Tuning :
  • Calibration (Bruit uniquement) : Améliore la preuve sans modifier les QoI (comme prévu).
  • SAEM complet (Dérive + Bruit) : Améliore considérablement la preuve fenêtrée hors échantillon mais dégrade sévèrement les QoI dynamiques. L'erreur de l'exposant de Lyapunov le plus grand passe de près de zéro à fortement négative, indiquant que le modèle a appris une dynamique stable et contractante plutôt que l'attracteur chaotique.
  • Visualisation qualitative : L'attracteur du modèle fine-tuné par SAEM s'effondre vers une orbite périodique, tandis que la base pré-entraînée par ITF préserve la géométrie chaotique.

5. Signification et implications

• Pas de postérieur canonique : L'article soutient qu'il n'existe pas de "vrai" postérieur unique pour la DSR chaotique. Le choix de l'objectif (basé sur l'intervention vs vraisemblance marginale) dicte la géométrie locale et, par conséquent, les dynamiques apprises.
• Limites du fine-tuning basé sur la vraisemblance : Maximiser simplement la vraisemblance (même avec fenêtrage) sur des systèmes chaotiques initialisés à partir de modèles à teacher forcing peut entraîner un effondrement dynamique. Le paysage d'optimisation pour la preuve peut favoriser des ensembles de paramètres localement prédictifs mais globalement instables ou non chaotiques.
• Apprentissage conscient des QoI : Les résultats suggèrent que pour les systèmes chaotiques, les objectifs d'entraînement doivent être alignés avec les Quantités d'Intérêt (QoI) (par exemple, exposants de Lyapunov, mesures invariantes) plutôt que simplement sur l'erreur de prédiction ou la vraisemblance.
• Apprentissage actif conscient de la géométrie : Le décalage implique que la quantification de l'incertitude (par exemple, approximations de Laplace) basée sur la courbure de l'ITF sera trop confiante. Les futures stratégies de collecte active de données doivent tenir compte de l'"information manquante" due à l'ambiguïté de commutation.

En résumé, l'article révèle une rupture critique entre les mécanismes de stabilité utilisés pour entraîner des RNN chaotiques (Teacher Forcing) et les propriétés statistiques requises pour retrouver leurs vraies dynamiques à long terme. Il met en garde contre le fait que l'optimisation de la vraisemblance dans des substituts à commutation peut involontairement détruire les invariants chaotiques mêmes que les chercheurs cherchent à reconstruire.