Résumé technique : Surveillez vos voisins : Entraînement de systèmes chaotiques statistiquement précis avec des informations d'espace de phase local

Énoncé du problème

La découverte pilotée par les données de systèmes dynamiques fait face à des défis fondamentaux lorsqu'elle est appliquée à des systèmes chaotiques. Bien que les modèles de substitution « boîte noire » (tels que les équations différentielles ordinaires neuronales ou Neural ODEs) entraînés via une optimisation standard basée sur les trajectoires puissent correspondre aux trajectoires observées à court terme, ils échouent souvent à capturer avec précision la dynamique sous-jacente sur des horizons plus longs. Cela est dû à la sensibilité exponentielle des systèmes chaotiques aux conditions initiales et aux paramètres du modèle ; de petites erreurs de modélisation entraînent une divergence rapide des trajectoires, rendant la prédiction exacte à long terme impossible.

Par conséquent, la communauté s'est orientée vers l'entraînement de modèles « statistiquement précis », c'est-à-dire qu'ils reproduisent les mesures physiques invariantes à long terme (par exemple, la géométrie de l'attracteur et les moments statistiques) de la vérité terrain, même si les trajectoires individuelles divergent. Cependant, les méthodes statistiques existantes négligent souvent les propriétés géométriques locales de l'écoulement, spécifiquement le Jacobien, qui régit les taux d'expansion et de contraction locaux. À l'inverse, les méthodes se concentrant sur la précision du Jacobien reposent souvent sur un accès oracle aux dérivées de vérité terrain ou échouent à maintenir la cohérence statistique à long terme. Il existe un besoin d'un cadre qui atteigne simultanément un comportement statistique à long terme précis et capture les propriétés dynamiques locales (Jacobian) sans nécessiter d'étiquettes de dérivées de vérité terrain.

Méthodologie

Les auteurs proposent un cadre d'entraînement novateur pour les Neural ODEs qui comble le fossé entre la précision statistique globale et la fidélité dynamique locale. L'idée centrale est de passer d'une perspective globale à une perspective locale en analysant comment la dynamique transporte et déforme les voisinages locaux (recouvrements) de l'attracteur chaotique.

1. Recouvrement local et mesures de poussée

Au lieu d'optimiser uniquement pour l'appariement de trajectoires ou les mesures invariantes globales, la méthode construit un recouvrement fini $\{U_i\}$ de l'attracteur chaotique à l'aide de points de données. L'objectif d'entraînement est de s'assurer que la Neural ODE reproduit la mesure de poussée de ces ensembles locaux sous la dynamique de vérité terrain. Plus précisément, la méthode impose que la distribution des points évolués à partir d'un voisinage $U_i$ sous le modèle de substitution corresponde à la distribution des points évolués à partir du même voisinage sous la dynamique réelle.

2. Construction de voisinages et robustesse au bruit

Pour gérer le bruit d'observation, les auteurs définissent les voisinages non pas comme de simples boules, mais comme des couronnes avec un rayon intérieur $r_{min}$ et un rayon extérieur $r_{max}$.

• $r_{min}$ est fixé à un multiple de l'écart-type estimé du bruit pour éviter le « plancher de bruit » où l'évolution temporelle est obscurcie.
• $r_{max}$ est choisi de telle sorte que chaque voisinage contienne environ 5 % des points de l'ensemble de données total pour éviter le surapprentissage aux données locales clairsemées.
• Les voisins sont identifiés efficacement à l'aide d'arbres KD.

3. Évolution via développement de Taylor

Plutôt que d'évoluer directement les points de voisinage individuels (ce qui est coûteux en calcul et sensible aux erreurs d'intégration), la méthode fait évoluer les perturbations par rapport à un point central en utilisant un développement de Taylor du champ de vecteurs de la Neural ODE.
La perturbation $\omega_k$ entre un point central $u_j$ et son voisin $u_{j,k}$ évolue selon :
$$\frac{d}{dt} \begin{bmatrix} \tilde{u} \\ \tilde{\omega}_k \end{bmatrix} = \begin{bmatrix} f_\theta(\tilde{u}) \\ \partial f_\theta|_{\tilde{u}} [\tilde{\omega}_k] + \frac{1}{2}\partial^2 f_\theta|_{\tilde{u}} [\tilde{\omega}_k, \tilde{\omega}_k] \end{bmatrix}$$
Cette formulation intègre explicitement les dérivées première et seconde du champ de vecteurs appris, permettant au modèle d'apprendre la déformation locale de l'espace de phase.

4. Fonction de perte

L'objectif d'entraînement minimise une perte composite :
$$L(\theta) = L_{traj}(\theta) + \lambda \cdot \ell_{neighbor}$$

• $L_{traj}$ : Perte standard basée sur les trajectoires (MSE) pour assurer la précision à court terme.
• $\ell_{neighbor}$ : Une perte par paire quantifiant l'écart entre les mesures de poussée de la vérité terrain et du modèle de substitution sur les voisinages évolués. Cela est calculé en utilisant le carré de la Discrépance Maximale des Moyennes (MMD).
• Justification théorique : Les auteurs prouvent que si les mesures de poussée s'accordent sur un recouvrement dénombrable de l'attracteur, les mesures physiques globales doivent être identiques (Théorème 1).

Contributions clés

1. Cadre novateur : Introduction d'une méthode d'entraînement pour les Neural ODEs qui optimise conjointement la précision statistique à long terme et les propriétés dynamiques locales (Jacobian) en régularisant l'évolution des voisinages locaux de l'espace de phase.
2. Conception robuste au bruit : Développement d'une stratégie de voisinage annulaire et d'un schéma d'évolution basé sur les perturbations qui gère efficacement le bruit d'observation, une exigence critique pour les applications réelles où les dérivées de vérité terrain ne sont pas disponibles.
3. Lien théorique : Démonstration que l'imposition d'un accord de mesure locale sur un recouvrement implique l'invariance de la mesure globale, fournissant un pont théorique entre l'apprentissage du Jacobien local et la précision statistique globale.
4. Implémentation pratique : Un algorithme entièrement différentiable qui ne nécessite pas d'accès oracle aux Jacobiens de vérité terrain, le rendant applicable aux données réelles.

Résultats expérimentaux

La méthode a été évaluée sur trois systèmes chaotiques de dimensions variables : le système de Lorenz 63 en 3D, le système de Chen hyperchaotique en 4D et le système de Lorenz 96 en 6D. Les expériences ont été menées avec des données d'entraînement corrompues par un bruit gaussien (1 %, 5 % et 10 % d'intensité de bruit). La méthode proposée (« Voisinage ») a été comparée à :

• Vanilla : Entraînement standard de Neural ODE basé sur les trajectoires.
• DySLIM : Une méthode de pointe optimisant pour les mesures invariantes globales.

Constats :

• Précision à court terme : La méthode Voisinage a maintenu des Temps de Prédiction Valide (VPT) compétitifs avec DySLIM et a nettement surpassé l'entraînement Vanilla, en particulier dans des conditions de bruit élevé, indiquant une régularisation efficace contre le surapprentissage.
• Précision statistique à long terme : La méthode a appris avec succès la mesure invariante de l'attracteur. Bien que DySLIM ait atteint une précision statistique légèrement supérieure dans certaines métriques (en raison de l'optimisation directe des mesures globales), la méthode Voisinage est restée hautement compétitive.
• Dynamique locale (Jacobian) : La méthode Voisinage a démontré une précision du Jacobien substantiellement améliorée par rapport à la fois à Vanilla et à DySLIM sur tous les niveaux de bruit et tous les systèmes. Cela a été mis en évidence par des erreurs relatives de Jacobien plus faibles et une reconstruction plus précise des champs de vecteurs, en particulier dans les régions sensibles comme le mécanisme de basculement des lobes de l'attracteur de Lorenz 63.
• Exposants de Lyapunov : En conséquence directe de l'amélioration de l'apprentissage du Jacobien, la méthode a produit les estimations les plus précises des exposants de Lyapunov parmi les méthodes testées, capturant correctement à la fois les exposants positifs et négatifs même dans des environnements bruyants.

Importance et revendications

L'article revendique que la méthode « Voisinage » fournit une solution robuste pour apprendre les dynamiques chaotiques à partir de données bruyantes en tenant explicitement compte de la structure de l'espace de phase local. Les auteurs soutiennent que tandis que les méthodes précédentes se concentraient soit sur les statistiques globales, soit nécessitaient des Jacobiens oracles, cette approche comble avec succès les deux paradigmes.

L'importance réside dans la capacité à entraîner des modèles de substitution qui sont non seulement statistiquement précis (préservant la forme de l'attracteur) mais aussi dynamiquement fidèles (préservant les taux d'expansion/contraction locaux). Cette double capacité est cruciale pour les applications nécessitant une compréhension de l'instabilité locale, telles que l'identification de sous-domaines interagissant dans des systèmes complexes (par exemple, le cerveau) ou l'estimation de la prévisibilité. Les auteurs positionnent ce travail comme une étape fondamentale vers l'entraînement de Neural ODEs avec des informations d'espace de phase local, notant que des travaux futurs pourraient étendre cela à des systèmes de dimensions plus élevées et partiellement observés.