Leveraging Gauge Freedom for Learning Non-Gradient Population Dynamics of Stochastic Systems

Résumé Technique : Exploitation de la Liberté de Jauge pour l'Apprentissage de Dynamiques de Population Non-Gradientes de Systèmes Stochastiques

1. Énoncé du Problème

L'article aborde le défi de l'inférence des dynamiques au niveau de la population pour des systèmes stochastiques où les trajectoires individuelles sont non observées ou intrinsèquement imprévisibles (par exemple, des systèmes chaotiques ou turbulents). L'entrée consiste en des échantillons indépendants tirés des distributions marginales temporelles $\rho_t$ à des points de temps discrets $t \in [0, T]$. L'objectif est d'apprendre un champ de vitesse dépendant du temps $u_t: X \to \mathbb{R}^d$ tel que le flot induit par $u_t$ transporte la distribution initiale $\rho_0$ vers la séquence observée de marginales $(\rho_t)_{t \in [0, T]}$.

Une difficulté fondamentale dans ce contexte est que l'équation de continuité, $\partial_t \rho_t + \nabla \cdot (\rho_t u_t) = 0$, ne fournit qu'une contrainte sous-déterminée sur le champ de vitesse. L'équation contraint uniquement la divergence pondérée par $\rho_t$ du flot, laissant les composantes à divergence nulle (solénoïdales) du champ de vitesse non contraintes. Cette « liberté de jauge » implique qu'une infinité de champs de vitesse peuvent produire la même évolution des marginales temporelles.

Les méthodologies existantes résolvent souvent cette non-unicité en codant en dur un choix de jauge spécifique : la minimisation de l'énergie cinétique. Ce principe de sélection, enraciné dans la théorie du transport optimal, force le champ de vitesse à être le gradient d'un potentiel scalaire ($u_t = \nabla s_t$). Bien qu'optimal en termes d'énergie cinétique, cette restriction gradient impose un biais inductif qui peut être préjudiciable lorsque les dynamiques sous-jacentes impliquent des composantes rotationnelles significatives (par exemple, des systèmes hamiltoniens ou des fluides incompressibles). Imposer une structure gradient à des dynamiques rotationnelles peut entraîner des potentiels hautement oscillatoires et pathologiques, difficiles à représenter et à apprendre, conduisant à une faible précision distributionnelle.

2. Méthodologie : Flots d'Inférence Non-Gradientes (NGIF)

Les auteurs proposent les Flots d'Inférence Non-Gradientes (NGIF), un algorithme qui découple la tâche de l'appariement des marginales temporelles de la tâche de sélection d'un champ de vitesse spécifique.

Formulation Faible de l'Équation de Continuité :
Au lieu d'imposer l'équation de continuité ponctuellement, NGIF utilise une formulation faible (basée sur les moments). Pour un ensemble de fonctions de test $\Phi$, la méthode exige que le taux de variation de l'espérance de n'importe quelle fonction de test $\phi \in \Phi$ sous la marginale $\rho_t$ corresponde au transport prédit par le champ de vitesse candidat :
$$\frac{d}{dt} \mathbb{E}_{x \sim \rho_t}[\phi(x)] = \mathbb{E}_{x \sim \rho_t}[\nabla \phi(x) \cdot u_t(x)]$$
Cette identité est dérivée en intégrant l'équation de continuité contre des fonctions de test et en appliquant l'intégration par parties.

Perte Empirique et Caractéristiques de Fourier Aléatoires :
Pour opérationnaliser cette contrainte, les auteurs emploient des fonctions de test de type caractéristiques de Fourier aléatoires. Les fréquences $\omega$ sont échantillonnées à partir d'une distribution $\nu$ (en utilisant des largeurs de bande multi-échelles pour capturer des structures à différentes résolutions), générant des fonctions de test de la forme $\sin(\omega^\top x)$ et $\cos(\omega^\top x)$.
La perte empirique minimise le résidu de l'équation de continuité faible sur ces fonctions de test. Crucialement, les dérivées temporelles des moments sont estimées via des splines de lissage ajustées aux moments empiriques des données d'entraînement, permettant un pré-calcul et une réduction de la variance.

Régularisation Explicite de Jauge :
Plutôt que de restreindre la classe d'hypothèses aux champs gradients, NGIF introduit un régularisateur de jauge explicite $G(u)$ dans l'objectif d'optimisation :
$$\min_{u} \mathcal{L}(u) + \lambda G(u)$$
où $\mathcal{L}(u)$ est la perte de résidu de continuité faible. Cela permet à l'utilisateur de sélectionner parmi une large famille de biais structurels. L'article propose trois régularisateurs spécifiques :

1. Énergie Cinétique ($G_{KIN}$) : Minimise $\int \|u_t\|^2 \rho_t$, retrouvant l'approche standard basée sur le gradient mais comme une pénalité douce plutôt qu'une contrainte dure.
2. Pénalité de Rotation ($G_{CURL}$) : Pénalise la partie antisymétrique du Jacobien, décourageant la rotation et biaisant vers des dynamiques de type gradient sans imposer une paramétrisation par potentiel.
3. Pénalité de Divergence ($G_{DIV}$) : Pénalise $\nabla \cdot u_t$, favorisant des flots approximativement incompressibles. Ceci est particulièrement utile pour le transport de type fluide où les vraies dynamiques sont à divergence nulle.

En utilisant un réseau de neurones pour paramétrer directement $u_t$ (plutôt qu'un potentiel $s_t$), la méthode évite les complexités computationnelles de la rétropropagation à travers les dérivées spatiales d'un potentiel et permet l'apprentissage de champs non-gradients.

3. Contributions Clés

L'article expose trois contributions principales :

1. Découplage de l'Appariement des Marginales et du Fixage de Jauge : Les auteurs formulent l'inférence des dynamiques de population en utilisant des contraintes de continuité faible, séparant l'appariement des marginales temporelles de la sélection de la structure du champ de vitesse. La non-unicité est traitée via un régularisateur de jauge explicite et choisi par l'utilisateur.
2. Contraintes Faibles Évolutives : La méthode instancie les contraintes faibles en utilisant des fonctions de test de caractéristiques de Fourier aléatoires, produisant une fonction de perte computationnellement efficace et évolutive.
3. Apprentissage Non-Gradient : L'approche permet l'apprentissage de champs de vitesse non-gradients, ce qui améliore la représentabilité et la stabilité. Elle démontre que l'assouplissement de la contrainte gradient conduit à une inférence de dynamiques de population plus précise par rapport aux bases de référence restreintes aux gradients.

4. Résultats Expérimentaux

Les auteurs évaluent NGIF sur une variété de problèmes physiques de faible et de haute dimension :

• Exemple de Gigli (Dynamiques Rotationnelles) : Dans un montage où des composantes gaussiennes tournent sur un cercle, les méthodes basées sur le gradient échouent à capturer le mouvement rotationnel simple, produisant à la place des potentiels hautement oscillatoires. NGIF avec un régularisateur de rotation récupère avec précision le champ de vitesse rotationnel lisse avec seulement une augmentation marginale de l'énergie cinétique par rapport à la solution gradient optimale.
• Particules Traceuses dans un Écoulement Turbulent : Dans un écoulement turbulent forcé par Kolmogorov (où la vérité terrain est à divergence nulle), NGIF avec un régularisateur de divergence ($G_{DIV}$) produit des trajectoires de particules et des reconstructions de densité qui correspondent étroitement à la vérité terrain. Les bases de référence basées sur le gradient (Action Matching, DICE, HOAM) performent nettement moins bien.
• Instabilités Vlasov-Poisson : Sur des problèmes de double flux, de bosse sur la queue, et d'amortissement de Landau fort, les variantes de NGIF surpassent les méthodes basées sur le gradient de l'état de l'art (AM, HOAM, DICE) dans la prédiction de l'évolution de l'énergie électrique. Le régularisateur de divergence permet un mouvement de particules plus riche, améliorant la précision de la distribution finale.
• Turbulence de Haute Dimension : Dans une simulation de champ de vorticité 128x128, NGIF appliqué à un espace latent capture avec précision la décroissance de l'enstrophie (une mesure statistique de l'écoulement), démontrant que le flot appris reproduit les statistiques saillantes au niveau de la population même lorsque les trajectoires individuelles sont chaotiques et irrécupérables.

5. Signification et Revendications

L'article revendique que l'inférence des dynamiques de population est intrinsèquement sous-déterminée, et que le choix de la jauge est une décision de modélisation plutôt qu'une recherche d'une solution universellement correcte. La signification de NGIF réside dans sa capacité à :

• Éviter des Cibles Pathologiques : En ne codant pas en dur la jauge de l'énergie cinétique minimale/gradient, la méthode évite la nécessité d'apprendre des potentiels hautement oscillatoires qui surgissent lorsqu'on force des structures gradient sur des dynamiques rotationnelles.
• Intégrer des Priors Physiques : Elle fournit un cadre modulaire pour intégrer des connaissances physiques spécifiques (par exemple, l'incompressibilité) directement par le choix du régularisateur de jauge, sans nécessiter de flots de référence ou de données de vitesse au niveau des échantillons.
• Améliorer la Précision Distributionnelle : Les expériences suggèrent que pour des systèmes avec un transport non-potentiel, les approches non-gradients produisent une précision distributionnelle supérieure par rapport aux bases de référence restreintes aux gradients.

Les auteurs concluent que, bien que l'équation de continuité faible ne contraine que la divergence du flux, la sélection explicite d'un régularisateur de jauge permet l'apprentissage de modèles dynamiques mieux alignés avec la physique sous-jacente du système, en particulier dans des régimes où les données de trajectoire sont indisponibles ou non informatives.