Résumé technique : Débloquer la généralisation temporelle dans les modèles de dynamique vidéo hamiltonienne

Énoncé du problème

Les modèles de mondes actuels opèrent principalement sur des grilles à temps discret avec un pas de temps fixe intégré dans leur architecture. Bien qu'efficaces à leur résolution d'entraînement, ces modèles manquent de mécanismes pour généraliser à travers des résolutions temporelles variables. Cette limitation entrave les applications nécessitant une planification hiérarchique (échelles de temps grossières et fines), le transfert sim-to-real (où les taux de simulation et de contrôle diffèrent), et les moteurs scientifiques qui doivent interroger la dynamique à plusieurs échelles de temps.

Bien que les Neural ODE offrent une alternative en temps continu en paramétrant la dynamique comme un champ de vecteurs, elles manquent souvent de biais inductifs physiques, ce qui entraîne une instabilité lors des déroulements à long horizon en raison de violations des lois de conservation. Les réseaux génératifs hamiltoniens (HGN) répondent à cela en ancrant les prédictions dans une fonction d'énergie en temps continu, permettant théoriquement l'indépendance vis-à-vis de la fréquence d'images. Cependant, en pratique, les HGN ne parviennent pas à maintenir la généralisation temporelle dans les environnements non conservatifs (forcés de l'extérieur, dissipatifs) lorsqu'ils sont évalués à des pas de temps plus grands que ceux vus durant l'entraînement. Les modes de défaillance spécifiques et leurs remèdes dans ces contextes n'ont pas été systématiquement caractérisés.

Méthodologie

Les auteurs étendent l'architecture du réseau génératif hamiltonien (HGN) pour gérer les environnements forcés de l'extérieur et dissipatifs en utilisant une structure Port-Hamiltonienne. Le modèle se compose de :

1. Encodeur/Décodeur : Un encodeur convolutionnel mappe les trames de pixels vers un état d'espace des phases latent $(q, p)$ (position et impulsion). Un décodeur reconstruit les images à partir des coordonnées de position $q$.
2. Prédicteur Port-Hamiltonien : La dynamique est régie par les équations :
   $$\dot{q} = \frac{\partial H}{\partial p}, \quad \dot{p} = -\frac{\partial H}{\partial q} - \gamma \frac{\partial H}{\partial p} + G(a)$$
   Où $H(q, p)$ est un Hamilton appris séparable, $\gamma$ est un coefficient d'amortissement appris, et $G(a)$ est une carte action-force apprise.
3. Intégrateur : Un intégrateur leapfrog symplectique modifié est utilisé, qui intègre l'amortissement et le forçage de manière symétrique dans des demi-étapes de quantité de mouvement.

Pour diagnostiquer pourquoi la généralisation échoue à des pas de temps plus grands (extrapolation), les auteurs introduisent un protocole de sous-étapes au moment de l'inférence. Cela consiste à diviser un pas d'évaluation unique $\Delta t$ en $N$ sous-étapes d'intégration plus petites ($\Delta t/N$) tout en préservant l'impulsion d'action totale. Cela permet aux auteurs de distinguer les échecs de représentation (apprentissage d'un mauvais champ de vecteurs continu) des échecs numériques (erreur de troncature due à une intégration sous-résolue).

Contributions clés et analyse des défaillances

Le papier identifie deux modes de défaillance distincts qui surviennent lorsque les HGN sont déroulés à des pas de temps dépassant le régime d'entraînement, ainsi que des correctifs ciblés pour chacun :

1. Croissance de la magnitude latente (Explosion d'énergie)

• Cause : Dans les contextes non contraints, la carte action-force $G(a)$ n'est pas bornée. À de grands pas de temps, le solveur numérique dépasse la cible, et la force non contrainte injecte de l'énergie le long de directions instables de l'espace des phases. Cela conduit à une croissance exponentielle de la magnitude latente et à des artefacts de haute fréquence dans la vidéo décodée.
• Correction : Les auteurs appliquent une normalisation spectrale à la carte action-force $G(a)$, bornant sa norme à 1. Cela limite l'injection d'énergie par étape, empêchant l'explosion d'amplitude à travers la gamme de pas de temps testée.

2. Accumulation de dérive de phase (Désalignement temporel)

• Cause : Même avec l'explosion d'énergie contrainte, les prédictions à de grands pas de temps dérivent de la phase de la vérité terrain. Cela se manifeste comme une accumulation d'erreur de troncature globale provenant d'un intégrateur sous-résolu, plutôt que comme un échec de la représentation Hamiltonienne apprise elle-même.
• Correction : Les auteurs emploient le sous-étapage à l'inférence. En augmentant le nombre d'étapes d'intégration $N$ au sein d'un intervalle d'observation unique, le pas d'intégration effectif est réduit. Lorsque le pas d'intégration effectif approche l'échelle d'entraînement, la dérive de phase est éliminée et l'alignement temporel est récupéré.

Résultats

Les auteurs évaluent leur "port-HGN borné" sur un oscillateur masse-ressort amorti et forcé rendu sous forme de vidéo RGB 64x64. Le modèle est entraîné à un pas de temps de $\Delta t = 0,4$ et évalué à divers pas de temps allant de 0,05 à 1,5.

• Interpolation : Le modèle généralise avec succès à des pas de temps plus petits que l'entraînement ($\Delta t < 0,4$) grâce aux propriétés intrinsèques de l'intégrateur symplectique, qui affine n'importe quel pas cible sans réentraînement.
• Extrapolation :
  • Sans corrections, le modèle de base échoue à $\Delta t > 0,4$ en raison de l'explosion d'amplitude et de la dérive de phase.
  • L'application de la normalisation spectrale élimine l'explosion d'amplitude mais laisse subsister la dérive de phase.
  • L'application du sous-étapage (par exemple, $N=4$) au modèle normalisé spectralement permet de récupérer des prédictions de haute qualité (mesurées par MAE, PSNR, SSIM et LPIPS), même à des pas de temps nettement supérieurs à l'entraînement (par exemple, $\Delta t = 1,5$).
  • Les résultats démontrent que le champ de vecteurs appris est valide ; l'échec était purement numérique, résultant d'un décalage entre le pas d'intégration et les exigences de stabilité du solveur.

Signification et affirmations

Le papier affirme que l'incapacité des modèles vidéo hamiltoniens à généraliser à des résolutions temporelles variables n'est pas une limitation fondamentale de la représentation en temps continu apprise, mais plutôt une conséquence de l'instabilité numérique spécifique dans les contextes non conservatifs.

En combinant la normalisation spectrale du terme de forçage et le sous-étapage à l'inférence, les auteurs démontrent qu'un seul modèle entraîné à une fréquence d'images donnée peut prédire de manière stable la dynamique à des résolutions temporelles plus fines et plus grossières. Cela fournit une recette pratique pour permettre la généralisation temporelle dans la génération de vidéos en temps continu, permettant à ces modèles d'être interrogés à des fréquences d'images arbitraires sans réentraînement. Ce travail souligne que pour un déploiement réussi dans la planification hiérarchique ou le transfert sim-to-real, il faut traiter à la fois les contraintes d'injection d'énergie et la résolution numérique de l'intégrateur.