Résumé technique : Mécanismes de la mauvaise généralisation dans la modélisation de séquences physiques

1. Définition du problème : Mauvaise généralisation physique

Les modèles génératifs de séquences sont de plus en plus utilisés pour planifier des mouvements dans des domaines physiques, tels que la robotique, la conduite autonome et la dynamique moléculaire. Les ingénieurs élaborent souvent des jeux de données pour spécifier des distributions souhaitées sur des grandeurs physiques (par exemple, la distance parcourue, l'énergie mécanique) en sélectionnant des trajectoires de démonstration couvrant une plage spécifique. L'attente est qu'un modèle entraîné sur ces trajectoires reproduise la distribution prévue de ces grandeurs physiques lors de la génération.

Cependant, les auteurs identifient un mode de défaillance qualifié de mauvaise généralisation physique. Dans ce scénario, un modèle génère avec succès des trajectoires individuelles plausibles (par exemple, résoudre un labyrinthe) mais échoue à préserver la distribution agrégée de la grandeur physique d'intérêt. Par exemple, un planificateur par diffusion entraîné sur des données de navigation dans un labyrinthe avec une distribution uniforme des distances parcourues peut générer des chemins systématiquement plus longs que les données d'entraînement, déplaçant la masse de probabilité vers des distances plus élevées. Cela se produit bien que le modèle ait appris la structure locale du mouvement, suggérant que l'objectif marginal de minimisation de la perte de trajectoire autorise des déviations locales qui, lorsqu'elles sont agrégées par une mesure physique, entraînent une distorsion de la distribution globale.

2. Méthodologie et interprétation mécaniste

Formalisation

Les auteurs formalisent le problème en séparant la grandeur physique scalaire $r$ de la trajectoire $x$. Les données sont générées à partir d'une distribution conjointe $\rho(r, z)$, où $z$ représente la variation résiduelle. Le modèle est entraîné marginalement sur les trajectoires $q(x) = \int p(x|r,z)\rho(r,z)drdz$. L'objectif est que la marge induite par le modèle sur $r$, notée $\bar{\pi}_{model}$, corresponde à la loi a priori cible $\pi(r)$. L'échec est quantifié comme une dérive de grandeur, mesurée par la distance (par exemple, la variation totale) entre $\bar{\pi}_{model}$ et $\pi$.

Le noyau de déviation des données

Pour expliquer et prédire cette dérive, les auteurs proposent une interprétation mécaniste basée sur les erreurs locales du modèle. Ils soutiennent que les modèles génératifs standards (spécifiquement les modèles de diffusion) introduisent de petites déviations locales dans l'espace des trajectoires (par exemple, interpolation de modes, fuite de signal, recombinaison locale). Bien que ces déviations soient faibles dans l'espace des trajectoires, elles peuvent être amplifiées ou déplacées lorsqu'elles sont mappées à travers une fonction de mesure physique $m(r|x)$.

Pour opérationnaliser cela, ils introduisent le noyau de déviation des données ($D_{arch}^\sigma$) :

• Définition : Une distribution conditionnelle sur les déviations $\delta$ autour d'une trajectoire de données $x$, résumant comment une famille d'architectures spécifique disperse la masse de probabilité.
• Construction : Pour les modèles de diffusion, ce noyau est instancié en échangeant de petits fragments d'une trajectoire avec des fragments similaires provenant d'autres données d'entraînement (pondérés par la distance gaussienne) et en ajoutant du bruit gaussien pour rendre compte de la variance inexpliquée.
• Prédiction : Le noyau est utilisé pour calculer un noyau de transport de grandeur $K_{dev}(r'|r)$, qui représente la probabilité qu'une trajectoire associée à la grandeur $r$ soit récupérée comme $r'$ après une déviation. La distribution prédite est alors $\bar{\pi}_{dev}(r') = \int K_{dev}(r'|r)\pi(r)dr$.

Crucialement, ce mécanisme de prédiction ne nécessite pas un modèle entraîné ; il repose uniquement sur la distribution des données, les tendances d'erreur connues de l'architecture et la règle de mesure.

3. Validation expérimentale

Les auteurs valident leur mécanisme en utilisant à la fois des tâches synthétiques contrôlées et des systèmes physiques appliqués.

Tâches synthétiques

Ils ont construit trois familles de trajectoires 1D régies par un paramètre scalaire $r$ :

1. Sinusoïde : $x_t = \frac{1}{2}(\sin(2\pi t/r + \phi_0) + 1)$. Cela sert de référence avec un exposant de Lyapunov nul (pas d'amplification d'erreur).
2. Carte en tente : $x_{t+1} = r \min\{x_t, 1-x_t\}$. Une application linéaire par morceaux où la sensibilité augmente avec $r$.
3. Carte logistique : $x_{t+1} = r x_t(1-x_t)$. Une application non linéaire avec une dynamique complexe.

Dans ces tâches, ils ont entraîné des modèles de diffusion U-Net 1D inconditionnels. Les résultats ont montré que les prédictions basées sur le noyau prévoyaient avec précision la direction et l'amplitude du déplacement de distribution (dérive) observé dans les modèles entraînés. Par exemple, le modèle a sur-représenté les valeurs intermédiaires de $r$ dans la carte en tente et sous-représenté les valeurs élevées de $r$, correspondant à la prédiction du noyau.

Tâches appliquées

Le mécanisme a été testé sur :

• Simulation de double pendule : Entraînement sur des trajectoires d'angles pour récupérer l'énergie mécanique. Le modèle a déplacé la distribution d'énergie vers le haut, une tendance précisément prédite par le noyau.
• Navigation Maze2D : Entraînement sur des données D4RL pour récupérer la longueur du chemin. Le modèle a produit des chemins avec des longueurs systématiquement plus grandes, correspondant à nouveau à la prédiction du noyau d'une distribution décalée vers la droite et resserrée.

4. Stratégies d'atténuation

L'article évalue trois catégories d'interventions pour réduire la mauvaise généralisation physique :

1. Modification du jeu de données (Repondération) : Tenter de rééquilibrer le jeu de données d'entraînement en suréchantillonnant les grandeurs sous-représentées. Les auteurs ont constaté que cela était inefficace et parfois contre-productif. Parce que le générateur est entraîné marginalement sur les trajectoires, la repondération n'empêche pas les erreurs locales de trajectoire de déplacer la masse de probabilité à travers les valeurs de grandeur.
2. Modification de l'interface générative (Modélisation conditionnelle) : Conditionner le modèle sur la grandeur souhaitée $r$. Bien que cela ait bien fonctionné pour des tâches synthétiques simples, cela n'a pas réussi à corriger entièrement la dérive dans des systèmes physiques complexes (double pendule, Maze2D). Cela s'explique par le fait que le conditionnement ne compense pas les erreurs locales dans l'espace des trajectoires et ne parvient pas à spécifier la distribution conjointe entre la grandeur demandée et la structure physique nécessaire (par exemple, la géométrie du labyrinthe).
3. Transformation de la représentation des données : Utiliser le noyau pour construire un nouveau système de coordonnées (un "espace de code") pour les données d'entrée. En appariant des points de code avec des trajectoires d'entraînement de telle sorte que les voisinages de décodage locaux récupèrent un mélange équilibré de valeurs de grandeur, les auteurs ont entraîné un modèle inconditionnel sur ces codes. Cette approche a réduit de manière constante la dérive dans toutes les tâches synthétiques et appliquées tout en préservant la qualité et la diversité des échantillons.

5. Contributions clés et signification

L'article apporte les contributions suivantes :

• Identification et formalisation : Il définit la "mauvaise généralisation physique" comme un mode de défaillance spécifique où les objectifs d'entraînement marginaux conduisent à des distributions agrégées incorrectes de grandeurs physiques.
• Interprétation mécaniste : Il propose que les déviations locales induites par le modèle, propagées à travers les règles de mesure physique, sont la cause racine de la dérive distributionnelle.
• Outil prédictif : Il développe le noyau de déviation des données, une méthode pour prédire les déplacements de distribution sans entraîner de modèle, en simulant les erreurs architecturales.
• Validation empirique : Il démontre que ce mécanisme prédit avec précision la dérive dans les systèmes dynamiques synthétiques et les applications réelles telles que la navigation dans un labyrinthe et la simulation de pendule.
• Atténuation par la représentation : Il propose et valide une transformation de représentation des données informée par le noyau comme une stratégie d'atténuation structurellement prometteuse, surpassant le rééquilibrage des jeux de données et la modélisation conditionnelle.

Signification

Les auteurs soutiennent que la mauvaise généralisation physique est une conséquence anticipable de l'interaction entre les erreurs locales du modèle et la géométrie des mesures physiques. Ce travail déplace l'accent de la qualité des échantillons individuels (vraisemblance, FID) vers les propriétés distributionnelles agrégées des échantillons générés. En fournissant un compte rendu mécaniste et un outil prédictif, l'article offre une voie pour concevoir des systèmes d'IA physique plus sûrs et plus transparents, garantissant que les comportements générés adhèrent non seulement à la plausibilité locale, mais aussi aux contraintes physiques globales et aux distributions intentionnelles.

L'article note également que, bien que le cadre actuel soit adapté aux modèles de diffusion, le principe sous-jacent — que les erreurs locales dans un processus génératif peuvent distordre les grandeurs physiques agrégées — peut s'appliquer à d'autres architectures (par exemple, Transformers, VAE) et domaines (par exemple, texte-à-parole, où des décalages de débit de parole ont été observés), suggérant une portée plus large pour les futures investigations sur les noyaux composés pour les pipelines multi-étapes.