🤖 machine learning

XP-JEPA: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics

Le document introduit XP-JEPA, un cadre d'apprentissage cross-prédictif qui ancre la dynamique latente visuelle dans des trajectoires physiques privilégiées lors de l'entraînement afin d'améliorer significativement la prévisibilité et la performance de contrôle, tout en abandonnant la branche physique pour un déploiement uniquement visuel.

Auteurs originaux : Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Publié 2026-08-26

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kehan Wen, Ziming Li, Siyuan Luo, Fan Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots capables de planifier à l'avance s'appuient souvent sur un raccourci mental : ils construisent une carte interne du monde, une sorte de simulation où ils peuvent tester différents mouvements avant de les effectuer réellement. Pour ce faire, le robot prend une photo de son environnement, transforme cette image en un ensemble simplifié de nombres, puis demande à un programme informatique de deviner à quoi ces nombres ressembleront un instant plus tard si le robot pousse, soulève ou tourne quelque chose. Si la supposition correspond à l'objectif, le robot exécute le mouvement. Ce processus fonctionne bien lorsque la carte interne du robot reflète fidèlement la façon dont le monde physique change. Cependant, un problème courant survient lorsque le robot apprend à prédire l'avenir en se basant uniquement sur des images. Il peut devenir trop malin pour son propre bien, trouvant des motifs dans les données visuelles qui sont faciles à prédire mais qui n'ont rien à voir avec la physique réelle. Par exemple, le robot pourrait apprendre qu'un certain gris suit généralement un certain bleu, même si l'objet réel n'a pas bougé. Cela crée une compréhension fragile où les prédictions du robot s'éloignent de la réalité, provoquant son échec lorsqu'il tente d'interagir avec le monde.

Une équipe de chercheurs de l'Université nationale de Singapour a développé une nouvelle méthode pour corriger ce défaut, garantissant que les prédictions internes du robot restent ancrées dans les lois de la physique. Ils appellent leur approche XP-JEPA. Au lieu de laisser le robot apprendre uniquement en regardant des vidéos, ils lui ont donné un second flux d'informations pendant l'entraînement : un compte rendu direct de l'état physique des objets, tel que leur position exacte, leur taille et leur orientation dans l'espace. Ces données physiques sont comme une couche cachée de vérité que le robot ne peut pas voir avec sa caméra, mais à laquelle il peut accéder pendant qu'il apprend. Les chercheurs ont conçu un système où le cerveau visuel du robot et son cerveau physique travaillent ensemble. Les deux côtés reçoivent le même historique d'actions et tentent de prédire l'avenir. Le côté visuel prédit à quoi ressemblera la prochaine image, tandis que le côté physique prédit les prochains coordonnées. Crucialement, le système force ces deux prédictions à être en accord l'une avec l'autre. Si le côté visuel prédit qu'un bloc va monter, mais que le côté physique prédit qu'il reste immobile, le système apprend que la prédiction visuelle est erronée. Ce processus de vérification croisée enseigne au système visuel à prêter attention aux changements physiques réels qui comptent, plutôt que de simplement deviner en se basant sur des motifs visuels superficiels.

Les chercheurs ont testé cette méthode sur une grande variété de tâches robotiques, incluant le fait de pousser des blocs, d'empiler des objets et de lancer des articles dans des récipients. Ils ont comparé leur nouveau système à des modèles standards qui apprennent uniquement à partir d'images. Les résultats étaient frappants. Lorsque les chercheurs ont laissé le nouveau système exécuter une simulation d'une tâche, l'erreur de sa prédiction a augmenté très lentement au fil du temps. En revanche, la prédiction du modèle standard a dérivé de manière significative, devenant peu fiable après seulement quelques étapes. Plus précisément, la nouvelle méthode a réduit l'erreur de prédiction d'une valeur de 0,361 à 0,104. Cette amélioration de la précision s'est traduite directement par une meilleure performance. Lorsque les robots ont été sollicités pour effectuer réellement les tâches, le nouveau système a réussi 78,2 % du temps, un bond substantiel par rapport au taux de réussite de 53,6 % du modèle standard basé uniquement sur la vision. L'amélioration s'est maintenue à travers six types d'interactions différents, montrant que la méthode fonctionne pour une large gamme de défis physiques.

L'une des découvertes les plus importantes de l'étude est ce qui arrive lorsque le robot cesse d'utiliser les données physiques. L'information physique n'est disponible que pendant la phase d'entraînement du robot ; ce n'est pas quelque chose qu'un robot réel peut mesurer lors d'une mission. Les chercheurs ont constaté qu'une fois que le robot a terminé son apprentissage avec l'aide des données physiques, ils pouvaient supprimer entièrement les capteurs physiques. Le robot opérait alors en utilisant uniquement sa caméra, tout comme les modèles standards. Malgré la perte d'accès aux données physiques, le robot a conservé sa capacité améliorée à prédire l'avenir. Cela suggère que le robot avait réussi à intérioriser les règles de la physique dans sa compréhension visuelle. Il a appris à voir le monde d'une manière qui respecte naturellement la façon dont les objets bougent et interagissent, plutôt que de simplement mémoriser des astuces visuelles.

L'étude a également exploré si le simple fait d'enseigner au robot à reconnaître où se trouvent les objets serait suffisant pour résoudre le problème. Ils ont essayé une approche différente où le robot était forcé de deviner la position d'un objet directement à partir d'un cliché unique de l'image. Bien que cette méthode ait rendu le robot très efficace pour identifier où se trouvait un objet à un moment précis, elle n'a pas aidé le robot à prédire comment cet objet allait bouger à l'avenir. Le robot pouvait toujours deviner la position avec précision, mais ses prédictions sur la trajectoire future de l'objet étaient tout aussi peu fiables que celles du modèle standard. Cette distinction est vitale : savoir où se trouve quelque chose en ce moment n'est pas la même chose que comprendre comment cela va changer. La nouvelle méthode a réussi parce qu'elle s'est concentrée sur la relation entre les actions et les états futurs, utilisant les données physiques pour guider l'apprentissage de cette relation, plutôt que de simplement apprendre au robot à étiqueter la scène actuelle.

Les chercheurs ont également testé ce qui se passerait si la connexion entre les données visuelles et physiques était rompue. Dans une expérience, ils ont associé la vidéo visuelle d'une tâche avec les données physiques d'une tâche complètement différente et sans rapport. Dans ce scénario, les prédictions du robot sont devenues chaotiques, et sa capacité à contrôler le robot s'est effondrée pour atteindre un taux de réussite de seulement 16,6 %. Ce résultat prouve que le système repose sur l'appariement correct des informations visuelles et physiques. Il ne suffit pas d'avoir accès aux données physiques ; le robot doit apprendre le lien spécifique entre ce qu'il voit et la façon dont cette scène évolue physiquement. L'étude confirme que l'amélioration provient de l'apprentissage de la dynamique correcte du monde, et non simplement de l'accès à plus de données.

En fin de compte, ce travail démontre une voie vers une planification robotique plus fiable. En utilisant une vue privilégiée et temporaire du monde physique pour entraîner le système visuel du robot, les chercheurs ont créé un modèle bien plus apte à imaginer l'avenir. Le robot apprend à anticiper les conséquences de ses actions avec une plus grande précision, réduisant le risque d'échec lorsqu'il tente de manipuler des objets réels. Bien que les expériences actuelles aient été menées dans un environnement simulé, l'approche offre une stratégie claire pour enseigner aux machines à comprendre le monde physique, non pas comme une collection d'images, mais comme un système de pièces mobiles régies par des règles cohérentes. Le robot n'a pas besoin de transporter des capteurs physiques lourds dans le monde réel ; il lui suffit d'avoir appris la bonne façon de voir.

Résumé Technique : XP-JEPA : Ancrage Physique par Prédiction Croisée pour des Dynamiques Latentes Prévisibles

1. Énoncé du Problème

Les modèles de monde latents permettent la planification en effectuant une recherche dans l'espace des représentations : un agent encode la scène actuelle, projette les actions candidates à travers une dynamique apprise, et sélectionne les actions dont les résultats prédits se rapprochent d'un objectif. Cette approche repose sur des représentations dotées de dynamiques conditionnées par l'action qui soient fiables.

Cependant, les modèles auto-prédictifs (où l'encodeur et le prédicteur sont optimisés conjointement) souffrent souvent d'un mode de défaillance spécifique : la représentation et le prédicteur co-adaptent des transitions latentes qui sont prévisibles en interne mais seulement faiblement contraintes par l'évolution physique sous-jacente de la scène. Comme l'illustre l'article, deux états physiques distincts (par exemple, un bloc tenu par une pince versus un bloc posé sur une table le long du même rayon de caméra) peuvent projeter des images presque identiques. Un objectif auto-prédictif n'exige pas que leurs transitions latentes se séparent, même si elles évoluent de manières opposées sous la même action. Cette ambiguïté conduit à une « dérive de projection » (rollout drift), où les futurs prédits divergent considérablement de la réalité physique, compromettant ainsi la performance du contrôle.

Bien que les états physiques privilégiés (ex: poses d'objets, vitesses) fournissent une référence externe pour réduire cette ambiguïté, les approches existantes les utilisent souvent simplement pour superviser le contenu de la représentation (via la distillation ou la régression d'état) ou le comportement en aval. L'article soutient que rendre les états physiques décodables à partir d'un instantané latent unique ne contraint pas nécessairement la manière dont ces latents évoluent dans le temps sous l'effet d'une action. Le défi central est d'utiliser les trajectoires privilégiées pour superviser la transition prédictive elle-même, garantissant que les dynamiques apprises sont ancrées dans la réalité physique sans nécessiter d'entrées privilégiées au moment du test.

2. Méthodologie : XP-JEPA

Les auteurs introduisent XP-JEPA (Cross-Predictive JEPA), un cadre qui traite les observations visuelles et les états physiques privilégiés comme deux vues d'une même trajectoire. Contra lieu aux méthodes qui distillent une cible physique fixe dans une représentation visuelle, XP-JEPA couple l'évolution des deux modalités via un prédicteur partagé.

Architecture de Base et Objectif

XP-JEPA s'appuie sur la base LeWM (Joint-Embedding Predictive Architecture), qui apprend conjointement un encodeur visuel $f_\theta$ et un prédicteur conditionné par l'action $g_\psi$ . XP-JEPA l'augmente avec une branche physique :

Double Encodeur : Un encodeur visuel $f_\theta$ traite les observations $o_t$ , et un encodeur physique $h_\phi$ traite les états privilégiés $s_t$ .
Prédicteur Partagé : Un prédicteur unique conditionné par l'action $g_\psi$ fait progresser les historiques à partir de soit une modalité ( $Z^o_t$ ou $Z^s_t$ ) dans le temps.
Perte de Prédiction Croisée (Cross-Predictive Loss) : Le modèle optimise une fonction de perte contenant quatre termes :
- Termes intra-modalité : Auto-prédiction visuelle ( $g_\psi(Z^o_t, a_t) \to z^o_{t+1}$ ) et auto-prédiction physique ( $g_\psi(Z^s_t, a_t) \to z^s_{t+1}$ ).
- Termes cross-modaux : Un historique visuel prédit le futur de la représentation physique ( $g_\psi(Z^o_t, a_t) \to z^s_{t+1}$ ), et un historique physique prédit le futur de la représentation visuelle ( $g_\psi(Z^s_t, a_t) \to z^o_{t+1}$ ).

La fonction de perte est définie par :
$\mathcal{L}_{\text{XP-JEPA}} = \sum_{m,n \in \{o,s\}} \| g_\psi(Z^m_t, a_t) - z^n_{t+1} \|^2_2 + \beta [\Omega(z^o) + \Omega(z^s)]$
où $\Omega$ est un régularisateur d'isotropie (SIGReg) pour prévenir l'effondrement de la représentation.

Interface Unifiée d'État Privilégié

Pour appliquer cela à des tâches hétérogènes (ex: saisie, poussée, empilement), les auteurs conçoivent un schéma de corps rigide unifié. Les scènes sont représentées par un ensemble de tokens :

Tokens d'Objets : Contiennent la géométrie canonique (SDF agrégé), les demi-extents, la pose (rotation et position).
Token d'Effecteur : Rotation et position de l'effecteur terminal, ouverture des doigts.
Token de Table : Un token appris complétant l'ensemble.
Les scènes sont complétées par un nombre fixe de slots d'objets (ex: six), les slots inutilisés étant masqués. Cela permet à un seul encodeur physique de traiter diverses configurations sans étiquettes spécifiques à la tâche.

Entraînement vs Déploiement

Entraînement : Les deux encodeurs et le prédicteur partagé sont entraînés conjointement. La branche physique agit comme une seconde vue prédictive en ligne, contraignant la dynamique visuelle.
Déploiement : L'encodeur physique $h_\phi$ et l'état privilégié $s_t$ sont écartés. Le modèle déployé ne consiste qu'en l'encodeur visuel et le prédicteur. Il reçoit les mêmes observations visuelles que le modèle de base, sans entrées privilégiées lors de l'inférence. La planification est effectuée en projetant des séquences d'actions candidates dans la dynamique latente apprise et en les évaluant par rapport à un objectif encodé.

3. Contributions Clés

Cross-Predictive JEPA : Une architecture novatrice qui ancre les transitions latentes dans des trajectoires physiques privilégiées en faisant progresser les historiques visuels et physiques à travers un prédicteur partagé et en faisant correspondre chaque prédiction aux futurs des deux modalités. Cela couple la correspondance ponctuelle avec la prédiction conditionnée par l'action.
Interface Unifiée d'État Privilégié : Un schéma de corps rigide permettant à un seul encodeur physique d'opérer sur diverses configurations d'objets et d'interactions sans étiquettes de catégorie ou champs d'état spécifiques à la tâche.
Séparation des Propriétés : Ce travail distingue explicitement la décodabilité (récupérer les variables physiques d'un instantané), la prévisibilité (prédiction fiable conditionnée par l'action au fil du temps) et l'utilité de planification. Il démontre qu'une haute décodabilité ne garantit pas une haute prévisibilité ou le succès du contrôle.

4. Résultats Expérimentaux

Les auteurs évaluent XP-JEPA sur une suite multi-tâches (basée sur Meta-World, 22 configurations) et quatre environnements à tâche unique (Push-T, OGBench-Block, Two-Room, Reacher).

Prévisibilité (Forecastability)

Dérive de Projection (Rollout Drift) : XP-JEPA réduit significativement la dérive relative d'un prédicteur nouvellement ajusté. Sur la suite multi-tâches, la dérive passe de 0,361 (base visuelle) à 0,104.
Généralisation : Cette amélioration est constante dans tous les environnements à tâche unique (ex: la dérive de Two-Room chute de 0,503 à 0,221).
Ablation : Le retrait de la prédiction croisée (ALIGN-ONLY) réduit moins efficacement la dérive (0,158), tandis que le retrait du prédicteur partagé (CROSS-ONLY) maintient une faible dérive (0,101), indiquant que la prédiction cross-modale est le principal moteur de la prévisibilité.

Performance de Contrôle

Taux de Succès : Sur la suite multi-tâches, XP-JEPA augmente le succès moyen de contrôle de 53,6 % à 78,2 % (+24,6 points de pourcentage).
Dépendance à la Tâche : Bien que la prévisibilité s'améliore universellement, les gains de contrôle varient selon la tâche. Par exemple, XP-JEPA surpasse nettement la base dans Two-Room et OGBench-Block, mais montre des gains marginaux dans Push-T et Reacher.
Comparaison avec la Régression : Une base qui régresse une cible d'état complète basée sur la pose à partir du latent visuel (REGRESS) atteint une haute décodabilité de position ( $R^2 = 0,991$ ) mais échoue à améliorer la prévisibilité (dérive de 0,373) ou le contrôle (53,7 % de succès). Cela confirme que le contenu d'un instantané seul ne garantit pas une prédiction de projection fiable.

Insights d'Ablation

Correspondance vs Prédiction : La correspondance visuelle-physique correcte (faire correspondre la bonne trajectoire) est cruciale pour le contrôle. L'ablation SHUFFLE (utilisant l'architecture correcte mais des trajectoires décalées) conserve une faible dérive (0,167) mais fait chuter le contrôle à 16,6 %, prouvant que des dynamiques prévisibles ne suffisent pas si elles ne préservent pas les distinctions pertinentes pour la sélection d'actions.
Partage du Prédicteur : Le simple partage du prédicteur (SHARE-ONLY) apporte peu de gain (56,7 % de succès), suggérant que le couplage des modalités est plus important que le partage des poids.

5. Signification et Revendications

L'article affirme que l'ancrage physique par prédiction croisée produit des dynamiques latentes plus prévisibles pour le contrôle par projection sans nécessiter d'entrées privilégiées lors du test.

Mécanisme : L'amélioration ne provient pas simplement de l'encodage de plus d'informations physiques, mais de la contrainte de l'évolution prédictive de la représentation en utilisant des trajectoires physiques correspondantes.
Distinction : Ce travail clarifie que la « décodabilité » (pouvons-nous lire l'état ?) et la « prévisibilité » (pouvons-nous prédire le futur ?) sont des propriétés distinctes. Un modèle peut être hautement décodable mais faiblement prévisible, menant à un mauvais contrôle.
Limites : Les auteurs notent modestement que les résultats sont limités à la simulation, nécessitent des trajectoires physiques appariées pendant l'entraînement et reposent sur un schéma d'état de corps rigide fixe. L'extension à des observations du monde réel et à des interactions physiques plus larges reste un travail futur.

En résumé, XP-JEPA démontre qu'en traitant l'état privilégié comme une seconde vue prédictive et en imposant une cohérence cross-modale dans les dynamiques de transition, on peut apprendre des modèles de monde visuels robustes aux ambiguïtés physiques, conduisant à une amélioration significative de la planification et du contrôle.