⚡ electrical engineering

Ground-JEPA: Learning Physically Grounded Latent World Models for Zero-Shot Dynamics Generalization of Legged Robots

Ground-JEPA introduit un modèle de monde latent minimal et ancré dans la physique qui parvient à une généralisation de la dynamique en zéro-shot et à une performance de contrôle supérieure pour les robots à pattes dans des environnements à haut degré de liberté sans dépendre de récompenses spécifiques à la tâche, défiant ainsi l'hypothèse selon laquelle l'apprentissage sans récompense est intrinsèquement inférieur pour les systèmes robotiques complexes.

Auteurs originaux : Yu-Xiang Wu, Yuyan Wu

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu-Xiang Wu, Yuyan Wu

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La boussole intérieure du robot

Imaginez que vous essayiez d'apprendre à un robot à traverser un champ rocailleux. Vous pourriez lui donner un ensemble de règles strictes, comme « lève le pied de exactement 10 centimètres », mais le monde réel est désordonné ; les rochers bougent, le sol est glissant et les jambes du robot pourraient être légèrement plus lourdes que prévu. C'est le défi du contrôle des robots à pattes : faire en sorte que les machines se déplacent de manière fluide et sûre dans des environnements imprévisibles. Pendant longtemps, les scientifiques ont tenté de résoudre ce problème en construisant des « modèles de dynamique » — essentiellement une carte mentale à l'intérieur du robot qui prédit ce qui se passera ensuite s'il bouge d'une certaine manière.

Traditionnellement, ces cartes mentales étaient construites en récompensant le robot pour les bonnes choses (comme rester debout) et en le punissant pour les mauvaises (comme tomber). C'est ce qu'on appelle l'apprentissage basé sur la récompense. Cependant, il y a un piège : si le robot commet une minuscule erreur de prédiction, cette erreur peut s'accumuler avec le temps, comme une boule de neige dévalant une colline, jusqu'à ce que la carte mentale du robot soit complètement fausse et qu'il s'écrase. Une autre approche, appelée Architectures de Prédiction par Imbrication de Latents (JEPAs), tente de faire abstraction des détails désordonnés du monde réel. Au lieu de prédire exactement où chaque pixel de la caméra du robot se trouvera, elle prédit une version compressée, un « résumé » ou une version « latente » du futur. Voyez cela comme un musicien prédisant la note suivante d'une chanson en ressentant le rythme, plutôt qu'en calculant l'exacte vibration de l'air. La grande question que les scientifiques se posent est la suivante : un robot peut-il apprendre à marcher parfaitement simplement en comprenant ce rythme interne, sans avoir besoin d'un enseignant pour lui dire constamment « bon travail » ou « essaie encore » ?

Ground-JEPA : Le robot qui a appris à marcher en ressentant le rythme

Une équipe de chercheurs a présenté un nouveau système appelé Ground-JEPA, qui suggère que les robots n'ont peut-être pas besoin de louanges ou de punitions constantes pour apprendre des mouvements complexes. Au lieu de cela, ils peuvent apprendre simplement en essayant de maintenir la cohérence entre leur « ressenti » interne du futur et la réalité.

Imaginez un robot apprenant à marcher non pas en se faisant dire « ne tombe pas », mais en essayant de s'assurer que son sens interne de « où je vais » correspond à son mouvement réel. Dans ce nouveau système, le robot ne cherche pas à reconstruire une vidéo parfaite du futur. Au lieu de cela, il compresse son expérience en un espace latent minuscule et efficace — une sorte de raccourci mental abstrait. L'astuce centrale réside ici dans une sonde inspirée de la physique. Bien que la carte mentale du robot soit abstraite, cette sonde agit comme un traducteur, convertissant ces pensées abstraites en physique réelle telle que la position, la vitesse et l'orientation. C'est comme si le robot pensait en concepts purs, mais possédait un traducteur intégré qui garantit que ces concepts respectent toujours les lois de la gravité et de la quantité de mouvement.

Les chercheurs ont découvert que le secret de cette réussite n'était pas seulement la traduction, mais l'horizon de planification. Les tentatives précédentes avaient échoué car le robot ne regardait que quelques étapes en avant — comme essayer de marcher en regardant uniquement ses orteils. Le système Ground-JEPA force le robot à regarder beaucoup plus loin, spécifiquement 12 étapes dans le futur. Cela est crucial car un cycle de marche complet (une démarche) dure environ ce temps-là. En regardant l'ensemble du cycle, le robot peut percevoir la « vue d'ensemble » de son mouvement, plutôt que d'optimiser seulement le prochain petit pas. Cela permet au système d'apprendre des modèles de marche stables uniquement par auto-supervision, ce qui signifie qu'il apprend en vérifiant si ses prédictions internes sont cohérentes, sans avoir besoin de récompenses externes.

Les résultats de leurs simulations sont assez surprenants. Sur un robot quadrupède simulé, ce système sans récompense a atteint un score de performance de 510 ± 68, ce qui est en fait meilleur que le système traditionnel basé sur la récompense qui a obtenu 450 ± 234. Plus impressionnant encore, ils ont réussi à appliquer cela à un robot humanoïde simulé (un robot doté d'un corps semblable à celui d'un humain) pour la première fois, atteignant un score de 350 ± 50 sans aucun signal de récompense. La méthode traditionnelle a totalement échoué sur l'humanoïde dans cette configuration.

L'une des découvertes les plus passionnantes est la capacité du système à gérer les changements « extrêmes ». Les chercheurs ont testé le robot dans des scénarios où la physique était radicalement modifiée : la masse du robot a été modifiée de ±30 %, la friction du sol a été multipliée par 2,5 ou réduite à 0,4, et un délai de 50 ms a été introduit dans les moteurs. Dans un scénario composé où tous ces changements se produisaient simultanément, le modèle Ground-JEPA a conservé 78 % de sa performance d'origine. En revanche, un modèle traditionnel basé sur la récompense, même entraîné avec des variations aléatoires, n'a conservé que 21 % de sa performance. Cela suggère qu'en apprenant la « variété » (manifold) ou la forme fondamentale du mouvement, le robot devient beaucoup plus robuste aux changements du monde.

L'équipe a également découvert que la taille du modèle n'avait pas besoin d'être massive. Tout ce système fonctionne sur un GPU d'ordinateur portable et utilise seulement environ 1,3 million de paramètres, ce qui est minuscule comparé aux autres modèles d'IA massifs qui nécessitent des milliards de paramètres. Ils ont démontré que l'« effondrement » (où le robot cesse d'apprendre) observé dans les études précédentes n'était pas dû à une faille de la méthode, mais parce que le robot utilisait le mauvais type de carte interne (spécifiquement, une carte normalisée appelée SimNorm) et regardait trop loin devant sans la bonne structure. En utilisant des représentations latentes brutes et le bon horizon de planification, le système fonctionne magnifiquement.

Cependant, les auteurs précisent avec prudence que ces résultats reposent actuellement sur des simulations. Bien que le robot ait appris à marcher dans un monde virtuel avec des changements extrêmes, le système n'a pas encore été testé sur un robot physique dans le monde réel. De plus, bien qu'ils aient résolu le problème de la station debout d'un humanoïde, faire marcher un humanoïde de manière dynamique sur deux jambes reste un défi en raison de la physique complexe de l'équilibre sur un seul pied.

En fin de compte, Ground-JEPA suggère une nouvelle voie pour la robotique : au lieu de passer des mois à concevoir des fonctions de récompense parfaites pour enseigner à un robot comment marcher, nous pourrions simplement lui apprendre à maintenir la cohérence de son rythme interne avec les lois de la physique. Cela pourrait démocratiser le contrôle robotique avancé, permettant à de petits laboratoires avec des ordinateurs portables standards de construire des robots capables de s'adapter au monde réel sans avoir besoin de supercalculateurs massifs ou d'un essai-erreur infini de récompenses.

Résumé Technique : Ground-JEPA

Énoncé du Problème

Des modèles de dynamique précis sont essentiels pour le contrôle basé sur le modèle des robots à pattes, particulièrement pour les tâches nécessitant une planification à long horizon afin d'assurer la stabilité et de prévenir les chutes. Cependant, les approches existantes par réseaux de neurones reposent souvent sur une prédiction autorégressive dans l'espace d'état, ce qui entraîne une accumulation significative d'erreurs au fil du temps. De plus, les tentatives antérieures d'appliquer les architectures de prédiction à l'encastrement conjoint (Joint-Embedding Predictive Architectures - JEPA) à la robotique ont été confrontées à deux obstacles majeurs :

Évolutivité (Scalability) : Les implémentations réussies de JEPA (par exemple, V-JEPA) ont nécessité un pré-entraînement massif à l'échelle des modèles de fondation (milliards de paramètres), les rendant inaccessibles aux laboratoires aux ressources limitées.
Limitations du mode sans récompense (Reward-Free) : Des recherches antérieures ont suggéré que l'apprentissage sans récompense via la cohérence latente se dégrade sévèrement dans les environnements à hauts degrés de liberté (DoF) (ex: quadrupèdes et humanoïdes), menant à l'hypothèse que la cohérence latente est fondamentalement sous-contrainte pour des dynamiques complexes.

Méthodologie

Les auteurs introduisent Ground-JEPA, un modèle de monde latent minimal (~1,3 million de paramètres) conçu pour contrôler des robots à pattes entièrement par cohérence latente, sans dépendre de fonctions de récompense spécifiques à la tâche. Le système comprend trois composants clés :

Encodeur ( $E_\phi$ ) : Un MLP à 3 couches qui mappe les observations proprioceptives ( $o_t$ ) vers une représentation latente ( $z_t$ ).
Prédicteur ( $P_\psi$ ) : Un prédicteur conditionné par l'action qui prévoit les futurs états latents ( $\hat{z}_{t+1}$ $\overset{z}{^}_{t + 1}$ ).
- Pour les tâches à haut DoF (quadrupèdes, humanoïdes), les auteurs utilisent un décodeur Transformer léger avec une attention croisée entre les plongements (embeddings) latents et d'action pour capturer les dépendances temporelles à longue portée essentielles à la coordination de la marche.
- Pour les tâches à bas DoF (cheetah), un GRU à 2 couches est utilisé.
Sonde inspirée par la physique (Physics-Inspired Prober) : Un composant novateur qui mappe les représentations latentes figées vers des états physiques interprétables (position, vitesse, orientation, vitesse angulaire). Contrairement à un décodeur standard, cette sonde intègre des biais inductifs cinématiques (ex: $p_{t+1} = p_t + v_t \Delta t + \frac{1}{2}a_{comp}\Delta t^2$ ) pour lier la dynamique latente abstraite aux contraintes physiques.
Planificateur : Un planificateur MPPI (Model Predictive Path Integral) optimise les séquences d'actions dans l'espace latent. Crucialement, l'horizon de planification ( $H$ ) est étendu à 12 étapes pour capturer des cycles de marche complets, répondant ainsi aux limitations des horizons plus courts trouvées dans les travaux précédents.

Objectif d'entraînement :
Le modèle est entraîné en utilisant un objectif JEPA qui minimise l'erreur quadratique entre l'état latent prédit et l'état latent cible (dérivé d'un encodeur cible EMA), sans tête de valeur ou signal de récompense :
$L = \mathbb{E}[\| \text{sg}(E_\phi(o_{t+1})) - P_\psi(E_\phi(o_t), a_t) \|^2]$

Contributions Clés

Contrôle JEPA à l'échelle d'un ordinateur portable : Démontre que le contrôle basé sur JEPA pour les robots à pattes peut égaler ou dépasser les bases de référence fondées sur la récompense en utilisant un modèle de seulement ~1,3M de paramètres, entraîné en moins de 20 minutes sur un GPU de PC portable, éliminant le besoin de modèles de fondation à plusieurs milliards de paramètres.
Sondage inspiré par la physique : Introduit un mécanisme de sondage qui impose une interprétabilité physique et une structure sur les représentations latentes, réduisant considérablement les erreurs de prédiction de position et d'orientation par rapport aux sondes linéaires ou MLP standards.
Réévaluation de l'apprentissage sans récompense : Remet en question l'hypothèse prédominante selon laquelle l'apprentissage sans récompense échoue dans les systèmes à haut DoF. Les auteurs identifient que les échecs antérieurs étaient des artefacts d'horizons de planification insuffisants (ex: $H=3$ ) et de paramétrages latents inappropriés (ex: SimNorm), plutôt qu'une faille fondamentale de la cohérence latente.
Généralisation Zero-Shot : Établit que la cohérence latente auto-supervisée fournit un signal robuste pour le transfert sim-to-real, maintenant une haute performance sous des changements de dynamique composés extrêmes sans ajustement fin (fine-tuning).

Résultats

Performance sur les tâches de contrôle

Ground-JEPA a été évalué sur la suite dm_control. Le modèle sans récompense (entraîné sans récompenses de tâche) a surpassé ou égalé les bases de référence fondées sur la récompense :

Cheetah-Run (6-DoF) : 530 ± 45 (Sans Récompense) vs 522 ± 139 (Fondé sur Récompense).
Quadruped-Walk (12-DoF) : 510 ± 68 (Sans Récompense) vs 450 ± 234 (Fondé sur Récompense). Le modèle sans récompense présentait une variance nettement plus faible.
Humanoid-Stand (21-DoF) : 350 ± 50 (Sans Récompense). Cela marque la première démonstration réussie du contrôle JEPA sans récompense sur une plateforme humanoïde, là où les bases de référence fondées sur la récompense ont échoué.

Impact de l'horizon de planification

Les études d'ablation sur la tâche Quadruped-Walk ont révélé que l'horizon de planification est critique :

H=3 (Travaux antérieurs) : 184 ± 141 (Marche chaotique, pas de coordination de phase).
H=12 (Notre approche) : 510 ± 68 (Marche au trot stable, phase verrouillée).
H=20 : 420 ± 85 (La performance décline en raison de l'accumulation de bruit).
Les résultats indiquent qu'un horizon couvrant un cycle de marche complet est nécessaire pour fournir un signal structurel suffisant à l'objectif de cohérence.

Paramétrage Latent

Les auteurs ont découvert que l'« effondrement » (collapse) dans l'apprentissage sans récompense est un artefact du paramétrage latent, et non de l'absence de récompenses.

Latents bruts (Raw Latents) : L'entraînement sans récompense a atteint 496 ± 31, égalant la performance fondée sur la récompense.
Latents SimNorm : L'entraînement sans récompense s'est complètement effondré (retour $\to$ 4), confirmant que les espaces latents bruts préservent une structure de représentation plus riche pour l'apprentissage auto-supervisé.

Généralisation Zero-Shot

Sous des changements de dynamique composés extrêmes (Masse ±30%, Friction 2,5×, Latence de l'actionneur +50ms), Ground-JEPA a conservé 78 % de sa performance nominale. En revanche, une base de référence fondée sur la récompense entraînée avec randomisation de domaine n'a conservé que 21 %, car sa fonction de récompense est devenue désalignée avec les dynamiques modifiées.

Signification et Revendications

L'article affirme redéfinir fondamentalement le rôle des récompenses dans le contrôle basé sur le modèle pour les robots à pattes. Les auteurs soutiennent que dans les systèmes dynamiques structurés, la physique inhérente (cinématique et contacts) sert de biais inductif plus fort que les récompenses de tâche éparses, à condition que l'horizon de planification soit suffisamment long.

Les implications clés soulignées par les auteurs incluent :

Démocratisation : Le contrôle de pointe basé sur le modèle est accessible aux laboratoires aux ressources limitées sans nécessiter de pré-entraînement massif ou de modèles de fondation.
Algorithme vs Échelle : Le succès est porté par des percées algorithmiques (sondage inspiré par la physique, cohérence à long horizon) plutôt que par l'échelle du modèle.
Robustesse : L'apprentissage auto-supervisé capture naturellement la variété fondamentale du mouvement des pattes, conduisant à une meilleure généralisation aux dynamiques inconnues par rapport aux approches fondées sur l'ingénierie de la récompense.

Limitations : Les auteurs notent que toutes les expériences ont été menées en simulation. La validation sur des robots physiques est reportée à des travaux futurs. De plus, bien que le "Humanoid-Stand" ait été atteint, la marche bipède dynamique reste un défi ouvert en raison du mauvais conditionnement des chevilles sous-actionnées, ce que les auteurs suggèrent pourrait nécessiter des extensions hiérarchiques.