💻 computer science

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

Cet article introduit un modèle de monde JEPA régularisé par la profondeur qui exploite des priors géométriques et une régularisation latente pour apprendre des représentations plus transférables et robustes à partir de données robotiques réelles en extérieur, surpassant de manière significative les modèles de référence en matière d'odométrie visuelle, de détection de la surprise et de prédiction multi-étapes sans augmenter la charge d'inférence.

Auteurs originaux : Usman M. Khan

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Usman M. Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire un tracteur dans un champ. Le robot possède une caméra, mais le monde qu'il voit est désordonné : le soleil éblouit, les ombres s'étirent et se contractent, les feuilles bruissent sous le vent, et le sol semble différent chaque fois qu'il tourne un virage. Si vous demandez au robot de mémoriser chaque pixel de chaque image, il sera submergé et confus. Au lieu de cela, les scientifiques essaient d'enseigner aux robots des « Modèles de Monde » (World Models). Considérez un Modèle de Monde comme la rêverie interne du robot. Au lieu d'essayer de redessiner toute l'image, il apprend à prédire ce qui va se passer ensuite de manière simplifiée et abstraite. C'est comme un joueur d'échecs qui ne mémorise pas la couleur exacte de chaque case sur le plateau, mais qui comprend les règles de mouvement des pièces et la façon dont la partie évolue.

Le type spécifique de « rêverie » sur lequel ce document se concentre est appelé une JEPA (Architecture Prédictive d'Encastrement Conjoint). Imaginez un étudiant passant un examen où il doit deviner la phrase suivante d'une histoire en se basant sur les précédentes, mais sans avoir le droit d'écrire la phrase entière — il doit simplement deviner l'« ambiance » ou l'« essence » de la partie suivante. C'est très efficace car cela ignore les détails insignifiants (comme la couleur de la police) pour se concentrer sur l'essentiel (l'intrigue). Cependant, lorsque ces robots essaient d'apprendre à partir de vidéos réelles en extérieur, leurs suppositions sur l'« ambiance » interne deviennent souvent confuses ou s'effondrent dans le non-sens, car le monde réel est si chaotique. La grande question est la suivante : comment enseigner aux robots à comprendre la physique du monde réel — comme la façon dont les objets sont disposés dans l'espace 3D — sans avoir besoin d'un cerveau super complexe qui les ralentirait ?

Ce document présente une astuce ingénieuse pour résoudre ce problème. Les chercheurs ont pris un cerveau de robot compact (un modèle de 18 millions de paramètres appelé LeWorldModel) et lui ont donné un « tuteur » spécial, utilisable uniquement lors de l'entraînement : l'information de profondeur. Imaginez que vous apprenez à dessiner un paysage. Vous avez une photo normale (RGB), mais vous avez aussi une carte 3D qui montre exactement à quelle distance se trouvent chaque arbre et chaque rocher. Les chercheurs ont laissé le robot regarder à la fois la photo et la carte 3D pendant qu'il étudiait (l'entraînement). Ils ont dit au robot : « Ta supposition sur la scène suivante doit correspondre à la structure 3D que tu vois sur la carte ». Mais voici la magie : une fois que le robot a terminé ses devoirs, ils lui ont retiré la carte 3D. Lorsque le robot sort travailler dans le monde réel, il n'utilise que la photo de la caméra, comme auparavant. Cependant, parce qu'il a appris avec la carte 3D, sa compréhension interne du monde est désormais beaucoup plus nette et ancrée dans la réalité.

Les résultats montrent que cette astuce simple fonctionne à merveille. En utilisant la profondeur uniquement pendant l'entraînement, la « rêverie » interne du robot est devenue bien meilleure pour comprendre comment le monde se déplace. Lorsque les chercheurs l'ont testé, la capacité du robot à deviner son propre mouvement (odométrie visuelle) s'est améliorée de 33 %, ce qui le rend beaucoup plus précis. Il est également devenu bien meilleur pour repérer les choses « bizarres ». Si vous téléportiez soudainement le robot à un autre endroit ou si vous inversiez la vidéo, l'alarme interne du robot se déclenchait de manière beaucoup plus forte et claire qu'auparavant. Étonnamment, cela a même aidé le robot à comprendre des choses qui ne sont pas strictement en 3D, comme des changements soudains de lumière ou d'ombres, suggérant que la compréhension de la forme du monde aide le robot à donner du sens à tout le reste, également.

Le document a également révélé que ce robot « entraîné à la profondeur » était beaucoup plus flexible lorsqu'il passait à un nouvel environnement (un robot différent dans un champ différent). Tandis que le robot standard peinait à maintenir ses prédictions précises au fil du temps dans ce nouvel endroit, le robot entraîné à la profondeur gardait son calme, et ses prédictions restaient précises sur de longues périodes. Les chercheurs suggèrent qu'en ancrant l'apprentissage du robot dans la géométrie physique du monde, ils ont créé un cerveau plus robuste et transférable. C'est un peu comme enseigner à un enfant à faire du vélo sur une piste lisse et balisée avec une poutre d'équilibre à proximité ; une fois qu'il a appris l'équilibre, il peut rouler sur n'importe quel chemin accidenté sans la poutre, car il a véritablement compris comment rester droit. Cette approche offre un moyen pratique de rendre les cerveaux de robots petits et efficaces plus intelligents et plus adaptables sans nécess avoir besoin de capteurs coûteux ou de supercalculateurs lorsqu'ils travaillent réellement.

Résumé Technique : Modèles de Monde JEPA à Régularisation par Profondeur pour des Données Robotiques Réelles en Milieu Extérieur

Problématique

Bien que les architectures de prédiction d'encastrement conjoint (JEPA - Joint Embedding Predictive Architectures) aient démontré un succès dans l'apprentissage de dynamiques environnementales robustes, leur application à la robotique extérieure réelle, visuellement complexe, reste un défi. Les approches existantes reposent souvent sur la reconstruction au niveau des pixels, ce qui les rend vulnérables aux variations de nuisance (ex. : changements de luminosité, encombrement de la végétation) dans les environnements non structurés. Inversement, les modèles JEPA dans l'espace latent, tels que LeWorldModel (LeWM), offrent une abstraction plus stable en prédisant les représentations latentes futures plutôt que les pixels. Cependant, LeWM et les modèles compacts similaires ont principalement été validés dans des environnements simulés ou contrôlés en intérieur. Appliqués à des données réelles en extérieur, ces modèles risquent un effondrement représentationnel ou un échec de la capture des dynamiques physiquement significatives sans contraintes structurelles supplémentaires. Le défi central est d'améliorer la robustesse et la transférabilité des modèles JEPA compacts entraînés sur des données du monde réel sans augmenter les coûts de calcul lors de l'inférence ou nécessiter de capteurs auxiliaires (comme des caméras de profondeur) lors du déploiement.

Méthodologie

Les auteurs proposent une intervention lors de l'entraînement qui augmente l'architecture standard du LeWorldModel (LeWM) avec un objectif de régularisation par la profondeur et une surparamétrage du prédicteur.

1. Architecture de Base

Le modèle est une variante JEPA compacte de bout en bout (18 millions de paramètres) basée sur LeWM. Il prend en entrée un historique de trames RGB et d'actions, les encode via un encodeur-projecteur partagé, et utilise un prédicteur pour prévoir le prochain encastrement latent. L'objectif d'entraînement consiste généralement en une perte de prédiction ( $L_{pred}$ ) et un régularisateur latent (SIGReg) qui encourage des distributions gaussiennes isotropes pour prévenir l'effondrement de mode.

2. Régularisation par Profondeur Uniquement à l'Entraînement

Pour injecter une structure géométrique dans l'espace latent sans nécessiter de profondeur lors de l'inférence, les auteurs introduisent un objectif d'alignement de profondeur ( $L_{depth}$ ) :

Entraînement Dual-Modal : Pendant l'entraînement, le modèle traite des observations couplées RGB et de profondeur stéréoscopique à travers la même pile encodeur-projecteur.
Objectif d'Alignement : L'encastrement RGB est optimisé pour s'aligner avec l'encastrement de profondeur correspondant (calculé avec un arrêt de gradient) en utilisant une perte de similitude cosinus.
Rôles Complémentaires : Le terme SIGReg maximise l'entropie (favorisant la diversité indépendante des tâches), tandis que le terme de profondeur agit comme une contrainte géométrique, organisant cette diversité selon des directions physiquement significatives. L'objectif combiné recherche la représentation à plus haute entropie cohérente avec la géométrie de la scène.
Inférence : Au moment du test, la branche de profondeur est écartée ; le modèle fonctionne uniquement sur des entrées RGB.

3. Surparamétrage du Prédicteur

Pour permettre l'augmentation de la complexité liée à la satisfaction simultanée des contraintes isotropes et géométriques au sein d'une capacité fixe, les auteurs introduisent un surparamétrage uniquement à l'entraînement.

Mécanisme : Pendant l'entraînement, des branches RepLinear de faible rang (rang-16) sont ajoutées aux couches de projection ascendante (up-projection) et descendante (down-projection) MLP du prédicteur.
Fusion : Après l'entraînement, ces branches sont fusionnées algébriquement dans les poids du prédicteur de base. Cela garantit que le modèle déployé reste architecturalement identique au modèle de référence, sans surcoût d'inférence.

4. Données et Évaluation

Le modèle a été entraîné sur environ 31 000 trames provenant d'un seul robot agricole réel (Aigen Element) et évalué sur :

In-domain (Domaine d'origine) : Ensemble de validation Aigen.
Out-of-Domain (OOD - Hors domaine) : Benchmark TartanGround (robot, environnement et écart sim-to-real différents).
Métriques : Sondes de l'odométrie visuelle (VO) à encastrement figé, détection de la surprise basée sur le prédicteur (sous des perturbations synthétiques), et fidélité de déroulement latent multi-étapes.

Contributions Clés

Entraînement en Monde Réel : Démonstration qu'un modèle de monde JEPA compact de bout en bout peut être entraîné avec succès directement sur des données réelles de robots agricoles en extérieur, un cadre précédemment non rapporté pour cette famille d'architectures.
Prior Géométrique Uniquement à l'Entraînement : Introduction d'un objectif d'alignement de profondeur qui injecte une structure géométrique dans les représentations JEPA. Cela améliore la compréhension physique et la robustesse sans nécessiter de capteurs de profondeur, de labels de tâches ou d'encodeurs pré-entraînés lors de l'inférence.
Évaluation Complète : Fourniture d'un protocole d'évaluation cohérent montrant que la régularisation par la profondeur améliore la qualité de la représentation, la netteté du prédicteur et la robustesse OOD à travers l'odométrie visuelle, la détection de la surprise et les déroulements multi-étapes.

Résultats

Le modèle régularisé par la profondeur a systématiquement surpassé la ligne de base LeWM vanilla, particulièrement dans les scénarios de transfert :

Qualité de la Représentation : Le modèle régularisé par la profondeur a réduit l'erreur de sonde d'odométrie visuelle (VO) de 33 % (l'MSE est passé de 0,0022 à 0,0015) par rapport à la ligne de base, surpassant une référence DINOv2 figée.
Détection de la Surprise : Le modèle a montré une meilleure séparation entre les transitions plausibles et implausibles.
- In-domain : La séparation de la surprise est passée de 0,067 à 0,120.
- Out-of-domain (TartanGround) : La séparation a presque triplé, passant de 0,035 à 0,099.
- Gains Non-Géométriques : Notamment, le modèle s'est également amélioré sur les perturbations non géométriques (sauts de luminosité, inversions de couleurs), suggérant que le prior géométrique induit un échafaudage pour une cohérence physique générale.
Généralisation Out-of-Domain : Bien que la ligne de base soit légèrement supérieure au modèle de profondeur en domaine d'origine, le modèle régularisé par la profondeur a démontré une robustesse supérieure sous changement de domaine. Sur TartanGround, il a obtenu une similitude d'objectif plus élevée (0,745 contre 0,716 à l'horizon $h=10$ ) et une similitude de trajectoire, l'écart de performance s'élargissant aux horizons plus longs ( $h=20$ ).
Géométrie Latente : L'analyse des sous-espaces principaux a révélé que le modèle régularisé par la profondeur produisait des espaces latents avec un chevauchement inter-domaine plus élevé dans le régime de rang moyen ( $k \approx 5-50$ ), indiquant une géométrie plus transférable pour la structure pertinente aux tâches.

Signification et Revendications

L'article soutient qu'un prior géométrique léger lors de l'entraînement peut considérablement améliorer l'utilité et la transférabilité des modèles de monde JEPA compacts pour un déploiement dans le monde réel.

Praticité : L'approche est « peu coûteuse lors de l'entraînement et gratuite lors du test », car le signal de profondeur et le surparamétrage sont supprimés ou fusionnés avant le déploiement.
Généralisation : Les résultats suggèrent que passer l'objectif d'entraînement d'une pure isotropie vers une anisotropie informée par la géométrie crée un espace latent plus robuste. Cela tient même pour des tâches qui ne sont pas directement liées à la géométrie 3D (ex. : cohérence de l'éclairage), impliquant que l'ancrage des représentations dans une structure physique améliore les attentes prédictives globales.
Limites : Les auteurs reconnaissent que cette étude est une preuve de concept utilisant des métriques hors ligne sur une seule plateforme robotique et un ensemble de données relativement restreint. Ils notent que les performances de planification en boucle fermée et la scalabilité vers des modèles et des données plus vastes restent à tester.

En conclusion, ce travail démontre que l'incorporation de priors ancrés physiquement comme la profondeur lors de l'entraînement peut combler l'écart entre les benchmarks de simulation contrôlée et la réalité complexe de la robotique en extérieur, permettant à des modèles compacts d'apprendre des dynamiques plus transférables et physiquement conscientes.