🤖 AI

Traj-LeWM: Path-Aware World-Model Planning via Latent Trajectory Cost

Traj-LeWM améliore le modèle de monde visuel léger LeWM en introduisant un coût de trajectoire latente conditionné par un objectif qui complète la distance de l'extrémité par des informations sensibles au chemin lors de l'entraînement et de la planification, ce qui entraîne des améliorations de performance significatives à travers de multiples benchmarks de manipulation robotique.

Auteurs originaux : Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à naviguer dans un labyrinthe ou à pousser un bloc vers un point précis. Dans le monde de l'intelligence artificielle, on utilise souvent pour cela ce qu'on appelle un « modèle de monde » (world model). Considérez le modèle de monde comme le rêveur interne du robot. Au lieu de simplement réagir à ce qu'il voit à l'instant présent, le robot utilise ce rêveur pour simuler le futur : « Si je déplace mon bras vers la gauche, à quoi ressemblera le monde dans une seconde ? Et dans deux secondes ? »

Pendant longtemps, les scientifiques ont cherché à rendre ces rêves plus précis. Une approche récente appelée LeWM (Lightweight World Model) a marqué une étape importante. Elle a appris à prédire le futur directement à partir des pixels de la caméra, évitant ainsi le besoin de cartes 3D complexes. Cependant, même LeWM avait un angle mort. C'était comme un GPS qui ne se soucierait que de votre destination finale. Il examinait une liste d'itinéraires possibles et choisissait celui qui semblait mener le plus près du but, sans vraiment vérifier si la route au milieu était pleine de nids-de-poule, d'impasses ou d'embouteillages. Si deux itinéraires menaient au même endroit, le robot ne pouvait pas distinguer lequel était réellement le plus sûr ou le plus fluide. Ce papier, Traj-LeWM, tente de corriger cet angle mort en apprenant au robot à se soucier de l'ensemble du voyage, et pas seulement de la ligne d'arrivée.

Le Problème : Le Piège de la « Ligne d'Arrivée »

Les auteurs de ce papier ont remarqué un problème amusant dans la façon dont les robots comme LeWM prennent des décisions. Imaginez que vous jouez à un jeu vidéo où vous devez guider un personnage vers un coffre au trésor. Vous avez deux chemins au choix :

Chemin A : Une route droite et dégagée qui mène directement au coffre.
Chemin B : Un chemin sinueux et dangereux qui traverse une forêt remplie de pièges mais qui, également, arrive juste à côté du coffre.

L'IA classique (comme LeWM) regarde la fin des deux chemins, voit qu'ils sont également proches du coffre, et en choisit un au hasard. Elle ne réalise pas que le Chemin B pourrait faire s'écraser le personnage contre un arbre à mi-chemin. Le papier soutient que cela se produit parce que le robot ne vérifie que la « distance de l'extrémité » (endpoint distance). Il ignore l'« itinéraire intermédiaire » — les choses désordonnées et délicates qui se passent au milieu de l'action.

Les chercheurs ont découvert que dans des tâches complexes, comme pousser un objet en forme de T ou naviguer dans une pièce avec des obstacles, deux séquences d'actions différentes pourraient aboutir exactement au même endroit, mais l'une réussirait tandis que l'autre échouerait de manière spectaculaire. Le vieux robot ne pouvait pas faire la différence car il était trop concentré sur la ligne d'arrivée.

La Solution : Le Carnet de Notes du « Voyage Entier »

Pour corriger cela, l'équipe a introduit Traj-LeWM. Ils ont conservé la capacité du robot à prédire le futur, mais ont ajouté un nouveau « carnet de notes » appelé le Coût de Trajectoire Latente (LTC - Latent Trajectory Cost).

Considérez le LTC comme un entraîneur strict qui ne se contente pas de regarder où l'athlète arrive, mais qui observe toute la course.

L'ancienne méthode : L'entraîneur dit : « Beau travail ! Vous avez fini à 1 mètre de la ligne d'arrivée. »
La nouvelle méthode (Traj-LeWM) : L'entraîneur dit : « Vous avez fini à 1 mètre de la ligne, mais vous avez trébuché trois fois, heurté un mur et pris un détour étrange. C'est une mauvaise course. Essayons l'autre coureur qui est arrivé au même endroit mais qui a couru de manière fluide. »

Le nouveau système apprend un « coût » pour chaque trajectoire possible. Si un chemin semble destiné à heurter un mur ou à prendre un tournant étrange, le coût augmente. Si le chemin est fluide et logique, le coût reste bas. Le robot combine ensuite ce « score de fluidité » avec l'ancien « score de distance au but » pour choisir la meilleure action.

Comment ils ont enseigné au robot

Apprendre à un robot à se soucier du milieu du voyage est délicat. On ne peut pas simplement lui dire « ne frappe pas les murs », car il ne sait pas encore ce qu'est un mur. Ainsi, les chercheurs ont utilisé une astuce ingénieuse appelée apprentissage par préférence (preference learning).

Ils ont présenté au robot des paires d'histoires :

La Bonne Histoire : Un chemin parfait où le robot pousse avec succès le bloc vers l'objectif.
La Mauvaise Histoire : Un chemin qui ressemble au premier mais qui comporte une erreur (comme heurter un mur) ou un chemin qui mène à un mauvais objectif.

On demandait au robot de deviner quelle histoire était la meilleure. En recevant des milliers de ces leçons de type « celui-ci est meilleur que celui-là », le robot a appris à attribuer un coût faible aux bons chemins et un coût élevé aux mauvais. Ils l'ont même laissé essayer de planifier dans un environnement simulé, et si le robot s'écrasait, ils enregistraient ce crash comme une « mauvaise histoire » pour apprendre de celle-ci. C'est comme un joueur de jeu vidéo apprenant à ne pas sauter d'une falaise parce qu'il y est mort, sauf que cette fois, le robot apprend de ses propres erreurs simulées.

Ce qu'ils ont trouvé

L'équipe a testé ce nouveau robot dans quatre mondes simulés différents :

Push-T : Pousser un objet en forme de T vers une cible.
OGBench-Cube : Déplacer un cube vers un point spécifique.
Reacher : Un bras robotique atteignant une cible.
Two-Room : Naviguer dans un labyrinthe avec deux pièces.

Dans ces simulations, le nouveau robot Tra-LeWM était nettement meilleur que l'ancien robot LeWM.

Sur la tâche Cube, il a amélioré le taux de réussite de 14 points de pourcentage (passant de 74 % à 88 %).
Sur Reacher, il a progressé de 7 points de pourcentage (de 86 % à 93 %).
Sur Two-Room, il a progressé de 7 points de pourcentage (de 87 % à 94 %).
Sur Push-T, il a progressé de 3 points de pourcentage (de 96 % à 99 %).

Ils l'ont également testé sur un vrai robot physique (un bras Franka FR3) dans le monde réel. Dans 20 tâches réelles, l'ancien robot a réussi 10 fois (50 %), tandis que le nouveau robot Tra-LeWM a réussi 14 fois (70 %). Bien qu'il s'agisse d'un petit test, cela suggère que la méthode fonctionne aussi en dehors de la simulation informatique.

Pourquoi cela importe

Ce papier démontre que pour que les robots soient réellement intelligents, ils ne peuvent pas se contenter de regarder la destination ; ils doivent respecter le voyage. En apprenant au robot à évaluer l'intégralité du chemin qu'il prévoit d'emprunter, plutôt que seulement l'endroit final, il devient bien meilleur pour éviter les pièges et naviguer dans des environnements complexes.

Les chercheurs ont confirmé que cette amélioration provient de deux éléments :

Un meilleur apprentissage : Le robot a appris une meilleure carte interne du monde car il a été entraîné à se soucier de tout le chemin, et pas seulement de la fin.
Une meilleure planification : Même lorsque la prédiction du futur par le robot était légèrement erronée, le score du « voyage entier » l'a aidé à choisir l'option la plus sûre.

En résumé, Tra-LeWM prouve que dans le monde de la planification robotique, il ne s'agit pas seulement de savoir où l'on finit, mais de la manière dont on y arrive. En donnant au robot un moyen d'apprécier un chemin fluide et sûr plutôt qu'un chemin cahoteux et risqué, les auteurs ont franchi une étape importante pour permettre aux robots de gérer le monde réel, complexe et imprévisible.

Résumé technique de Traj-LeWM : Planification par modèle de monde sensible au trajet via le coût de trajectoire latente

1. Énoncé du problème

L'article traite de deux limitations spécifiques de LeWM (Lightweight Visual World Model), une architecture de prédiction par plongement conjoint (JEPA) qui apprend la dynamique latente à partir de pixels pour effectuer une planification conditionnée par un objectif. Bien que LeWM atteigne des performances solides sur des tâches simples, son taux de réussite chute considérablement dans des environnements plus complexes (par exemple, passant de 96 % sur Push-T à 74 % sur OGBench-Cube). Les auteurs identent deux causes profondes de cette dégradation :

Absence de supervision au niveau de la trajectoire : L'objectif d'entraînement de LeWM repose sur la prédiction de l'étape suivante (transitions locales) et sur un terme de régularisation (SIGReg) pour prévenir l'effondrement de la représentation. Aucun de ces composants n'exige explicitement que l'encodeur partagé préserve des informations sur la trajectoire complète par rapport à l'objectif de la tâche. Par conséquent, l'espace latent n'est pas directement entraîné pour évaluer la qualité d'une trajectoire candidate complète.
Insensibilité du score basé uniquement sur l'état final : Lors de la planification, LeWM classe les séquences d'actions candidates uniquement en fonction de la distance euclidienne entre l'état final latent prédit et la représentation de l'objectif. Cette approche ignore les informations du chemin intermédiaire. Deux trajectoires ayant des états finaux identiques mais des évolutions intermédiaires différentes (l'une réussie, l'autre échouée) reçoivent le même score, ce qui conduit à une sélection sous-optimale des candidats lorsque les prédictions du modèle divergent des résultats réels d'exécution.

2. Méthodologie : Traj-LeWM

Les auteurs proposent Traj-LeWM, un cadre qui conserve l'objectif de dynamique locale original de LeWM et le score d'état final, tout en introduisant un Coût de Trajectoire Latente Conditionné par l'Objectif (LTC). La méthode opère en trois étapes :

A. Coût de Trajectoire Latente Conditionné par l'Objectif (LTC)
L'innovation centrale est une fonction de coût scalaire apprenable, $S_\psi(\tau | g)$ , qui évalue une trajectoire latente complète $\tau$ étant donné un objectif $g$ . Contrairement à la distance de l'état final, le LTC agrège les informations sur l'ensemble du chemin. Il est défini comme :
$S_\psi(\tau | g) = \frac{1}{T} \sum_{t=0}^{T-1} \ell_\psi(z_t, \Delta z_t, d^g_t, \eta_t)$
Où :

$z_t$ : État latent actuel.
$\Delta z_t$ : Évolution locale (différence entre états adjacents).
$d^g_t = z_g - z_t$ : Quantité relative à l'objectif (conditionnement).
$\eta_t$ : Phase temporelle normalisée.
$\ell_\psi$ : Une fonction de contribution par étape non négative et apprenable.

Cette structure permet au coût de varier en fonction de la manière dont un état est atteint, et non seulement de l'endroit où il finit.

B. Supervision par Préférence de Trajectoire
Pour entraîner le LTC et façonner l'encodeur partagé, les auteurs introduisent un mécanisme d'apprentissage basé sur les préférences utilisant une perte logistique par paires. Le système apprend à attribuer des coûts plus faibles aux trajectoires « préférées » (correspondant à l'expert) et des coûts plus élevés aux trajectoires « négatives ». Deux types d'exemples négatifs sont utilisés :

Préférences Synthétiques :
- Incohérence d'objectif (Goal Mismatch) : Une trajectoire d'expert associée à un objectif décalé et sans rapport.
- Perturbation préservant l'état final : Une trajectoire d'expert avec du bruit ajouté aux états intermédiaires (tout en gardant le début et la fin fixes). Cela force le modèle à distinguer des chemins intermédiaires différents même si les points finaux sont identiques.
Préférences d'Échec en Boucle Fermée :
- Le modèle actuel effectue la planification en utilisant uniquement le score d'état final (sans LTC) et exécute le plan dans l'environnement.
- Les exécutions échouées sont extraites et appariées avec des trajectoires d'experts ayant le même départ et le même objectif.
- Ces échecs réels fournissent des exemples négatifs que la métrique basée sur l'état final n'a pas réussi à identifier, calibrant ainsi le LTC par rapport aux modes de défaillance spécifiques du modèle.

C. Entraînement Conjoint et Planification

Entraînement : La perte totale combine la perte de prédiction originale de LeWM ( $L_{LeWM}$ ), la perte de préférence synthétique ( $L_{path}$ ), et la perte extraite des échecs ( $L_{mined}$ ). La branche synthétique met à jour à la fois le LTC et l'encodeur partagé, tandis que la branche extraite met à jour uniquement le LTC (via des gradients détachés) pour éviter de confondre l'apprentissage de la dynamique du prédicteur.
Planification : Les candidats sont classés à l'aide d'un Score Joint :
$C_\lambda(\hat{\tau}, g) = C_0(\hat{\tau}, g) + \lambda \tilde{S}_\psi(\hat{\tau} | g)$
Où $C_0$ est la distance de l'état final originale, et $\tilde{S}_\psi$ est un score LTC calibré. Cela permet au planificateur d'utiliser les informations du chemin intermédiaire lorsque les prédictions de l'état final sont ambiguës ou inexactes.

3. Contributions Clés

Coût de Trajectoire Latente (LTC) : Introduction d'un coût appris, conditionné par l'objectif, qui évalue des trajectoires prédites complètes, agrégeant l'évolution latente relative à l'objectif pour fournir un signal de planification sensible au chemin.
Apprentissage par Préférence de Trajectoire : Développement d'un mécanisme utilisant des négatifs synthétiques (incohérences d'objectif et perturbations intermédiaires) et des échecs extraits en boucle fermée pour entraîner le LTC et façonner la représentation partagée sans modifier l'objectif du prédicteur original.
Évaluation Complète : Tests approfondis sur quatre tâches simulées (Push-T, OGBench-Cube, Reacher, Two-Room) et sur un robot physique Franka FR3, démontrant des améliorations par rapport à la base de référence.

4. Résultats Expérimentaux

Résultats de Simulation :
Traj-LeWM surpasse LeWM sur les quatre tâches, avec des améliorations du taux de réussite de :

Push-T : +3 % (96 % $\to$ 99 %)
OGBench-Cube : +14 % (74 % $\to$ 88 %)
Reacher : +7 % (86 % $\to$ 93 %)
Two-Room : +7 % (87 % $\to$ 94 %)

Évaluation sur Robot Réel :
Sur un Franka FR3 physique avec 20 tâches de départ-objectif, Traj-LeWM a atteint un taux de réussite de 70 % (14/20) contre 50 % (10/20) pour LeWM. Les échecs dus aux collisions ont diminué de 20 % à 10 %.

Expériences Contrôlées et Ablations :

Façonnement de la Représentation (Gap 1) : Même lorsque le LTC est supprimé au moment du test, l'encodeur partagé de Traj-LeWM (entraîné avec les préférences de trajectoire) produit des scores d'état final avec une AUC plus élevée pour distinguer le succès de l'échec par rapport à LeWM.
Sensibilité au Chemin (Gap 2) : Lorsque les prédictions de l'état final sont inexactes, l'ajout du LTC améliore l'ordonnancement correct des candidats. Dans les tests "contrôlés par l'état final" (où les états de départ et de fin sont identiques), le LTC distingue avec succès les trajectoires réussies des trajectoires échouées dans plus de 94 % des cas sur Reacher, prouvant qu'il utilise les informations du chemin intermédiaire.
Complémentarité : Les études d'ablation montrent que la supervision de trajectoire (entraînement) et le classement explicite par LTC (planification) sont complémentaires. Le score joint donne les meilleurs résultats, indiquant qu'ils ne sont pas interchangeables.

5. Signification et Revendications

L'article affirme que Traj-LeWM parvient à traiter les limitations des modèles de monde basés uniquement sur la dynamique locale en intégrant des informations de niveau trajectoire tant dans l'apprentissage de la représentation que dans le classement des candidats.

Revendications Modestes : Les auteurs précisent explicitement que les résultats sur le robot réel sont des "preuves préliminaires de la faisabilité sur robot réel plutôt qu'un avantage de performance concluant" en raison du nombre limité de tâches appariées (20).
Intuition Centrale : Ce travail démontre que la distance de l'état final seule est insuffisante pour une planification fiable dans des environnements complexes. En apprenant un coût sur des déroulements latents complets, le modèle peut exploiter les preuves du chemin intermédiaire pour classer les candidats plus efficacement, particulièrement lorsque les prédictions de l'état final sont incertaines.
Efficacité : La méthode ajoute moins de 1 million de paramètres au modèle, conservant une architecture légère comparable à l'original LeWM tout en augmentant considérablement les performances sur des tâches de manipulation et de navigation exigeantes.