💬 NLP

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

Ce document propose le Temporal-Distance JEPA (TD-JEPA), une approche de modèle de monde qui extrait des coûts temporels dirigés à partir de trajectoires hors ligne sans récompense afin de combler l'écart entre l'apprentissage de représentations et la planification, surpassant ainsi les planificateurs basés sur JEPA existants à travers de multiples environnements en permettant un classement plus efficace de la progression vers l'objectif sans dépendre de la reconstruction de pixels ou de récompenses explicites.

Auteurs originaux : Jiaxin Bai, Jiaxuan Xiong

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaxin Bai, Jiaxuan Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à naviguer dans un nouveau monde, mais que vous ne puissiez pas lui donner de carte ou de liste de règles. Tout ce que vous avez, c'est une vidéo d'un humain accomplissant la tâche parfaitement. C'est le défi de l'« apprentissage hors ligne » (offline learning) en robotique : comment apprendre à une IA à planifier ses futurs mouvements simplement en regardant de vieilles séquences. Les scientifiques utilisent ce qu'ils appellent un « modèle de monde » pour résoudre cela. Considérez un modèle de monde comme une machine à rêver à l'intérieur du cerveau du robot. Au lieu d'essayer de redessiner chaque pixel de la vidéo (ce qui revient à essayer de peindre un chef-d'œuvre de mémoire), le robot apprend à prédire l'essence de ce qui se passe ensuite. Il compresse le monde dans un « espace latent » simplifié et abstrait — une carte mentale où les situations similaires sont proches les unes des autres.

La grande question est la suivante : une fois que le robot possède cette carte mentale, comment décide-t-il quel chemin prendre ? Habitéralement, le robot mesure simplement la distance en ligne droite entre l'endroit où il se trouve et l'endroit où il veut aller sur cette carte mentale. Mais voici le piège : dans le monde réel, la ligne la plus courte sur une carte n'est pas toujours le chemin le plus rapide pour y parvenir. Vous pouvez tracer une ligne droite à travers un mur, mais le robot ne peut pas traverser les murs. Il doit comprendre le temps et la séquence. Si le robot se contente de regarder la distance, il pourrait être confus, ne sachant pas s'il se rapproche du but ou s'il tourne simplement en rond. Ce document traite de ce problème précis : comment enseigner à un robot à comprendre le « flux » du temps dans ses rêves afin qu'il puisse mieux planifier, sans avoir besoin de récompenses supplémentaires ou d'enseignants humains.

Le problème de la pensée en « ligne droite »

Les chercheurs sont partis d'un système existant puissant appelé LeWM (Latent World Model). Ce système est excellent pour prédire ce qui se passe ensuite dans son plan mental abstrait. Cependant, lorsqu'il essaie de planifier un chemin vers un objectif, il s'appuie sur une règle simple : « Plus l'image mentale du futur est proche de l'image de l'objectif, mieux c'est ». C'est comme essayer de naviguer dans une ville en ne regardant que la distance à vol d'oiseau entre deux points. Cela fonctionne assez bien dans les champs ouverts, mais si vous devez contourner un bâtiment ou grimper à une échelle, cette distance en ligne droite vous ment.

Les auteurs ont remarqué que, bien que la carte mentale du robot soit douée pour prédire l'étape suivante, elle n'était pas très efficace pour classer les possibilités futures selon l'avancement réel réalisé. Dans une vidéo d'un humain poussant un bloc, le robot pouvait prédire l'image suivante, mais il ne savait pas intrinsèquement que l'image 10 est « plus proche » de l'objectif que l'image 5 simplement à cause de l'ordre dans lequel elles se sont produites. Il lui manquait un sens du temps dirigé.

La solution : Extraire le temps du passé

Pour corriger cela, l'équipe a créé un nouveau système appelé TD-JEPA (Temporal-Distance Joint-Embedding Predictive Architecture). Au lieu de laisser simplement le robot deviner la distance, ils lui ont appris à « extraire » le concept de temps directement des vidéos de démonstration.

Voici comment ils ont procédé, en utilisant une analogie simple : Imaginez que vous regardez une émission de cuisine. Vous n'avez pas besoin de chronomètre pour savoir que casser un œuf se produit avant de le fouetter, et que fouetter se produit avant de cuire. L'ordre des événements est le progrès. TD-JEPA observe les vidéos d'entraînement du robot et dit : « Si l'humain a fait l'étape A, puis l'étape B, puis l'étape C, alors l'étape C est définitivement plus loin sur le chemin vers l'objectif que l'étape A ».

Le système apprend un « coût dirigé » spécial. Contra à une distance normale qui est la même que l'on aille dans un sens ou dans l'autre (comme la distance entre votre maison et le parc qui est la même dans les deux sens), ce nouveau coût comprend la direction. Il sait que aller de « Début » vers « Objectif » demande un effort, mais que retourner de « Objectif » vers « Début » est un voyage d'une autre nature. En apprenant ce flux dirigé à partir des vidéos, le robot construit une carte mentale où la « distance » vers l'objectif reflète réellement le nombre d'étapes nécessaires pour y arriver, et non pas seulement la similitude visuelle des images.

Deux façons différentes d'utiliser cette nouvelle compétence

L'une des découvertes les plus intéressantes est que cette nouvelle compétence « sensible au temps » fonctionne différemment selon ce que le robot tente de faire. Les auteurs ont découvert que la meilleure façon d'utiliser cette nouvelle connaissance dépend de la tâche :

Pour la navigation et l'atteinte d'objets (tâches topologiques) : Lorsqu'un robot doit se déplacer dans l'espace, comme naviguer dans un labyrinthe ou atteindre un objet suspendu dans les airs, ce nouveau « coût de temps dirigé » est l'outil parfait. Il agit comme une boussole qui pointe droit vers l'objectif, ignorant les impasses. Dans leurs tests, l'utilisation de ce nouveau coût a permis au robot de résoudre une tâche de navigation « Two-Room » avec un succès de 100 %, surpassant l'ancien système qui n'avait réussi qu'à 97,4 %.
Pour la manipulation riche en contacts (tâches géométriques) : Lorsqu'un robot doit pousser, faire glisser ou empiler des objets (comme la tâche « Push-T » où il pousse un bloc en forme de T), les choses deviennent complexes. Ici, la forme exacte et l'angle du contact comptent plus que la direction générale. Dans ces cas, le nouveau système sensible au temps fonctionne mieux lorsqu'il aide l'ancienne méthode de distance en « ligne droite », plutôt que de la remplacer. Il affine la carte mentale du robot pour que la distance en ligne droite devienne plus précise. Sur la tâche « OGB-Cube », cette combinaison a amélioré les taux de réussite de 14,2 points par rapport à l'ancien système.

Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)

Les chercheurs ont mené des tests rigoureux où tout était identique, à l'exception de la méthode de planification. Ils ont constaté que TD-JEPA égalait ou surpassait systématiquement les meilleures méthodes précédentes (LeWM et une méthode appelée RC-aux) dans tous les environnements.

Cependant, ils ont également identifié une limite. Lorsqu'ils ont tenté d'utiliser uniquement le nouveau coût basé sur le temps pour la tâche complexe « Push-T », le robot a en réalité moins bien performé (69 % de succès) que lorsqu'il utilisait l'ancienne distance géométrique (86 % de succès). Pourquoi ? Parce que pousser un bloc nécessite un contrôle précis des angles et des points de contact. Le signal de « temps » indiquait au robot qu'il se rapprochait, mais ne donnait pas assez de détails sur la manière de toucher le bloc correctement. Le robot avait besoin des informations de « forme » géométrique pour réussir. Cela prouve que, si la compréhension du temps est cruciale, elle ne remplace pas le besoin de comprendre la géométrie physique dans chaque situation.

Ce qu'il faut retenir

Cette étude démontre que l'on peut apprendre à un robot à comprendre le « flux » du temps simplement en regardant des vidéos, sans nécessiter de récompenses supplémentaires ou de feedback humain. En extrayant l'ordre des événements à partir des journaux de démonstration, les chercheurs ont créé un système qui sait quel futur est réellement « plus proche » de l'objectif. Ce nouveau système, TD-JEPA, réduit l'écart entre ce que le robot apprend et la façon dont il planifie. Il suggère que pour certaines tâches, le robot doit suivre le flux du temps comme une rivière, tandis que pour d'autres, il doit utiliser ce flux pour affiner sa perception de la forme physique. Le résultat est un robot plus intelligent et plus adaptable, capable de mieux planifier dans le monde réel, qu'il s'agisse de naviguer dans une pièce ou de pousser un bloc sur une table.

Résumé Technique : Temporal-Distance JEPA (TD-JEPA)

Énoncé du Problème

Les architectures à plongement conjoint prédictif (JEPAs) sont apparues comme des structures efficaces pour les modèles de monde latents, apprenant à prédire des représentations futures plutôt qu'à reconstruire des pixels. Cependant, un écart structurel existe entre l'objectif d'entraînement des JEPAs et les exigences du contrôle prédictif de modèle (MPC).

L'écart Entraînement-Planification (Train-Plan Gap) : L'entraînement des JEPAs optimise généralement la prédiction latente sur un horizon court. En revanche, la planification nécessite de classer des futurs imaginés multi-étapes en fonction de la progression vers un objectif.
La Limitation Géométrique : Les planificateurs JEPA existants (par exemple, LeWM) s'appuient sur la distance euclidienne latente comme coût de planification par défaut. Bien que cette géométrie puisse être corrélée à la progression dans certains contextes, elle est un sous-produit de l'apprentissage de représentation plutôt qu'un signal explicitement extrait pour le « nombre d'étapes vers l'objectif » ou la joignabilité dirigée.
Le Défi : Comment des journaux de démonstrations hors ligne sans récompense peuvent-ils produire une structure de progression temporelle qui réduit cet écart ? De plus, quand cette structure extraite doit-elle être déployée directement comme coût de planification plutôt que d'être utilisée pour façonner les représentations pour une planification géométrique ?

Méthodologie : TD-JEPA

Les auteurs proposent Temporal-Distance JEPA (TD-JEPA), qui conserve l'architecture encodeur–prédicteur de LeWM mais l'augmente d'un mécanisme d'extraction de coût temporel dirigé. La méthode se compose de trois composantes centrales :

1. Structure de Base et Prédiction

TD-JEPA utilise l'architecture standard de LeWM : un encodeur conditionné par l'action ( $Enc_\theta$ ) et un prédicteur ( $Pred_\phi$ ) qui cartographient les observations en états latents et prévoient les plongements futurs. Il préserve la régularisation SIGReg pour prévenir l'effondrement de la représentation ainsi que la perte de prédiction standard à une étape ( $\mathcal{L}_{pred}$ ).

2. Extraction de Coût Temporel Dirigé

Au lieu de s'appuyer uniquement sur la distance euclidienne, TD-JEPA apprend une fonction d'énergie non négative et dirigée $d_\psi(z_s, z_g)$ représentant le coût pour atteindre un état cible $z_g$ à partir d'un état source $z_s$ .

Architecture (Tête MRN) : La tête de coût utilise une paramétrisation de Réseau de Résidus Métriques (MRN). Elle décompose le coût en un terme de configuration symétrique et un résidu asymétrique :
$d_\psi(z_s, z_g) = \|\phi_{sym}(z_s) - \phi_{sym}(z_g)\|_2 + \max_k \text{ReLU}(\phi_{asym, k}(z_s) - \phi_{asym, k}(z_g))$
Cette conception garantit que le coût est non négatif et intrinsèquement asymétrique ( $d_\psi(z_s, z_g) \neq d_\psi(z_g, z_s)$ ), reflétant la nature dirigée de l'atteinte d'un objectif.
Supervision (Étiquettes Temporelles) : Le modèle est entraîné sur des journaux de démonstrations hors ligne sans récompenses denses.
- Positifs : Pour les indices $i < j$ sur une même trajectoire, l'écart temporel $\tau(i, j) = j - i$ sert de proxy pour les étapes vers le sous-objectif. Le modèle effectue une régression de $d_\psi(z_i, z_j)$ vers $\tau(i, j)$ .
- Négatifs : Les paires de trajectoires croisées agissent comme des négatifs heuristiques, pénalisant les coûts artificiellement bas pour des paires d'états non liés via une perte de type hinge.
Consistance de Rollout : Une perte de teacher-forcing multi-étapes ( $\mathcal{L}_{roll}$ ) est ajoutée pour aligner le coût appris avec l'horizon en boucle ouverte utilisé par le planificateur, réduisant les erreurs de composition lors du déroulement (rollout) de $H$ étapes.

3. Planification et Déploiement

Au moment du test, le planificateur (utilisant la méthode de l'Échantillonnage par Moyenne de l'Entropie ou iCEM) recherche des séquences d'actions qui minimisent l'énergie terminale après un déroulement latent de $H$ étapes.

Stratégie de Double Déploiement : Le papier identifie deux rôles distincts pour le signal extrait selon la structure de la tâche :
1. Tâches Dominées par la Topologie (ex: Navigation) : Le coût temporel dirigé extrait $d_\psi$ est déployé directement comme l'objectif de planification.
2. Tâches Riches en Contacts (ex: Manipulation) : Le même point de contrôle entraîné temporellement est utilisé, mais le planificateur s'appuie sur la distance euclidienne latente ( $\ell_2$ ). Ici, la supervision temporelle sert de signal de représentation pour façonner l'espace latent, améliorant l'efficacité de la planification géométrique.

Contributions Clés

Diagnostic de l'écart Entraînement-Planification de la JEPA : Les auteurs démontrent que les JEPAs prédictives apprennent la dynamique à partir des journaux, mais que la planification repose souvent sur une géométrie d'embedding non entraînée. Ils montrent que l'extraction d'un coût temporel dirigé à partir des journaux réduit considérablement ce décalage de classement (le coefficient de Spearman $\rho$ passe de 0,65 pour la distance euclidienne à 0,95 pour le coût extrait sur Push-T).
Cadre d'Extraction de Distance Temporelle : TD-JEPA introduit une méthode pour extraire la structure de progression temporelle à partir de journaux sans récompense en utilisant une supervision temporelle dirigée, des négatifs de trajectoires croisées et une consistance de déroulement assortie à l'horizon.
Co-conception du Coût et du Déploiement : Le papier fournit des preuves que le choix du coût de planification (temporel extrait vs géométrique) doit être co-conçu avec la structure de la tâche. Les coûts temporels excellent dans la navigation topologique, tandis que les coûts géométriques restent supérieurs pour la manipulation riche en contacts, même lorsque la représentation sous-jacente est entraînée avec des signaux temporels.

Résultats Expérimentaux

La méthode a été évaluée sur quatre environnements : Two-Room (navigation), Reacher (atteinte), Push-T (manipulation) et OGB-Cube (manipulation riche en contacts). Les évaluations ont été menées sous un protocole « verrouillé » (graines fixes, points de contrôle et manifestes d'épisodes) pour assurer une comparaison équitable avec LeWM et la ligne de base concurrente RC-aux.

Navigation et Atteinte : Le déploiement du coût extrait $d_\psi$ $d_{ψ}$ a considérablement amélioré les taux de réussite.
- Two-Room : A atteint 100,0 % de succès (contre 97,4 % pour LeWM).
- Reacher : A atteint 97,0 % de succès (contre 96,0 % pour LeWM).
Manipulation : Sur les tâches riches en contacts, l'entraînement temporel a amélioré la représentation latente, bénéficiant à la planification géométrique.
- OGB-Cube : L'utilisation du point de contrôle entraîné temporellement avec une planification $\ell_2$ a augmenté le succès de 14,2 points de pourcentage par rapport à LeWM (82,2 % contre 68,0 %).
- Push-T : Amélioration de 83,6 % (LeWM) à 86,0 %.
Études d'Ablation : Le retrait du résidu dirigé (tête symétrique), des négatifs de trajectoires croisées ou de la consistance de déroulement a entraîné une dégradation des performances, confirmant la nécessité de chaque composante.
Analyse d'Échec : Sur Push-T, le coût temporel pur ( $d_\psi$ ) a été moins performant que le coût géométrique ( $\ell_2$ ) car les échecs survenaient principalement lors de l'alignement post-contact, où la géométrie locale est plus critique que le classement de la progression temporelle.

Signification et Revendications

Le papier affirme que TD-JEPA réduit l'écart entraînement-planification pour les planificateurs de modèles de monde JEPA en découvrant la structure de progression temporelle dans les journaux hors ligne et en co-concevant la forme du coût avec le déploiement au moment de la planification.

Revendications Modestes : Les auteurs ne prétendent pas que les coûts temporels remplacent universellement les coûts géométriques. Ils soutiennent plutôt une stratégie de déploiement conditionnelle : utiliser le coût dirigé extrait lorsque la progression est topologique, et l'utiliser comme signal de représentation pour la planification géométrique lorsque la géométrie de contact domine.
Validation Empirique : Sous évaluation verrouillée, TD-JEPA égale ou dépasse à la fois LeWM et RC-aux sur chaque environnement, démontant que l'extraction temporelle hors récompense est une voie viable pour améliorer le MPC latent sans nécessiter de modèles de récompense ou d'interaction en ligne.

Le code est disponible sur le dépôt GitHub fourni.