Résumé Technique : Demo-JEPA

Énoncé du Problème

L'apprentissage par imitation robotique fait face à un goulot d'étranglement fondamental connu sous le nom de fossé d'incarnation : le décalage physique et cinématique entre un démonstrateur (par exemple, un humain ou un robot différent) et l'apprenant. Les approches traditionnelles tentent de combler ce fossé par un alignement au niveau des actions, en s'appuyant sur des espaces d'actions partagés, des correspondances d'actions explicites, un réétiquetage heuristique ou un entraînement conjoint multi-incarnations à grande échelle. Cependant, ces méthodes sont fondamentalement limitées pour les agents hétérogènes car des intentions sémantiques identiques (par exemple, « saisir un objet ») nécessitent souvent des commandes motrices, des profils de couple et des configurations articulaires radicalement différents selon la morphologie spécifique. Par conséquent, l'apprentissage de compétences inter-incarnations via un alignement d'actions de bas niveau peine à généraliser à travers des morphologies inadaptées sans des quantités massives de données alignées.

Méthodologie : Demo-JEPA

Les auteurs proposent Demo-JEPA (Architecture Prédictive à Encodage Joint), un cadre qui reformule l'imitation inter-incarnations non pas comme une reproduction d'actions, mais comme une planification conditionnée par des objectifs latents. L'hypothèse centrale est que les démonstrations doivent être considérées comme des spécifications implicites d'objectifs futurs (quel état le démonstrateur tente de réaliser) plutôt que comme des séquences de primitives motrices (comment il les exécute).

Le cadre fonctionne en trois étapes principales au sein d'un espace de représentation prédictive partagé :

1. Modèle du Monde Conditionné par l'Action

L'agent cible utilise un modèle du monde basé sur JEPA (spécifiquement V-JEPA 2.1) pour apprendre la dynamique de sa propre incarnation.

• Encodeur ($E$) : Mappe les observations visuelles ($o_t$) vers des états latents ($z_t$).
• Prédicteur de Dynamique ($F_{wm}$) : Modélise les transitions conditionnées par l'état latent actuel, l'état du robot ($s_t$) et l'action ($a_t$) : $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$.
• Planification : Étant donné un objectif latent cible, l'agent utilise la Méthode de l'Entropie Croisée (CEM) pour optimiser une séquence d'actions qui minimise la distance entre l'état latent futur prédit et l'objectif.

2. Prédicteur Dreamer (Inférence d'Objectif Conscient de l'Incarnation)

Il s'agit du composant novateur responsable de la traduction des démonstrations sources en objectifs compatibles avec la cible.

• Entrée : L'observation cible actuelle ($o^t_k$) et une paire de trames sources ($o^s_k, o^s_{k+n}$) représentant un décalage temporel dans la démonstration.
• Mécanisme :
  • Un encodeur JEPA partagé mappe les observations vers des représentations latentes ($z^t_k, z^s_k, z^s_{k+n}$).
  • Modules d'Attention Croisée : Deux modules capturent (1) la correspondance inter-incarnations ($f_{emb}$) et (2) l'évolution temporelle du comportement ($f_{mot}$).
  • Fusion Convolutionnelle 3D : Les caractéristiques sont agrégées via une convolution 3D ($\phi$) pour préserver la structure spatio-temporelle, suivie d'un prédicteur Transformer ($T$) pour décoder les caractéristiques fusionnées en un objectif latent compatible avec la cible ($\hat{z}^t_{goal}$).
• Entraînement : Le prédicteur est entraîné au Stade 1 en utilisant des démonstrations inter-incarnations sans action pour minimiser la perte de reconstruction latente ($L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$). Une perturbation temporelle est appliquée aux trames sources pour renforcer la robustesse.

3. Co-Entraînement des Actions (Stade 2)

Une fois le Prédicteur Dreamer figé, le prédicteur de dynamique du modèle du monde ($F_{wm}$) est affiné. L'objectif est d'aligner les déroulements latents du modèle du monde avec la distribution d'objectifs fournie par le Prédicteur Dreamer, en optimisant une perte de planification ($L_{plan}$).

Inférence avec Mise à Jour Adaptative des Objectifs

Pendant l'exécution, le système ne fait pas avancer la trame de référence source à une fréquence fixe. Au lieu de cela, il calcule l'écart latent ($D_k$) entre l'état cible nouvellement observé et l'objectif actuel. Le système ne passe à la paire de trames de référence source suivante que si $D_k < \epsilon$ (l'objectif est atteint). Ce mécanisme adaptatif empêche l'accumulation d'erreurs causées par les décalages cinématiques.

Contributions Clés

1. Formulation Nouvelle : L'article propose de reformuler l'imitation inter-incarnations comme une planification conditionnée par des objectifs latents, contournant efficacement le goulot d'étranglement de l'alignement explicite des actions.
2. Cadre Demo-JEPA : Introduction d'un cadre purement piloté par la vision comportant un Prédicteur Dreamer conscient de l'incarnation. Ce composant comble le fossé morphologique en inférant des états latents futurs compatibles avec la cible à partir de démonstrations sources, sans nécessiter de correspondances au niveau des actions ni d'espaces d'actions partagés.
3. Validation Empirique : Une évaluation approfondie dans des tâches de manipulation robotique simulées (RLBench) et réelles démontre que Demo-JEPA atteint une généralisation supérieure aux tâches inédites et aux configurations d'incarnation radicalement différentes par rapport aux bases de référence précédentes.

Résultats Expérimentaux

Le cadre a été évalué sur trois ensembles présentant des décalages de distribution croissants : Ancrage du Comportement (tâches vues), Pont Inter-Incarnations (actions inédites) et Généralisation Zero-Shot (configurations inédites).

• Simulation (RLBench) : Demo-JEPA a égalé les planificateurs spécialisés dans le domaine pour l'ancrage du comportement, mais a significativement surpassé les bases de référence (VPP, XSkill) à mesure que le décalage de distribution augmentait. En Généralisation Zero-Shot, Demo-JEPA a atteint un taux de réussite moyen de 0,36, tandis que VPP et XSkill n'ont obtenu que 0,04 et 0,03 respectivement.
• Monde Réel : Dans les expériences physiques (source UR5e $\to$ cible Franka), Demo-JEPA a atteint un taux de réussite moyen de 0,55 dans le Pont Inter-Incarnations et de 0,25 en Généralisation Zero-Shot, surpassant VPP et XSkill qui ont échoué de manière significative dans les scénarios zero-shot.
• Études d'Ablation :
  • Le retrait du module de fusion convolutionnelle 3D a dégradé les performances sur des tâches complexes et articulées (par exemple, « Changer de chaîne »), soulignant l'importance d'une modélisation spatio-temporelle explicite.
  • Les comparaisons avec les bases de référence « Naïve » (transfert latent direct) et « Oracle » (futur cible vérité terrain) ont confirmé que le Prédicteur Dreamer convertit avec succès des démonstrations hétérogènes en objectifs compatibles avec la cible, approchant les performances de l'oracle sans informations privilégiées.
• Mise à l'Échelle : L'étude a révélé que la diversité des tâches (exposition à des sémantiques de tâches diverses) est un moteur plus critique des mappings latents transférables que le volume de trajectoires par tâche.

Importance et Revendications

L'article revendique que Demo-JEPA traduit avec succès la progression abstraite des tâches dans un espace d'objectifs compatible avec l'incarnation en capturant les dynamiques prédictives sous-jacentes d'une démonstration plutôt qu'en mémorisant des statistiques de surface.

• Robustesse : La méthode démontre que l'inférence d'objectifs latents est plus efficace que l'utilisation de démonstrations comme séquences d'actions fixes ou prototypes de compétences, en particulier lorsque les décalages de distribution sont sévères.
• Flexibilité : En évitant la correspondance au niveau des actions, le cadre prend en charge une imitation flexible à travers des incarnations hétérogènes en utilisant uniquement des démonstrations visuelles et l'expérience d'interaction propre de l'agent cible.
• Limites : Les auteurs reconnaissent modestement que les performances sont actuellement contraintes par les goulots d'étranglement de modélisation des modèles du monde conditionnés par l'action existants, ce qui limite l'efficacité dans des tâches hautement complexes et de haute précision. De plus, le pipeline actuel nécessite toujours un alignement temporel ou conscient de la progression pendant l'entraînement, et les travaux futurs visent à développer des stratégies d'apprentissage totalement non alignées.