Résumé Technique : Imitation à partir de Démonstrations Hétérogènes via des Modèles de Monde à Actions Latentes Ancrées

Énoncé du Problème

L'apprentissage par imitation a connu un succès significatif dans la manipulation visuomotrice, mais sa scalabilité est limitée par le coût élevé et la rareté des démonstrations de haute qualité étiquetées avec des actions sur les robots cibles. Bien que des sources de données hétérogènes abondantes existent (ex. : simulations, appareils portables à main, vidéos humaines), elles présentent trois défis critiques :

1. Incompatibilité de l'Espace d'Actions : Les différentes sources possèdent souvent des espaces d'actions incompatibles ou manquent totalement d'étiquettes d'actions.
2. Variation Visuelle et d'Embodiment : Les sources de données présentent des différences substantielles de points de vue de caméra, de morphologies de robots et de contextes de scène qui ne reflètent pas la physique sous-jacente de la tâche.
3. Limites des Solutions Existantes : Les approches actuelles pour l'entraînement conjoint sur des données hétérogènes reposent sur des techniques d'alignement heuristiques et conçues à la main (ex. : pertes de transport optimal, ratios de mélange ajustés empiriquement, ou tokeniseurs spécifiques) plutôt que sur un apprentissage de représentation principiel.

Le papier pose qu'une approche plus rigoureuse est nécessaire : les actions devraient être représentées en fonction de leur effet physique sur l'environnement plutôt que selon leur source. Deux actions entraînant un objet le long d'une même trajectoire devraient partager une représentation, qu'elles proviennent d'un vrai robot, d'une simulation ou d'un appareil tenu à la main.

Méthodologie : Modèles de Monde à Actions Latentes Ancrées (GLAM)

Les auteurs proposent GLAM, un cadre qui unifie les données hétérogènes dans un espace d'actions latentes partagé et invariant à la source via une paire de modèles génératifs couplés. Le pipeline opère en deux étapes :

Étape 1 : Préentraînement GLAM (Modèle de Monde)

L'innovation centrale est l'apprentissage d'un espace d'actions latentes partagé ($z_t$) ancré dans la dynamique de l'environnement. Cela est réalisé grâce à deux modèles génératifs entraînés conjointement :

1. Modèle Hétérogène ($p(X, O, Z)$) : Entraîné sur le mélange de données cibles ($D_{tar}$) et de données auxiliaires ($D_{aux}$). Puisque $D_{aux}$ manque d'étiquettes d'actions, ce modèle traite les actions comme des variables latentes déduites uniquement des transitions d'état.

   • Il utilise un Modèle de Dynamique Inverse (IDM), $q_\phi(z_t | x_t, x_{t+1})$, pour inférer les actions latentes directement à partir des transitions observées (où $x_t$ est un état latent encodé à partir des observations).
   • Il utilise un modèle de dynamique directe partagé, $p_\theta(x_{t+1} | x_t, z_t)$, pour prédire les observations futures.
   • Principe : En partageant l'IDM et la dynamique directe entre toutes les sources de données, le modèle impose que les actions latentes soient définies par la manière dont elles affectent l'environnement, garantissant ainsi l'invariance à la source.

2. Modèle Cible ($p(S, A, Z)$) : Entraîné uniquement sur les données cibles étiquetées ($D_{tar}$).

   • Il inclut un Encodeur d'Action, $q_\eta(z_t | s_t, a_t)$, qui infère les actions latentes à partir des actions exécutables du robot et des états proprioceptifs.
   • Il inclut un terme de reconstruction d'action, $\log p_\theta(a_t | z_t)$, assurant que l'espace latent reste ancré dans la sémantique de contrôle spécifique du robot cible.

Mécanisme d'Alignement :
Pour lier ces deux modèles, les auteurs introduisent une contrainte de divergence KL asymétrique ($C_{KL}$). Cette contrainte aligne la distribution a posteriori de l'IDM (provenant du modèle hétérogène) avec celle de l'encodeur d'action (provenant du modèle cible) spécifiquement sur le jeu de données cible.

• L'asymétrie (en utilisant un stop-gradient sur l'encodeur cible) garantit que l'IDM absorbe la sémantique de contrôle "privilégiée" des données cibles sans être déformé par les signaux ambigus des données auxiliaires.
• L'objectif combiné minimise les bornes inférieures de l'évidence (ELBO) négatives des deux modèles ainsi que la contrainte d'alignement, créant un espace latent unifié où toute transition peut être réétiquetée avec une action latente partagée et consciente du contrôle.

Note : Les auteurs étudient également une variante utilisant des masques de segmentation d'objets comme observations au lieu de cadres RGB bruts pour accentuer davantage le focus sur la dynamique de l'objet manipulé.

Étape 2 : Apprentissage par Imitation (BC) aligné sur le Modèle de Monde

Une fois le modèle GLAM préentraîné et gelé, il sert d'ancre d'action latente :

1. Réétiquetage : Chaque transition dans $D_{tar}$ et $D_{aux}$ est réétiquetée avec l'action latente $z_t$ en utilisant la moyenne a posteriori de l'IDM.
2. Entraînement de la Politique : Une politique d'Apprentissage par Imitation (Behavioural Cloning - BC) en aval (spécifiquement MIP, une politique de régression légère) est entraînée pour mapper les observations vers ces blocs d'actions latentes.
3. Exécution : La sortie de la politique (actions latentes) est décodée en actions exécutables pour le robot cible en utilisant le décodeur d'action du modèle cible.

Cette approche permet aux données auxiliaires non étiquetées de servir de supervision directe pour la politique de BC, substituant efficacement la téléopération coûteuse sur le robot cible.

Contributions Clés

1. Apprentissage de Représentation Principiel : Le papier déplace le paradigme de l'alignement heuristique vers l'apprentissage de représentations d'actions ancrées dans la prédiction physique. Les actions sont alignées si elles produisent la même transition environnementale, quelle que soit la source.
2. Architecture GLAM : L'introduction d'un cadre génératif à double modèle (Hétérogène + Cible) lié par un alignement KL asymétrique et une dynamique directe partagée. Cela crée un espace latent qui est à la fois invariant à la source (appris à partir de données mixtes) et conscient du contrôle (ancré dans les actions du robot cible).
3. Efficacité des Données : La méthode démontre que les données hétérogènes non étiquetées peuvent efficacement substituer les démonstrations du robot cible, réduisant considérablement les besoins en données pour un déploiement fiable.
4. Ancrage Centré sur l'Objet : L'exploration de l'utilisation de masques d'objets comme observations pour améliorer le transfert en se concentrant sur la physique de l'objet manipulé.

Résultats Expérimentaux

Les auteurs ont évalué GLAM sur cinq tâches de manipulation : trois dans le monde réel (lever, pick-and-place, renverser/knock-down) et deux en simulation (empilement de 2 et 3 cubes).

• Gains de Performance : Les politiques alignées par GLAM ont nettement surpassé les bases de Behavioural Cloning (MIP) et les méthodes d'actions latentes antérieures (CLAM, LAPA).
  • Ont obtenu une amélioration moyenne de +48 % du taux de réussite des tâches dans des configurations de rareté de données identiques.
  • Sur la tâche complexe de bimanual "stack-three" (qui nécessite typiquement des centaines de démonstrations), GLAM a atteint un taux de réussite de 72,7 %, alors que toutes les bases ont échoué (≤4 %).
• Transfert de Source à Source : Des expériences qualitatives ont confirmé que les actions latentes inférées à partir de sources non étiquetées (ex. : simulations UMI handheld) pouvaient être décodées et exécutées avec succès sur le robot cible (Kinova) sans aucune étiquette d'action, validant l'alignement de l'espace latent.
• Efficacité des Données : Dans les expériences de mise à l'échelle, GLAM-O (utilisant des masques d'objets) a égalé la performance d'une politique BC standard entraînée sur 500 trajectoires cibles en utilisant seulement 100 trajectoires cibles augmentées de 400 trajectoires auxiliaires. Cela suggère que les données auxiliaires peuvent substituer les données cibles de manière quasi 1:1 en termes de gain de performance.
• Masques d'Objets : L'utilisation de masques d'objets comme observations a systématiquement amélioré les performances, particulièrement dans des tâches complexes comme "knock-down" (+25 %) et "stack-three" (+16 %), soutenant l'hypothèse que l'ancrage centré sur l'objet améliore le transfert.

Signification et Revendications

Le papier affirme que GLAM fournit un paradigme pour l'apprentissage à partir de données hétérogènes qui surmonte le goulot d'étranglement des données dans l'apprentissage par imitation. En traitant les actions comme des variables latentes ancrées dans les transitions environnementales, la méthode élimine le besoin de recettes d'alignement faites à la main.

Les auteurs soulignent que GLAM :

• Unifie les données étiquetées et non étiquetées dans un espace latent unique et invariant à la source.
• Permet l'utilisation directe de données auxiliaires abondantes et peu coûteuses (comme les simulations ou les données d'appareils portables) comme supervision pour les robots cibles.
• Atteint des performances de pointe dans des contextes de rareté de données sans nécessendre de préentraînement à grande échelle ou d'interaction en ligne massive.

Ce travail est présenté comme une étape vers le passage à l'échelle de politiques capables pour la "longue traîne" des tâches réelles en exploitant diverses sources de données imparfaites via un cadre d'apprentissage de représentation ancré dans la physique.