🤖 AI

CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations

Cet article présente CLAM, un cadre qui permet aux robots d'apprendre des politiques de contrôle efficaces à partir de séquences d'observations non étiquetées en inférant des actions latentes continues par la prédiction de dynamique auto-supervisée et en les ancrant avec des données de jeu agnostiques vis-à-vis de la tâche, atteignant ainsi des performances comparables à l'imitation de comportement avec des étiquettes d'expert sans nécessiter de démonstrations coûteuses étiquetées en termes d'actions.

Auteurs originaux : Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anthony Liang, Pavel Czempin, Matthew M. Hong, Yutai Zhou, Jingzhen Wang, Erdem Biyik, Stephen Tu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à faire quelque chose, comme empiler des blocs ou verser une boisson. Habituellement, la meilleure façon d'apprendre à un robot est de lui montrer exactement quoi faire, étape par étape, en tenant sa main et en enregistrant chaque minuscule mouvement de ses moteurs. C'est comme donner à un étudiant un manuel scolaire avec les réponses écrites à la fin. Mais voici le hic : enregistrer ces mouvements de moteurs est incroyablement difficile, coûteux et ennuyeux. Cela nécessite qu'un expert humain contrôle physiquement le robot pendant des heures, ce qui est lent et coûteux.

Maintenant, imaginez un autre type d'enseignant. Cet enseignant n'a pas de robot ; il a juste une caméra vidéo. Il se filme en train de réaliser la tâche, ou il trouve des vidéos sur Internet de personnes en train de la faire. Le robot peut voir ce qui se passe — les blocs bougent, la tasse se remplit — mais il n'a aucune idée de comment la main humaine s'est déplacée pour que cela se produise. Les « signaux moteurs » sont manquants. C'est l'énigme que les scientifiques du domaine de la robotique tentent de résoudre : comment un robot peut-il apprendre à bouger de lui-même simplement en regardant des vidéos où les instructions de « mode d'emploi » sont cachées ? Cet article s'attaque précisément à ce problème, visant à permettre aux robots d'apprendre à partir de vidéos peu coûteuses et faciles à collecter, sans avoir besoin de sessions d'entraînement coûteuses et dirigées par la main.

Les chercheurs derrière cet article, Anthony Liang et son équipe, introduisent une nouvelle méthode appelée CLAM (Continuous Latent Action Models). Voyez CLAM comme un détective super intelligent capable de regarder deux images consécutives d'une vidéo et de deviner la « force invisible » qui a causé le changement. Si vous voyez une tasse se déplacer du côté gauche de la table vers le côté droit dans une vidéo, CLAM essaie de comprendre le mouvement continu spécifique qui s'est produit entre les deux, même s'il n'a jamais vu la main qui l'a déplacée.

Voici comment la magie opère. D'abord, le robot regarde une énorme pile de vidéos non étiquetées (juste des observations, sans instructions). Il essaie de prédire à quoi ressemblera l'image suivante en se basant sur l'image actuelle et sur une « supposition » concernant l'action cachée. Si la supposition est fausse, la prédiction échoue, et le robot apprend à ajuster sa supposition. Au fil du temps, il construit une bibliothèque de ces « actions cachées » qui donnent un sens au monde. Mais il y a un obstacle : ces actions cachées ne sont que des chiffres dans le cerveau du robot ; elles ne sont pas encore de vraies commandes motrices.

Pour corrier cela, l'équipe utilise un deuxième tas de données plus petit : des données de « jeu » (play data). Il s'agit simplement du robot qui erre autour, heurte des choses et bouge ses bras de manière aléatoire, mais cette fois, l'ordinateur enregistre les commandes motrices. C'est comme si le robot jouait avec de l'argile sans objectif, mais en tenant un journal de la façon dont ses doigts ont bougé. CLAM utilise ce journal pour apprendre à lui-même comment traduire ses suppositions d'« actions cachées » en mouvements physiques réels. L'innovation clé est que l'équipe entraîne la partie « supposition » et la partie « traduction » ensemble. Cela garantit que les suppositions restent simples et utiles, plutôt que de devenir un chaos que le robot ne peut pas exécuter.

Les résultats sont assez impressionnants. L'équipe a testé CLAM de deux manières : dans des simulations informatiques (comme un monde de jeu vidéo) et sur un vrai bras robotique physique appelé WidowX. Ils ont constaté que CLam pouvait apprendre à résoudre des tâches complexes, comme assembler des pièces ou ramasser des objets, avec un taux de réussite 2 à 3 fois plus élevé que les méthodes précédentes qui essayaient de faire la même chose. Dans de nombreux cas, le robot a appris à performer presque aussi bien que s'il avait été entraîné avec les données de « commandes motrices » parfaites et coûteuses, même s'il n'avait jamais vu ces données.

Crucialement, l'article montre que cette approche fonctionne mieux lorsque les « actions cachées » sont continues (fluides et lisses) plutôt que découpées en petites étapes discrètes, et lorsque le robot apprend à traduire ces actions en utilisant cette petite quantité de données de jeu non étiquetées. S'ils avaient essayé de forcer les actions dans un format rigide, étape par étape, ou s'ils avaient essayé d'entraîner la partie traduction séparément, le robot aurait eu des difficultés. L'article démontre qu'en utilisant ce travail de détective auto-supervisé combiné à un peu de données de jeu désordonnées et non étiquetées, nous pouvons enseigner de nouvelles compétences aux robots sans avoir besoin de téléopération coûteuse dirigée par des experts. C'est un grand pas vers la capacité des robots à apprendre de la vaste quantité de contenu vidéo déjà disponible sur Internet, plutôt que d'exiger que nous enregistrions manuellement chaque mouvement qu'ils font.

Résumé Technique : CLAM - Modèles d'Actions Latentes Continues pour l'Apprentissage Robotique à partir de Démonstrations Non Étiquetées

Énoncé du Problème

L'apprentissage de politiques de contrôle robotique à partir de démonstrations repose généralement sur des données d'experts où les actions sont explicitement étiquetées (par exemple, via la téléopération). La collecte de telles données est coûteuse, chronophage et difficile à mettre à l'échelle, particulièrement pour l'ajustement fin de modèles dans des environnements réels diversifiés. Bien que les vidéos de démonstration humaines soient abondantes et plus faciles à collecter, elles manquent des signaux de contrôle robotique de vérité terrain requis pour l'apprentissage par imitation (IL) standard. De plus, la conversion de vidéos humaines en observations compatibles avec un robot ne fournit pas intrinsèquement les étiquettes d'action manquantes.

Le document traite d'un cadre pratique où :

Données d'Experts Non Étiquetées : Un large corpus de démonstrations vidéo de robots existe (soit converti de vidéos humaines, soit provenant de journaux existants) mais manque d'étiquettes d'action.
Données de Jeu Agnostiques à la Tâche : Un petit ensemble de données de transitions de robots avec des étiquettes d'action est disponible, mais il s'agit de données de "jeu" (non dirigées, non expertes) plutôt que de démonstrations d'experts spécifiques à une tâche.
Objectif : Apprendre une politique de haute performance pour une tâche spécifique en utilisant les vidéos d'experts non étiquetées et la petite quantité de données de jeu agnostiques à la tâche, sans jamais collecter de nouvelles démonstrations d'experts étiquetées par l'action.

Méthodologie : Modèles d'Actions Latentes Continues (CLAM)

CLAM est un cadre en deux étapes conçu pour inférer des actions latentes continues à partir de séquences d'observations et les ancrer dans des commandes motrices exécutables.

1. Entraînement du Modèle d'Action Latente (LAM) (Étape 1)

Le cœur de CLAM est un modèle d'action latente auto-supervisé qui apprend à inférer des actions entre des observations consécutives sans étiquettes de vérité terrain.

Composants :
- Modèle de Dynamique Inverse Latente (IDM) : $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ infère une action latente continue $z_t$ entre les observations.
- Modèle de Dynamique Directe Latente (FDM) : $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ prédit l'observation suivante conditionnée par l'historique actuel et l'action latente inférée $z_t$ .
Objectif Auto-Supervisé : Le modèle est entraîné pour minimiser l'erreur de reconstruction de l'observation future ( $L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$ ). Cette boucle force l'action latente $z_t$ à encoder l'information de transition nécessaire dépendante de l'état.
Espace Latent Continu : Contrairement aux travaux antérieurs qui utilisent la Quantification Vectorielle (VQ) pour discrétiser les actions, CLAM utilise un espace d'action latente continu. Ceci est crucial pour les tâches de contrôle continu à haute dimension où les approximations discrètes échouent.
Entraînement Conjoint avec Décodeur d'Action : Pour garantir que les actions latentes soient exécutables, CLAM entraîne conjointement un décodeur d'action latente $p_\omega(a_t | z_t)$ $p_{ω} (a_{t} ∣ z_{t})$ en utilisant le petit jeu de données de jeu agnostique à la tâche ( $D_{labeled}$ $D_{l ab e l e d}$ ).
- Le décodeur mappe les actions latentes $z_t$ vers des commandes motrices réelles $a_t$ .
- L'objectif d'entraînement combine la perte de reconstruction et la perte du décodeur d'action : $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$ .
- Intuition Cruciale : L'entraînement conjoint régularise l'espace latent, garantissant qu'il reste décodable. Le décodeur n'est pas conditionné par les observations, forçant l'action latente à être un code d'action de bas niveau.

2. Entraînement de la Politique d'Action Latente (Étape 2)

Une fois le LAM pré-entraîné :

Réétiquetage : L'IDM entraîné annote les démonstrations d'experts non étiquetées ( $D_{unlabeled-expert}$ ) avec des pseudo-actions latentes, créant ainsi un ensemble de paires $(o_t, z_t)$ .
Apprentissage de la Politique : Une politique d'action latente $\pi_\theta(z_t | o_t)$ est entraînée via l'apprentissage par imitation standard (imitation par clonage de comportement) sur cet ensemble de données réétiquetées.
Inférence : Lors de l'exécution, la politique prédit une action latente $z_t$ donnée une observation, et le décodeur d'action pré-entraîné $p_\omega$ convertit $z_t$ en une commande motrice physique.

Contributions Clés

Réétiquetage d'Actions Latentes Continues : Les auteurs démontrent que le réétiquetage d'actions latentes devient pratique pour le contrôle robotique continu uniquement en utilisant des espaces latents continus combinés à un ancrage conjoint (entraînement simultané du décodeur avec le LAM).
Utilisation Efficace des Données : Le cadre montre que les données de jeu agnostiques à la tâche sont suffisantes pour l'ancrage des actions latentes. Cela réduit considérablement le coût de la collecte de données, car cela élimine le besoin de téléopérations d'experts coûteuses et spécifiques à une tâche pour la phase d'étiquetage des actions.
Déploiement en Monde Réel : CLAM est déployé avec succès sur un bras robotique WidowX physique à travers quatre tâches de manipulation, atteignant des performances compétitives avec les politiques entraînées sur des étiquettes d'actions d'experts privilégiées, sans jamais voir de telles étiquettes pendant l'entraînement.

Résultats Expérimentaux

Le papier évalue CLAM sur DMControl (locomotion), MetaWorld (manipulation) et un robot WidowX réel.

Gains de Performance :
- Sur DMControl (basé sur l'état), CLAM améliore le rendement normalisé moyen de plus de 2× par rapport à la meilleure ligne de base (VPT).
- Sur MetaWorld (basé sur l'image), CLAM atteint des taux de réussite de tâche 2 à 3 fois plus élevés que les lignes de base comme LAPO, LAPA et DynaMo.
- CLAM approche ou dépasse même la performance de BC-Expert (clonage de comportement entraîné sur les actions d'experts de vérité terrain), bien que BC-Expert ait accès à des étiquettes privilégiées tandis que CLAM n'en a pas.
Études d'Ablation :
- Continu vs Discret : Les actions latentes discrètes (utilisant le VQ) performent mal sur les tâches de contrôle continu. Les actions latentes continues seules apportent une amélioration d'environ 1,5×.
- Entraînement Conjoint : Entraîner conjointement le décodeur d'action avec le LAM est essentiel. Cela booste la performance d'environ 3× lorsqu'il est combiné avec des actions latentes continues.
- Mise à l'échelle des Données : La performance augmente avec la quantité de données d'experts non étiquetées ( $|D_{unlabeled}|$ ). La méthode passe également à l'échelle avec la quantité de données de jeu ( $|D_{labeled}|$ ) utilisées pour l'ancrage, surpassant le BC standard qui plafonne rapidement avec des données non expertes.
Résultats sur Robot Réel : Sur le WidowX, CLAM résout des tâches de manipulation (ex: assemblage, ramassage en bac) avec des taux de réussite nettement plus élevés que les lignes de base, égalant souvent la performance de la ligne de base BC-Expert privilégiée.

Signification et Revendications

Le papier affirme que CLAM représente une solution scalable pour l'apprentissage de politiques robotiques à partir de données sans action. Sa principale signification réside dans :

Suppression du Goulot d'Étranglement de l'Étiquetage d'Expert : Il démontre que des politiques robotiques efficaces peuvent être apprises sans collecter de démonstrations d'experts étiquetées par l'action, coûteuses et spécifiques à une tâche.
Exploitation de Données Peu Coûteuses : En utilisant des vidéos de robots non étiquetées abondantes et des données de jeu agnostiques à la tâche peu coûteuses, CLAM abaisse la barrière à l'entrée pour l'apprentissage robotique.
Nécessité Architecturale : Ce travail établit que pour le contrôle continu à haute dimension, la combinaison d'espaces latents continus et de l'entraînement conjoint du décodeur d'action n'est pas seulement bénéfique mais essentielle au succès, se distinguant ainsi des modèles d'actions latentes précédents conçus pour les domaines discrets.

Les auteurs notent que bien que CLAM soit efficace dans des contextes mono-robot et mono-tâche, des travaux futurs sont nécessaires pour traiter les défis de la généralisation aux vidéos "dans la nature" (gestion des artefacts, écarts d'incarnation) et de la mise à l'échelle vers l'apprentissage multi-incarnation.