💻 computer science

Scalable Behavior Cloning with Open Data, Training, and Evaluation

Cet article présente ABC, une pile logicielle entièrement open-source pour l'apprentissage par imitation de comportement en manipulation robotique qui propose le plus grand ensemble de données de téléopération à ce jour (ABC-130K), un pipeline matériel et de simulation reproductible avec des recettes de co-entraînement, ainsi que des évaluations exhaustives des architectures Diffusion Transformer et Vision-Language-Action sur des tâches dextres complexes.

Auteurs originaux : Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Mali

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arthur Allshire, Himanshu Gaurav Singh, Ritvik Singh, Adam Rashid, Hongsuk Choi, David McAllister, Justin Yu, Yiyuan Chen, Huang Huang, Pieter Abbeel, Xi Chen, Rocky Duan, Phillip Isola, Jitendra Malik, Fred Shentu, Guanya Shi, Philipp Wu, Angjoo Kanazawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à effectuer des tâches complexes, comme plier une boîte en carton, trier des briques LEGO ou même retirer une carte de crédit d'un portefeuille serré. Par le passé, enseigner aux robots revenait à essayer d'enseigner à un enfant en lui montrant une seule photo floue d'une tâche et en espérant qu'il comprenne par lui-même. C'était coûteux, lent, et souvent, le robot finissait par abandonner.

Ce document présente ABC, un "kit de démarrage" massif et open-source pour apprendre aux robots à apprendre en observant les humains. Considérez cela comme le "Wikipedia" ou le "YouTube" de l'apprentissage des robots, mais au lieu de simples vidéos, cela inclut les véritables recettes, les ustplements de cuisine et la cuisine d'essai pour que n'importe qui puisse essayer.

Voici la décomposition de leur "pile ABC" en utilisant des analogies simples :

1. La Bibliothèque : ABC-130K (Le "Livre de Recettes")

Imaginez une bibliothèque qui ne possède pas seulement une ou deux recettes, mais 3 500 heures de séquences vidéo d'humains accomplissant 130 000 tâches différentes.

Ce qu'il y a dedans : Des humains utilisant deux bras robotiques pour faire tout, des tâches simples de "prendre et poser" jusqu'à des tâches de dextérité très délicates comme plier des avions en papier ou déverrouiller une boîte avec une clé.
Pourquoi c'est important : Avant cela, la plupart des données robotiques étaient soit trop limitées, soit trop coûteuses à collecter, soit enfermées dans des coffres secrets d'entreprises. C'est la plus grande collection ouverte de ce type, construite sur un robot qui coûte environ 8 000 $ (ce qui est bon marché pour un robot), ce qui la rend accessible aux chercheurs réguliers, et pas seulement aux géants de la technologie.

2. Le Cerveau : ABC-Models (Les "Étudiants")

Les auteurs n'ont pas simplement déversé les données ; ils ont construit deux types différents de robots "étudiants" pour apprendre de ces données et ont testé quel style d'apprentissage fonctionne le mieux.

Le "Transformer de Diffusion" (DiT) : Considérez cela comme un étudiant qui est très doué pour regarder une image et deviner l'étape suivante, étape par étape, comme pour remplir une grille de mots croisés.
Le "Vision-Langage-Action" (VLA) : Considérez cela comme un étudiant capable de lire des instructions, de regarder l'image et de comprendre le contexte, le tout en même temps.
L'Expérience : Ils ont testé ces étudiants avec différents "enseignants" (différentes vues de caméras et entrées linguistiques). Ils ont découvert que l'étudiant VLA apprenait plus rapidement lorsqu'on lui donnait plus de puissance de calcul, tandis que l'étudiant DiT était plus efficace avec moins de puissance. Ils ont publié les cerveaux "diplômés" (les poids du modèle) afin que n'importe qui puisse les utiliser.

3. Le Simulateur : ABC-Sim (Le "Simulateur de Vol")

Habituellement, pour voir si un robot est intelligent, il faut le laisser essayer la tâche dans le monde réel. S'il échoue, il peut casser quelque chose ou prendre des heures pour se réinitialiser.

La Solution : Les auteurs ont construit une "réalité virtuelle" de type simulateur de vol pour les robots. Ils ont créé 400 heures de données où des humains ont téléopéré des robots à l'intérieur d'un jeu informatique.
La Magie : Ils ont prouvé que si un robot réussit bien dans ce jeu vidéo, il réussira probablement dans le monde réel. C'est comme dire : "Si vous pouvez piloter cet avion dans le simulateur, vous êtes probablement prêt pour le vrai ciel." Cela permet aux chercheurs de tester leurs idées sans avoir besoin d'un robot physique ou de risquer des dommages.

4. L'Essai Routier : ABC-Eval (L' "Examen de Conduite")

Ils ne se sont pas contentés de dire "ça marche" ; ils ont réellement fait passer les robots à travers un parcours d'obstacles de tâches.

Les Résultats : Les robots ont appris avec succès à plier des boîtes, à trier des objets et à effectuer des tâches délicates comme insérer une clé dans une serrure.
L'astuce "DAgger" : Pour la tâche la plus difficile (plier une boîte), le robot échouait sans cesse. Les auteurs ont utilisé une technique appelée DAgger. Imaginez un moniteur de conduite qui laisse l'élève conduire, mais dès que l'élève commence à percuter quelque chose, le moniteur saisit le volant pour corriger la trajectoire, puis laisse l'élève réessayer. En collectant ces moments de "correction", le robot a appris comment se remettre de ses erreurs et a fini par maîtriser le pliage de la boîte.

La Vue d'Ensemble

Les auteurs disent : "Nous avons construit tout le système scolaire pour l'apprentissage des robots. Nous avons les manuels (données), les enseignants (modèles), les examens blancs (simulation), et les tests finaux (résultats dans le monde réel). Nous offrons tout cela gratuitement."

Leur objectif est de faire cesser l'apprentissage des robots d'être un club privé pour les entreprises riches et de lancer un effort communautaire où tout le monde peut apprendre ensemble les "ABC" de l'enseignement aux robots. Ils ne promettent pas que les robots feront votre lessive demain, mais ils fournissent les fondations pour que les chercheurs puissent enfin commencer à les construire.

Résumé technique : ABC (Open Data, Training, and Evaluation) pour un apprentissage par imitation scalable

1. Énoncé du problème

Les progrès de la manipulation robotique via l'apprentissage par imitation (Behavior Cloning - BC) sont actuellement entravés par un manque de reproductibilité et de scalabilité. Les systèmes de pointe sont souvent développés dans des laboratoires industriels propriétaires utilisant des jeux de données fermés, ce qui rend difficile pour la communauté élargie de vérifier les résultats ou de comprendre quels choix de conception pilotent la performance. Les jeux de données ouverts existants souffrent d'une échelle insuffisante, d'une dépendance à un matériel spécifique coûteux, ou d'un manque d'infrastructure d'entraînement et de suites d'évaluation nécessaires. De plus, l'évaluation rigoureuse des politiques de BC nécessite généralement une mise à l'échelle réelle, coûteuse et logistiquement exigeante, créant un goulot d'étranglement où les progrès à la frontière de la recherche restent opaques.

2. Méthodologie et vue d'ensemble du système

Les auteurs introduisent ABC, une pile logicielle entièrement open-source et de bout en bout, conçue pour démocratiser l'apprentissage robotique. Le système est composé de quatre composants intégrés :

A. ABC-130K (Jeu de données)

Le cœur de cette publication est ABC-130K, le plus grand jeu de données de téléopération open-source à ce jour.

Échelle : 3 553 heures de données de téléopération bimanuelle en conditions réelles, comprenant 134 806 épisodes répartis sur 195 tâches distinctes.
Matériel : Collectées sur une plateforme robotique bimanuelle YAM à bas coût (8 000 $).
Diversité : Les tâches couvrent 7 catégories de primitives (ex: prise et dépose, pliage, utilisation d'outils, assemblage) et incluent des comportements hautement dextres comme le pliage de boîtes, l'extraction de cartes de crédit de portefeuilles et l'insertion d'AirPods.
Métadonnées : Inclut des identifiants d'opérateurs anonymisés, des horodatages, ainsi qu'un sous-ensemble de 1 552 heures avec des annotations de sous-objectifs (sous-trajectoires contiguës étiquetées avec des descriptions de sous-tâches).
Défi technique : Les auteurs traitent le goulot d'étranglement du débit lors du décodage des images vidéo encodées à cette échelle en implémentant un chargeur de données (dataloader) optimisé.

B. ABC-Models (Architecture et Entraînement)

L'article étudie deux principales familles de politiques pour le BC à grande échelle, comparant les choix architecturaux via des ablations en conditions réelles :

ABC-DiT : Une politique de Diffusion Transformer avec des encodeurs visuels et linguistiques légers.
- Architecture : Backbone DiT à 32 couches (2 milliards de paramètres).
- Principales conclusions : Les auteurs ont constaté que le remplacement de la conditionnalité globale par AdaLN par une attention croisée agrégée (pooled cross-attention) préserve l'information spatiale fine cruciale pour la manipulation. De plus, le remplacement de l'encodeur d'image CLIP par DINOv3 a considérablement amélioré les performances, suggérant que les représentations alignées sur les pixels sont supérieures pour les actions robotiques de bas niveau.
ABC-VLA : Un modèle Vision-Language-Action basé sur Gemma 3 (4 milliards de paramètres) avec une tête d'action par diffusion.
- Architecture : Utilise un backbone VLM affiné avec un objectif de prédiction d'action.
- Analyse du connecteur : Les auteurs ont comparé trois mécanismes de connexion : Cross-Attention, Cross-Attention + FAST (co-entraînement), et Adaptive LayerNorm (AdaLN). AdaLN a surperformé les autres (61,4 % de progression moyenne contre 3,26 % pour FAST), suggérant que les gradients de diffusion sont compatibles avec les caractéristiques VLM s'ils sont correctement interfacés.
- Scaling : L'étude explore les tailles de lots (batch sizes) (1,5k, 4,6k, 9,2k). Bien que les DiT soient plus efficaces en termes de calcul (FLOPs), les VLA montrent un bond de performance significatif à de plus grands lots (9,2k), finissant par surpasser les DiT dans les tâches réelles.

C. ABC-Sim (Simulation et Corrélation)

Pour permettre l'itération sans matériel physique, les auteurs fournissent ABC-Sim, une suite de 10 tâches de simulation (ex: retournement de tasse, chargement de vaisselle) construites dans MuJoCo avec un pipeline Blender pour un rendu haute fidélité.

Données : 400 heures de données de téléopération de simulation collectées via VR (Meta Quest/Apple Vision Pro) en utilisant des bras leaders GELLO.
Corrélation Sim-to-Real : Les auteurs démontrent une forte corrélation entre la performance en simulation et en conditions réelles ( $r=0,85$ pour le succès strict, $r=0,91$ pour la progression de la tâche), validant la simulation comme un proxy fiable pour les études d'ablation.

D. ABC-Eval (Évaluation)

La pile inclut une suite d'évaluation standardisée avec plus de 100 heures de déploiements de politiques en conditions réelles et des rubriques pour des métriques telles que le "Succès Strict" (achèvement de la tâche) et la "Progression" (progression moyenne de la tâche).

E. Techniques d'Entraînement Avancées

Métriques Offline : L'article établit que la perte d'entraînement (training loss) et l'erreur d'action de validation (distance L2 entre l'action prédite et la vérité terrain) sont négativement corrélées avec la performance réelle, servant de proxies peu coûteux pour la sélection de modèles. La perte de validation seule s'est avérée décorrélée.
DAgger pour les tâches dextres : Pour les tâches complexes comme le pliage de boîte où le finetuning naïf échoue, les auteurs utilisent DAgger (Dataset Aggregation). Ils collectent des "comportements de récupération" en intervenant lorsque la politique rencontre des difficultés, plutôt que de collecter des démonstrations complètes. Cette approche, combinée à un ratio de mélange de données spécifique (80 % précédent, 10 % intervention actuelle, 10 % déroulement actuel), a considérablement amélioré les performances sur les tâches à long horizon.

3. Résultats Clés

Performance : Les politiques de base résultantes (ABC-DiT et ABC-VLA) exécutent avec succès des tâches dextres de manière autonome, notamment le pliage de boîtes en carton, l'insertion de clés dans des serrures et l'emballage de sacs.
Architecture : DINOv3 avec attention croisée agrégée est identifié comme la représentation visuelle optimale pour les DiT. AdaLN est identifié comme le mécanisme de conditionnement supérieur pour les modèles VLA sur ce jeu de données.
Scaling : L'augmentation de la taille du lot à 9 216 génère des gains significatifs pour les modèles VLA, leur permettant de surpasser la performance des DiT dans les métriques réelles, bien que les DiT restent plus efficaces en termes de FLOPs.
Finetuning : Le pré-entraînement sur le divers ensemble ABC-130K améliore considérablement les performances de finetuning sur des tâches uniques par rapport à un entraînement à partir de zéro ou en utilisant de plus petits jeux de données internes.

4. Signification et Revendications

L'article affirme qu'en fournissant un outil reproductible (données, modèles, infrastructure et évaluation), il place les chercheurs sur un "pied d'égalité". La signification réside dans :

Démocratisation : Déplacer la recherche en manipulation robotique des laboratoires industriels opaques et propriétaires vers une fondation ouverte et communautaire.
Standardisation : Établir un benchmark commun (ABC-130K) et un protocole d'évaluation pour comparer rigoureusement les décisions architecturales et d'entraînement.
Efficacité : Valider la simulation et les métriques offline comme des proxies fiables, réduisant le coût et le temps nécessaires au développement itératif de modèles.
Fondation pour les travaux futurs : Les auteurs positionnent ABC comme une base pour répondre à des questions ouvertes concernant le conditionnement par l'historique, les lois d'échelle pour le BC, et le finetuning par RL, visant à "apprendre ensemble les bases (ABCs) de l'apprentissage par imitation au sein de la communauté".