💻 computer science

CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

Le document présente CORE, un cadre d'apprentissage par imitation robotique qui exploite des vidéos humaines sans action en extrayant et en utilisant des régularités de résultats terminaux communs comme prototypes de buts visuels afin de surmonter les écarts d'incarnation et d'améliorer significativement les taux de réussite de manipulation à travers des tâches simulées et réelles.

Auteurs originaux : Juyi Sheng, Jincheng Li, Mingxin Tan, Mengyuan Liu

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juyi Sheng, Jincheng Li, Mingxin Tan, Mengyuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment empiler des bols. Vous avez deux façons de lui donner des instructions :

Le manuel textuel : Vous dites au robot : « S'il vous plaît, empilez les bols. »
La vidéo : Vous montrez au robot une vidéo d'un humain empilant des bols, mais vous ne lui dites pas comment bouger ses bras pour le faire. Vous le laissez simplement regarder le résultat.

Pendant longtemps, les robots ont eu du mal avec cette deuxième option. Ils sont excellents pour suivre des instructions textuelles, mais le texte est souvent trop vague. « Empilez les bols » ne dit pas au robot exactement quelle hauteur la pile doit atteindre, comment les bols doivent se toucher, ou à quoi la forme finale doit ressembler. C'est comme dire à un chef : « Fais un gâteau » sans lui montrer à quoi ressemble un gâteau fini.

D'un autre côté, les robots ont également eu du mal à apprendre à partir de vidéos humaines car les humains et les robots sont très différents. Un humain utilise ses mains ; un robot utilise une pince. Un humain déplace tout son corps ; un robot déplace un bras spécifique. Essayer de copier exactement les mouvements de la main d'un humain peut confondre le robot.

La Grande Idée : « La ligne d'arrivée, pas la course »

Les auteurs de ce papier, CORE, ont réalisé quelque chose d'astucieux. Ils ont remarqué que si différentes personnes empilent des bols de manières totalement différentes (en utilisant des vitesses, des angles ou des prises de main différents), elles arrivent toutes exactement au même résultat : une pile de bols propre et stable.

Ils appellent ces résultats partagés des « Régularités de l'Issue Commune » (Common Outcome Regularities).

Au lieu d'essayer d'apprendre au robot comment bouger (la course), ils ont décidé de lui apprendre à quoi ressemble la ligne d'arrivée (le résultat).

Comment fonctionne CORE (Les trois étapes)

Voyez CORE comme un professeur intelligent qui regarde un tas de vidéos et donne ensuite au robot une « Image de l'Objectif ».

Étape 1 : Le Détective (Apprendre le résultat)
Le système regarde de nombreuses vidéos de personnes empilant avec succès des bols. Il ignore les parties confuses du milieu de la vidéo (les bras qui s'agitent, les pauses) et se concentre uniquement sur la dernière seconde des tentatives réussies. Il apprend à reconnaître l'« empreinte digitale » d'une pile réussie. C'est comme un détective qui ne se soucie que de la scène de crime résolue, pas du chemin pour y parvenir.
Étape 2 : L'Artiste (Créer l'objectif)
Le système prend tous ces instantanés de « fins réussies » et les mélange pour créer une « Image de l'Objectif » parfaite et idéale. Ce n'est pas juste une photo aléatoire ; c'est un résumé de ce qu'est une pile parfaite, filtrant les manières étranges ou accidentelles dont les gens ont pu terminer la tâche.
Étape 3 : Le Coach (Guider le robot)
Maintenant, le robot essaie d'accomplir la tâche. Pendant qu'il bouge, le système compare constamment ce que le robot voit en ce moment même avec cette « Image de l'Objectif ». Il dit au robot : « Tu te rapproches de l'Image de l'Objectif » ou « Tu t'éloignes de l'Image de l'Objectif. » Cela agit comme un GPS qui corrige constamment la trajectoire du robot jusqu'à ce qu'elle corresponde à la fin parfaite.

Pourquoi est-ce mieux que le texte ?

Le papier a testé cela sur de nombreuses tâches différentes, comme ouvrir des tiroirs, empiler des blocs ou déplacer des objets.

Les instructions textuelles sont comme une carte vague : « Va au parc. » Le robot pourrait se perdre parce qu'il ne sait pas exactement où se trouve le banc du parc ou comment escalader la clôture.
Les Objectifs Visuels de CORE sont comme une photo de la destination : « Arrête-toi exactement quand tu ressembles à ceci. »

Dans leurs tests, les robots utilisant CORE étaient bien plus performants que ceux utilisant des instructions textuelles.

Dans une simulation appelée Meta-World, les robots ont amélioré leur taux de réussite d'environ 4 %.
Dans RoboTwin 2.0, ils ont progressé de 11 %.
Dans le Monde Réel (en utilisant un bras robotique physique), l'amélioration a été énorme : 17 %.

La preuve par le monde réel

Les chercheurs ont même testé cela sur un vrai bras robotique dans un laboratoire. Ils ont demandé au robot d'ouvrir un tiroir et d'empiler trois bols.

Les robots utilisant uniquement des instructions textuelles s'arrêtaient souvent juste avant la cible ou échouaient dans l'empilement.
Les robots utilisant l'« Image de l'Objectif » de CORE savaient exactement quand ils avaient atteint la position parfaite et accomplissaient la tâche avec succès.

Ce qu'il faut retenir

Le papier soutient que nous n'avons pas besoin d'apprendre aux robots à copier exactement les mouvements humains. Au contraire, nous devrions leur apprendre à reconnaître ce qu'est un « bon travail ». En se concentrant sur l'issue plutôt que sur l'action, les robots peuvent apprendre de la vaste quantité de vidéos humaines disponibles sur Internet, même s'ils ne ressemblent pas à des humains. C'est un changement de paradigme : passer de la question « Comment je bouge ? » à la question « À quoi ressemble le succès ? »

Résumé Technique : CORE – Common Outcome Regularities from Action-Free Visual Demonstrations

Énoncé du Problème

L'apprentissage par imitation pour les robots fait actuellement face à un goulot d'étranglement en matière de scalabilité : les politiques de haute performance nécessitent généralement de grandes quantités de démonstrations coûteuses et spécifiques au robot (par exemple, la téléopération ou l'enseignement kinesthésique). Bien que les démonstrations visuelles sans action, telles que les vidéos humaines provenant d'Internet, soient abondantes et riches en priors de tâches, elles sont difficiles à utiliser directement. Ces vidéos manquent d'étiquettes d'action exécutables par le robot et souffrent d'écarts d'incarnation (embodiment gaps) significatifs en termes de morphologie, d'espaces d'action et d'interfaces de contrôle.

De plus, les méthodes existantes qui tentent de conditionner les politiques sur des objectifs de tâche reposent souvent sur des instructions en langage naturel. Bien que le langage transmette une intention de haut niveau (par exemple, « empiler les bols »), il échoue fréquemment à spécifier les contraintes géométriques, spatiales et de contact précises requises pour une exécution réussie dans les tâches de manipulation riches en contacts. Cette sous-spécification peut conduire à des politiques sous-optimales qui ne parviennent pas à atteindre les états terminaux nécessaires.

Méthodologie : Le Cadre CORE

Les auteurs proposent CORE (Common Outcome Regularities), un cadre d'apprentissage de politique qui extrait les régularités structurelles partagées des états terminaux réussis dans les démonstrations visuelles sans action, plutôt que de tenter de transférer des actions explicites ou de s'appuyer uniquement sur le langage. CORE opère en trois étapes distinctes :

Étape I : Apprentissage de la Représentation de l'Issue Terminale
Le cadre entraîne un encodeur d'issue terminale ( $f_\phi^z$ ) en utilisant des démonstrations visuelles sans action. L'encodeur est optimisé avec un objectif de contraste terminal pour rapprocher les observations terminales issues de démonstrations réussies de la même tâche, tout en éloignant les issues non terminales ou non liées. Cela est augmenté par deux tâches auxiliaires :
- Régression du Temps vers l'Objectif ( $L_{ttg}$ ) : Encourage la représentation à être consciente de la progression temporelle vers l'objectif.
- Classification Terminale ( $L_{term}$ ) : Améliore la discrimination entre les états terminaux et non terminaux.
  Le but est d'apprendre des représentations qui se concentrent sur les structures terminales partagées (configurations d'objets, relations spatiales) plutôt que sur les détails de mouvement spécifiques à une trajectoire.
Étape II : Construction du Prototype d'Objectif
Les plongements (embeddings) terminaux réussis sont agrégés pour former un prototype d'objectif visuel ( $z_{goal}$ ). Pour garantir la robustesse, la méthode regroupe les plongements terminaux réussis en utilisant le K-Means et sélectionne les modes dominants (Top-K) pour calculer une condition d'objectif statique au niveau de la tâche. Cette agrégation supprime les observations terminales bruitées ou rares, produisant une représentation stable de l'état physique final souhaité.
Étape III : Injection d'Objectif Indépendante de l'Architecture (Backbone-Agnostic)
Pendant l'entraînement et l'inférence de la politique, l'observation actuelle est encodée en un plongement d'issue ( $z_t$ ). Celui-ci est concaténé avec le prototype d'objectif pré-calculé ( $z_{goal}$ ) pour former une caractéristique d'objectif globale ( $g_t = [z_t; z_{goal}]$ ). Cette caractéristique est injectée dans l'architecture de la politique robotique (par exemple, Diffusion Policy, MP1) via un opérateur de conditionnement. La politique est alors guidée pour générer des blocs d'actions (action chunks) qui minimisent la distance entre l'état actuel et l'état terminal souhaité. Ce module est conçu pour être compatible avec diverses architectures de politique, y compris les modèles basés sur la diffusion ou le flux.

Contributions Clés

Formulation de l'Apprentissage au Niveau de l'Issue : Le papier reformule l'apprentissage par démonstration visuelle comme l'extraction de Common Outcome Regularities. Au lieu de lutter pour mapper des actions explicites à travers différentes incarnations, CORE extrait des structures partagées directement des états terminaux réussis.
Cadre en Trois Étapes : Les auteurs proposent un nouveau pipeline qui convertit les données visuelles sans action en conditions d'objectif visuelles robustes grâce à l'apprentissage de représentation terminale et à la construction de prototypes. La conception est indépendante de l'architecture (backbone-agnostic), permettant une intégration fluide dans diverses politiques en aval.
Supériorité sur le Conditionnement par le Langage : Le travail démontre que les prototypes d'objectifs visuels fournissent des contraintes géométriques et physiques plus concrètes que les instructions textuelles, particulièrement pour les tâches nécessitant un alignement précis de l'état terminal.

Résultats Expérimentaux

Les auteurs ont évalué CORE sur deux bancs d'essai de simulation (Meta-World et RoboTwin 2.0) et sur une configuration de bras robotique en monde réel (ARX R5).

Meta-World : CORE a amélioré le taux de réussite moyen de l'architecture MP1 de +3,9 % (de 81,7 % à 85,6 %) et de l'architecture DP3 de +2,5 % (de 81,5 % à 84,0 %). Les améliorations étaient plus marquées sur les tâches "Hard" et "Very Hard". Les variantes conditionnées par le texte ont montré des gains négligeables en comparaison.
RoboTwin 2.0 : CORE a produit des améliorations significatives, boostant l'architecture MP1 de +11,1 % (à 79,4 %) et l'architecture DP3 de +4,8 % (à 82,3 %). Dans chaque tâche évaluée, au moins une politique intégrant CORE a obtenu le meilleur résultat.
Monde Réel : Sur un robot physique effectuant des tâches riches en contacts (ex: manipulation de tiroir, empilement), CORE a amélioré le taux de réussite de l'architecture MP1 de +17,0 % (de 69,0 % à 85,0 %) et de DP3 de +17,0 % (de 65,0 % à 82,0 %). Les bases de référence conditionnées par le texte ont fourni des améliorations négligeables dans le cadre réel.
Études d'Ablation : La suppression des pertes auxiliaires ( $L_{ttg}, L_{term}$ ) ou du plongement d'issue actuelle ( $z_t$ ) a considérablement dégradé les performances, confirmant la nécessité du design complet en trois étapes. L'étude a également montré que l'apprentissage d'un encodeur terminal spécialisé surpasse l'utilisation d'encodeurs visuels généraux gelés (ex: Uni3D).

Signification et Revendications

Le papier affirme que le défi central de l'utilisation des vidéos humaines n'est pas seulement la disponibilité des données, mais l'extraction d'une supervision utilisable par les politiques robotiques malgré les écarts d'incarnation. CORE répond à cela en déplaçant la représentation de l'objectif de "l'intention sous-spécifiée du langage" vers des "conditions d'objectif au niveau de l'issue induites par des observations réussies".

Les auteurs soutiennent qu'en se concentrant sur les Common Outcome Regularities, le cadre permet aux robots de tirer parti de l'abondance des données humaines sans action sans avoir besoin de récupérer des actions explicites ou de combler directement les écarts morphologiques. Les résultats suggèrent que les prototypes d'objectifs visuels offrent un signal plus direct et physiquement ancré pour l'achèvement des tâches que le langage, permettant des politiques de manipulation plus robustes même avec des données de démonstration spécifiques au robot limitées.