🤖 AI

From Passive Video to Editable Experience: Physically Grounded Experience Synthesis for Embodied Intelligence

Pegasus est un cadre à faibles ressources qui comble l'écart d'incarnation entre la manipulation humaine et robotique en traduisant des vidéos de démonstrations humaines en données apprenables par le robot grâce à un pipeline de transfert de connaissances structuré, basé sur des graphes et amélioré par un vérificateur physique.

Auteurs originaux : Jia Luo

Publié 2026-07-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia Luo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du robot : pourquoi regarder les humains ne suffit pas

Imaginez que vous essayiez d'apprendre à un robot comment faire un sandwich. Vous disposez d'une bibliothèque contenant des millions de vidéos montrant des humains faisant exactement cela. Cela semble être la solution parfaite : il suffit de montrer les vidéos au robot, et il devrait apprendre, n'est-ce pas ? Eh bien, pas tout à fait. C'est le puzzle central dans le domaine de l'IA incarnée (embodied AI), qui est l'étude consistant à donner un corps physique aux robots pour qu'ils puissent interagir avec le monde réel.

Le problème est un peu comme essayer d'apprendre à un poisson comment faire du vélo. Les humains et les robots sont très différents. Nous avons deux jambes, des bras flexibles et des doigts capables de pincer ou de saisir de mille façons différentes. Un robot peut avoir un bras unique et rigide avec une pince, ou des roues à la place des pieds. Si un robot se contente de copier les images d'un humain en mouvement, il pourrait essayer de saisir un sandwich avec une pince trop grande, ou de tordre une articulation qui n'existe pas. Ce décalage entre le corps humain et le corps du robot est appelé le « fossé de l'incarnation » (embodiment gap).

Pendant longtemps, les scientifiques ont pensé que la seule façon de résoudre ce problème était d'enregistrer des robots effectuant eux-mêmes les tâches, mais c'est lent, coûteux et dangereux. D'autres ont tenté de construire des jeux vidéo parfaits (simulations) pour entraîner les robots, mais les robots se confondent souvent lorsqu'ils passent du jeu au monde réel. Ce document, Pegasus, pose une nouvelle question : pouvons-nous prendre les idées issues des vidéos humaines et les traduire en instructions qu'un robot peut réellement suivre, sans avoir besoin de filmer le robot au préalable ?

De « Regardez-moi » à « Faites ceci »

Les chercheurs derrière Pegasus (un cadre développé à l'Université de science et technologie de Huazhong) soutiennent que nous ne devrions pas essayer d'enseigner aux robots en faisant correspondre les pixels ou en copiant directement les mouvements humains. Au lieu de cela, ils proposent un système de traduction ingénieux qui transforme une vidéo d'un humain en une expérience « apprenable par le robot ». Pensez-y comme à la traduction d'un livre de l'anglais vers une langue que le robot parle, mais au lieu de simplement échanger des mots, ils réécrivent toute l'intrigue pour l'adapter aux limites physiques du robot.

Voici comment leur « traducteur magique » fonctionne, étape par étape :

1. Le storyboard (Graphe de tâche)
D'abord, Pegasus regarde une vidéo humaine et ignore les détails superflus comme la couleur de la chemise de la personne ou l'éclairage de la cuisine. Au lieu de cela, il construit un Graphe de tâche (Task Graph). Imaginez cela comme un storyboard ou un organigramme. Il décompose la vidéo en étapes logiques : « Prendre la tasse », « Se déplacer vers l'évier », « Verser l'eau ». Il cartographie l'ordre des événements et la façon dont les objets sont liés entre eux, créant un plan propre et structuré qui ne se soucie pas de qui fait la tâche, mais seulement de ce qui se passe.

2. Le dictionnaire de « super-pouvoirs » (Affordance Latente)
Ensuite, le système utilise un dictionnaire spécial appelé Affordance Latent Hiérarchique. C'est la partie la plus intelligente. Au lieu de mémoriser que « cette tasse rouge spécifique est lourde », le système apprend les propriétés des objets, connues sous le nom d'affordances.

L'affordance est un mot sophistiqué pour dire « ce qu'un objet vous permet de faire ».
Une tasse a l'affordance de « contenir du liquide » et d'« être saisie ».
Une pastèque a l'affordance d'« être lourde », d'« être saisissable », mais aussi d'« être fragile ».

Le système apprend que si un objet est « lourd et fragile », le robot doit bouger lentement et serrer fermement. Cela permet au robot de manipuler des objets qu'il n'a jamais vus auparavant. Dans leurs tests, le système a réussi à comprendre comment manipuler une pastèque et un tournevis simplement en comprenant leurs propriétés, même s'il n'avait jamais été entraîné sur ces articles spécifiques.

3. Le plan directeur du robot (Graphe de planification du robot)
Une fois que le système comprend l'objectif et les propriétés de l'objet, il traduit ce plan en un Graphe de planification du robot (Robot Planning Graph). C'est ici que le « fossé de l'incarnation » est comblé. Le système se demande : « D'accord, l'humain a utilisé ses doigts pour pincer la cuillère. Mon robot a une pince. Comment obtenir le même résultat ? » Il convertit l'action humaine en un ensemble d'instructions qui correspondent au corps spécifique du robot, à ses limites d'articulation et à sa portée.

4. L'inspecteur de sécurité (Vérificateur de physique)
Avant que le robot ne tente de bouger, le système exécute un Vérificateur de physique en boucle fermée (Closed-Loop Physics Verifier). C'est comme un inspecteur de sécurité strict qui vérifie le plan par rapport aux lois de la physique. Il demande : « Le bras du robot va-t-il frapper la table ? Les articulations peuvent-elles réellement se plier ainsi ? La prise est-elle stable ? »

Si la réponse est « Non », le système ne baisse pas les bras, il renvoie le plan à la planche à dessin, corrige l'erreur et réessaie.
Dans leurs expériences, cette boucle a été incroyablement efficace. Elle a fait passer le taux de réussite des mouvements valides du robot d'environ 51,2 % (au premier essai) à 94,1 % après seulement cinq cycles de vérification et de correction.

Ce qu'ils ont découvert

L'équipe a testé Pegasus sur divers robots, notamment le Franka Emika Panda, l'xArm 7 et l'UR5e, en utilisant des données provenant de milliers de vidéos humaines (incluant des jeux de données comme EPIC-KITCHENS et GTEA Gaze+).

Mieux que le simple visionnage : Lorsqu'ils ont comparé Pegasus à des méthodes qui tentent simplement de copier des vidéos humaines sans cette traduction structurée, Pegasus était 12,3 % plus performant pour réussir la tâche et 15,7 % plus performant pour garantir que le robot pouvait physiquement effectuer le mouvement.
Apprendre à partir de zéro : Ils ont entraîné des politiques de robotique en utilisant uniquement les vidéos générées par Pegasus. Ces robots ont atteint un taux de réussite de 55,2 % sur des tâches réelles. C'est impressionnant car c'est presque aussi bon que l'entraînement avec 50 démonstrations réelles collectées à partir de vrais robots (qui ont obtenu un score de 65,9 %).
La recette secrète : Les chercheurs ont découvert que la structure en graphe était la partie la plus importante. S'ils avaient supprimé le graphe pour utiliser uniquement des invites textuelles afin de générer des vidéos, la performance aurait chuté de manière significative. C'est le « storyboard » structuré qui faisait la différence, et non la génération de vidéo elle-même.

L'essentiel

Le document suggère que nous n'avons pas besoin de filmer des robots effectuant chaque tâche pour les enseigner. Au lieu de cela, nous pouvons utiliser la vaste quantité de vidéos humaines déjà présentes sur Internet, à condition de disposer d'un système intelligent pour traduire le sens de ces actions dans un langage que les robots peuvent comprendre.

Pegasus montre qu'en se concentrant sur l'expérience structurée (la logique de la tâche) plutôt que sur les pixels (l'apparence visuelle), nous pouvons combler le fossé entre les humains et les machines. Bien que le système ait encore des limites — comme la nécessité d'être prudent avec les interactions physiques très complexes ou d'assurer la sécurité dans le monde réel — il offre une voie prometteuse et à faible coût pour apprendre aux robots comment naviguer dans nos cuisines et nos ateliers désordonnés du monde réel. Les auteurs espèrent que cette approche inspirera davantage de recherches sur la façon dont les robots peuvent apprendre de l'environnement qui les entoure, et pas seulement de données collectées par des machines coûteuses.

Résumé technique : Pegasus – Synthèse d'expérience ancrée physiquement pour l'intelligence incarnée

1. Énoncé du problème

Le principal goulot d'étranglement de l'avancement de l'IA incarnée n'est pas l'architecture des modèles, mais la rareté des données d'entraînement de haute qualité spécifiques aux robots. Bien que des milliards de vidéos de manipulation humaine existent en ligne, les robots ne peuvent pas apprendre directement à partir d'elles en raison du fossé d'incarnation (embodiment gap) : les différences significatives de morphologie, de cinématique et d'espaces d'action entre les humains et les robots empêchent le transfert direct de démonstrations.

Les paradigmes actuels d'acquisition de données font face à des limitations distinctes :

Collecte sur robot réel : Haute qualité, mais coûteuse et difficile à mettre à l'échelle.
Simulation physique : Données illimitées, mais souffre du fossé sim-to-real, particulièrement pour les politiques basées sur la vision.
Apprentissage à partir de vidéos humaines : Exploite l'abondance des données, mais apprend généralement des représentations visuelles plutôt que de générer des trajectoires exécutables par un robot.

Le défi central est de combler ce fossé en transférant une expérience structurée (sémantique de la tâche, affordances et contraintes) plutôt que des pixels bruts, permettant la synthèse de données apprenables par le robot à partir de démonstrations humaines.

2. Méthodologie : Le cadre Pegasus

Pegasus est un cadre à faibles ressources qui traduit les vidéos égocentrées humaines en démonstrations exécutables par des robots via un pipeline structuré basé sur des graphes. Il reformule le problème de la génération d'apparence en un transfert de connaissances inter-incarnation.

Le cadre opère en cinq étapes progressives :

2.1 Extraction du graphe de tâche ( $V_h \rightarrow G_T$ )

Au lieu de raisonner sur des pixels bruts, Pegasus extrait un Graphe de Tâche ( $G_T$ ) à partir de vidéos humaines en utilisant un analyseur vision-langage structuré.

Nœuds : Représentent des entités sémantiques incluant des sous-buts ( $g_i$ ), des objets manipulés ( $o_j$ ) et des régions spatiales ( $r_k$ ).
Arêtes : Codent l'ordre temporel, les dépendances causales et les interactions spatiales.
Ce graphe préserve la topologie de la tâche tout en restant indépendant des morphologies spécifiques des robots.

2.2 Latence d'affordance hiérarchique ( $G_T \rightarrow Z$ )

Pour gérer la généralisation à travers les objets et les incarnations, Pegasus introduit une Latence d'Affordance Hiérarchique ( $Z = \{Z_s, Z_a, Z_t\}$ ) :

Niveau État de l'Objet ( $Z_s$ ) : Capture les états physiques (ex: saisi, ouvert, déplacé).
Niveau Affordance ( $Z_a$ ) : Abstrait les observations spécifiques aux objets en capacités de manipulation (ex: saisissabilité, contenance, versabilité).
Niveau Tâche ( $Z_t$ ) : Représente des intentions indépendantes de l'incarnation (ex: transporter, empiler).
Cette hiérarchie élimine progressivement les informations spécifiques à l'incarnation tout en préservant la sémantique causale de la tâche. Un objectif contrastif aligne les démonstrations humaines et robotiques dans cet espace d'affordance partagé.

2.3 Traduction de graphe inter-incarnation ( $G_T \rightarrow G_P$ )

Le graphe de tâche est transformé en un Graphe de Planification Robotique ( $G_P$ ) exécutable via trois opérateurs de graphe :

Graphe d'Affordance : Augmente les nœuds sémantiques avec des affordances de manipulation.
Graphe de Contrainte : Incorpore la faisabilité dépendante de l'incarnation (types de saisie, cinématique inverse, contraintes de collision, limites de l'espace de travail).
Graphe de Planification : Convertit les primitives faisables en trajectoires exécutables (points de passage du mouvement et transitions temporelles).
Cette formulation modulaire désolidarise le raisonnement sémantique de l'adaptation à l'incarnation.

2.4 Vérification contrainte par la physique

La plausibilité visuelle est insuffisante pour la robotique. Pegasus emploie un module de vérification en boucle fermée qui valide les trajectoires générées par rapport à :

La résolubilité de la cinématique inverse
Les limites articulaires
L'évitement de collision
La stabilité de la saisie et la fluidité de la trajectoire

Si les contraintes sont violées, des signaux d'erreur structurés sont renvoyés vers le module de planification pour une régénération itérative jusqu'à ce que toutes les contraintes soient satisfaites.

2.5 Rendu d'expérience

Le graphe de planification vérifié est rendu en trois modalités de sortie adaptées à l'apprentissage de politiques en aval :

Démonstrations Vidéo ( $D_{video}$ ) : Pour les politiques vision-langage.
Tokens d'Actions Discrets ( $D_{action}$ ) : Pour les modèles d'action autorégressifs.
Trajectoires Continues ( $D_{trajectory}$ ) : Pour les pipelines de contrôle classique.

3. Contributions clés

Formulation de Transfert : Recalibrer les vidéos humaines d'Internet comme une source scalable de données d'entraînement pour robots via un transfert de connaissances structuré inter-incarnation.
Cadre Structuré par Graphes : Un nouveau pipeline qui modélise explicitement la sémantique des tâches, les affordances, les contraintes d'incarnation et la planification robotique, allant au-delà du simple conditionnement par pixels ou prompts textuels.
Latence d'Affordance Hiérarchique : Une représentation qui améliore la généralisation à des objets non vus en organisant les données selon les états des objets, les affordances et les tâches plutôt que selon l'identité de l'objet.
Vérification Physique en Boucle Fermée : Un mécanisme itératif qui impose la faisabilité cinématique, convertissant l'adaptation à l'incarnation en un problème de satisfaction de contraintes.
Validation Empirique : Expérimentations complètes démontrant des améliorations de la justesse des tâches, de l'exécutabilité physique et de l'apprentissage de politiques en aval.

4. Résultats expérimentaux

Pegasus a été évalué sur des benchmarks incluant GTEA Gaze+, EPIC-KITCHENS-100, et un Ensemble de Vidéos de Manipulation Internet curaté, sur cinq incarnations de robots diverses (ex: Franka Panda, xArm 7, UR5e).

4.1 Justesse de la Tâche et Exécutabilité

La génération conditionnée par graphe a surpassé les bases uniquement par prompt de 12,3 % en Justesse de la Tâche et de 15,7 % en Exécutabilité.
À travers cinq types de robots, le système a atteint une Justesse de Tâche moyenne de 84,4 % (VLM) et 81,5 % (Humain), avec 89,6 % d'Exécutabilité.

4.2 Apprentissage de Politiques en Aval

L'entraînement de politiques (OpenVLA et ACT) sur les données générées a donné des résultats significatifs :

Les données générées seules ont atteint un taux de succès de 55,2 %, comparable à 84 % de la performance obtenue par 50 démonstrations de robots réels (65,9 %).
Augmenter 50 démonstrations réelles avec 200 générées a amélioré le taux de succès de 11,3 % en valeur absolue par rapport aux données réelles seules.
Comparé à l'entraînement sur des caractéristiques de vidéos humaines (R3M/VIP), la génération conditionnée par graphe a fourni une amélioration de +25,8 % du taux de succès.

4.3 Généralisation à des Objets Non Vus

La Latence d'Affordance a démontré de fortes capacités zero-shot :

A atteint 78,5 % de justesse de tâche sur des objets totalement nouveaux (ex: pastèque, tournevis) contre 45,1 % pour les latences basées sur l'identité de l'objet.
Le modèle a réussi à inférer les comportements nécessaires (ex: "lourd + fragile" $\rightarrow$ "prise de force prudente") basés sur la composition de l'affordance.

4.4 Validité Physique

La vérification en boucle fermée a considérablement amélioré la faisabilité physique :

Pass@1 (première tentative) était de 51,2 % ; Pass@5 (après 5 itérations) a atteint 94,1 %.
L'erreur de cinématique inverse (IK) a été réduite de 93,5 %, et les taux de collision ont chuté de 90,9 %.

4.5 Études d'Ablation

La suppression du Graphe de Contrainte a causé la plus forte baisse d'Exécutabilité (-11,2 %).
La suppression du Graphe d'Affordance a causé la plus forte baisse de Justesse de Tâche sur les objets non vus (-5,1 %).
La structure de graphe a été identifiée comme le principal moteur de performance, plutôt que le modèle de génération vidéo sous-jacent.

5. Signification et Revendications

L'article affirme que Pegasus réussit à recadrer la génération de données robotiques d'un problème de collecte de matériel en un problème de transfert de connaissances scalable et à faibles ressources.

Transfert au Niveau de l'Expérience : Le travail soutient que le fossé d'incarnation doit être comblé au niveau de l'expérience (objectifs, transitions d'état, affordances) plutôt qu'au niveau du pixel. Cela permet au système de tirer parti de la diversité et du réalisme des vidéos humaines sans nécessiter la construction massive d'actifs 3D ou de simulation.
Scalabilité : En découplant la sémantique de la tâche de la morphologie du robot, le cadre permet la synthèse de démonstrations apprenables par des robots pour des plateformes hétérogènes à partir d'une source unique de données humaines.
Praticité : Les résultats suggèrent qu'en modélisant explicitement la connaissance de la tâche et les structures d'affordance, la vaste collection de vidéos de manipulation humaine peut servir de supervision efficace pour l'apprentissage robotique, offrant une alternative pratique à la collecte de chaque démonstration sur du matériel physique.

Les auteurs reconnaissent des limites, notamment la dépendance aux VideoLLMs pour la décomposition des tâches, l'accent mis sur la cohérence cinématique plutôt que sur la dynamique de contact complète, et les contraintes actuelles liées à la génération à vue unique. Cependant, le cadre étabète un nouveau paradigaire pour l'apprentissage de représentations inter-incarnations structurées.