💻 computer science

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

Ce document présente un cadre d'augmentation de données qui exploite une nouvelle formulation de Gaussian Splatting adaptée au fisheye et l'optimisation de trajectoire pour générer des vues inédites réalistes et des trajectoires d'action sans collision à partir de démonstrations du monde réel, améliorant ainsi de manière significative la robustesse et le taux de réussite des politiques visuomotrices dans des environnements familiers et riches en obstacles.

Auteurs originaux : Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment ramasser une tasse de café et la poser sur une table. Pour cela, vous tenez une caméra sur la main du robot (une vue « œil-en-main ») et vous lui montrez la tâche une seule fois. Le robot apprend de cette unique vidéo.

Le problème ? Si vous déplacez la position de départ du robot d'un tout petit peu, ou si vous laissez accidentellement un livre sur la table qui n'était pas là auparavant, le robot panique. Il voit quelque chose qu'il n'a jamais vu, s'embrouille, et fait tomber la tasse. C'est parce que le robot n'a appris qu'une seule façon spécifique de réaliser la tâche, et il est très fragile.

L'idée majeure de l'article : « 1001 Démos »
Les chercheurs de Stanford, Columbia et du Toyota Research Institute ont trouvé une astuce ingénieuse appelée 1001 Démos. Leur objectif est de prendre cette unique démonstration humaine et de la transformer magiquement en 1 001 exemples d'entraînement différents sans qu'un humain ait besoin d'exécuter la tâche 1 001 fois.

Voici comment ils procèdent, en utilisant des analogies créatives :

1. L'« Album photo 3D » (Reconstruction de scène)

D'abord, le système prend la vidéo de la caméra fisheye du robot (un objectif grand angle qui voit presque tout autour de lui) et construit un jumeau numérique 3D de la pièce.

L'analogie : Considérez cela comme si l'on prenait un ensemble de photos d'une pièce et qu'on les utilisait pour construire un modèle Lego virtuel de cette pièce exacte. Mais au lieu de briques Lego standards, ils utilisent un matériau spécial de haute technologie appelé 3D Gaussian Splatting. Cela leur permet de recréer la scène de manière si réaliste que si vous la regardez sous un nouvel angle, elle ressemble à une véritable photo.
Le twist : Comme la caméra est un fisheye (courbe), les modèles 3D standards subissent des distorsions. Les auteurs ont inventé une nouvelle façon de gérer ces images courbes pour que le modèle 3D reste précis.

2. La « Répétition Virtuelle » (Optimisation de trajectoire)

Une fois qu'ils ont le modèle 3D, ils ne se contentent pas de copier le mouvement humain. Ils utilisent un « coach » basé sur les mathématiques (optimisation de trajectoire) pour inventer de nouvelles façons de déplacer le bras du robot.

L'analogie : Imaginez que l'humain a montré au robot comment contourner une table basse pour atteindre la porte. Le « coach » dit ensuite : « D'accord, maintenant imagine que la table est déplacée de 60 cm vers la gauche. Contourne-la à nouveau. » Puis, « Maintenant, imagine qu'un vase géant bloque le passage. Contourne cela à la place. »
La vérification de sécurité : Le système est assez intelligent pour savoir qu'il ne peut pas marcher à travers la table ou le vase. Il planifie des trajectoires fluides et physiquement possibles, garantissant que le robot ne s'écrase jamais lors de ses exercices virtuels.

3. La « Caméra Magique » (Rendu de vue)

Maintenant, le robot doit voir ce qu'il fait sous ces nouveaux angles.

L'analogie : Autrefois, pour apprendre un nouvel angle à un robot, il fallait physiquement déplacer le robot et le filmer à nouveau. Ici, le système prend le modèle 3D et « rend » (dessine) ce que la caméra fisheye verrait si le robot se trouvait réellement à ce nouvel emplacement. Il crée un tout nouveau clip vidéo qui semble réel, mais qui n'a jamais eu lieu.

4. Le résultat : Un robot super-résilient

En mélangeant la vidéo humaine originale avec ces milliers de scénarios de type « et si », le robot apprend une leçon beaucoup plus large.

Sans cette méthode : Le robot est comme un étudiant qui a mémorisé la réponse à un problème de mathématiques spécifique. Si les chiffres changent légèrement, il échoue.
Avec 1001 Démos : Le robot est comme un étudiant qui a pratiqué le concept du problème de centaines de manières différentes. Il apprend que « même si l'obstacle bouge, je peux toujours ramasser la tasse ».

Qu'ont-ils prouvé ?
Les chercheurs ont testé cela de deux manières :

En simulation (monde de jeu vidéo) : Ils ont montré que les robots entraînés avec ces 1 001 démos générées étaient bien meilleurs pour gérer de nouvelles positions de départ que les robots entraînés uniquement sur la vidéo originale.
Dans le monde réel : Ils ont placé le robot dans une vraie pièce. Lorsqu'ils ont ajouté des obstacles inattendus (comme une tasse ou un livre) que le robot n'avait jamais vus auparavant, les robots entraînés avec « 1001 Démos » ont réussi à les éviter et à terminer la tâche. Les robots entraînés sans cette méthode ont souvent percuté des objets ou échoué.

En bref : Ce papier présente une façon de prendre une simple vidéo d'un robot effectuant une tâche et d'utiliser l'IA pour simuler des milliers de variations de cette tâche (obstacles qui bougent, changements de points de départ). Cela transforme un robot « fragile » qui se casse facilement en un robot « flexible » capable de gérer les surprises, le tout sans qu'un humain ait besoin de passer des jours à enregistrer de nouvelles vidéos.

Résumé Technique : Une démo vaut mille trajectoires : Augmentation Action-Vue pour les Politiques Visuomotrices

Énoncé du Problème

Les politiques visuomotrices entraînées par apprentissage par imitation présentent souvent une fragilité lors de leur déploiement en environnement réel. De légères déviations de la configuration initiale du robot ou la présence d'obstacles imprévus peuvent entraîner des observations hors distribution (OOD). Ces états OOD se transforment souvent en erreurs d'exécution et en échecs de tâche. Bien que la collecte de nombreuses démonstrations humaines sous diverses configurations spatiales puisse atténuer ce problème, ce processus est fastidieux, coûteux et souvent impraticable. Les techniques d'augmentation de données existantes en vision par ordinateur (ex. : jittering de couleur, recadrage) ne parviennent pas à répondre aux exigences uniques de la robotique, spécifiquement la nécessité de maintenir simultanément la cohérence action-vue et de respecter les contraintes physiques (collisions 3D et dynamique de contact). De plus, l'augmentation standard basée sur l'état délègue l'invariance visuelle à l'estimation d'état, tandis que les méthodes antérieures d'augmentation visuelle-action sont limitées à des vues statiques, à la troisième personne, avec une caméra sténopé (pinhole), ou à des modifications à étape unique qui ne peuvent pas générer d'évitement d'obstacles fluide au niveau de la trajectoire.

Méthodologie : Le Framework 1001 DEMOS

Les auteurs proposent 1001 DEMOS, un framework d'augmentation de données hors ligne qui génère des milliers de trajectoires action-vue visuellement réalistes et physiquement réalisables à partir d'une seule démonstration humaine réelle. Le système utilise une pince parallèle portable équipée d'une seule caméra fisheye à large champ de vision (FoV). Le framework opère via trois modules principaux :

1. Reconstruction de Scène 3D à partir de Vidéo Fisheye "Eye-in-Hand"

Le système traite les séquences d'images fisheye capturées lors du balayage de la scène et de la démonstration de la tâche pour créer deux représentations :

Nuage de points de la scène : Reconstruit via COLMAP pour la planification de mouvement et la vérification de collision.
Fisheye 3D Gaussian Splatting (Fisheye-3DGS) : Une adaptation novatrice du 3D Gaussian Splatting (3DGS) pour gérer les caméras fisheye à large FoV.
- Échantillonneur de rayons Fisheye : Les auteurs remplacent l'échantillonneur de rayons sténopé standard par un échantillonneur de rayons fisheye basé sur KB8. Pour chaque pixel fisheye $(u, v)$ , la direction du rayon $r_d$ est calculée via le modèle KB8, puis projetée à travers les intrinsèques de la caméra $K$ pour obtenir les coordonnées sténopé $(u_p, v_p)$ .
- Optimisation : Pour préserver l'efficacité du 3DGS (structure bloc-thread CUDA), le système redistribue les assignations de tuiles (tiles) des rayons sténopé vers les rayons fisheye, partitionnant les rayons fisheye selon la disposition originale de 256 rayons par tuile. Cela permet une rasterisation rapide tout en modélisant précisément la distorsion fisheye.

2. Génération d'Actions via Optimisation de Trajectoire

En utilisant le nuage de points 3D reconstruit et la trajectoire de démonstration originale, le système génère deux types de nouvelles trajectoires via l'optimisation de trajectoire :

Trajectoires en Espace Libre (Free-Space) : Générées avec différentes poses de caméra initiales échantillonnées dans un cône de quaternion autour de la vue originale.
Trajectoires d'Évitement d'Obstacles : Générées en introduisant des nuages de points d'obstacles (échantillonnés depuis Objaverse) dans la scène et en planifiant des chemins qui les évitent.

Le problème d'optimisation minimise une fonction de perte composite :
$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$

$\mathcal{L}_{funnel}$ : Une perte de type "delta funnel" qui garantit que les trajectoires convergent vers la même pose pré-contact que la démonstration originale, préservant ainsi la dynamique de contact.
$\mathcal{L}_{collision}$ : Utilise une fonction de distance signée tronquée (TSDF) de la scène (incluant les obstacles augmentés) pour pénaliser les collisions.
$\mathcal{L}_{render}$ : Une perte de cohérence de vue qui maintient les poses générées proches de la distribution des vues originales de balayage et de démonstration afin d'éviter les artefacts de "flottants" (floaters) et les reconstructions floues communes au 3DGS lors du rendu depuis de nouvelles vues.
$\mathcal{L}_{smooth}$ : Pénalise l'instabilité de la vitesse (jerkiness) pour assurer des trajectoires fluides.

3. Génération de Vue et Entraînement de la Politique

Génération de Vue : Les trajectoires 6D optimisées sont rendues en utilisant le Fisheye-3DGS entraîné pour produire les observations visuelles correspondantes. Pour les scénarios d'obstacles, le 3DGS de la scène originale est augmenté avec le 3DGS entraîné des obstacles ajoutés.
Compilation des Données : Les données augmentées sont compilées en segmentant la pince via SAM2 et en la superposant sur les images rendues. La largeur d'ouverture de la pince est conservée de la démo originale, tandis que les poses de l'effecteur terminal en 6D proviennent de la trajectoire optimisée.
Entraînement : Une Politique de Diffusion (Diffusion Policy) est entraînée sur l'union des démonstrations expertes originales et du jeu de données augmenté généré.

Contributions Clés

Framework d'Augmentation Action-Vue : Une méthode qui augmente conjointement les observations visuelles et les trajectoires d'action, assurant la cohérence entre les deux tout en respectant les contraintes physiques.
Fisheye-3DGS : Une formulation novatrice étendant le 3D Gaussian Splatting aux caméras fisheye à large FoV, permettant un rendu de vue nouvelle haute fidélité et rapide pour les systèmes "eye-in-hand".
Évitement d'Obstacles au Niveau de la Trajectoire : La capacité de générer des trajectoires fluides et sans collision qui naviguent autour d'obstacles imprévus, une capacité absente des méthodes d'augmentation à étape unique ou à la troisième personne.
Augmentation Sensible au Contact : Un mécanisme qui détecte les événements de contact et restreint l'augmentation aux phases pré-contact, préservant ainsi les dynamiques de contact critiques de la démonstration originale.

Résultats Expérimentaux

Le framework a été évalué à la fois en simulation (tâche "square" de RoboMimic) et dans des scénarios réels (tâche de service de tasse).

Simulation (RoboMimic) :
- Gain de Performance : L'augmentation action-vue a amélioré les taux de réussite des tâches de 56 % en moyenne par rapport aux politiques entraînées sans augmentation.
- Comparaison aux Baselines : La méthode a surpassé "Aug Action Only" (qui perturbe les actions mais garde les visuels fixes) de jusqu'à 35 % et la méthode NeRF à étape unique SPARTN de 15 % en taux de réussite moyen.
- Limite Supérieure : La performance suit de près une politique "oracle" entraînée avec un rendu de vue de vérité terrain, avec un écart de seulement 8 à 11 %.
Évaluation en Réel :
- Robustesse aux Configurations OOD : L'augmentation en espace libre a amélioré les taux de réussite de 55 % par rapport aux politiques non augmentées face à des configurations initiales de robot inconnues.
- Évitement d'Obstacles : Les politiques entraînées avec l'augmentation consciente des obstacles ont atteint un taux de réussite de 100 % dans des tâches avec des obstacles imprévus, surpassant largement l'augmentation en espace libre (10 %) et l'absence d'augmentation (5 %). Cela a démontré la capacité de la politique à apprendre des comportements d'évitement de collision non présents dans les démos humaines originales.

Signification et Revendications

L'article affirme que 1001 DEMOS dote efficacement les robots de compétences non explicitement démontrées, spécifiquement l'évitement d'obstacles et la robustesse aux nouvelles configurations initiales. En générant des démonstrations "eye-in-hand" physiquement réalisables et au niveau de la trajectoire à partir d'une seule démo humaine, le framework répond aux problèmes de rareté des données et de fragilité inhérents à l'apprentissage de politiques visuomotrices. Les auteurs soulignent que leur approche comble le fossé entre l'invariance visuelle et la cohérence physique, permettant aux politiques de généraliser à des vues et des environnements OOD sans collecte de données manuelles exhaustive.

Les auteurs reconnaissent modestement les limites, notant que le pipeline actuel est restreint aux scènes statiques en raison de la couverture de vue d'une seule caméra mobile, et que les trajectoires générées ne tiennent pas intrinsèquement compte des limites cinématiques du robot de déploiement en aval, bien qu'elles soient limitées pour garantir la faisabilité dans l'espace de travail. Des travaux futurs sont suggérés pour explorer les configurations multi-caméras et l'optimisation de trajectoire sensible à l'incarnation (embodiment-aware).