🤖 AI

CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation

CoStream est un nouveau cadre qui parvient à une manipulation robuste et de haute précision sur de longs horizons en composant trois comportements indépendants — sémantique, prédictif et réactif — en une commande de contrôle $SE(3)$ unifiée, surmontant ainsi le compromis entre la rigidité spécifique à la tâche et la généralisation monolithique.

Auteurs originaux : Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'insérer une puce informatique délicate dans un emplacement qui dispose de moins d'un millimètre de jeu. Si vous l'inclinez ne serait-ce qu'un peu, elle se coince. Si elle glisse dans votre main, elle se coince. Si vous poussez trop fort, vous la cassez.

Les robots actuels ont du mal avec cela car ils sont construits de deux manières extrêmes :

Le Robot « Plan Rigide » : Ce robot suit une carte préétablie et stricte. Il est excellent pour suivre des lignes, mais si la carte est erronée d'un millimètre ou si l'objet bouge, le robot s'écrase car il ne peut pas modifier son plan à la volée.
Le Robot « Boîte Noire » : Ce robot essaie de tout apprendre d'un coup en regardant des milliers de vidéos. Il est très flexible et peut apprendre de nouvelles choses, mais il est maladroit. Il n'a pas le « toucher » pour savoir quand il appuie trop fort, et il doit être réentraîné de zéro pour chaque nouvelle tâche.

CoStream est une nouvelle façon de construire des robots qui combine le meilleur des deux mondes en agissant comme une équipe humaine plutôt que comme une seule machine.

L'Équipe à Trois Têtes

Au lieu d'un seul cerveau géant essayant de tout faire, CoStream divise le travail en trois « comportements » simples et indépendants qui communiquent constamment entre eux. Pensez à une équipe de construction :

L'Architecte (Comportement Sémantique) :
- Ce qu'il fait : C'est le penseur de la « vue d'ensemble ». Il lit vos instructions (comme « insère le GPU dans l'emplacement ») et utilise l'IA pour comprendre la géométrie. Il définit l'objectif : « La puce doit être ici, orientée de cette façon. »
- Analogie : C'est comme le chef de chantier qui pointe la carte du plan et dit : « Nous devons construire le mur juste là. » Il ne se soucie pas des détails infimes de la façon dont les briques se touchent ; il définit simplement la destination.
Le Rêveur (Comportement Prédictif) :
- Ce qu'il fait : Cette partie regarde des « vidéos imaginées » de la tâche. Elle prédit le chemin fluide que le robot doit suivre pour aller du point A au point B. Elle génère un mouvement nominal (un brouillon du mouvement).
- Analogie : C'est comme un danseur qui répète une routine dans sa tête. Il connaît les étapes générales et le flux de la danse, mais il ne réagit pas encore aux changements soudains du rythme de la musique.
Le Capteur de Toucher (Comportment Réactif) :
- Ce qu'il fait : C'est l'expert du « ressenti ». Il fonctionne très rapidement (25 fois par seconde) et utilise des capteurs spéciaux dans les doigts du robot pour ressentir l'objet. Si la puce glisse ou heurte un obstacle, cette partie effectue instantanément de petites corrections.
- Analogie : C'est comme votre propre main lorsque vous enfilez un fil dans le chas d'une aiguille. Vos yeux voient l'aiguille, mais vos doigts sentent le fil. Si le fil oscille, vos doigts s'ajustent instantanément sans que vous ayez besoin de vous arrêter pour réfléchir.

Comment ils travaillent ensemble : La « Règle de la Main Droite »

La magie de CoStream réside dans la façon dont ces trois parties se combinent. Ils ne se relaient pas ; ils travaillent simultanément.

Imaginez que le mouvement du robot est une chanson.

L'Architecte écrit les paroles (l'objectif).
Le Rêveur compose la mélodie (le chemin).
Le Capteur de Toucher est le batteur qui garde le rythme et ajuste le tempo si le chanteur trébuche.

Dans CoStream, ces trois sorties sont mathématiquement « multipliées » ensemble à chaque fraction de seconde du mouvement du robot.

Si l'Architecte dit « Va au Nord », que le Rêveur dit « Avance » et que le Capteur de Toucher ressent « Attends, on a heurté un mur, glisse vers la gauche », le robot combine instantanément les trois en un mouvement parfait : « Va au Nord, avance, mais glisse vers la gauche. »

Cela permet au robot d'avoir un plan à long terme (grâce à l'Architecte) tout en ayant des réflexes instantanés (grâce au Capteur de Toucher).

Les Résultats : Ce qu'ils ont réellement fait

Les chercheurs ont testé ce système sur de vrais robots avec de vraies tâches. Ils ne se sont pas contentés de simuler ; ils l'ont construit.

Assemblage de précision : Ils ont réussi à insérer un foret, une barrette de RAM, une puce CPU et une carte GPU dans des emplacements étroits. Ces tâches nécessitent une précision millimétrique.
- Le Résultat : Les robots « Plan Rigide » et les robots « Boîte Noire » ont totalement échoué (0 réussite sur 15 essais). CoStream a réussi presque à chaque fois (14 ou 15 sur 15).
Interruption Humaine : Pendant qu'un robot insérait une puce, les chercheurs ont physiquement saisi la puce et l'ont tordue dans la prise du robot pour simuler un glissement.
- Le Résultat : Le robot a ressenti la torsion, a corrigé sa prise instantanément et a terminé la tâche sans lâcher la puce ni la briser.
Transfert Zero-Shot : Ils ont utilisé le même code de robot pour passer de la manipulation délicate d'un CPU (qui nécessite de la douceur) à la fixation vigoureuse d'une RAM (qui nécessite de la force). Ils n'ont pas eu besoin de réentraîner le robot ou de changer son code ; « l'équipe » a simplement ajusté son comportement en fonction du nouvel objet.

En Résumé

CoStream proule que vous n'avez pas besoin d'un cerveau unique et super complexe pour effectuer des tâches robotiques complexes. Au lieu de cela, vous pouvez construire un système où un planificateur, un prédicteur et un ressenti travaillent ensemble en temps réel. Cela permet aux robots d'être à la fois assez intelligents pour comprendre une tâche et assez sensibles pour manipuler la physique délicate et désordonnée du monde réel sans s'écraser.

Résumé Technique : CoStream

Énoncé du Problème

Les tâches de manipulation à long horizon et riches en contacts (par exemple, l'insertion d'un GPU dans un emplacement PCIe avec un jeu de quelques millimètres) présentent un double défi : elles nécessitent un contrôle de haute précision pour éviter le blocage, ainsi qu'une généralisation hors boîte pour gérer de nouvelles tâches sans réentraînement. Les paradigmes robotiques actuels peinent à satisfaire ces deux exigences simultanément :

Pipelines Modulaires Classiques : Ces systèmes décomposent la perception, l'estimation d'état, la planification et le contrôle. Bien qu'ils puissent atteindre une haute précision, ils sont fragiles ; l'adaptation à de nouvelles tâches nécessite une ingénierie coûteuse, sur mesure et une redéfinition manuelle des modules.
Politiques Monolithiques de Bout en Bout : Les modèles tels que les réseaux Vision-Langage-Action (VLA) offrent une meilleure généralisation mais manquent de la précision requise pour les tâches de contact complexes et hors distribution, à moins d'être réentraînés avec de nouvelles données massives.

Les deux paradigmes partagent une hypothèse implicite selon laquelle la manipulation complexe nécessite un système de contrôle rigide et indivisible. Ce document remet en question cette hypothèse, proposant que des capacités complexes peuvent émerger de la composition de comportements simples et indépendants.

Méthodologie : Le Cadre CoStream

CoStream est un cadre qui orchestre des modèles de fondation et diverses modalités de détection en plusieurs comportements de base composables. Contrairement aux pipelines conventionnels qui font passer un plan achevé par des interfaces fixes, CoStream maintient les comportements comme des flux indépendants et parallèles qui opèrent à leurs taux naturels et se composent de manière dynamique.

1. Aperçu de l'Architecture

Le système opère sur une interface d'espace de tâche SE(3) partagée. À chaque étape de contrôle, trois comportements distincts génèrent des composants qui sont multipliés à droite pour former une commande de pose unique de l'effecteur terminal ( $W T_{cmd}$ ), exécutée par un contrôleur compliant.

Comportement Sémantique (Ancrage de Cadre de Tâche) :
- Fonction : Extrait les contraintes spatiales et définit un cadre de tâche ( $W T^k_I$ ) relatif au monde.
- Mécanisme : Utilise des modèles de langage (LLM) et des modèles vision-langage (VLM) pour analyser les instructions et les résumés de scène (objets, affordances, prédicats). Il minimise un objectif d'alignement SE(3) pour ancrer le cadre de tâche.
- Sortie : Un cadre d'ancrage statique ou mis à jour lentement, et non une trajectoire. Cela garantit que la propriété des axes et la rigidité restent diagonales.
Comportement Prédictif (Mouvement Nominal) :
- Fonction : Génère une trajectoire de mouvement nominal continu ( $I T^k_{traj}(t)$ ) au sein du cadre de tâche.
- Mécanisme : Utilise un modèle de monde vidéo conditionné par des observations et des instructions par étapes pour échantillonner des rollouts. Un critique VLM sélectionne le meilleur déroulement, qui est ensuite élevé vers un suivi de points clés 3D pour former une trajectoire de référence centrée sur l'objet.
- Sortie : Un a priori de mouvement (chemin nominal) plutôt qu'un plan rigide et précis.
Comportement Réactif (Résidu Tactile et Boucle de Force) :
- Fonction : Fournit des corrections à haute fréquence (25 Hz) pour le glissement en main et les forces de contact.
- Mécanisme : Utilise un capteur tactile GelSight pour suivre la pose de l'objet par rapport à la pince (via NormalFlow) et estime la force de l'effecteur terminal. Il génère un résidu tactile ( $\Delta T^k_{tac}(t)$ ) pour annuler le glissement et signale les événements de contact (glissement, force excessive).
- Sortie : Une transformation de corps rigide qui corrige le mouvement nominal et un signal de boucle de force pour le contrôleur.

2. Composition et Contrôle

Composition d'Action : À chaque cycle du contrôleur, le système calcule la commande finale :
$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$
Cette multiplication à droite permet aux comportements de rester indépendants. Si un flux est manquant ou obsolète, un comportement de repli ( $H_k$ ) assure une dégradation gracieuse plutôt qu'un arrêt du système.
Compilation du Contrôleur : Un compilateur déterministe mappe les spécifications d'étapes aux paramètres du robot (rigidité cartésienne, amortissement, axes d'impédance/admittance, limites de force).
- En espace libre, le contrôleur suit le mouvement nominal avec une rigidité élevée.
- Lors du contact, il bascule vers l'impédance cartésienne (ressort virtuel pour le maintien de la force) ou l'admittance basée sur la position (pour limiter la force), selon l'étape.

Principales Contributions

Interface de Composition de Comportement : Une nouvelle interface pour la manipulation riche en contacts qui découple l'ancrage sémantique, la génération de mouvement prédictif et la réaction tactile/force en comportements indépendants.
Représentation SE(3) Partagée : Une représentation dans l'espace de tâche permettant à chaque comportement de s'exécuter à son taux naturel, ne contribuant qu'à la composante pour laquelle il est fiable (cadre de tâche, a priori de mouvement ou correction de contact).
Validation Empirique : Démonstration du cadre sur huit tâches réelles, montrant une assemblage de haute précision, une récupération robuste face aux perturbations manuelles et un transfert zero-shot vers la manipulation quotidienne sans réentraînement.

Résultats Expérimentaux

Les auteurs ont évalué CoStream sur deux groupes de tâches en utilisant deux robots Franka Emika Panda (dont un équipé d'un capteur tactile GelSight Mini).

Baselines : Comparaison avec VoxPoser (planification vision-langage modulaire) et $\pi_0.5$ (politique VLA monolithique).
Tâches d'Assemblage de Haute Précision :
- Tâches : Insertion de foret (jeu de 0,5 mm), insertion de RAM, placement de CPU, insertion de GPU.
- Résultats : CoStream a atteint des taux de réussite de 14/15 à 15/15. En revanche, VoxPoser et $\pi_0.5$ ont totalement échoué (0/15) sur ces tâches.
- Analyse d'Échec : VoxPoser a échoué en raison d'une planification en boucle ouverte incapable de corriger les écarts géométriques avant le contact. $\pi_0.5$ a échoué lors du contact, incapable de distinguer les événements de contact de l'ambiguïté perceptuelle, entraînant des mouvements haute fréquence déstabilisants.
Tâches de Manipulation Quotidienne :
- Tâches : Allumer une lampe, essuyer un tableau blanc, transfert tasse-vers-assiette, transfert vêtements-vers-boîte.
- Résultats : CoStream a surpassé $\pi_0.5$ dans tous les réglages, avec des gains significatifs dans les tâches de transfert d'objets (ex: 13/15 contre 4/15 pour le transfert tasse-vers-assiette).
Études d'Ablation :
- La suppression du Comportement Réactif sur la tâche d'insertion de foret a fait chuter le taux de réussite de 15/15 à 3/15, confirmant que le retour tactile est essentiel pour la précision sub-millimétrique.
- Robustesse : Le système a réussi à récupérer de perturbations manuelles (ex: rotation de l'objet tenu dans la pince) en réorientant l'effecteur terminal grâce au retour tactile.

Signification et Revendications

Le papier affirme que CoStream démontre un régime où la manipulation complexe est accomplie non pas par un seul contrôleur complexe, mais par la composition de comportements simples et indépendants.

Généralisation sans Réentraînement : Le même ensemble de comportements a géré diverses contraintes physiques (de l'insertion délicate d'un CPU au verrouillage de RAM à haute force) et a transféré vers des tâches quotidiennes sans réentraînement de politique ni redéfinition de module.
Précision par Composition : En séparant le "quoi" (sémantique), le "où" (prédictif) et le "comment" (réactif), le système atteint une précision millimétrique dans des scénarios riches en contacts là où les politiques monolithiques échouent.
Portée Modeste : Les auteurs reconnaissent des limites, notant que le système dépend de la perception en amont (estimations de pose) et qu'il est actuellement limité à la manipulation d'objets rigides structurés. Il ne traite pas encore les objets déformables, la manipulation dextre en main, ou les objectifs ambigus. Le comportement réactif est également limité par la couverture tactile et la précision de l'estimation de la force.

En résumé, CoStream propose que la décomposition de la manipulation en flux sémantique, prédictif et réactif, composés via une interface SE(3) partagée, offre une voie robuste vers une manipulation robotique de haute précision et généralisable.