⚡ electrical engineering

From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

Cet article présente un cadre d'autonomie partagée à vocabulaire ouvert pour la manipulation robotique qui combine le contrôle gestuel sans dispositif portable, l'ancrage de cibles par vision-langage et le contrôle prédictif basé sur le modèle accéléré par GPU afin d'aider les opérateurs à réaliser des saisies précises et sans collision dans des environnements industriels encombrés.

Auteurs originaux : Murilo Vinicius da Silva, Ricardo V. Godoy, Juliano Negri, Gustavo J. G. Lahr, Ranulfo Bezerra, Marcelo Becker

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Murilo Vinicius da Silva, Ricardo V. Godoy, Juliano Negri, Gustavo J. G. Lahr, Ranulfo Bezerra, Marcelo Becker

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer d'enfiler un fil dans le chas d'une aiguille tout en portant d'épais gants d'hiver, debout sur une échelle vacillante et en regardant l'aiguille à travers une fenêtre embuée. C'est approximativement ce que l'on ressent lorsqu'on contrôle un bras robotique géant à distance. C'est le monde de la téléopération, où un opérateur humain guide une machine à l'aide de caméras et de joysticks. Le problème est que nos yeux et nos cerveaux ne sont pas très doués pour juger la profondeur à travers un écran, et les environnements industriels sont souvent encombrés de tuyaux, de murs et d'autres obstacles contre lesquels il est facile de s'écraser.

Pour remédier à cela, des scientifiques ont développé l'autonomie partagée. Voyez cela comme un « copilote » pour le robot. Au lieu que l'humain fasse tout seul, la puce informatique du robot intervient pour aider. Elle peut, par exemple, détourner délicatement le bras d'un mur ou le guider vers une cible, mais l'humain tient toujours le volant. Ce document explore une nouvelle version plus intelligente de ce système de copilote, conçue spécifiquement pour des robots capables de se déplacer (comme des robots quadrupèdes) et d'accomplir des tâches délicates dans des usines réelles et encombrées.

Le « Copilote Intelligent » pour les Robots Chiens

Rencontrez le robot : une machine à quatre pattes (comme un Boston Dynamics Spot) dotée d'un bras long et dextre fixé sur son dos. Sa mission ? Entrer dans un site industriel encombré, trouver une vanne ou un outil spécifique, et le tourner ou le ramasser. Le défi ? L'opérateur est loin, observant le robot via un flux vidéo qui rend la perception de la profondeur difficile. Si l'opérateur essaie de tourner une vanne, il pourrait accidentellement fracasser le bras du robot contre un tuyau voisin parce qu'il ne voit pas exactement à quelle distance il se trouve.

Ce document présente un système qui agit comme un guide invisible et utile pour le bras du robot. Il combine trois super-pouvoirs : la vision sans marqueurs, la compréhension du langage et le guidage délicat.

1. Pas de gants, pas de calibration, juste vous

Habituellement, pour contrôler un robot avec votre corps, vous devez porter des combinaisons spéciales avec des capteurs ou vous tenir devant une caméra qui doit être calibrée à votre taille. Ce nouveau système dit : « Non merci ». Il utilise une caméra 3D standard (RGB-D) pour observer les mouvements naturels de l'opérateur.

Imaginez que la caméra soit un ami très observateur qui surveille vos épaules, vos hanches et vos poignets. Elle construit une carte mentale de votre corps en temps réel. Si vous avancez la main droite, le bras du robot avance. Si vous tournez le poignet, la pince du robot pivote. Le système détermine même la longueur de votre bras à la volée, afin de savoir exactement comment adapter vos mouvements à la taille du robot. Pas de configuration, pas de marqueurs, juste vous et le robot en synchronisation.

2. « Hé robot, attrape cette vanne à volant »

Par le passé, dire à un robot quoi attraper était difficile. Il fallait pointer un objet spécifique ou utiliser un code. Ce système permet d'utiliser le langage naturel. L'opérateur peut simplement dire (ou taper) : « Vanne à volant ».

C'est là que la magie opère : le robot utilise un « modèle de vision-langage » (considérez cela comme un cerveau de robot capable de lire et de voir en même temps) pour analyser le flux vidéo et trouver la « vanne à volant ». Une fois qu'il l'a repérée, il ne se contente pas de dire « Je la vois ». Il crée un point cible 3D précis dans l'espace, comme un bullseye numérique. Mieux encore, il continue de suivre cette vanne pendant que le robot se déplace, en utilisant d'autres caméras sur son corps pour s'assurer de ne jamais perdre la cible de vue, même si la vue de l'opérateur est obstruée.

3. Le champ magnétique invisible

C'est l'astuce la plus ingénieuse de ce document. À mesure que le bras du robot se rapproche de la cible, un « champ de potentiel » invisible (comme une force magnétique douce) entre en jeu.

Imaginez que vous conduisez une voiture vers une place de stationnement. Vous dirigez le véhicule, mais il y a un vent léger qui pousse légèrement votre voiture vers le centre de la place pour vous aider à stationner parfaitement. C'est ce que fait ce système.

Vous restez aux commandes : Si vous voulez aller à gauche, le robot va à gauche. Le système ne vous retire jamais le volant.
L'aide est subtile : Lorsque vous vous approchez à moins de 0,4 mètre (environ 1,3 pied) de la cible, le système tire doucement votre commande vers le centre exact de la « vanne à volant ». Il corrige les petites erreurs que vous pourriez commettre à cause de la vue trouble de la caméra.
Le résultat : Vous pouvez viser approximativement, et le « copilote » du robot lisse l'approche finale, garantissant que la pince atterrit exactement là où elle doit être.

4. Le bouclier « Anti-Collision »

Pendant que le robot se déplace, il construit constamment une carte 3D de la pièce grâce à ses propres caméras. Il sait exactement où se trouvent les murs, les tuyaux et les cônes de signalisation. Le document a testé cela en demandant à l'opérateur de tenter délibérément de conduire le bras du robot dans un cô cone de signalisation.

Le résultat ? La commande de l'opérateur allait droit dans le cône, mais le bras du robot s'est arrêté à 18 cm (environ 7 pouces) de celui-ci. Le système a agi comme un champ de force, détournant la trajectoire autour de l'obstacle tout en essayant de suivre la direction générale de l'opérateur. Cela a prouvé que même si l'humain commet une erreur, le cerveau de sécurité du robot empêche l'accident.

5. Le bouton « Pilote Automatique »

Parfois, l'opérateur est fatigué de diriger. Une fois qu'il a trouvé la cible et l'a confirmée, il peut lever deux doigts pour passer en mode autonome. Le robot prend alors le contrôle total, en utilisant les mêmes règles de sécurité et la même cible 3D pour terminer la tâche (comme saisir la vanne) de manière autonome. Si l'opérateur souhaite reprendre le contrôle, il suffit de lever un seul doigt.

Qu'ont-ils découvert ?

Les chercheurs ont testé ce système sur un vrai robot dans un environnement industriel encombré pour deux tâches principales : tourner une grande vanne industrielle et ramasser une perceuse électrique.

L'équipe complète gagne : Lorsqu'ils ont utilisé l'ensemble du système (la cible par langage + le guidage délicat + le bouclier anti-collision), le robot a réussi 100 % des essais (5 sur 5 pour les deux tâches).
L'équipe incomplète échoue : Lorsqu'ils ont retiré le bouclier anti-collision, le robot a heurté des obstacles. Lorsqu'ils ont retiré le guidage délicat, le robot a manqué la cible car la vue de la caméra n'était pas assez précise. Cela a montré que les deux parties sont nécessaires ; elles corrigent des problèmes différents.
Les chiffres : Le système était très précis. Le bras du robot a suivi la main humaine avec une erreur moyenne de seulement 59 mm (environ 2,3 pouces). Lors des tests de collision, l'opérateur a tenté de pousser le bras de 6 cm dans un obstacle, mais le robot a maintenu le bras à au moins 18 cm du danger.

L'essentiel à retenir

Ce document ne prétend pas avoir résolu tous les problèmes de la robotique. Il montre qu'en combinant une interface de caméra simple sans marqueurs avec un « copilote » intelligent qui comprend le langage et corrige doucement les erreurs, nous pouvons rendre les robots bien plus performants pour travailler dans des usines réelles et encombrées. Ce n'est pas un robot qui pense entièrement par lui-même, ni un robot qui suit aveuglément les ordres. C'est un partenariat où l'humain fournit l'intention (« Va chercher cette vanne ») et le robot gère les détails complexes pour ne pas percuter d'obstacles et arriver parfaitement à destination.

Résumé Technique : De la perception à l'assistance : Autonomie partagée à vocabulaire ouvert pour la manipulation robotique

Énoncé du problème
Le télépilotage de manipulateurs robotiques dans des environnements industriels non structurés présente des défis importants. Les opérateurs doivent simultanément gérer le contrôle d'un bras à haut degré de liberté, maintenir un point de vue et un dégagement, et éviter les collisions avec les structures environnantes, tout en s'appuyant sur une perception de profondeur limitée provenant d'interfaces basées sur la caméra. Si le téléopération pure offre de la flexibilité, elle impose une charge cognitive élevée et des risques de collision. Inversement, les systèmes entièrement autonomes peinent à se généraliser dans des contextes dynamiques en raison de dépendances vis-à-vis d'objets connus, d'extrinsèques précises et de paramètres de tâche prédéfinis. Les systèmes de contrôle partagé existants reposent souvent sur une sélection de cibles riche en hypothèses (ex. : marqueurs, classes d'objets connues) et sur des représentations de collision à faible fréquence, ce qui limite leur sécurité et leur réactivité dans des scènes industrielles réelles.

Méthodologie
L'article propose un cadre d'autonomie partagée pour la manipulation mobile (validé sur un quadrupède Boston Dynamics Spot) qui intègre un télépilotage basé sur la vision sans calibrage, un ancrage de cible à vocabulaire ouvert et une exécution autonome déclenchée par l'utilisateur. Le système fonctionne via un pipeline de perception-contrôle modulaire :

Interface de téléopération basée sur la vision :
- Entrée : Une caméra RGB-D unique (ZED 2i) capture le mouvement de l'opérateur sans dispositifs portables ni fiduciaux.
- Traitement : MediaPipe extrait les points de repère squelettiques pour estimer dynamiquement un référentiel centré sur le corps {B}. Le mouvement du poignet est mappé sur la position de l'effecteur terminal du robot, tandis que les points de repère de la main pilotent le roulis de la pince et les actions discrètes (ouverture/fermeture).
- Filtrage : Un filtre de rejet par seuillage et une moyenne mobile exponentielle (EMA) lissent la trajectoire pour atténuer les artefacts de profondeur et les valeurs aberrantes.
- Mise à l'échelle : Le système met à l'échelle le mouvement du bras de l'opérateur par rapport à l'espace de travail du robot sur la base d'une estimation en ligne de la longueur du bras de l'opérateur, éliminant ainsi le besoin de calibrage manuel.
Ancrage de cible à vocabulaire ouvert :
- Spécification sémantique : Les opérateurs spécifient les cibles via des requêtes textuelles libres (ex. : « vanne de roue »). Un modèle de langage-vision (VLM, Qwen3-VL) ancre cette requête sur l'image de la caméra de la pince, renvoyant une boîte englobante et des points de saisie candidats.
- Suivi : Un modèle de segmentation vidéo promptable (SAM 2) suit la cible à travers les caméras de la pince et du corps.
- Séparation dynamique : Les masques de segmentation séparent l'objet cible de l'environnement statique au sein d'une carte volumétrique. Cela garantit que la cible est exclue de la carte des obstacles de collision, empêchant le contrôleur de traiter le point de saisie prévu comme un obstacle.
- Repère de saisie : Un repère de saisie ancré dans le monde {G} est établi, restant fixe à moins que des mesures consécutives ne confirment le mouvement de l'objet.
Génération de mouvement réactive et sensible aux collisions :
- Cartographie : Un mappeur volumétrique accéléré par GPU embarqué (nvblox) fusionne la profondeur stéréoscopique en un champ de distance signée tronqué (TSDF) et un champ de distance signée euclidien (ESDF) pour une vérification de collision en temps réel.
- Contrôle : Un contrôleur d'intégration de trajectoire par échantillonnage prédictif de modèle (MPPI) (cuRobo) s'exécute à 50 Hz. Il optimise les trajectoires articulaires en minimisant l'erreur de suivi cartésien, les limites articulaires, la fluidité et les coûts de collision contre l'ESDF en ligne.
Assistance par contrôle partagé :
- Champ de potentiel : Dans un rayon d'activation de 0,4 m autour de la cible ancrée {G}, un champ de potentiel attractif biaise la référence commandée par l'opérateur vers la cible.
- Préservation de l'autorité : La force de correction ( $k_{att} = 0,2$ ) est ajustée de sorte que la commande de l'opérateur reste le terme dominant, permettant à celui-ci de s'écarter ou de passer outre l'assistance, tandis que le champ corrige les erreurs résiduelles fines lors de l'approche finale.
Exécution autonome déclenchée par l'utilisateur :
- Les opérateurs peuvent passer en mode autonome via des gestes de la main (deux doigts pour engager, poing fermé pour exécuter).
- Le système réutilise le même générateur de mouvement sensible aux collisions pour diriger l'effecteur terminal directement vers le repère ancré {G}, héritant des mêmes garanties de sécurité que le télépilotage.

Contributions clés

Pipeline intégré : Un système d'autonomie partagée couplant le télépilotage sans calibrage, l'ancrage à vocabulaire ouvert et l'autonomie déclenchée par geste, convertissant les requêtes en langage naturel en repères de saisie 3D ancrés dans le monde.
Conscience continue des collisions : Intégration de la cartographie volumétrique embarquée avec un MPC basé sur l'échantillonnage, soumettant les mouvements téléopérés et autonomes à des contraintes de collision identiques tout en séparant dynamiquement la cible de la carte des obstacles.
Assistance par champ de potentiel : Une couche de guidage qui corrige les références de l'opérateur vers la cible dans une région d'activation tout en maintenant l'autorité de l'opérateur comme terme de contrôle dominant.

Résultats
Le cadre a été évalué sur un manipulateur mobile quadrupède lors de tâches de manipulation de vannes industrielles et de prise et dépose :

Précision de suivi : L'interface de téléopération a atteint une erreur quadratique moyenne (RMSE) de position de 59 mm par rapport à la vérité terrain de capture de mouvement.
Évitement de collision : Dans des environnements encombrés, le contrôleur a maintenu une distance minimale de 18 cm des obstacles, même lorsque l'opérateur commandait délibérément la référence à 6 cm à l'intérieur des obstacles.
Succès des tâches :
- Cadre complet : A atteint un succès de 100 % (5/5 essais) pour la manipulation de vannes et les tâches de prise et dépose.
- Études d'ablation : Le retrait de l'évitement de collision a entraîné des échecs de contact ; le retrait du champ de potentiel a conduit à des échecs de saisie dus à des difficultés d'alignement. Les deux modules étaient nécessaires pour supprimer les modes de défaillance complémentaires.
- Mode autonome : A réussi dans 4/5 essais par tâche, les échecs étant attribués à des imprécisions d'estimation de profondeur dans le service de saisie plutôt qu'au pipeline de perception ou de contrôle.

Signification et affirmations
L'article affirme que ce cadre comble l'écart entre la flexibilité du télépilotage et la sécurité de l'autonomie dans les environnements industriels non structurés. En permettant aux opérateurs de spécifier des cibles via le langage naturel et en fournissant une assistance continue et sensible aux collisions, le système réduit la charge cognitive et les risques de collision sans nécessiter de dispositifs portables, de fiduciaux ou de calibrage extensif. Les auteurs soulignent que le système gère avec succès les interactions riches en contact (ex. : tourner une vanne) et se généralise à différents types d'objets (vannes fixes vs. perceuses mobiles) en utilisant un pipeline de perception unique. Ce travail démontre que la conversion de indices sémantiques en assistance continue et soumise à des contraintes de sécurité est réalisable pour la manipulation en temps réel sur des plateformes à pattes.