Résumé Technique : PanoVine – Contrôle Visuomoteur de l'Ensemble du Corps pour un Robot de Type Liane Soft à Croissance

Problématique

Les robots lianes, une classe de robots continus souples à croissance pneumatique, offrent des avantages uniques pour la navigation dans des environaux confinés, complexes et non structurés (ex. : tuyaux, infrastructures souterraines) grâce à leur corps compliant et leurs mécanismes de croissance auto-supportés. Cependant, le contrôle de ces robots pour une navigation autonome et la manipulation reste un défi majeur dû à deux facteurs principaux :

1. Dynamique Imprévisible : Le comportement du robot est régi par la compliance des matériaux, l'hystérésis, le flambement, les interactions corps-environnement et la tension dans la queue non évertée. Ces facteurs rendent le système difficile à modéliser physiquement. Par conséquent, les rejeux en boucle ouverte de trajectoires d'actions entraînent souvent des configurations de robot radicalement différentes d'un essai à l'autre.
2. Capteurs Embarqués Limités : Le robot subit des déformations complexes de l'ensemble de son corps sur de grands espaces de travail. Les modalités de détection traditionnelles limitées (ex. : une seule caméra ou un IMU) sont insuffisantes pour capturer l'information d'état nécessaire à un contrôle robuste en boucle fermée, particulièrement lorsque les capteurs montés à l'extrémité ajoutent une complexité mécanique ou lorsque le corps du robot occulte sa propre vue.

Les approches basées sur des modèles existantes reposent sur des hypothèses cinématiques (ex. : courbure constante par morceaux) ou des priors de géométrie d'obstacles qui échouent dans des environnements encombrés et inconnus. De même, les méthodes antérieures basées sur l'apprentissage ont largement été restreintes à la simulation ou à des bras souples non croissants de courte durée, échouant à passer à l'échelle pour de longues robots lianes à croissance continue dotées de nombreux degrés de liberté.

Méthodologie

Les auteurs présentent PanoVine, le premier système de robot liane autonome capable de contrôle en boucle fermée en utilisant uniquement des capteurs embarqués. L'approche intègre une plateforme matérielle personnalisée avec un cadre de contrôle visomoteur basé sur les données.

1. Matériel du Système : Vision Distribuée de l'Ensemble du Corps

La plateforme PanoVine présente un corps souple à croissance de 6 mètres de long et 0,16 mètre de diamètre, doté de sept degrés de liberté contrôlables (une extension, six articulations de flexion rotatives).

• Suite de Capteurs : Le système est équipé de 19 caméras RGB réparties le long du corps du robot.
• Stratégie de Placement : Les caméras sont montées sur les segments en TPU du robot avec un angle de 60 degrés par rapport à l'axe du corps. Elles font face soit aux extrémités distale ou proximale. À mesure que le robot croît par éversion, les caméras sont progressivement révélées, fournissant un retour multi-perspectif de la déformation du robot et de l'environnement environnant.
• Actionnement : Le robot est contrôlé via une interface de joystick qui commande la direction dans l'espace des articulations et la croissance axiale, avec des ajustements de pression pour le contrôle de la rigidité.

2. Cadre de Contrôle : Politique Visomotrice de l'Ensemble du Corps

Le cœur du système est une politique visomotrice de bout en bout entraînée par apprentissage par imitation à partir de démonstrations téléopérées.

• Entrée : La politique reçoit un historique d'observations $o = (I, q)$, où $I$ représente les flux RGB de toutes les 19 caméras et $q$ représente la proprioception (angles d'articulation et longueur de la base).
• Architecture : Le système utilise un backbone Diffusion Transformer.
  • Encodage Visuel : Les images sont redimensionnées en $224 \times 224 \times 3$ et traitées par un Vision Transformer CLIP pré-entraîné. Le jeton de classe de chaque vue de caméra sert d'embedding compact.
  • Attention Croisée : Un mécanisme d'attention croisée permet à la politique d'apprendre des correspondances multi-vues implicites et des relations sémantiques spécifiques aux tâches entre les entrées visuelles distribuées, la proprioception et les actions, évitant ainsi le besoin d'un étalonnage extrinsèque explicite.
  • Sortie d'Action : La politique prédit un bloc d'action $a \in \mathbb{R}^{\tau \times d}$ (où $\tau=8$) spécifiant la longueur de la base et les angles d'articulation pour les étapes de temps suivantes.
• Choix de Conception Clés pour la Robustesse :
  1. Représentation Relative : La proprioception et les actions sont exprimées par rapport au dernier cadre d'observation pour assurer des transitions fluides et une robustesse à l'hystérésis et à l'incertitude d'actionnement.
  2. Rééquilibrage des Données : Pour traiter la rareté des actions de direction dans les données téléopérées (qui sont dominées par la croissance pure), l'ensemble de données d'entraînement est rééquilibré pour s'assurer que la politique apprenne les comportements de direction réactifs critiques (virage, escalade) plutôt que de faire du surapprentissage sur la croissance.

Contributions Clés

1. Plateforme Matérielle : Un système de robot liane présentant une vision distribuée de l'ensemble du corps (19 caméras) qui fournit un retour complet et multi-perspectif de l'état du robot et de l'environnement tout au long du processus de croissance.
2. Cadre de Contrôle : Une politique visomotrice basée sur l'apprentissage conçue spécifiquement pour les robots longs et déformables. Elle agrège efficacement les capteurs distribués, maintient la robustesse face à une estimation d'état peu fiable et gère les comportements à long horizon avec des actions de direction éparses.
3. Démonstration Autonome : La première démonstration d'un robot liane atteignant un contrôle en boucle fermée autonome dans des scénarios réels complexes sans capteurs externes (ex. : GPS, capture de mouvement) ou planification basée sur un modèle.

Résultats Expérimentaux

Le système a été évalué sur deux tâches réelles exigeantes :

1. Navigation de Parcours Complexe

• Tâche : Naviguer dans un parcours de 6 m impliquant la sélection de branches, la montée de pentes à 45°, la traversée de vides non supportés, l'évitement d'obstacles et des virages serrés.
• Performance : La politique PanoVine a atteint un taux de réussite de 80 %.
• Baselines :
  • Rejeu de Trajectoire (Boucle Ouverte) : 0 % de taux de réussite. Les échecs incluent des collisions avec des obstacles et l'incapacité à atteindre les objectifs en raison des écarts de longueur induits par le flambement.
  • Sans Rééquilibrage : 10 % de taux de réussite. La politique a échoué à diriger suffisamment aux points de branchement, soulignant la nécessité de la stratégie de rééquilibrage des données.

2. Atteinte d'Objet

• Tâche : S'étendre sur 2 mètres et diriger précisément pour toucher et renverser des objets placés à des emplacements et orientations inconnus.
• Performance : La politique a atteint un taux de réussite de 85 %, démontrant sa capacité à se généraliser à des objets et des emplacements non vus en ancrant les commandes de direction sur un retour visuel multi-vues.
• Baselines :
  • Politique à Caméra Unique : 0 % de taux de réussite. La caméra unique a échoué à maintenir la vue de l'objet pendant l'extension ou la direction, entraînant des échecs de ciblage.

Signification et Revendications

L'article affirme que PanoVine représente une étape significative vers l'avant pour la robotique souple en démontrant que le contrôle autonome en boucle fermée d'un robot liane est réalisable en utilisant uniquement des capteurs embarqués.

Les auteurs soulignent que leur approche contourne les limites des pipelines traditionnels basés sur des modèles, qui peinent face aux déformations non linéaires, hystérétiques et discontinues inhérentes aux robots lianes à croissance souple. En apprenant une politique visomotrice de bout en bout à partir d'une vision distribuée de l'ensemble du corps, le système peut observer directement le contact, la déformation et la géométrie environnante, compensant ainsi l'incertitude dans les états et la dynamique du robot. Ce travail établit une base pour les recherches futures sur le contrôle par apprentissage pour les robots souples opérant dans des environnements complexes et non structurés.