Technische Samenvatting: PanoVine – Whole-Body Visuomotor Control voor een Soft Growing Vine Robot

Probleemstelling

Vine-robots, een klasse van pneumatische, zachte, groeiende continuümrobots, bieden unieke voordelen voor navigatie in besloten, complexe en ongestructureerde omgevingen (bijv. buizen, ondergrondse infrastructuur) vanwege hun compliant lichaam en zelfondersteunende groeimechanismen. Het controleren van deze robots voor autonome navigatie en manipulatie blijft echter een grote uitdaging door twee primaire factoren:

1. Onvoorspelbare Dynamiek: Het gedrag van de robot wordt bepaal door materiaalcompliance, hysteresis, knikken (buckling), interacties tussen het lichaam en de omgeving, en spanning in de niet-geëverteerde staart. Deze factoren maken het systeem fysiek moeilijk te modelleren. Gevolgelijk leiden open-loop herhalingen van actietrajecten vaak tot drastisch verschillende robotconfiguraties tussen verschillende proeven door.
2. Beperkte Onboard Sensing: De robot ondergaat complexe, volledige lichaamsdeformaties over grote werkruimtes. Traditionele, beperkte sensormodaliteiten (bijv. een enkele camera of IMU) zijn onvoldoende om de noodzakelijke staat-informatie te vangen voor betrouwbare closed-loop controle, met name wanneer op de punt gemonteerde sensoren mechanische complexiteit toevoegen of wanneer het lichaam het eigen zicht blokkeert.

Bestaande modelgebaseerde benaderingen vertrouwen op kinematische aannames (bijv. piecewise constant curvature) of geometrische priors van obstakels die falen in rommelige, onbekende omgevingen. Vergelijkbare eerdere leergebaseerde methoden waren grotendeels beperkt tot simulaties of korte, niet-groeiende zachte armen, en slaagden er niet in op te schalen naar lange, continu groeiende vine-robots met een hoog aantal vrijheidsgraden.

Methodologie

De auteurs presenteren PanoVine, het eerste autonome vine-robotsysteem dat in staat is tot closed-loop controle met behulp van enkel onboard sensing. De aanpak integreert een aangepast hardwareplatform met een datagedreven, visuele controleframework.

1. Systeemhardware: Gedistribueerde Whole-Body Vision

Het PanoVine-platform beschikt over een 6 meter lang, 0,16 meter diameter zacht groeiend lichaam met zeven controleerbare vrijheidsgraden (één extensie, zes revolute buiggewrichten).

• Sensorsuite: Het systeem is uitgerust met 19 RGB-camera's die over het lichaam van de robot zijn verdeeld.
• Plaatsingsstrategie: De camera's zijn op de TPU-gecoate zijde van de robotsegmenten gemonteerd onder een hoek van 60 graden ten opzichte van de lichaamsas. Ze zijn gericht naar ofwel de distale of de proximale uiteinden. Terwijl de robot groeit via evertie, worden de camera's geleidelijk onthuld, wat zorgt voor multi-perspectief feedback van zowel de deformatie van de robot als de omringende omgeving.
• Aandrijving: De robot wordt aangestuurd via een joystick-interface die joint-space sturing en axiale groei aanstuurt, met drukinstellingen voor stijfheidscontrole.

2. Controleframework: Whole-Body Visuomotor Policy

De kern van het systeem is een end-to-end visuomotor policy die getraind is via imitation learning van teleoperated demonstraties.

• Input: De policy ontvangt een geschiedenis van observaties $o = (I, q)$, waarbij $I$ de RGB-stromen van alle 19 camera's vertegenwoordigt en $q$ proprioceptie (gewrichtshoeken en basislengte) vertegenwoordigt.
• Architectuur: Het systeem maakt gebruik van een Diffusion Transformer backbone.
  • Vision Encoding: Beelden worden vergroot naar $224 \times 224 \times 3$ en verwerkt door een pretrained CLIP Vision Transformer. De class token van elk camerabeeld dient als een compacte embedding.
  • Cross-Attention: Een cross-attention mechanisme stelt de policy in staat om impliciete multi-view correspondenties en taakspecifieke semantische relaties te leren tussen de gedistribueerde visuele inputs, proprioceptie en acties, waardoor expliciete extrinsieke kalibratie wordt omzeild.
  • Action Output: De policy voorspelt een action chunk $a \in \mathbb{R}^{\tau \times d}$ (waarbij $\tau=8$) die de basislengte en gewrichtshoeken voor de volgende tijdstappen specificeert.
• Belangrijke Ontwerpkeuzes voor Robuustheid:
  1. Relatieve Representatie: Proprioceptie en acties worden uitgedrukt relatief aan het laatste observatieframe om vloeiende overgangen te garanderen en robuustheid te bieden tegen hysteresis en aandrijfingsonzekerheid.
  2. Data Rebalancing: Om de schaarste van stuuracties in teleoperated data (die gedomineerd worden door pure groei) aan te pakken, wordt de trainingsdataset opnieuw gebalanceerd om ervoor te zorgen dat de policy kritieke reactieve stuurgedragingen leert (draaien, klimmen) in plaats van te overfitten op groei.

Belangrijkste Bijdragen

1. Hardwareplatform: Een vine-robotsysteem met gedistribueerde whole-body vision (19 camera's) dat uitgebreide, multi-perspectief feedback biedt van de staat van de robot en de omgeving gedurende het groeiproces.
2. Controleframework: Een learning-based visuomotor policy die specifief is ontworpen voor lange, vervormbare robots. Het aggregeert effectief gedistribueerde sensing, behoudt robuustheid tegen onbetrouwbare staatsschatting en handelt langdurige gedragingen af met schaarse stuuracties.
3. Autonome Demonstratie: De eerste demonstratie van een vine-robot die autonome closed-loop controle bereikt in complexe real-world scenario's zonder externe sensing (bijv. GPS, motion capture) of modelgebaseerde planning.

Experimentele Resultaten

Het systeem werd geëvalueerd op twee uitdagende real-world taken:

1. Complexe Course Navigatie

• Taak: Navigeren door een 6m parcours bestaande uit takselectie, het beklimmen van een 45° helling, het doorkruisen van onondersteunde openingen, obstakelvermijding en scherpe bochten.
• Prestatie: De PanoVine policy behaalde een succespercentage van 80%.
• Baselines:
  • Trajectory Replay (Open-loop): 0% succespercentage. Falen omvatten botsingen met obstakels en het niet bereiken van doelen door lengteverschillen veroorzaakt door buckling.
  • Geen Re-balancing: 10% succespercentage. De policy slaagde er niet in voldoende te sturen bij de vertakkingspunten, wat de noodzaak van de data rebalancing strategie benadrukt.

2. Object Reaching

• Taak: 2 meter uitstrekken en nauwkeurig sturen om objecten aan te raken en omver te duwen die op onbekende locaties en oriëntaties zijn geplaatst.
• Prestatie: De policy behaalde een succespercentage van 85%, wat het vermogen aantoont om te generaliseren over ongeziene objecten en locaties door stuurcommando's te funderen op multi-view visuele feedback.
• Baselines:
  • Single Camera Policy: 0% succespercentage. De enkele camera faalde om het object tijdens de extensie of sturing in beeld te houden, wat leidde tot gemiste doelen.

Betekenis en Claims

Het artikel claimt dat PanoVine een belangrijke stap voorwaarts is in de soft robotics door aan te tonen dat autonome closed-loop controle van een vine-robot haalbaar is met behulp van enkel onboard sensing.

De auteurs benadrukken dat hun aanpak de beperkingen van traditionele modelgebaseerde pipelines omzeilt, die moeite hebben met de nietlineaire, hysteretische en discontinue deformaties die inherent zijn aan zachte groeiende robots. Door een end-to-end visuomotor policy te leren van gedistribueerde whole-body vision, kan het systeem direct contact, deformatie en de omringende geometrie observeren, waardoor onzekerheid in robotstaten en dynamiek wordt gecompenseerd. Dit werk legt een fundament voor toekomstig onderzoek naar learning-based controle voor soft robots die opereren in complexe, ongestructureerde omgevingen.