ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics

Technische Samenvatting: ManiSoft: Naar Visueel-Taalgestuurde Manipulatie voor Zachte Continuümrobotica

Probleemstelling
Bestaand onderzoek naar visueel-taalgestuurde manipulatie (VLM) richt zich voornamelijk op stijve robotarmen, die vertrouwen op accurate proprioceptie en laagdimensionale kinematica. Hoewel deze effectief zijn in gestructureerde omgevingen, ondervinden stijve morfologieën fundamentele beperkingen in rommelige of krappe ruimten waar aanzienlijke vormaanpassing vereist is. Zachte robotarmen bieden een veelbelovend alternatief vanwege hun continue vervormbaarheid, waardoor ze in staat zijn om obstakels te omzeilen. Het toepassen van VLM op zachte armen introduceert echter specifieke uitdagingen: het ontbreken van betrouwbare proprioceptieve sensoren (vaak afhankelijk van inferentie uitsluitend op basis van visuele data), de complexiteit van gedistribueerde laagniveau-actuaties (bijv. koppel, druk), en de hoogdimensionale, gekoppelde actieruimte. Bovendien zijn bestaande simulatoren ofwel uitstekend in het modelleren van elastische dynamica maar missen ze robuuste contactinteracties, of zij hanteren contacten goed maar falen in het simuleren van continue vervorming.

Methodologie
Om deze hiaten aan te pakken, introduceren de auteurs ManiSoft, een benchmark ontworpen om onderzoek naar visueel-taalgestuurde manipulatie voor zachte armen te stimuleren. De methodologie omvat drie kerncomponenten:

1. Hybride Simulator (ManiSoft-Sim):
   De auteurs ontwikkelen een op maat gemaakte simulator die de kloof overbrugt tussen dynamica van zachte lichamen en interacties van stijve lichamen.

   • Modellering van Zachte Lichamen: De arm wordt gemodelleerd als een Cosserat-staaf met behulp van de Elastica-bibliotheek, gediscretiseerd in $N$ segmenten om axiale, schuif-, buig- en torsiespanningen onder externe koppels vast te leggen.
   • Modellering van Interacties: De end-effector (EEF) en contacten met de omgeving worden afgehandeld door MuJoCo voor efficiënte contact- en wrijvingsimulatie.
   • Koppeling: Een nieuwe elastische krachtbeperking koppelt het vervormbare zachte lichaam en de stijve EEF. Relatieve translaties ($\Delta x$) en rotaties ($\Delta \theta$) tussen de bevestigingspunten genereren herstellende krachten en koppels via de wet van Hooke, waardoor gecoördineerde maar compliant beweging wordt gewaarborgd.
   • Rendering: Visuele waarnemingen worden gegenereerd met Blender vanuit vaste cameravertrekpunten.

2. Taakdefinitie en Datageneratie:
   ManiSoft definieert vier manipulatieopdrachten, die elk verschillende aspecten van vervormbare controle benadrukken:

   • Verzamelen (COLL): Het verzamelen van een object in een container.
   • Uitlijnen (ALN): Het positioneren van een object in een specifieke 6-DoF-pose.
   • Stapelen (STK): Het assembleren van items in een stabiele verticale stapel.
   • Ordenen (ARR): Het plaatsen van objecten in een specifieke ruimtelijke configuratie.

   De benchmark omvat 6.300 scène-trajectparen (2.100 schoon, 4.200 gerandomiseerd). Een geautomatiseerde pijplijn genereert deze scènes met behulp van een assetbibliotheek van 263 objecten. Cruciaal is dat de benchmark interne proprioceptieve toestanden (bijv. gewrichtshoeken) uitsluit van de policy-input, waardoor modellen de configuratie van de arm uitsluitend moeten afleiden uit visuele waarnemingen.

3. Hiërarchische Trajectgeneratie:
   Om op grote schaal hoogwaardige expertdemonstraties te produceren, maken de auteurs gebruik van een hiërarchisch mechanisme:

   • Hoog-niveau Planning: Een op regels gebaseerde planner decomposeert taken in een reeks 6-DoF-wegpunten.
   • Laag-niveau Controle: Een Reinforcement Learning (RL)-executor, getraind met een dichte beloningsfunctie (combinatie van pose-verschil en stabiliteitsbeloningen), genereert koppelcommando's om de zachte arm tussen de wegpunten te bewegen. Deze decompositie vermindert de moeilijkheid van het direct plannen van koppelreeksen over lange horizonnen.

Belangrijkste Bijdragen

• ManiSoft Benchmark: De eerste benchmark specifiek toegesneden op visueel-taalgestuurde manipulatie met zachte continuümrobots, met een hybride simulator, diverse taken en een groot dataset van experttrajecten.
• Hybride Simulatiekader: Een nieuwe integratie van Cosserat-staafdynamica en contactsimulatie voor stijve lichamen via elastische krachtbeperkingen, wat realistische, contactrijke manipulatie met vervormbare lichamen mogelijk maakt.
• Systematische Evaluatie: Een uitgebreide benchmarking van drie representatieve policy-modellen (Diffusion Policy, RDT en OpenVLA-OFT) onder zowel schone als gerandomiseerde omstandigheden, waarbij specifieke faalmodi die uniek zijn voor zachte implementaties aan het licht komen.

Resultaten
De auteurs evalueerden drie modellen: Diffusion Policy (DP), RDT-1B en OpenVLA-OFT.

• Schone Scènes: Bestaande modellen tonen veelbelovende resultaten, waarbij DP en OpenVLA-OFT gemiddelde succespercentages van respectievelijk ~31% en ~30% behalen, wat aanzienlijk beter is dan RDT (9,2%). DP blinkt uit in eenvoudigere taken (COLL), terwijl OpenVLA-OFT sterkere generalisatie toont in complexe taken (ALN, STK, ARR).
• Gerandomiseerde Scènes: Alle modellen ervaren een aanzienlijke daling in prestaties. Het succespercentage van DP daalt met 29,4%, terwijl OpenVLA-OFT grotere robuustheid toont en een gemiddeld succespercentage van 27,0% behoudt (een daling van slechts 3,4% ten opzichte van zijn schone prestatie, en een prestatie die 13,1% hoger ligt dan die van DP in de gerandomiseerde setting).
• Foutanalyse: Visualisatie van faalgevallen onthult drie primaire knelpunten:
  1. Proprioceptieve Toestandsambiguïteit: Onnauwkeurige visuele schatting van de vervorming van de zachte arm leidt tot ongecorrigeerde interne koppels en instabiele controle.
  2. Onderschatting van Compliance: Policies maken vaak geen gebruik van de vervormbaarheid van de arm om obstakels te omzeilen, maar proberen in plaats daarvan directe paden die leiden tot botsingen.
  3. Stop-Bewegingsgedrag: Deterministische policies (zoals OpenVLA-OFT) komen af en toe in een feedbacklus terecht waarbij subtiele visuele veranderingen na het grijpen verdere actiegeneratie onderdrukken; een gedrag dat minder voorkomt bij stochastische diffusie-policies.

Betekenis en Claims
Het artikel positioneert ManiSoft als een waardevol testbed om de kloof tussen stijve en zachte armen te overbruggen in de context van visueel-taalgestuurde manipulatie. De auteurs claimen dat de benchmark faalmodi blootlegt die uniek zijn voor vervormbare implementaties, specifiek de uitdagingen van visuele proprioceptie en adaptieve obstakelvermijding. Zij verwachten dat ManiSoft de ontwikkeling van methoden zal faciliteren die deze specifieke uitdagingen aanpakken, wat uiteindelijk de creatie van veiligere, mensvriendelijkere robotsystemen ondersteunt die kunnen opereren in complexe, ongestructureerde omgevingen. Het werk wordt gepresenteerd als een eerste stap, waarbij beperkingen in actuatiediversiteit en sim-naar-real-overdracht worden erkend, maar een fundament wordt gelegd voor toekomstig onderzoek naar compliant interactie.