Zero-shot Sim-to-Real Transfer for Reinforcement Learning-based Visual Servoing of Soft Continuum Arms

Dit paper introduceert een op versterkingslering gebaseerd framework voor visuele servoing van zachte continuumbanen dat, door kinematica en mechanica te ontkoppelen, een robuuste zero-shot simulatie-naar-realiteit-overdracht mogelijk maakt met een succespercentage van 67% op hardware.

De kern

Stel je voor dat je een zachte, flexibele arm hebt, gemaakt van siliconen of rubber, die zich net als een slurf of een octopusarm kan buigen en draaien. Dit noemen we een zachte continuüm-arm. Deze armen zijn fantastisch omdat ze veilig zijn om mee te werken; ze kunnen een banaan vastpakken zonder hem te pletten of voorzichtig door een rommelige kamer bewegen.

Maar hier zit het probleem: omdat ze zo zacht en vervormbaar zijn, is het heel moeilijk om ze te programmeren. Het is alsof je probeert een slurf te besturen die geen vaste vorm heeft. Als je in een computerprogramma (een simulatie) leert hoe je deze arm moet bewegen, werkt dat vaak niet meer als je de arm echt op je werktafel zet. De echte wereld is onvoorspelbaar: de lucht in de buizen is anders, het rubber is ietsje zwaarder, en de wrijving is anders. Dit noemen we het "simulatie-naar-realiteit" probleem.

Wat doen deze onderzoekers?

Ze hebben een slimme truc bedacht om dit probleem op te lossen, zonder dat ze de arm eerst opnieuw hoeven te programmeren voor de echte wereld. Ze noemen dit "Zero-shot Sim-to-Real". Dat klinkt ingewikkeld, maar het betekent simpelweg: we trainen de arm in de computer, en als we hem in de echte wereld zetten, werkt hij direct, zonder extra oefening.

Hoe hebben ze dit gedaan? Ze hebben de taak opgesplitst in twee lagen, net als een chef-kok en een kokkies:

1. De Chef-kok (De RL-controller):
   Deze "chef" zit in de computer. Hij kijkt niet naar de details van de rubberen arm of de luchtdruk. Hij kijkt alleen naar het doel: "Ik wil dat de punt van de arm precies op dat rode balletje wijst." Hij denkt in grote lijnen: "Buig een beetje naar links, draai een beetje." Hij is heel goed in het plannen van de route, omdat hij in een perfecte, simpele computerwereld heeft geoefend.

2. De Kokkies (De lokale controller):
   Dit is de persoon die daadwerkelijk de knoppen indrukt op de echte arm. De chef-kok zegt: "Buig naar links!" Maar de echte arm reageert misschien net iets anders dan de computer dacht. De kokkies kijken naar wat er gebeurt en corrigeren het direct. "Oh, we zijn net iets te ver naar links, draai een beetje terug." Ze doen dit heel snel en herhaaldelijk totdat het doel bereikt is.

Het grote voordeel: Slechts één paar ogen

Veel robots hebben dure, complexe systemen nodig om te weten waar ze zijn: lasers, motion-capture camera's, sensoren in elke buis. Deze onderzoekers gebruiken een minimale opstelling. Ze hebben slechts twee camera's nodig:

• Eén camera aan de basis (zoals een mens die naar zijn hand kijkt).
• Eén camera aan de punt van de arm (zoals een oog dat recht in de richting kijkt waar je naartoe wilt).

De robot gebruikt een slimme AI (een soort "herkenningstool") om te zien waar het doel is en waar zijn eigen punt is. Hij probeert het doel precies in het midden van zijn eigen oog (de camera aan de punt) te krijgen.

Wat was het resultaat?

• In de computer: De robot was perfect. Hij slaagde in 99,8% van de pogingen.
• In de echte wereld: Zonder de robot opnieuw te leren of aan te passen, slaagde hij in 67% van de pogingen.

Dat klinkt misschien niet als 100%, maar voor een zachte robot die in de echte wereld werkt met alleen camera's en geen dure sensoren, is dit een enorme doorbraak. Het betekent dat de robot flexibel genoeg is om met verrassingen om te gaan.

De analogie van de fiets

Stel je voor dat je fietsen leert in een virtuele wereld waar de grond altijd perfect vlak is en de wind nooit waait (de simulatie). Je bent daar een expert in. Als je nu op een echte fiets stapt met oneffen wegdek en wind, zou je normaal gesproken vallen.

Maar deze onderzoekers hebben een systeem bedacht waarbij je als fietser (de lokale controller) constant je evenwicht houdt en kleine correcties maakt, terwijl je brein (de chef-kok) alleen kijkt naar het pad vooruit. Dankzij die kleine, snelle correcties kun je de fiets op de echte weg rijden, zelfs als je alleen in de virtuele wereld hebt geoefend.

Waarom is dit belangrijk?

Dit maakt het mogelijk om zulke zachte, veilige robots in de toekomst te gebruiken voor taken waar ze nu nog te moeilijk te programmeren zijn:

• Het oogsten van zachte fruitsoorten in een onrustige tuin.
• Het inspecteren van buizen of machines in een rommelige fabriek.
• Het helpen van mensen in de zorg, zonder dat de robot bang is om iets te breken.

Kortom: ze hebben een manier gevonden om een robot "slim" te maken in de computer, zodat hij die intelligentie direct kan gebruiken in de chaotische, echte wereld, zonder dat we hem eerst maandenlang hoeven te trainen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Zero-shot Sim-to-Real Transfer for Reinforcement Learning-based Visual Servoing of Soft Continuum Arms", geschreven in het Nederlands.

Probleemstelling

Zachte, continue armen (Soft Continuum Arms - SCAs) zijn uiterst geschikt voor veilige interactie met complexe, ongeordende omgevingen en breekbare objecten vanwege hun vervormbaarheid en hoge compliantie. Echter, hun controle is extreem uitdagend door de oneindige vrijheidsgraden en niet-lineaire dynamische gedragingen.
De belangrijkste obstakels zijn:

1. Modellering: Het analytisch modelleren van de dynamiek van SCAs is moeilijk en vaak onnauwkeurig.
2. Sim-to-Real Transfer: Beleid (policies) dat in simulatie is getraind, faalt vaak bij overdracht naar fysieke hardware vanwege discrepanties in de fysieke eigenschappen (materiaal, fabricage, externe krachten).
3. Sensoren: Bestaande oplossingen vereisen vaak uitgebreide sensoren (zoals motion capture-systemen) of zijn beperkt tot 2D-taken, wat de schaalbaarheid en toepasbaarheid in de echte wereld beperkt.
4. Zero-shot Transfer: Er is een kritiek gat in de literatuur: er zijn weinig tot geen methoden die zero-shot sim-to-real transfer (overdracht zonder aanpassing of fine-tuning op de echte hardware) voor SCAs aantonen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat de kinematica ontkoppelt van de mechanische eigenschappen van de SCA. Dit wordt bereikt door een tweelaags architectuur te gebruiken:

1. Ontkoppeling van Kinematica en Mechanica

• RL Kinematische Controller: Deze laag werkt in de configuratieruimte (beschreven door kromming $\kappa$ en torsie $\tau$). De Reinforcement Learning (RL) agent leert hoog-niveau kinematische beleidsplannen om een doel te bereiken. Omdat deze laag puur kinematisch is, is deze onafhankelijk van specifieke hardwarevariaties (zoals materiaalverschillen).
• Lokale Controller: Deze laag vertaalt de kinematische commando's naar daadwerkelijke actuatiesignalen (druk in de pneumatische actuators). Deze controller compenseert voor dynamische onzekerheden en fysieke variaties door een iteratieve correctielus te gebruiken. Hierdoor is er geen perfecte, vooraf gedefinieerde kaart nodig tussen configuratie en actuaties.

2. Minimale Sensing en Visual Servoing

• Het systeem maakt gebruik van minimale sensing: slechts twee camera's (een basiscamera en een distale camera aan de punt van de arm) en geen uitgebreide motion capture-systemen.
• Open-vocabulary objectdetectie: Het model maakt gebruik van Grounding DINO om objecten en de positie van de arm in de beelden te detecteren. Dit levert de visuele feedback die nodig is voor de RL-agent.
• MDP Formulering:
  • Toestand (State): Inclusief positie/orientatie van de end-effector, configuratieparameters ($\kappa, \tau$), bounding box-centroïden van doel en arm, en zichtbaarheid.
  • Actie (Action): Aanpassingen in kromming en torsie ($\Delta\kappa, \Delta\tau$).
  • Beloning (Reward): Een combinatie van afstandsreductie, uitlijning, visuele precisie (centrering in de distale camera) en een straf voor tijd.

3. Training en Implementatie

• Simulatie: Training vindt volledig plaats in Gazebo, gebruikmakend van een vereenvoudigd model met constante kromming en torsie.
• Algoritme: Er wordt gebruikgemaakt van Soft Actor-Critic (SAC), een off-policy algoritme dat bekend staat om zijn sample-efficiëntie en entropie-regulering (wat exploratie bevordert).
• Zero-shot Overdracht: Het getrainde beleid wordt direct op de fysieke BR2-arm (een pneumatische manipulator) toegepast zonder enige aanpassing van de parameters of hertraining op de hardware.

Belangrijkste Bijdragen

1. Zero-shot Sim-to-Real Transfer voor SCAs: Dit is een van de eerste werken dat succesvol zero-shot transfer demonstreert voor 3D visuele servoing van zachte armen, waarbij een beleid dat uitsluitend in simulatie is getraind, direct op hardware werkt.
2. Ontkoppelde Architectuur: Door kinematica en dynamica te scheiden, wordt het leerproces versneld en wordt de transferbaarheid van het beleid naar verschillende hardwareconfiguraties verbeterd.
3. Minimale Sensing: Het systeem komt uit met slechts twee camera's en geen interne sensoren voor positietracking, wat de kosten en complexiteit drastisch verlaagt ten opzichte van bestaande methoden.
4. Gebruik van Moderne Objectdetectie: Integratie van Grounding DINO maakt het mogelijk om flexibel met verschillende doelen om te gaan zonder vooraf gedefinieerde klassen.

Resultaten

• Simulatie: De RL-controller bereikte een 99,8% succesratio in de simulatie, met een gemiddelde van 3,98 stappen om de taak te voltooien.
• Hardware (Zero-shot): Bij implementatie op de fysieke BR2-arm zonder fine-tuning werd een 67% succesratio bereikt.
  • De controller slaagde erin het doelobject te centreren in het beeld van de distale camera binnen een drempel van 200 pixels (gekozen omdat 100 pixels te strikt bleek voor de hardware-variabiliteit).
  • De prestaties waren het meest accuraat in het centrale werkgebied en bij gemiddelde hoogtes.
• Robuustheid: Het systeem bleef functioneren zelfs bij het toevoegen van extra gewichten (10g, 15g, 20g) aan de punt van de arm, hoewel de succesratio licht daalde bij zwaardere belastingen (tot 50-57%).
• Foutanalyse: De primaire fouten werden veroorzaakt door onnauwkeurigheden in de kromming (door het verschil tussen het constante kromming-model en de werkelijkheid) en het gebrek aan dieptewerking bij verre doelen. De gemiddelde fout tussen model en hardware was slechts 5,5 mm.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de automatisering van zachte robotica. Het bewijst dat het mogelijk is om complexe, niet-lineaire systemen zoals SCAs te controleren zonder uitgebreide modellering of dure sensoren, mits er gebruik wordt gemaakt van een slimme ontkoppeling van kinematica en dynamica.

• Schaalbaarheid: De aanpak is schaalbaar naar andere zachte robots en complexe taken.
• Toepassingen: Potentieel voor toepassingen in de landbouw, inspectie en zorg, waar robuustheid en veiligheid cruciaal zijn.
• Toekomst: De auteurs plannen om de succesratio te verbeteren, het werkgebied uit te breiden (bijv. grijpen) en het systeem te laten werken in volledig ongeordende omgevingen met diverse objecten.

Kortom, dit paper biedt een robuust, schaalbaar en kostenefficiënt raamwerk voor de controle van zachte robotarmen, waarbij de kloof tussen simulatie en realiteit wordt overbrugd zonder de noodzaak van hardware-specifieke aanpassingen.