Observer Design for Augmented Reality-based Teleoperation of Soft Robots

Dit artikel presenteert een augmented reality-systeem met Microsoft HoloLens 2 voor het teleopereren van zachte robots, waarbij een observer op basis van fysische modellen de positie van de modulaire pneumatische manipulator PETER met een foutmarge van ongeveer 5% schat.

De kern

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met behulp van creatieve vergelijkingen.

De "Magische Bril" voor Zachte Robots

Stel je voor dat je een robotarm wilt besturen die niet gemaakt is van stijve metalen onderdelen, maar van zacht, opblaasbaar rubber, net als een reuzenluchtkussen of een octopus. Dit noemen we een zachte robot. Het probleem? Deze robots zijn zo flexibel dat ze zich als een slak of een slang kunnen vervormen. Ze hebben geen vaste hoeken of lijnen.

Het besturen van zo'n ding via een computer is als proberen een stukje deeg te vormen terwijl je er door een dik, wazig raam naar kijkt. Je ziet niet precies hoe het deeg eruitziet, en als je het te hard duwt, verandert het van vorm op een onvoorspelbare manier.

Het doel van dit onderzoek:
De onderzoekers wilden een manier vinden om deze zachte robots te besturen alsof je ze met je eigen handen vasthoudt, maar dan via een Augmented Reality (AR) bril (zoals de Microsoft HoloLens). Ze wilden een "magische bril" maken die de echte robot in de lucht projecteert, zodat de operator precies kan zien wat hij doet.

---

Hoe werkt het? De "Twee-Man-Team" Methode

Het systeem bestaat uit twee hoofdonderdelen die samenwerken, net als een piloot en een navigator:

1. De Navigatie (De Computer):
   De echte robot (genaamd PETER) zit in een lab. Hij heeft sensoren aan boord die meten: "Hoe hoog ben ik?" en "Hoe kantel ik?". Deze gegevens sturen ze naar een krachtige computer.

   • De Analogie: De computer is de slimme navigator. Hij krijgt de ruwe data binnen en moet snel rekenen om te voorspellen: "Oké, als die drie luchtkussens zo lang zijn, dan moet de robotarm hier en daar staan." Hij gebruikt een virtueel model (in Unity, een game-engine) om dit te simuleren.

2. De Piloot (De HoloLens-bril):
   De computer stuurt dit virtuele beeld naar de bril van de operator.

   • De Analogie: De operator kijkt door de bril en ziet een zwevende, holografische versie van de robot. Hij kan met zijn handen in de lucht "sliders" bewegen (alsof hij luchtbanketbakkers bedient) om de robot te laten bewegen. De bril laat hem zien waar de robot zou moeten zijn, zodat hij veilig en intuïtief kan sturen.

---

Het Grote Uitdaging: De "Zachte" Wiskunde

Het moeilijkste deel was het maken van een waarnemer (een wiskundig model dat de positie voorspelt).

• Het probleem: Als je een metalen robot bestuurt, is de wiskunde makkelijk (rechte lijnen). Maar een zachte robot buigt als een spaghetti. Als je probeert elke kromming exact te berekenen, duurt het te lang voor de computer, en dan is de robot alweer bewogen.
• De oplossing: De onderzoekers hebben een slimme "simplificatie" bedacht. Ze behandelen de zachte luchtkussens alsof het stijve stokjes zijn die wel kunnen uitrekken. Ze gaan ervan uit dat de robot niet in een boog buigt, maar dat hij om een vast punt draait.
  • De Vergelijking: Het is alsof je een slinger bestuurt. In plaats van te berekenen hoe elke vezel van het touw beweegt, doe je alsof het touw een stijve staaf is die om een scharnier draait. Het is niet 100% perfect, maar het is snel genoeg om in real-time te werken.

Om de metingen van de sensoren (die soms ruis hebben, alsof er statische ruis op de radio staat) schoon te maken, gebruikten ze een Kalman-filter.

• De Analogie: Stel je voor dat je door een wazig raam kijkt en iemand roept: "Ik ben hier!". Soms klinkt het alsof ze links zijn, soms rechts. De Kalman-filter is als een slimme vertaler die zegt: "Oké, de persoon beweegt niet zo snel, dus die 'links'-roep was waarschijnlijk een echo. Laten we doorgaan met 'rechts'." Zo wordt het beeld scherp.

---

De Resultaten: Hoe goed werkt het?

Ze hebben de robot een minuut lang laten bewegen en gekeken of de holografische robot (wat de computer dacht) overeenkwam met de echte robot (gemeten met een super-nauwkeurige camera).

• Het resultaat: De voorspelling was ongeveer 5% afwijkend van de werkelijkheid.
• De Context: Voor een zachte robot die als een slak beweegt, is 5% foutmarge eigenlijk heel goed! Het is alsof je probeert een rubberen bal te vangen; als je hem binnen een paar centimeter raakt, heb je het al goed gedaan.
• De zwakke plek: De fouten waren het grootst aan de uiterste randen van het bereik van de robot.
  • De Vergelijking: Het is alsof je een touw vasthoudt. Als je het strak houdt, is het makkelijk te voorspellen. Als je het helemaal uitrekt tot het bijna breekt, begint het te trillen en is het lastiger te voorspellen. Daar moet de software nog wat beter worden.

Conclusie

Dit onderzoek laat zien dat je zachte robots niet meer alleen maar met complexe code moet besturen, maar dat je ze kunt besturen met een magische bril.

Het is alsof je een virtuele handschoen draagt die je in staat stelt om een zachte, vervormbare robot te "voelen" en te sturen, zonder dat je een doctoraat in robotica nodig hebt. Hoewel de wiskunde nog niet perfect is (vooral aan de randen), is het een enorme stap voorwaarts om deze flexibele robots veilig en makkelijk in te zetten, bijvoorbeeld bij reddingsoperaties of in de zorg.

Kortom: Ze hebben een brug gebouwd tussen de chaotische wereld van zachte robots en de menselijke operator, zodat we deze "slakken" eindelijk kunnen temmen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Observer Design for Augmented Reality-based Teleoperation of Soft Robots", geschreven in het Nederlands.

Probleemstelling

Hoewel virtuele (VR) en augmented reality (AR) interfaces al succesvol worden ingezet voor de teleoperatie van traditionele robots (zoals manipulatoren en mobiele robots), is hun toepassing in de soft robotics beperkt. De belangrijkste uitdaging ligt in de inherent complexe modellering van zachte robots. Het is zeer lastig om tegelijkertijd een nauwkeurige en rekenkundig efficiënte weergave te creëren die in real-time werkt. Bestaande simulaties in VR-software, gecombineerd met de beperkingen van huidige rekenkracht, maken een betrouwbare reconstructie van de pose (positie en oriëntatie) van deze manipulatoren vaak onmogelijk. Bovendien vereisen de indirecte sensorgegevens van soft robots vaak een "waarnemer" (observer) om de sensorlezingen om te zetten naar de daadwerkelijke staat van de robot. Bestaande oplossingen zijn vaak te specifiek, traag (zoals FEM-gebaseerde methoden) of bieden geen voldoende aanpassingsmogelijkheden voor de gebruiker.

Methodologie

Het auteurs hebben een nieuw systeem ontwikkeld voor de teleoperatie van een modulaire, parallelle pneumatische zachte robot (genaamd PETER). Het systeem bestaat uit drie hoofdcomponenten:

1. Hardware:

   • Een fysieke robot (PETER) met twee modules, elk met drie parallelle pneumatische actuators.
   • Sensoren: Elke module is uitgerust met een Time-of-Flight (TOF) sensor (voor hoogte) en een Inertial Measurement Unit (IMU) (voor rotatie).
   • Interface: Microsoft HoloLens 2 bril voor de operator.
   • Verwerking: Een centrale computer die de berekeningen uitvoert.

2. Software-Architectuur:

   • PETER-DK (Server): Een in Unity ontwikkeld systeem dat draait op de centrale computer. Het ontvangt sensordata, berekent de kinematica en stuurt besturingscommando's naar de robot. Het is ontworpen om schaalbaar te zijn voor robots met meerdere modules.
   • PETER-H (Interface): De AR-applicatie op de HoloLens 2. Deze biedt een visuele weergave van de robot, schuifbalken voor het instellen van de gewenste configuratie en menu's voor het aanpassen van geometrische parameters.

3. Ontwerp van de Waarnemer (Observer):

   • In plaats van complexe FEM-simulaties of neurale netwerken, wordt een vereenvoudigd fysiek model gebruikt binnen Unity.
   • Aannames: De pneumatische actuators worden behandeld als uitrekbare staven. De bovenste platform van elke module roteert rond een vast centraal punt, en het hoogteverschil wordt gemiddeld. Deze aannames zijn geldig omdat de kromming van de modules beperkt blijft (<10°).
   • Berekening: Op basis van de TOF-hoogte ($h$) en de IMU-rotaties ($\phi, \vartheta$) worden de rotatiematrices en de lengtes van de actuators berekend.
   • Filtering: Om ruis in de TOF-sensoren (pieken) te elimineren zonder vertraging, wordt een Kalman-filter gebruikt. De parameters ($Q=0.01, R=0.40$) geven meer vertrouwen in het model dan in de ruwe sensormetingen.

Belangrijkste Bijdragen

1. Ontwikkeling van een AR-interface voor modulaire soft robots: Het artikel presenteert een complete, intuïtieve interface die specifieke aandacht besteedt aan aanpasbaarheid (customization). Dit is een verbetering ten opzichte van eerdere werken die vaak statisch of beperkt waren.
2. Unity als State Observer: Het onderzoek verkent het gebruik van Unity (een game-engine) als state observer. Hoewel de precisie theoretisch lager kan zijn dan die van geavanceerde FEM- of NN-oplossingen, biedt deze geïntegreerde oplossing een uitstekende balans tussen rekenkosten, real-time prestaties en integratie met AR.
3. Schaalbaar systeem: Het PETER-DK-systeem is ontworpen om kinematica te berekenen voor robots met meerdere modules (tot 9 modules getest in real-time), wat de toepasbaarheid vergroot.

Resultaten

Het systeem is getest met de PETER-robot en de prestaties zijn gevalideerd met een OptiTrack-systeem (15 camera's, nauwkeurigheid ~0,1 mm).

• Trajectvolging: De geschatte trajecten van de observer kwamen zeer goed overeen met de werkelijke bewegingen, vooral in het centrale werkgebied.
• Foutanalyse:
  • De gemiddelde fout (MAE) bedroeg ongeveer 2,41 mm (X-as) en 2,59 mm (Y-as).
  • De globale fout (RMSE) was 4,68 mm.
  • Gezien de totale lengte van de robot (85 mm), komt dit neer op een foutmarge van ongeveer 4,6% tot 5,5%.
• Beperkingen: De fouten nemen toe aan de randen van het werkgebied (tot 10 mm), waarschijnlijk door niet-lineaire effecten of dynamische krachten die bij hogere snelheden optreden en niet volledig door het lineaire model worden gevangen.
• Vergelijking: Hoewel de fout iets hoger is dan de 2% in sommige literatuur (bijv. referentie [12]), wordt dit bereikt met een veel lagere rekenkosten en betere integratie met AR.

Betekenis en Conclusie

Dit werk toont aan dat augmented reality een haalbare en effectieve interface is voor de teleoperatie van zachte robots, mits een geschikte waarnemer wordt ontworpen die de complexiteit van de robot vereenvoudigt zonder de bruikbaarheid te verliezen.

• Praktische toepassing: Het systeem maakt het voor operators mogelijk om intuïtief met zachte robots te werken, wat de cognitieve last verlaagt en de veiligheid in gevaarlijke omgevingen verhoogt.
• Toekomstperspectief: De auteurs suggereren dat verdere verbetering mogelijk is door de modelaannames in de randgebieden aan te passen (bijv. via correctiefactoren) of door geavanceerdere simulatietechnieken toe te passen. Een volgende stap is het valideren van de interface met echte gebruikers om de gebruiksvriendelijkheid te optimaliseren.

Kortom, het artikel levert een belangrijke bijdrage aan het veld van de soft robotics door een brug te slaan tussen complexe fysieke modellen en gebruiksvriendelijke, real-time AR-interfaces.