💻 computer science

Hybrid Offline-Online Reinforcement Learning for Sensorless, High-Precision Force Regulation in Surgical Robotic Grasping

Deze paper presenteert een sensorloze besturingsframework voor chirurgische robots die door middel van een hybride offline-online versterkingsleerbenadering en een fysisch consistente digitale tweeling, nauwkeurige grijpkrachtregeling bereikt zonder distale krachtsensoren.

Oorspronkelijke auteurs: Edoardo Fazzari, Omar Mohamed, Khalfan Hableel, Hamdan Alhadhrami, Cesare Stefanini

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Edoardo Fazzari, Omar Mohamed, Khalfan Hableel, Hamdan Alhadhrami, Cesare Stefanini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chirurg bent die met een robotarm een heel delicate operatie uitvoert, zoals het naaien van een wond of het vasthouden van een stukje weefsel. De robotarm werkt met dunne kabeltjes (zoals de pezen in je eigen hand) die van de motor bij de basis naar de 'vingers' aan het uiteinde lopen.

Het grote probleem is dit: je kunt de kracht niet direct voelen.

Het is alsof je een zware, stijve tuinslang vasthoudt en probeert een bloemblaadje vast te houden zonder dat je je vingers kunt zien. Als je te hard knijpt, scheurt de bloem. Als je te zacht knijpt, valt hij eraf. De kabels rekken, wrijven tegen elkaar en bewegen onvoorspelbaar, vooral als de robotarm snel beweegt. Normaal gesproken zouden chirurgen hier extra sensoren aan het uiteinde van de robot moeten plakken om de kracht te meten, maar dat maakt de robot zwaar, duur en lastig te steriliseren.

De auteurs van dit paper hebben een slimme oplossing bedacht die geen extra sensoren nodig heeft. Ze hebben een robotarm leren 'voelen' met zijn verstand, in plaats van met extra hardware.

Hier is hoe ze dat gedaan hebben, vertaald in alledaagse termen:

1. De "Digitale Tweeling" (De Virtuele Ziekenhuis)

Eerst bouwden ze een perfecte virtuele kopie van de robotarm in de computer. Dit is hun "digitale tweeling".

De analogie: Stel je voor dat je een vliegtuigbouwer bent. Je bouwt geen echt vliegtuig om te testen of het kan vliegen; je bouwt een superrealistische simulatie in een computer. In deze simulatie weten ze precies hoe elke kabel rekt, hoe de wrijving werkt en hoe de motor reageert.
Omdat deze digitale versie zo nauwkeurig is, kunnen ze er veilig op oefenen zonder bang te hoeven zijn dat ze een echt patiënt of dure robot beschadigen.

2. De Drie-Stappen-Lesmethode

Ze wilden dat de robot zelf leerde hoe hij moet knijpen. Maar als je een robot zomaar laat "proberen en fouten maken" (zoals een baby die leert lopen), zou hij de delicate weefsels direct kapot maken. Daarom gebruikten ze een slimme drie-stappen-methode:

Stap 1: De "Super-leraar" (De Oracle)
Ze lieten eerst een heel slim computerprogramma (een "orakel") de robot besturen. Dit programma is niet snel, maar het is extreem voorzichtig en rekent van tevoren precies uit welke spanning op de motor nodig is om de juiste kracht te houden.
- Analogie: Dit is als een meester-chef die eerst 1000 keer een gerecht kookt en noteert precies hoeveel peper en zout erin moet, voordat hij de receptuur aan de leerling geeft. De robot leert hierdoor van de beste mogelijke voorbeelden.
Stap 2: De "Stille Oefening" (Offline Learning)
De robot kijkt nu naar de notities van de Super-leraar en leert hieruit, zonder de computerwereld te verlaten. Hij probeert het gedrag van de leraar na te bootsen.
- Analogie: Het is als een student die een heel dik boek met oplossingen leest voordat hij ooit een proefopdracht doet. Hij bouwt zo een sterke basis zonder gevaarlijke fouten te maken.
Stap 3: De "Live-Training" (Online Finetuning)
Nu is de robot klaar om de echte wereld in te gaan, maar hij is nog niet perfect. Hij krijgt nu een paar minuten de tijd om in de echte (of gesimuleerde) wereld te oefenen en zijn eigen kleine aanpassingen te maken.
- Analogie: Het is als een pianist die de partituur al uit zijn hoofd kent, maar nu op een echt piano speelt om de toetsen te voelen en de snelheid aan te passen aan de akoestiek van de zaal.

3. Het Resultaat: Een "Zintuigloze" Meester

Het resultaat is verbazingwekkend. De robotarm, die geen enkele sensor aan het uiteinde heeft, kan nu:

Een object vasthouden met precies de juiste kracht (binnen 1% afwijking in de simulatie, en minder dan 4% in de echte wereld).
Dit doen terwijl de arm snel beweegt, draait en schokt.
Het doet dit razendsnel (duizenden keren per seconde), zodat het in real-time werkt tijdens een operatie.

Waarom is dit zo belangrijk?

Vroeger dachten mensen: "Als je de kracht wilt meten, moet je een sensor toevoegen."
Dit paper zegt: "Nee, als je de robotarm goed genoeg begrijpt en hem slim laat leren, kan hij de kracht voorspellen en regelen alsof hij een sensor heeft."

De grote winst:

Kosteneffectief: Geen dure sensoren nodig.
Veiliger: Minder onderdelen die kapot kunnen gaan of besmet kunnen raken.
Compact: De robotarm blijft klein en wendbaar, wat cruciaal is voor chirurgie.

Kortom: Ze hebben de robotarm een "gevoel" gegeven door hem een perfecte virtuele wereld te laten leren, in plaats van hem fysieke zintuigen te geven. Het is alsof je een blindganger de weg laat vinden door hem een perfecte mentale kaart te geven, in plaats van een stok.

Probleemstelling

Bij robotgeassisteerde laparoscopische chirurgie is de nauwkeurige regulatie van de grijpkracht aan het uiteinde van het instrument (distaal) van kritisch belang voor het veilig manipuleren van weefsel, het naaien en het vasthouden van instrumenten. Huidige oplossingen voor tendon-aangedreven chirurgische instrumenten (zoals bij de da Vinci Xi) lopen echter vast op fundamentele uitdagingen:

Niet-lineaire koppeling: Er is een complexe interactie tussen motordynamica, de compliantie van de transmissie (kabels/tendons), wrijving en de mechanica aan het uiteinde.
Beperkingen van bestaande methoden: Traditionele aanpakken vertrouwen vaak op distale krachtsensoren (wat de hardware complex en steriel moeilijk maakt) of op analytische compensatiemodellen die vaak falen onder dynamische bewegingen of vereenvoudigingen maken die de prestaties beperken.
Sensorenloos beheer: Het ontbreken van sensoren aan het uiteinde maakt het moeilijk om de daadwerkelijke grijpkracht te regelen zonder de mechanische integriteit van het instrument te schaden.

Het doel van dit onderzoek is het ontwikkelen van een sensorenloos regelsysteem dat hoge precisie bereikt in het regelen van de grijpkracht, uitsluitend gebaseerd op metingen aan de proximale kant (motorkant), zonder extra hardware.

Methodologie

De auteurs presenteren een hybride framework dat fysisch consistente modellering combineert met een gestructureerde offline-online versterkende leer (Reinforcement Learning - RL) pipeline.

1. Fysisch Consistente Digitale Twin
Er is een digitale twin van de grijpmecanisme van de da Vinci Xi ontwikkeld, gebaseerd op eerste principes.

Model: Het is een gekoppeld differentiaal-algebraïsch systeem dat elektrische dynamica (DC-motoren), transmissiemechanica (tendons als lineaire veren met massa), en kinematica van de kaak integreert.
Details: Het model houdt rekening met wrijving (viskeus en Coulomb), inertie, en de elastische eigenschappen van de staaldraad-tendons.
Stabiliteit: Vanwege de stijfheid van het systeem wordt gebruikgemaakt van een zeer kleine tijdstap ( $\Delta t = 2 \mu s$ ) voor numerieke stabiliteit, terwijl de besturingsfrequentie op 1 kHz wordt gehouden.

2. Hybrid Learning Pipeline
Om veilig en efficiënt te leren in dit niet-lineaire, stijve systeem, wordt een drie-staps proces gebruikt:

Fase 1: Oracle-generatie (CMA-ES): Een "Oracle" controller, gebaseerd op Covariance Matrix Adaptation Evolution Strategy (CMA-ES), genereert optimale expert-trajectoires. Deze optimizer berekent een reeks motorvoltages over een terugkoppelend horizon (receding-horizon) om zowel de kaakpositie als de krachtdoelstelling te minimaliseren. Dit creëert een dataset van hoogwaardige, fysiek consistente data zonder dat de agent zelf moet verkennen (wat onveilig zou zijn).
Fase 2: Offline Policy Learning (IQL): Een beleid (policy) wordt getraind op deze Oracle-dataset (ongeveer 1 miljoen episodes) met behulp van Implicit Q-Learning (IQL). Dit algoritme is ontworpen om uit-distributie acties te vermijden en zorgt voor een stabiele initialisatie van het beleid zonder interactie met de omgeving.
Fase 3: Online Fine-tuning (TD3): Het beleid wordt verder verfijnd met Twin Delayed Deep Deterministic Policy Gradient (TD3). Hierbij wordt het beleid dat door IQL is geleerd, gebruikt als startpunt voor online training. Dit stelt het systeem in staat om zich aan te passen aan de werkelijke dynamiek en kleine afwijkingen tussen de simulatie en de realiteit te corrigeren.

3. Beloning en Observatie

De agent ontvangt observaties zoals motorposities, stromen, kaakhoeke en de krachtfout.
De beloningsfunctie straft afwijkingen in zowel de grijpkracht als de kaaktrajectorie af.
De doelkracht is ingesteld op 12,57 N (geschikt voor chirurgische naalden).

Belangrijkste Bijdragen

Digitale Twin: Ontwikkeling van een hoogwaardige, fysiek consistente digitale twin van een tendon-aangedreven chirurgisch end-effector die gekoppelde elektromechanische dynamica vastlegt.
Hybride Leerframework: Introductie van een unieke pipeline die Oracle-geleide trajectoptimalisatie, offline IQL en online TD3-finetuning combineert. Dit maakt veilig leren mogelijk in een systeem dat te complex is voor directe RL-verkenning.
Sensorenloze Hoge Precisie: Het bereiken van een grijpkrachtnauwkeurigheid binnen 1% van de referentie in simulatie en <4% in hardware-experimenten, zonder distale sensoren. Dit is een aanzienlijke verbetering ten opzichte van eerdere methoden (die vaak fouten van ~20% hadden).
Real-time Deployabiliteit: Het geleerde beleid is compact (ca. 71.000 parameters) en voert uit met een frequentie van kilohertz, wat geschikt is voor embedded chirurgische controllers.

Resultaten

Simulatie: De controller hield de grijpkracht binnen 1% van de gewenste referentie tijdens multi-harmonische kaakbewegingen. De gemiddelde hoekvolgsfout was ongeveer 1,17%.
Hardware Experimenten: Tests op het fysieke systeem toonden een gemiddelde krachtfout van 3,84% (na verdere optimalisatie van modelparameters en finetuning: 3,24%). De worst-case fout was 5,67% en de beste 1,84%.
Sim-to-Real Transfer: De prestaties op de fysieke hardware bevestigden dat het beleid succesvol is overgedragen van de simulatie naar de realiteit zonder extra hardware-aanpassingen.
Efficiëntie: Het beleid heeft een inferentiële latentie van ongeveer 0,0386 ms (op een CPU), wat een effectieve frequentie van ~26 kHz mogelijk maakt.

Betekenis en Conclusie

Dit onderzoek toont aan dat het mogelijk is om zeer nauwkeurige distale krachtrregeling te realiseren in complexe, compliant robotische systemen zonder de noodzaak van dure of ingewikkelde sensoren aan het uiteinde. Door een combinatie van hoogwaardige modellering en gestructureerd leren (offline + online) kan het systeem de niet-lineaire dynamica van de transmissie en wrijving compenseren.

De methode biedt een schaalbare en klinisch haalbare oplossing voor chirurgische robotica, waarbij de mechanische eenvoud van het instrument behouden blijft. Het stelt een nieuw paradigma neer voor het besturen van gekoppelde, compliant mechanismen, waarbij analytische controle en puur datagedreven benaderingen worden overbrugd. Toekomstig werk zal zich richten op robuustheid tegen variaties in objectcompliantie en uitbreiding naar multi-contact taken.