Overcoming Imperfect Kinematics in Surgical Robotics Through Sim-to-Real Visuomotor Learning

Technische Samenvatting: Het overwinnen van imperfecte kinematica in chirurgische robotica door middel van Sim-to-Real Visuomotorisch Leren

Probleemstelling
Robot-geassisteerde chirurgie (RAS), met name met systemen zoals de da Vinci Research Kit (dVRK), staat voor een fundamentele barrière voor volledige automatisering: inherente kinematische onnauwkeurigheden. Deze fouten ontstaan door hardwarefactoren zoals hysteresis, mechanische flexibiliteit en speling in de gewrichten, wat leidt tot onbetrouwbare interne proprioceptieve sensoren. Als gevolg hiervan bestaat er een discrepantie tussen de befoorde traject en de werkelijke beweging van de robot. Klassieke modelgebaseerde kalibratiemethoden (bijv. geometrische kalibratie, zwaartekrachtcompensatie) falen vaak bij het generaliseren naar verschillende chirurgische omgevingen en kennen hoge implementatiekosten. Hoewel leergestuurde benaderingen veelbelovend zijn, vereisen ze doorgaans nauwkeurige metingen van de positie van de end-effector, die in de praktijk moeilijk te verkrijgen zijn. De kernuitdaging die wordt aangepakt, is het ontwikkelen van een laag-niveau controller die in staat is tot het uitvoeren van precieze trajecten ondanks onbetrouwbare interne staatgegevens en configuratieafhankelijke kinematische fouten.

Methodologie
De auteurs stellen een Teacher-Student leerframework voor dat ontworpen is voor sim-to-real transfer, waarbij gebruik wordt gemaakt van closed-loop visuele feedback om tekorten in de interne sensoren te compenseren.

1. Teacher Policy (Simulatie):

   • Training: Getraind met Reinforcement Learning (Proximal Policy Optimization, PPO) binnen een hoogwaardige simulator (NVIDIA Isaac Sim/Orbit-Surgical).
   • Geprivilegieerde Informatie: De teacher heeft toegang tot "geprivilegieerde" gegevens die niet beschikbaar zijn op de fysieke robot, waaronder ware gewrichtsposities, snelheden en nauwkeurige end-effector posities.
   • Architectuur: Een Multi-Layer Perceptron (MLP) die toekomstige traject-waypoints en de ware staat als input neemt om gewrichts-incrementen te genereren.
   • Robuustheid Fine-Tuning: De teacher ondergaat een tweede trainingsfase met procedurele gewrichtsperturbaties (ruis en bias) om het te transformeren van een perfecte uitvoerder naar een "herstel-expert", in staat om een student te begeleiden tijdens staat-deviaties.

2. Student Policy (Real-World Deployment):

   • Training: Getraind via Imitatie Leren met het DAgger (Data Aggregation) algoritme om distributieverschuiving te mitigeren. De student leert de acties van de teacher na te bootsen, maar opereert onder realistische beperkingen.
   • Staatrepresentatie: De student fuseert onbetrouwbare proprioceptieve gegevens (gebiaste gewrichtsposities/snelheden van de dVRK) met betrouwbare externe visuele feedback. De visuele input bestaat uit 2D-keypoints die worden getrackt op het instrument-uiteinde.
   • Architectuur: Een Transformer-gebaseerd model (4 encoder, 1 decoder lagen), geïnspireerd door de Action Chunking Transformer (ACT), dat self-attention gebruikt om temporele en multi-modale afhankelijkheden te modelleren.
   • Domein Randomisatie: Training omvat het randomiseren van gewrichts-biases (±0.05 rad), camera-poses (±2 cm translatie, ±10° rotatie) en observatieruis om ervoor te zorgen dat de policy view-invariante kenmerken leert en generaliseert naar kinematische offsets.

3. Sim-to-Real Transfer:

   • Een pyramidale Lucas-Kanade (LK) optical flow algoritme trackt 2D-keypoints in realtime op de fysieke dVRK.
   • De getrainde student policy wordt direct op de fysieke robot ingezet, zonder verdere fine-tuning, waarbij de visuele feedbackloop wordt gebruikt om kinematische fouten in realtime te corrigeren.

Belangrijkste Bijdragen

• Visuomotorische Controller: Een laag-niveau controller getraind in een teacher-student paradigma die actief kinematische fouten compenseert door onbetrouwbare proprioceptie te fuseren met externe visuele feedback.
• Sim-to-Real Validatie: Succesvolle implementatie op een fysiek dVRK-platform, waarbij competitieve prestaties worden geleverd ten opzien van klassieke controlemethoden en andere leergestuurde policies (ACT).
• Demonstratie van Robuustheid: Experimenteel bewijs van het vermogen van de policy om te generaliseren over verplaatsingen van de werkruimte en variaties in camerastandpunten, wat een fundament legt voor taak-agnostische chirurgische automatisering.

Experimentele Resultaten
Experimenten werden uitgevoerd op een gemodificeerde peg-transfer taak met behulp van de dVRK.

• Simulatie Prestaties: De student policy behaalde een positiefout van ~1.2 mm en een oriëntatiefout van ~0.03 rad, wat iets hoger is dan de teacher (0.6 mm, 0.015 rad) maar stabiel en precies.
• Generaliseerbaarheid van Verplaatsing: Wanneer de werkruimte van de taak horizontaal werd verschoven (−4 cm tot +6 cm):
  • IK Replay (Baseline): Faalde volledig (0% succes) bij offsets > ±2 cm, omdat het vertrouwt op een gebrekkig intern kinematisch model dat geen rekening houdt met configuratieafhankelijke fouten.
  • Voorgestelde Methode: Behield een succespercentage van >80% binnen ±2 cm en bereikte 55% succes bij de grootste offset (+6 cm), wat het vermogen aantoont om een mapping van visuele fout naar corrigerende actie te leren.
• Generaliseerbaarheid van Standpunt: Onder camera-pose variaties (translatie ±3 cm, rotatie ±10°):
  • De voorgestelde methode presteerde aanzienlijk beter dan de ACT-baseline (bijv. 40% vs. 15% succes bij ±10° rotatie), toegeschreven aan de view-invariante kenmerken die tijdens de training zijn geleerd.
• Visuele Kenmerk Robuustheid:
  • De policy verdroeg gematigde Gaussische ruis op de keypoints (succespercentage daalde slechts licht van 90% naar 80%).
  • Prestaties degradeerden aanzienlijk wanneer 2 keypoints werden gemaskeerd (30% succes) en faalden volledig (0% succes) wanneer 4 keypoints werden gemaskeerd of wanneer de visuele input volledig werd verwijderd, wat de afhankelijkheid van visuele feedback in plaats van louter proprioceptie bevestigt.

Betekenis en Claims
Het artikel beweert een fundamentele en betrouwbare controle-methodologie te bieden voor chirurgische automatisering. Door over te stappen van modelgebaseerde kalibratie naar een leergestuurde benadering die actief kinematische onnauwkeurigheden compenseert met behulp van externe visie, pakt dit werk de kritieke bottleneck van kinematische onzekerheid in chirurgische robots aan. De auteurs stellen dat dit onderzoek de weg vrijmaakt voor meer geavanceerde, robuuste en intelligente chirurgische automatiseringssystemen die effectief kunnen opereren ondanks de fysieke beperkingen van de huidige hardware.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen, waarbij ze erkennen dat de huidige visuele perceptiemodule handmatige initialisatie vereist, gevoelig is voor occlusie en verlichting, en dat het framework momenteel lineaire fouten modelleert in plaats van de niet-lineaire systematische fouten die aanwezig zijn in de dVRK. Toekomstig werk wordt voorgesteld om deze specifieke beperkingen aan te pakken en de evaluatie uit te breiden naar een breder scala aan chirurgische taken.