MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery

Dit paper introduceert MiDAS, een open-source, platform-onafhankelijk systeem voor tijdgesynchroniseerde, niet-invasieve multimodale dataverzameling bij robot-assisterende minimaal invasieve chirurgie, dat wordt ondersteund door een nieuw dataset met hand- en voetbewegingen en video-opnames van chirurgen die taken uitvoeren op de Raven-II en da Vinci Xi.

De kern

MiDAS: De "Sluimerende Observator" voor Robotchirurgie

Stel je voor dat een robotchirurg een zeer complexe dans uitvoert. De chirurg zit achter een console, beweegt zijn handen en voeten, en de robot aan de patiëntkant volgt elke beweging perfect. Maar tot nu toe was het voor onderzoekers bijna onmogelijk om te zien hoe die dans precies in zijn werk ging, omdat de robotfabrikanten (zoals Intuitive Surgical met hun da Vinci-systemen) de interne gegevens van de robot als een geheim bewaren. Het is alsof je een film probeert te analyseren, maar je mag alleen naar de schermen van de acteurs kijken, niet naar hun eigen bewegingen.

Dit papier introduceert MiDAS (Multimodal Data Acquisition System). Je kunt MiDAS zien als een slimme, onzichtbare observator die de dans van buitenaf bekijkt zonder de danser aan te raken.

Hier is hoe het werkt, in gewone taal:

1. Het Probleem: De "Black Box"

Robotchirurgie is geweldig, maar om de robots slimmer te maken (bijvoorbeeld om fouten te detecteren of chirurgen te trainen), hebben onderzoekers data nodig. Maar die data zit vaak opgesloten in de robot zelf.

• De analogie: Het is alsof je een auto wilt leren repareren, maar de motor is vergrendeld en je mag alleen naar de wielen kijken. Je mist de interne bewegingen van de motor.

2. De Oplossing: MiDAS (De Slimme Observator)

MiDAS is een systeem dat onderzoekers zelf kunnen bouwen en op elke robot kunnen zetten, zonder de robot aan te raken. Het gebruikt drie "zintuigen" om de bewegingen van de chirurg en de robot te volgen:

• De Magneet-Handschoenen (Electromagnetic Tracking):
  De onderzoekers plakken kleine, onzichtbare magneet-sensoren op de handgrepen die de chirurg vasthoudt.
  • De analogie: Het is alsof je een magneet op de hand van een danser plakt en met een kompas precies kunt zien waar zijn hand naartoe gaat, zelfs als je niet kunt zien wat hij doet. Het systeem "ruikt" de beweging.
• De Dieptecamera (RGB-D):
  Een camera boven de chirurg kijkt naar zijn handen en maakt een 3D-kaart van wat hij doet.
  • De analogie: Het is een camera die niet alleen ziet dat je hand beweegt, maar ook precies hoe ver hij van de tafel af is, alsof het een 3D-film maakt.
• De Voetmat (Pedal Sensing):
  De chirurgen gebruiken pedalen met hun voeten om de robot te bedienen. MiDAS legt dunne, gevoelige sensoren op deze pedalen.
  • De analogie: Het is alsof je een drukgevoelige mat op de vloer legt die precies weet wanneer je voet erop drukt, zonder dat je de pedalen hoeft te openen.

3. Wat hebben ze ontdekt? (De "Proefjes")

De onderzoekers hebben MiDAS getest op twee robots: een open-source robot (Raven-II) en een echte klinische robot (da Vinci Xi). Ze lieten chirurgen taken doen, zoals het verplaatsen van pennen (een oefening) en het naaien van een hernia (een echte operatie-oefening).

• De verrassing: De gegevens die MiDAS van buitenaf verzamelde, waren bijna net zo goed als de interne gegevens van de robot zelf.
  • De analogie: Het is alsof je door naar de schaduwen van een poppenkast te kijken, precies kunt voorspellen wat de poppen aan het doen zijn, net zo goed als iemand die in de poppenkast zit.
• De conclusie: Je hoeft geen dure, geheime toegang tot de robot te hebben om te leren hoe chirurgen werken. Je kunt gewoon kijken en luisteren van buitenaf.

4. Waarom is dit belangrijk?

Vroeger konden onderzoekers alleen werken met robots waar ze speciale toegang toe hadden, of met simpele oefeningen. Met MiDAS kunnen ze nu:

1. Elke robot gebruiken: Of het nu een dure klinische robot is of een goedkope proefrobot, MiDAS werkt overal.
2. Veilig en onschadelijk: Omdat het systeem niets aan de robot verandert, kan het veilig gebruikt worden tijdens echte trainingen.
3. Nieuwe datasets: Ze hebben een enorme verzameling data vrijgegeven, inclusief video's en bewegingsdata van echte hernia-operaties (op nepweefsel dat echt aanvoelt).

Samenvattend

MiDAS is als een magische bril voor onderzoekers. Het maakt het mogelijk om de complexe dans van robotchirurgie te bestuderen, te analyseren en te verbeteren, zonder dat ze de robot hoeven te openen of de fabriek hoeven te vragen om hun geheimen te delen. Dit opent de deur voor slimmere robots, betere training voor chirurgen en uiteindelijk veiligere operaties voor iedereen.

Kortom: Ze hebben een manier gevonden om de robotchirurgie "in het wild" te observeren, waardoor we allemaal sneller kunnen leren van de beste dansers.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery", vertaald en samengevat in het Nederlands.

Probleemstelling

Onderzoek naar robot-assisterende minimaal invasieve chirurgie (RMIS) is steeds meer afhankelijk van multimodale data (zoals robotkinematica, video en interactie-gebeurtenissen) voor het trainen van chirurgen, foutdetectie en vaardigheidsoverdracht. Echter, er zijn drie grote obstakels:

1. Propriëtaire beperkingen: Toegang tot de interne telemetrie van klinische robots (zoals de da Vinci-systemen) is beperkt door gesloten systemen en licentiebeperkingen.
2. Privacy en toegang: Klinische data is vaak moeilijk toegankelijk vanwege privacywetgeving en institutionele beperkingen.
3. Gebrek aan multimodale datasets: Bestaande open datasets zijn vaak beperkt tot visuele data (video) of zijn verzameld in droge-labomgevingen zonder realistische weefselinteractie. Er is een gebrek aan betaalbare, niet-invasieve systemen die platform-onafhankelijk werken.

Methodologie: Het MiDAS Systeem

De auteurs introduceren MiDAS, een open-source, platform-onafhankelijk systeem voor het niet-invasief verzamelen van gesynchroniseerde multimodale data zonder modificatie aan de robothardware of software. Het systeem bestaat uit de volgende componenten:

1. 3D Elektromagnetische Handtracking (EmHT):

   • Gebruik van de NDI trakSTAR-sensoren (4 mini-sensoren) gemonteerd op de duim- en middelvingercontactpunten van de Master Tool Manipulators (MTM) van de chirurg.
   • Deze sensoren meten 6-DoF (6 vrijheidsgraden) positie en oriëntatie met een frequentie van 270 Hz.
   • Een kalibratieprocedure met een starre lichaamstransformatie en een geleerd residu (via een Multi-Layer Perceptron / MLP) mapt de externe sensordata naar de interne robotcoördinaten (MTM en PSM).

2. RGB-D Handtracking:

   • Een ZED Mini stereo-camera boven het console vangt de handbewegingen van de chirurg op (720p, 30 Hz).
   • Mediapipe wordt gebruikt voor het detecteren van handkeypoints, die vervolgens via een MLP worden omgezet naar de MTM-coördinaten.

3. Pedal Sensing System (PSS):

   • Een open-source, low-cost module gebaseerd op Arduino en dunne-film krachtgevoelige weerstanden (FSR's).
   • Deze worden direct op de pedalen van het console geplakt om drukkrachten en binary states (ingedrukt/niet ingedrukt) te detecteren zonder de tactiele ervaring van de chirurg te beïnvloeden.

4. Video-opname:

   • Gebruik van Open Broadcaster Software (OBS) voor het synchroniseren en opnemen van stereoscopische HD-video van het chirurgische veld.

Het systeem maakt gebruik van een client-server architectuur om alle datastromen (video, kinematica, pedalen) in real-time te synchroniseren via Unix-tijdstempels.

Dataset en Experimenten

De auteurs hebben twee nieuwe multimodale datasets verzameld en vrijgegeven:

1. Raven-II (Open-source platform): 15 proeven van de "Peg Transfer" taak (droge-lab).
2. da Vinci Xi (Klinisch platform): 17 proeven van hernia-reparatie (inguïnaal en ventraal) uitgevoerd door chirurgische residenten op realistische KindHeart-weefselmodellen (ex-vivo varkensweefsel). Dit is uniek omdat het de eerste multimodale dataset is die hechtingen op hoogwaardige simulatiemodellen bevat.

De data is handmatig geannoteerd met een gestructureerde taxonomie van 8 chirurgische gebaren (bijv. "Needle Orient", "Push Needle Through Tissue", "Square Knot").

Resultaten

1. Validatie van Externe Sensoren:

• EmHT vs. Interne Kinematica: De elektromagnetische tracking (EmHT) bleek een zeer nauwkeurige proxy voor de interne robotbewegingen. De correlatie (Cosine Similarity) tussen EmHT en de grondwaarheid (MTM/PSM) was hoog (>0.8 voor translatie). De genormaliseerde RMS-fout (NRMSE) bleef onder de 20%.
• RGB-D Handtracking: Toonde goede resultaten, maar presteerde iets minder dan EmHT door occlusies en beperkt gezichtsveld van de camera (missende keypoint-detecties).
• Pedal Sensing: Het PSS-system bereikte een F1-score van 0.85 op Raven-II en 0.78 op da Vinci Xi, wat aantoont dat niet-invasieve drukmeting betrouwbaar is voor het detecteren van pedaalacties.

2. Downstream Taken (Gebarenherkenning):

• De auteurs testten state-of-the-art modellen (MTRSAP en MS-TCN++) voor gebarenherkenning.
• EmHT als alternatief: Modellen getraind op EmHT-data bereikten prestaties die vergelijkbaar waren met modellen getraind op de interne robotkinematica (bijv. F1-score van 0.86 vs 0.87 voor Peg Transfer).
• Multimodale Fusie: Het combineren van EmHT met visuele data (video) leverde de beste resultaten op, vooral bij complexe hechtingstaken op de da Vinci Xi.
• Visie alleen: Modellen die alleen op video leunden, presteerden aanzienlijk slechter, vooral bij beperkte datasets, wat de noodzaak van bewegingsdata onderstreept.

Belangrijkste Bijdragen

1. MiDAS Systeem: Een open-source, niet-invasief framework dat gesynchroniseerde multimodale data verzamelt zonder toegang tot proprietaire robotinterfaces.
2. Validatie van Alternatieve Modaliteiten: Het bewijs dat externe sensoren (EmHT en RGB-D) interne robotkinematica nauwkeurig kunnen benaderen en effectief kunnen worden gebruikt voor taakherkenning.
3. Nieuwe Dataset: De publicatie van een uniek, multimodaal dataset met annotaties voor hernia-reparatie op realistische weefselmodellen, inclusief data van zowel open-source (Raven-II) als klinische (da Vinci Xi) robots.
4. Reproduceerbaarheid: De beschikbaarstelling van de code, hardware-ontwerpen en datasets om de gemeenschap in staat te stellen onderzoek te doen zonder afhankelijk te zijn van gesloten systemen.

Betekenis en Conclusie

MiDAS opent de deur voor bredere, reproducible en cross-platform onderzoek in robotchirurgie. Door de afhankelijkheid van dure, gesloten robotinterfaces te verminderen, kunnen onderzoekers nu multimodale leermodellen ontwikkelen die robuuster zijn tegen occlusies en variaties in video-kwaliteit. Het systeem bewijst dat niet-invasieve bewegingssensoren een praktisch en nauwkeurig alternatief zijn voor interne telemetrie, wat essentieel is voor de ontwikkeling van toekomstige cognitieve chirurgische assistenten en vaardigheidsbeoordelingssystemen.