SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics

Dit paper introduceert SurgSync, een tijdgesynchroniseerd raamwerk en dataset voor chirurgische robotica dat multi-modale data verzamelt via een dVRK-platform met geavanceerde sensoren en post-processing tools om de ontwikkeling van AI voor geautomatiseerde chirurgie te ondersteunen.

De kern

SurgSync: De "Zwarte Doos" voor Robotchirurgen

Stel je voor dat een robotchirurg als een zeer getalenteerde, maar nogal onervaren student is. Hij heeft een perfecte hand en kan heel precies snijden, maar hij weet nog niet waarom hij iets doet of hoe hij het nog beter kan doen. Om hem echt slim te maken (kunstmatige intelligentie of AI), moeten we hem laten oefenen met duizenden voorbeelden. Maar hier zit het probleem: we hebben geen goede "leermaterialen".

Tot nu toe waren de video's van robotoperaties vaak wazig, de tijdsregistratie van de bewegingen en het beeld was niet synchroon (alsof de lippen niet bewegen met de stem), en we misten belangrijke details over wanneer de robot de weefsels raakte.

SurgSync is de oplossing. Het is een nieuw systeem dat als een supergeavanceerde "zwarte doos" werkt, maar dan voor robotchirurgie. Het maakt alles scherp, synchroon en slim. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Perfecte Sync (Twee manieren om op te nemen)

Stel je voor dat je een film draait met een camera én een geluidsopnemer. Als ze niet perfect op elkaar afgestemd zijn, klinkt het alsof de acteur een seconde te laat spreekt. Dat is slecht voor een film, en nog erger voor een robot die moet leren.

SurgSync heeft twee manieren om dit op te lossen:

• De "Live-Stream" (Online): Dit is alsof je een live-uitzending doet. Het systeem wacht tot het beeld en de beweging precies op hetzelfde moment zijn (binnen een fractie van een seconde) voordat het opslaat. Dit is perfect voor als je de robot nu wilt laten leren of besturen.
• De "Post-Productie" (Offline): Dit is alsof je eerst alles opneemt en later in de studio alles perfect op elkaar afstemt. Je neemt alles in één keer op zonder te wachten, en later zet je het beeld en de bewegingen netjes op elkaar. Dit is sneller en levert meer data op, ideaal om grote databases voor AI te bouwen.

2. De Nieuwe Brillen (Beter zicht)

De oude robotchirurgen hadden een camera die leek op een oude TV: wazig en met weinig details. SurgSync heeft een nieuwe, moderne camera (een chip-on-tip endoscoop) geplaatst.

• Vergelijking: Het is het verschil tussen kijken door een vieze, beslagen ruit en kijken door een kristalhelder raam. De robot ziet nu elk detail van het weefsel, zelfs de kleinste adertjes. Dit helpt de AI om beter te "zien" en te begrijpen wat er gebeurt.

3. De "Gevoelige Vingers" (Contact-sensoren)

Een van de grootste mysteries voor AI was: Raakt de robot het weefsel nu wel of niet?
SurgSync heeft een slimme capacitieve sensor toegevoegd.

• Analogie: Stel je voor dat je een robotarm een stukje vlees laat vastpakken. De sensor werkt als een heel gevoelige huid. Hij voelt de "elektrische aanraking" en zegt: "Ik raak nu het vlees!" of "Ik zweef erboven!". Dit geeft de AI de waarheid (ground truth) over wanneer er contact is, iets wat ze eerder moesten raden.

4. De Slimme Editor (Nabewerking)

Na het opnemen is het werk nog niet klaar. SurgSync heeft een software-toolkit die de ruwe data omtovert tot iets bruikbaars:

• Dieptezicht: Het rekent uit hoe diep iets zit (3D), alsof het een 3D-bril opzet.
• Beweging: Het ziet precies hoe snel weefsels bewegen (optische flow).
• Focus: Het projecteert de positie van de robotarm als een gloeiend rood stipje op het beeld, zodat de AI precies weet waar de robot naar kijkt.

Wat hebben ze gedaan? (De Proef)

Om te bewijzen dat dit werkt, hebben ze 13 mensen (van beginners tot echte chirurgen) gevraagd om oefeningen te doen op kippenborst en ander dierlijk weefsel (geen echte mensen, dus veilig!). Ze lieten hen taken doen zoals:

• Prikken en trekken (naalden verplaatsen).
• Naden (naaien).
• Weefsel vastpakken en verplaatsen.

Het resultaat? Een enorme database van 214 opnames met perfecte timing, scherp beeld en contact-informatie.

Waarom is dit belangrijk?

Vroeger was het moeilijk om een robotchirurg slim te maken omdat de "leermateriaal" van slechte kwaliteit was. Met SurgSync hebben we nu een superhelden-boek voor AI.

• Het helpt robots om zelfstandiger te werken (bijvoorbeeld: "Ik zie dat de naald vastzit, ik help even").
• Het helpt om te beoordelen hoe goed een chirurg is, puur op basis van data.
• Het maakt het makkelijker voor onderzoekers over de hele wereld om samen te werken, omdat iedereen dezelfde standaard gebruikt.

Kortom: SurgSync is de brug tussen de ruwe, chaotische wereld van robotchirurgie en de geordende, slimme wereld van kunstmatige intelligentie. Het zorgt ervoor dat robots niet alleen handig zijn, maar ook echt begrijpen wat ze doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics", vertaald en samengevat in het Nederlands.

Probleemstelling

Robotondersteunde chirurgie (RAS) heeft de medische wetenschap revolutionair veranderd, maar de ontwikkeling van kunstmatige intelligentie (AI) voor deze systemen wordt gehinderd door een gebrek aan hoogwaardige, goed geannoteerde datasets. Bestaande datasets in het domein van chirurgische robotica lijden aan drie fundamentele beperkingen:

1. Slechte tijdsynchronisatie: Inconsistentie in de tijdsonderlinge afstemming tussen verschillende sensormodi (bijv. video en robotkinematica) verduistert oorzaak-en-gevolg-relaties en degradeert de prestaties van sequentiemodellen.
2. Verouderde beeldkwaliteit: Legacy-imagingpijplijnen beperken de visuele fideliteit, wat de prestaties van downstream-visionalgoritmen (zoals segmentatie en diepteschattting) belemmert.
3. Beperkte dekking en tooling: Smalle taakdekking en gebrek aan post-verwerkingstools beperken de reproduceerbaarheid en herbruikbaarheid van de data.

Bovendien zijn synthetische data vaak beperkt door de "sim-to-real" kloof, waardoor echte werelddata essentieel blijven voor effectieve evaluatie.

Methodologie: Het SurgSync Framework

Het paper introduceert SurgSync, een open-source framework voor het verzamelen van multimodale data op het da Vinci Research Kit (dVRK), specifiek gericht op nauwkeurige tijdsynchronisatie en hoge beeldkwaliteit.

1. Dubbelmodus Synchronisatie (Online/Offline)
Er zijn twee gesynchroniseerde recorders ontwikkeld in C++ (gebaseerd op ROS) om datastromen van stereo-video, kinematica (PSM en ECM) en contactgevoelers te synchroniseren:

• Online-Matching Recorder: Gebruikt multi-threading voor strikte tijdsynchronisatie tijdens het opnemen. Het accepteert alleen samples binnen een gebruikersgedefinieerde tolerantie (10 ms). Dit garandeert directe bruikbaarheid voor real-time inferentie, maar kan leiden tot onregelmatige tijdsintervallen ($\Delta t$) en het verwerpen van frames als de buffer vol is.
• Offline-Matching Recorder: Ontkoppelt het opnemen van de tijdsynchronisatie om de opname-efficiëntie te maximaliseren. Het schrijft video en kinematica apart op (video als video, kinematica als binair bestand). In een tweede fase (post-processing) worden de data gesynchroniseerd door interpolatie van de kinematica naar de videoframes. Dit levert een uniform gesamplede dataset op, ideaal voor het trainen van robotbeleidsmodellen.

2. Hardware-integratie en Sensoren

• Moderne Endoscoop: Integratie van een moderne "chip-on-tip" endoscoop (van Cornerstone Robotics) met het dVRK-Si-systeem. Dit resulteert in een aanzienlijk scherpere beeldkwaliteit (gemeten via Laplacian variance, >30x hoger dan de legacy dVRK-Si endoscoop).
• Contactsensor: Een nieuwe capacitieve contactsensor (gebaseerd op Arduino UNO) die via een digitale ingang van de dVRK-controller wordt aangesloten. Deze sensor levert ground-truth data over contact tussen het instrument en het weefsel. De sensor is getest op ex-vivo weefsels (kippenborst, rundvlees, varkensvlees) met hoge detectienauwkeurigheid voor weefselmanipulatie (99,1%).
• Zijkant-camera: Een Intel RealSense RGBD-camera voor extra perspectief.

3. Post-Verwerking Toolbox
Een configureerbare toolbox voor data-analyse en verrijking, waaronder:

• Kinematische Reprojectie: Projectie van 3D-toolposities naar 2D-beelden met behulp van een hand-oog-calibratie en een Gaussische heatmap. Dit creëert "attention-weighted" beelden die het gebied van belang benadrukken.
• Diepteschattting en Optische Stroom: Genereert dispariteitskaarten (FoundationStereo) en optische stroom (RAFT) voor betere visuele analyse.
• Data-annotatie: Een GUI-tool voor het labelen van contactdetectie en chirurgische fasen/gesten.

Kernbijdragen

1. Tijdsynchronisatiepatroon: Een ontwerp dat tijdssynchronisatie als een "first-class" ontwerpbeperking behandelt, met twee modi (online/online) voor verschillende use-cases.
2. Upgraded Imaging Stack: Integratie van een moderne endoscoop die visuele kwaliteit op klinisch niveau biedt.
3. Ground-Truth Contact Sensing: Een nieuwe capacitieve sensor voor het detecteren van tool-weefselcontact.
4. Post-collectie Toolbox: Een uitgebreide set tools voor kalibratie, diepteberekening en kinematische projectie.
5. Validated Dataset: Een dataset van 214 gevalideerde opnames van gebruikersstudies met verschillende vaardigheidsniveaus (novice, ervaren, chirurgen) op diverse trainingsopdrachten (peg transfer, naaien, weefselmanipulatie, dissectie).

Resultaten

• Cross-platform Validatie: Het framework is succesvol gedeployed op twee locaties (Johns Hopkins University en University of British Columbia) met verschillende hardwareconfiguraties.
• Synchronisatieprestaties:
  • De online-matching recorder heeft een gemiddelde tijdsvertraging van 6,36 ms.
  • De offline-matching recorder (na post-processing) heeft een lagere gemiddelde vertraging van 1,35 ms en levert uniform gesamplede data.
• Dataset: Er zijn 214 opnames verzameld. De dataset bevat multimodale data: stereo-video, kinematica, contactstatus, en annotaties.
• Vaardigheidsbeoordeling (Skill Assessment): Een state-of-the-art regressiemodel werd getraind op de naai-taken subset. Het model bereikte een gemiddelde Spearman's rangcorrelatiecoëfficiënt (SROCC) van 0,803 voor naaien en 0,765 voor knopen leggen, wat aantoont dat de verzamelde data geschikt is voor het trainen van geavanceerde AI-modellen.

Significantie

SurgSync lost een kritiek probleem op in de chirurgische robotica: de schaarste aan hoogwaardige, gesynchroniseerde multimodale datasets. Door de tijdsynchronisatieproblematiek op te lossen en de beeldkwaliteit te verbeteren, maakt het framework het mogelijk om complexere AI-modellen te trainen voor taken zoals instrumenttracking, weefselinteractie-analyse, vaardigheidsbeoordeling en chirurgische automatisering.

De open-source beschikbaarheid van zowel de software als de dataset (via surgsync.github.io) faciliteert reproduceerbaarheid en samenwerking binnen de onderzoeksgemeenschap, en vormt een fundament voor de volgende generatie autonome of semi-autonome chirurgische systemen.