💻 computer science

Imitation Learning for Robot Assistance in Open Surgery: A Multi-Policy Evaluation on Suture Following

Deze studie presenteert de eerste multi-policy evaluatie van algemene imitatie-lering voor chirurg-robot collaboratieve assistentie bij open chirurgie, waarbij wordt aangetoond dat het $\pi_0$ -beleid superieure robuustheid en een hechting-voltooiingspercentage van 92% bereikt, terwijl dieptezicht en het ontwerp van de eindeffector worden geïdentificeerd als kritieke prioriteiten voor klinische vertaling.

Oorspronkelijke auteurs: Xucheng Wang, Zhizhou Yang, Xiaoman Zhang, Sung Eun Kim, Romain Hardy, Pranav Rajpurkar

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xucheng Wang, Zhizhou Yang, Xiaoman Zhang, Sung Eun Kim, Romain Hardy, Pranav Rajpurkar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen lompe metalen dozen zijn die dingen omver kegelen, maar behendige helpers die kunnen leren door naar ons te kijken. Dit is het domein van Imitation Learning (imitatie-leren), een tak van kunstmatige intelligentie waarbij een computer niet geprogrammeerd hoeft te worden met elke afzonderlijke regel voor hoe hij moet bewegen. In plaats daarvan gedraagt het zich als een super-observante leerling: je laat het een paar keer zien wat het moet doen, en het probeert jouw bewegingen na te bootsen. Denk aan het trainen van een hond om een bal te halen; je schrijft geen handleiding over hoe de hond de baan van zijn sprong moet berekenen, je gooit gewoon de bal en de hond leert het patroon. In de risicovolle wereld van de chirurgie is dit idee een gamechanger. Chirurgen zijn ongelooflijk vaardig, maar ze hebben vaak een tweede paar handen nodig om dingen stevig vast te houden, draden strak te trekken of gereedschap te organiseren terwijl ze zich concentreren op het delicate werk van snijden en hechten. De grote vraag die onderzoekers zich hebben gesteld is: kan een robot leren om die behulpzame assistent te zijn, niet alleen in een steriele, perfecte videogamewereld, maar in de rommelige, echte chaos van een operatiekamer?

Dit artikel duikt direct in die vraag, maar met een twist: in plaats van te proberen een robot te bouwen die de operatie zelf uitvoert (wat ongelooflijk gevaarlijk en complex is), vroegen de auteurs zich af of een robot de taak van de assistent kon leren. Specifiek richtten ze zich op een taak genaamd "suture following" (het volgen van een hechting). Stel je een chirurg voor die een wond dichthecht; terwijl hij de draad strak trekt, hangt het uiteinde van de draad eromheen. Een menselijke assistent moet constant die losse draad grijpen, hem strak trekken en opzij houden, zodat de chirurg de volgende steek kan zetten zonder dat de draad in de knoop raakt of slap hangt. Het is een repetitieve, fijne taak die precisie vereist, maar niet het "hoofdevenement" is. De onderzoekers wilden zien of algemene AI-robots, getraind op een kleine set demonstraties, deze specifieke, behulpzame dans konden leren uitvoeren.

Het team richtte een "trainingskamp" in met een open-source robotarm en een stuk neppe huid (een siliconen fantoom) met een draad die erdoorheen loopt. Ze lieten een menselijke operator een "leider"-robotarm besturen om de grijp- en trekbeweging 160 keer te demonstreren, waardoor een dataset van meer dan 32.000 videoframes ontstond. Vervolgens lieten ze vier verschillende AI-"leerling"-hersenen tegen elkaar strijden om te zien welke het beste leerde. Deze studenten varieerden van een standaard transformer-model tot een massief, vooraf getraind "vision-language-action"-model (een type AI dat vóór deze specifieke training al miljoenen afbeeldingen en acties heeft gezien).

De resultaten waren een mix van "niet slecht" en "zeer veelbelovend". Onder perfecte, gecontroleerde omstandigheden slaagden de robots erin om de draad tussen de 50% en 75% van de tijd succesvol te grijpen. De ster van de show was het vooraf getrainde model, dat in 75% van de gevallen slaagde. De onderzoekers ontdekten echter een specifiek zwak punt: diepteperceptie. Hoewel de robots goed waren in het zien van de draad naar links of rechts (laterale beweging), hadden ze vaak moeite met het inschatten van hoe ver ze precies naar voren moesten reiken. Het is als een persoon die een bal duidelijk kan zien, maar steeds verkeerd inschat of hij een stap naar voren of naar achteren moet zetten om hem te vangen. Dit was de belangrijkste reden voor falen bij alle modellen.

De studie testte ook hoe goed deze robots omgingen met de "echte wereld"-rommel. Wanneer de onderzoekers de achtergrond veranderden of het perfecte blauwe chirurgische kleed verwijderden om een rommelige tafel te tonen, stortten de robots die vanaf nul waren getraind (degenen die de wereld nog niet kenden) volledig in en faalden ze bijna elke keer. Maar het vooraf getrainde model? Dat bleef werken en daalde in succespercentage slechts licht. Dit suggereert dat het hebben van een "brein" dat de wereld al begrijpt, een robot helpt zich aan te passen wanneer de omgeving verandert.

Ten slotte namen het team hun beste robot mee naar een live proef met een echte chirurg. In deze test hoefde de robot niet perfect te zijn; de chirurg kon kleine aanpassingen maken als de robot er net naast zat. In dit meer vergevingsgezinde, realistische scenario voltooide de robot succesvol 23 van de 25 steken (een succespercentage van 92%). De auteurs concluderen dat, hoewel de technologie niet klaar is om morgen een menselijke assistent te vervangen, het suggereert dat een robot assistent kan leren een behulpzame partner te zijn bij open chirurgie. De grootste hindernissen die nog overblijven zijn het beter leren inschatten van diepte door de robot en het ontwerpen van een grijper die een gladde, dunne draad kan vasthouden zonder deze te laten vallen. Maar de deur staat op een kier: een robotassistent die leert door te kijken is niet langer alleen een sciencefiction-droom; het is een haalbare realiteit die wacht op nog een paar verfijningen.

Technische Samenvatting: Imitation Learning voor Robotische Assistentie bij Open Chirurgie

Probleemstelling

Open chirurgie blijft de primaire behandeling voor het merendeel van de chirurgische condities wereldwijd, maar leunt zwaar op een collaboratieve teamstructuur waarbij een chirurgisch assistent repetitieve, kritieke handelingen uitvoert, zoals het behouden van de spanning op de hechtdraad en het organiseren van de draad tijdens het hechten. Ondanks het wereldwijde tekort aan getraind medisch personeel en de beperkte beschikbaarheid van gekwalificeerde assistenten, hebben bestaande robotische chirurgische systemen zich voornamelijk gericht op het verbeteren of automatiseren van de taken van de primaire chirurg binnen MIS-paradigma's (bijv. da Vinci). De rol van de intra-procedurele assistent bij open chirurgie is tot nu toe grotendeels onbestudeerd gebleven.

Dit artikel adresseert de kloof in robotische assistentie voor open chirurgie door suture following (het volgen van de hechtdraad) te definiëren als een doeltaak. In dit scenario moet een robot fungeren als een chirurgisch assistent: visueel de achterblijvende hechtdraad lokaliseren, deze grijpen en er spanning op uitoefenen om de juiste spanning te behouden terwijl de chirurg de naald stuurt en steken plaatst. Deze taak brengt specifieke uitdagingen met zich mee: de hechtdraad is dun en heeft een laag contrast, wat sub-centimeter precisie en betrouwbare diepte-redenering in de 3D-ruimte vereist, terwijl er wordt gewerkt in een dynamische omgeving waar de positie van de draad varieert.

Methodologie

Hardware en Dataverzameling

De studie maakt gebruik van een goedkoop, open-source robotplatform gebaseerd op de SO-101 follower arm (onderdeel van het LeRobot-ecosysteem), uitgerust met een 1-DoF parallelle grijper en aangedreven door zes servomotoren. Visuele input wordt geleverd door twee standaard USB-webcams: een op de pols gemonteerde "on-arm" camera en een vaste zijwaartse camera.

Dataset: De auteurs verzamelden 160 teleoperated demonstraties (32.374 frames) met behulp van een team van twee personen. Eén operator bediende via teleoperatie een "leader"-arm om bewegingen te spiegelen, terwijl een tweede persoon de rol van de chirurg simuleerde (het sturen van de naald en het presenteren van de draad).
Omgeving: Demonstraties werden verzameld op een siliconen weefselfantoom met een standaard 3/0 zijden hechtdraad. Trainingsdata werd verzameld tegen een "schone" achtergrond (blauwe chirurgische afdekdoek), terwijl de evaluatie een "gerandomiseerde" achtergrondconditie bevatte (blootgestelde laboratoriumrommel) om de robuustheid te testen.

Imitation Learning Policies

De studie benchmarkt vier architecturaal diverse, state-of-the-art policies:

ACT (Action Chunking with Transformers): Een conditionele VAE met een ResNet-18 backbone, vanaf nul getraind.
Diffusion Policy: Een visuomotorische policy die trajecten modelleert via conditionele denoising diffusion met een CNN-backbone, vanaf nul getraind.
SmolVLA: Een lichtgewicht open-source Vision-Language-Action (VLA) model (~450 miljoen parameters), gefinetuned met een bevroren vision-language backbone.
$\pi_0$ : Een grootschalig VLA flow-matching model (~3,5 miljard parameters) vooraf getraind op diverse multi-robot data. Het werd gefinetuned met een bevroren PaliGemma vision-language backbone, waarbij alleen de action expert head werd bijgewerkt.

Experimenteel Ontwerp

De evaluatie werd uitgevoerd langs drie klinisch gemotiveerde assen:

Dataset Grootte: Trainen op 20%, 40%, 60%, 80% en 100% van de 160 episodes om de data-efficiëntie te beoordelen.
Camera Standpunt: Vergelijking tussen dual-camera (volledig), on-arm alleen, en side-camera alleen configuraties.
Omgevingsrobuustheid: Testen van baseline modellen in gerandomiseerde achtergrondcondities om visuele distributieverschuivingen te simuleren.

In totaal werden 28 modellen getraind en geëvalueerd over 32 configuraties. Succes werd gedefinieerd als het vermogen van de robot om autonoom de hechtdraad te lokaliseren, te grijpen en te spannen zonder menselijke tussenkomst.

Belangrijkste Resultaten

Baseline Prestaties

Onder ideale omstandigheden (dual camera, 100% data, schone achtergrond), behaalden de policies taaksuccespercentages tussen de 50% en 75%:

$\pi_0$ : 75% succes (hoogst).
Diffusion Policy & SmolVLA: 65% succes.
ACT: 50% succes.

Foutmodi: Over alle architecturen heen was dieptefout (onderschatting of overschatting van de draad langs de benaderingsas) de dominante foutmodus (20–35% van de episodes). Laterale fouten kwamen minder vaak voor, en "taakonderbrekingen" (incoherent gedrag) waren zeldzaam in het baseline regime. Dit geeft aan dat hoewel laterale lokalisatie grotendeels is opgelost, diepte-inschatting voor dunne, laag-contrast objecten een bottleneck blijft.

Impact van Variabelen

Dataset Grootte: $\pi_0$ vertoonde superieure data-efficiëntie, waarbij het 65% succes bereikte met slechts 64 episodes (40% van de data) en de prestaties behield met minimale winst door extra data. In tegenstelling hiertoe hadden ACT en Diffusion Policy aanzienlijk meer data nodig om competitieve scores te halen.
Camera Standpunt: De dual-camera setup was essentieel. Het verwijderen van de zijcamera zorgde voor een piek in dientefouten (40–65%), terwijl het verwijderen van de on-arm camera de laterale fouten verhoogde (30–45%).
Omgevingsrobuustheid: Achtergrondrandomisatie veroorzaakte een ernstige degradatie voor policies die vanaf nul werden getraind (ACT daalde naar 10%, Diffusion Policy naar 10% met 90% taakonderbrekingen). De VLA-gebaseerde policies ( $\pi_0$ en SmolVLA) behielden echter substantiële prestaties ( $\pi_0$ op 50%, SmolVLA op 40%), waarbij ze primair faalden door dientefouten in plaats van incoherent gedrag. Dit suggereert dat vooraf getrainde vision-language backbones zorgen voor robuustheid tegen visuele distributieverschuivingen.

Live In-Loop Trial

In een live trial waarbij $\pi_0$ een chirurg assisteerde bij het uitvoeren van lopende hechtingen op een fantoom, bereikte het systeem een naald-voltooiingspercentage van 92% (23 van de 25 steken). De trial toonde aan dat de strikte "millimeter-precieze" succescriteria van de gecontroleerde benchmark te conservatief waren voor klinische samenwerking; de chirurg kon van nature compenseren voor sub-centimeter afwijkingen, waardoor het systeem klinisch bruikbaar bleef, zelfs wanneer het niet perfect was volgens laboratoriumstandaarden. Falen trad alleen op wanneer fouten groot genoeg waren om de chirurgische workflow te onderbreken.

Efficiëntie

$\pi_0$ vertoonde het meest geschikte executieprofiel voor chirurgische samenwerking, met een gemiddelde van 6,6 seconden per episode met vloeiende, besliste trajecten. Diffusion Policy was de traagste (27,8s) met een hoge variantie en frequente micro-correcties, wat minder compatibel is met het ritme van live chirurgie.

Belangrijkste Bijdragen en Betekenis

Haalbaarheid van Collaboratieve Open Chirurgische Assistentie: Deze studie levert het eerste empirische bewijs dat algemene imitation learning, gecombineerd met toegankelijke open-source hardware, de robotische assistent kan ondersteunen tijdens open chirurgie. Het vestigt collaboratieve open-chirurgische assistentie als een levensvatbaar toepassingsdomein voor machine learning in de gezondheidszorg.
Waarde van Pretrained Vision-Language Backbones: De evaluatie toont aan dat policies die gebruikmaken van pretrained VLA backbones ( $\pi_0$ , SmolVLA) aanzienlijk meer data-efficiënt en robuust zijn tegen visuele distributieverschuivingen (bijv. achtergrondveranderingen) vergeleken met policies die vanaf nul worden getraind. Dit suggereert dat foundation models bijzonder geschikt zijn voor klinische omgevingen waar visuele condities onvermijdelijk verschillen van de trainingsdata.
Identificatie van Technische Bottlenecks: Het werk identificeert diepteperceptie voor dunne, laag-contrast objecten en end-effector ontwerp (specifiek voor deformaal draad) als de primaire barrières voor klinische vertaling. De dominantie van dientefouten over alle architecturen heen benadrukt de noodzaak voor verbeterde stereo- of dieptesensoren en grijpers met een grotere vangcapaciteit.
Benchmarking en Open Science: De auteurs publiceren het eerste systematische benchmark voor chirurgische assistentie bij open chirurgie, inclusief de volledige dataset (160 episodes), trainingscode, evaluatieprotocollen en modelgewichten, wat toekomstig onderzoek in dit onderbelichte gebied faciliteert.

Het artikel concludeert dat hoewel huidige systemen nog niet klaar zijn voor volledige autonomie in complexe biologische weefsels, het vermogen om repetitieve assistentietaken uit te voeren met hoge succespercentages in een live, collaboratieve setting een belangrijke stap is richting het aanpakken van het wereldwijde tekort aan chirurgische assistenten en het versterken van chirurgische teams.