Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs

Technische Samenvatting: Embodied AI in de Operatiekamer

Probleemstelling
Huidige chirurgische robotica leunen grotendeels op directe menselijke teleoperatie, wat hun vermogen beperkt om autonoom waar te nemen, te redeneren en te interageren binnen dynamische operatiekamers (OK-omgevingen). Hoewel de rol van de instrumenterende verpleegkundige (scrub technician) cruciaal is voor het behoud van de operatieve flow door gecoördineerde instrumentuitwisseling, vereist dit complexe visuele herkenning, contextueel begrip en realtime interactie die bestaande geautomatiseerde systemen moeite hebben te repliceren. Eerdere robotische instrumenterende systemen richtten zich primair op eenrichtingslevering van instrumenten met behulp van op regels gebaseerde visie of vaste lay-outs, zonder het vermogen om bidirectionele uitwisselingen (overhandigen en terugnemen) uit te voeren of te herstellen van interferentie zonder volledige taakreinitialisatie.

Methodologie
De auteurs ontwikkelden een spraakinteractief robotisch instrumenterende platform ontworie om chirurgische instrumentoverdrachten en terugnames uit te voeren met behulp van een Vision-Language-Action (VLA) model.

• Systeemarchitectuur: Het systeem maakt gebruik van een bimanueel robotplatform geïntegreerd met realtime multicamera-observaties. De kernarchitectuur van het leren is gebaseerd op het vooraf getrainde π0.5 model (ontwikkeld door Physical Intelligence), dat end-to-end is gefinetuned op een aangepaste dataset.
• Dataverzameling: Het model werd getraind via imitation learning met behulp van 350 door mensen telege opereerde demonstraties. Deze episodes legden gesynchroniseerde video-observaties, chirurgische spraakcommando's en robotgewrichtsacties vast voor instrumentoverdracht en terugname-taken.
• Spraakinterface: Om natuurlijke interactie mogelijk te maken, integreert het systeem Whisper large-v2 voor automatische spraakherkenning (ASR) en de Cartesia API voor tekst-naar-spraak (TTS) synthese. Dit stelt chirurgen in staat om verbale commando's te geven (bijv. "geef me de pincet") en een hoorbaar bevestigingssignaal van de robot te ontvangen.
• Workflow: De autonome pipeline bestaat uit vier stadia:
  1. Commando-interpretatie: Het transcriberen van spraak naar tekst.
  2. Instrumentlokalisatie: Het identificeren van het gevraagde instrument op een variabele trayconfiguratie.
  3. Robotische grijpbeweging: Het verkrijgen van een stevige grip.
  4. Overdracht/Terugname: Het transporteren van het instrument naar de hand van de chirurg of het terugbrengen naar de tray.
• Evaluatieprotocol: Het systeem werd getest in een gesimuleerde OK-omgeving over 100 autonome proeven bestaande uit vijf taken: naaldhouder overhandiging, pincet overhandiging, naald-en-hechtdraad overhandiging, naaldhouder terugname en pincet terugname. Elke taak bevatte 10 proeven met "geziene" trayconfiguraties (aanwezig tijdens de training) en 10 met "held-out" configuraties (niet gezien tijdens de training).

Belangrijkste Resultaten

• Algemene Prestaties: Het systeem bereikte een end-to-end succespercentage van 81% (81/100 proeven) met een gemiddelde voltooiingstijd van 7,1 ± 1,4 seconden voor succesvolle proeven.
• Taakspecifiek Succes:
  • Terugnametaken: Zeer betrouwbaar, met een succes van 95% voor zowel de naaldhouder als de pincet terugname.
  • Overdrachtstaken: De pincet overhandiging slaagde in 85% van de proeven; de naaldhouder overhandiging in 80%; de naald-en-hechtdraad overhandiging in 50%.
• Generalisatie: De prestaties daalden wanneer het systeem werd getest op held-out trayconfiguraties, waarbij het zakte van 92% succes op geziene lay-outs naar 70% op held-out lay-outs. De daling was het meest uitgesproken bij de overdrachtstaken (dalend van 86,7% naar 56,7%), terwijl de terugnameprestaties relatief stabiel bleven (100% naar 90%).
• Stapsgewijze Analyse: Spraakcommando-interpretatie was succesvol in 99% van de proeven. Zodra een stevige grip was bereikt, slaagde de downstream manipulatie (transport, oriëntatie, loslaten) in 81 van de 82 proeven, wat aangeeft dat het primaire foutpunt visuele lokalisatie en het verkrijgen van de grip is, in plaats van de trajectuitvoering.
• Foutmodi: De meest voorkomende foutmodus was de gemiste grip (57,9% van de fouten), gevolgd door policy timeouts (21,1%) en onjuiste instrumentselectie (10,5%). Geen enkele fout was gerelateerd aan instabiele grepen, slechte uiteindelijke oriëntatie of veiligheidsstops die noodzakelijke noodstop vereisten.

Belangrijkste Bijdragen

1. Verenigd Bidirectioneel Beleid: In tegen tegenstelling tot eerdere systemen die zich uitsluitend richtten op levering, demonstreert dit werk een enkel geleerd beleid dat zowel het leveren van instrumenten als het terugnemen ervan (take-back) kan uitvoeren, wat de volledige cyclus van de taken van een instrumenterende verpleegkundige weerspiegelt.
2. Spraakinteractieve Embodied AI: De integratie van ASR en TTS creëert een multimodale communicatielus waarbij de robot commando's verbaal bevestigt, waardoor de intentie van de robot observeerbaar is voor het chirurgisch team.
3. End-to-End Fine-Tuning: De studie maakt gebruik van het π0.5 fundamentmodel dat direct is gefinetuned op telege opereerde data, waardoor de noodzaak voor aparte, handmatig geannoteerde detectie- of segmentatiemodules (zoals vereist door eerdere benaderingen zoals RoboNurse-VLA) wordt vermeden.
4. Herstelvermogen: Het systeem toonde het vermogen om te herstellen van interferentie en uitvoeringsfouten zonder volledige taakreinitialisatie, waarbij acties werden aangepast op basis van bijgewerkte visuele observaties.

Betekenis en Claims
De auteurs positioneren dit werk als een proof-of-concept die aantoont dat embodied AI spraakgestuurde, bidirectionele chirurgische instrumentuitwisseling kan uitvoeren. De studie claimt dat de primaire beperking van huidige systemen ligt bij de verwerving van de grip (met name voor kleine, complexe doelen zoals naalden met hechtdraad) en de generalisatie naar ongeziene ruimtelijke configuraties, in plaats van de downstream uitvoering van trajecten zodra een grip is beveiligd.

Het artikel stelt dat dit platform een vroege stap vertegenwoordigt naar co-adaptieve mens-machine partnerschappen in de OK. Er wordt benadrukt dat de technologie bedoeld is om ondersteunend in plaats van vervangend te zijn, met als doel de werklast te verminderen en de coördinatie te verbeteren bij repetitieve uitwisselingen, terwijl menselijk personeel de verantwoordelijkheid behoudt voor steriliteit, klinisch oordeel en het beheren van onverwachte gebeurtenissen. De auteurs concluderen dat hoewel het systeem significante generalisatie vertoont, klinische vertaling uitgebreide trainingdata, realistische workflow-evaluatie en rigoureuze veiligheidsvalidatie vereist voordat integratie in volledig back-table management mogelijk is.