Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

Probleemstelling

Robot-geassisteerde minimaal invasieve chirurgie (RAMIS) verhoogt de chirurgische precisie, maar introduceert complexiteit die robuuste technische foutdetectie noodzakelijk maakt om de patiëntveiligheid te waarborgen. Hoewel bestaande methoden voor automatische vaardigheidsbeoordeling gebruikmaken van deep learning op basis van video- en kinematische gegevens, falen ze vaak in het vastleggen van fijnmazige contextuele beschrijvingen van activiteiten en fouttypen binnen de hiërarchische structuur van chirurgische procedures. Huidige methoden voor executiefoutdetectie vertrouwen doorgaans op vooraf gedefinieerde gebarenlabels of negeren complementaire multimodale informatie, zoals interacties tussen instrument en object en specifieke foutdefinities. Bovendien zijn veel recente benaderingen beperkt tot offline verwerking of slagen er niet in om kinematische gegevens volledig te benutten naast visuele en tekstuele modaliteiten voor real-time inferentie.

Methodologie

De auteurs stellen een verenigd framework voor real-time executiefoutdetectie voor dat drie modaliteiten integreert: video (RGB), robotkinematica en beschrijvende tekstuele prompts. Het framework is ontworpen als een binaire classificatietaak om fouten ($y=1$) of normale executie ($y=0$) te detecteren binnen een bewegend tijdsvenster (sliding time window).

Kerncomponenten:

1. Activity Prompting: Het framework introduceert "Activity Prompting", wat meerlagige chirurgische context codeert in tekstuele beschrijvingen. Deze prompts dekken:

   • Gebaren (Gestures): Hoogwaardige chirurgische acties (bijv. "het oppakken van de naald").
   • Interacties tussen instrument en object (Instrument-Object Interactions): Contextuele toestanden op laag niveau die beschrijven welke grijper een specif c object (bijv. naald, draad, weefsel) vasthoudt of aanraakt.
   • Foutdefinities (Error Definitions): Expliciete beschrijvingen van faalmodi (bijv. "naald laten vallen", "buiten beeld").
   • Gecombineerde Prompts (Combined Prompts): Combinaties zoals "Gebaar + Fout" of "Interactie + Fout" om specifieke foutcontexten te vangen.
     Deze prompts worden verwerkt via een CLIP-tekstencoder om activiteit-embeddings te genereren.

2. Activiteitsbewuste Visuele Embeddings (Activity-Aware Visual Embeddings): Als alternatief voor tekstuele prompts onderzoeken de auteurs het direct extraheren van kenmerken uit visuele encoders (ResNet50) die zijn voorgetraind op chirurgische activiteitslabels (gebaren of interactietoestanden). Dit genereert per-frame embeddings die inherent informatie op activiteitsniveau bevatten.

3. Multimodale Fusie Architectuur:

   • Visuele Kenmerkextractie: Videoframes worden verwerkt via een ResNet50-backbone.
   • Kinematica Fusie: Kinematische gegevens (positie, snelheid, grijperhoek) worden geprojecteerd in dezelfde kenmerkruimte als de visuele embeddings en geconcateneerd.
   • Contextualisering: Een transformer-gebaseerd cross-attention mechanisme fuseert de ruimtelijke kenmerken (video/kinematica) met de activiteitsinformatie (ofwel tekstuele prompts of voorgetrainde visuele embeddings).
   • Temporele Modellering: Een Temporal Convolutional Network (TCN) vat de ruimtelijke input over het venster samen, die vervolgens wordt gefuseerd met de verfijnde activiteitsembeddings om de uiteindelijke foutkans te produceren.

Het framework evalueert drie specifieke opstellingen:

• (a) Activity Prompting (Img+Txt): Gebruikt CLIP-tekstembeddings voor activiteitscontext.
• (b) Activity Kinematics Fusion (Img+Txt+Kin): Voegt kinematische gegevens toe aan de tekst-gepromptte opstelling.
• (c) Activity-Aware Visual Embeddings (Img+Label): Vervangt tekstuele prompts door embeddings van een visuele encoder die is voorgetraind op activiteitslabels.

Belangrijkste Bijdragen

1. Verenigd Multimodaal Framework: Het artikel presenteert een systeem dat naadloos video, kinematica en gecureerde tekstuele prompts integreert voor real-time foutdetectie.
2. Activity Prompting en Embeddings: De introductie van activity prompting om gebaren, interacties en foutbeschrijvingen te integreren, evenals een vergelijkende studie van deze prompts tegenover activiteitsbewuste visuele embeddings afgeleid van voorgetrainde modellen.
3. Kinematische Integratie: Het aantonen van het voordeel van het fuseren van kinematische gegevens met visuele en tekstuele modaliteiten om fijnmazige bewegingsafwijkingen te vangen.
4. Prestatiewinst: Het framework behaalt significante verbeteringen ten opzichte van de state-of-the-art (SOTA) baselines op twee belangrijke datasets.

Experimentele Resultaten

De methoden werden geëvalueerd op de JIGSAWS (dry-lab) en SAR-RARP50 (in-vivo) datasets met behulp van Leave-One-Supertrial-Out (LOSO) en standaard train/test splits respectievelijk.

• JIGSAWS Dataset:

  • De Activity Kinematics Fusion opstelling met Gesture+Error prompts behaalde de hoogste F1-score van 0,760.
  • Dit is een verbetering van 5% ten opzichte van de SOTA CoG-baseline en een verbetering van 5% ten opzichte van de ResNet-only baseline.
  • Het toevoegen van kinematische gegevens aan het beste tekst-gepromptte model (Gesture+Error) verbeterde de F1-score van 0,745 naar 0,760.
  • Activity Prompting (Gesture+Error) presteerde beter dan Activity-Aware Visual Embeddings, wat suggereert dat gecureerde tekstuele prompts de prestaties kunnen evenaren of overtreffen van modellen die dichte frame-niveau activiteit-pretraining vereisen.

• SAR-RARP50 Dataset:

  • De Interaction+Error prompting strategie behaalde de beste F1-score van 0,746.
  • Dit komt overeen met een verbetering van 16,6% ten opzichte van de SOTA SEDMamba baseline en een aanzienlijke winst ten opzichte van de ResNet baseline (0,590).
  • De resultaten benadrukken dat complexe prompts die fijnmazige gedragsintenties mengen met foutcondities zeer effectief zijn.

• Efficiëntie:

  • Het voorgestelde framework demonstreert real-time toepasbaarheid. Het best presterende model (Activity Kinematics Fusion) heeft een end-to-end latentie van ongeveer 36 ms, wat een uitvoering van bijna 30 Hz mogelijk maakt. Dit is aanzienlijk sneller dan de SEDMamba baseline (368 ms) en concurrerend met CoG, ondanks de lagere per-frame latentie van CoG.

Betekenis en Claims

Het artikel beweert dat het combineren van gecureerde tekstuele prompts met multimodale gegevens (video en kinematica) een zeer effectieve strategie is voor nauwkeurige chirurgische foutdetectie. Belangrijke inzichten zijn onder meer:

• Prompt Specificiteit: De kwaliteit en semantische inhoud van prompts (met name het combineren van activiteitscontext met expliciete foutbeschrijvingen) zijn belangrijker dan de kwantiteit van de prompts.
• Multimodale Context: Het opnemen van meerlagige activiteitsinformatie (gebaren, interacties, kinematica) biedt een rijk contextueel kader dat unimodale of enkelvoudige benaderingen overtreft.
• Trainingsefficiëntie: De studie suggereert dat sterke foutdetectieprestaties niet noodzakelijkerwijs kostbare, tijdrovende activiteitslabeling en aparte encoder-pretraining vereisen. Tekstuele prompts die geworteld zijn in domeinkennis kunnen vergelijkbare of superieure resultaten bereiken als visuele embeddings afgeleid van voorgetrainde modellen, wat de trainingspijplijn vereenvoudigt.
• Real-Time Haalbaarheid: Het framework adresseert de kloof in online toepasbaarheid door een praktische afweging te bieden tussen detectiegranulariteit, precisie en real-time efficiëntie, in tegen tegenstelling tot sommige SOTA-modellen die beperkt zijn tot offline verwerking.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van datasets met gesynchroniseerde video en kinematica (wat de bredere toepasbaarheid beperkt totdat dergelijke datasets meer beschikbaar zijn), de afhankelijkheid van handmatige curatie van tekstuele prompts, en de noodzaak voor verdere validatie op minder gestructureerde chirurgische procedures buiten hechting en naaldpassage.