ReCAP: Recursive Cross Attention Network for Pseudo-Label Generation in Robotic Surgical Skill Assessment

Deze paper introduceert ReCAP, een zwaktoezichtend recurrent transformer-model dat kinematica-gegevens gebruikt om gedetailleerde OSATS-scores te genereren voor robuustere chirurgische vaardigheidsbeoordeling, waardoor het de staat-der-kunst prestaties overtreft en door een senior chirurg gevalideerde kwalitatieve feedback biedt.

De kern

Stel je voor dat een chirurg die net begint met robotchirurgie, een leerling is die een heel lastig instrument bespeelt: de robotarm. Net zoals een pianoleraar die luistert naar de vingers van een leerling, moeten ervaren chirurgen nu kijken of de robotbewegingen van de leerling goed zijn.

Vroeger deden ze dit door urenlang video's te bekijken en cijfers te geven op een lijstje met criteria (zoals "hoe voorzichtig is hij met het weefsel?" of "hoe snel is hij?"). Dit heet OSATS. Aan het einde krijgen ze één groot gemiddeld cijfer: de GRS.

Het probleem? Dit is als een leraar die alleen zegt: "Je hebt een 7 voor piano." Dat helpt niet echt om te weten waar je beter in moet worden. En het duurt ook veel te lang om elke video handmatig te beoordelen.

Hier komt ReCAP om de hoek kijken.

Wat is ReCAP eigenlijk?

ReCAP is een slim computerprogramma dat de bewegingen van de robotarm (de "kinematische data") leest. Denk aan de robotarm als een danser. ReCAP kijkt niet naar de danser zelf, maar naar de stappen, de snelheid en de kracht die de danser maakt.

In plaats van te wachten tot de hele dans voorbij is om één cijfer te geven, doet ReCAP iets heel slims:

1. Het kijkt in stukjes: Het verdeelt de operatie in kleine stukjes (zoals noten in een muziekstuk).
2. Het maakt een gok: Voor elk klein stukje maakt het een gok over hoe goed de chirurg dat specifieke moment deed. Dit noemen ze "pseudo-labels" (nep-cijfers die het zelf bedenkt).
3. Het leert van de fouten: Het telt al die kleine gokjes bij elkaar op om het eindcijfer te maken. Als het eindcijfer niet klopt met het echte cijfer van de expert, past het programma zijn "gok-strategie" aan.

Het is alsof je een leerling laat oefenen en je zegt: "Ik geef je niet alleen een eindcijfer, maar ik zeg ook bij elke noot of die goed of fout was, zodat je het de volgende keer beter doet."

Waarom is dit zo cool?

1. Het is een detective die geen camera nodig heeft
De meeste nieuwe systemen kijken naar video's (zoals een bewakingscamera). ReCAP kijkt echter alleen naar de bewegingsdata van de robot.

• Analogie: Stel je voor dat je een danser wilt beoordelen. Je kunt kijken naar de video (wie is er mooi gekleed, hoe ziet het podium eruit?), of je kunt kijken naar de stappen die de danser maakt. ReCAP kijkt alleen naar de stappen. Dit is sneller, goedkoper en werkt voor elke robot, ongeacht hoe de camera eruit ziet.

2. Het geeft direct feedback
Omdat ReCAP elke seconde beoordeelt, kan het een chirurg zeggen: "Je was geweldig in het vastmaken van de knoop, maar je was een beetje te ruw toen je het weefsel vastpakte." Dit is veel waardevoller dan alleen een eindcijfer.

3. Het is net zo slim als de beste, maar simpeler
De onderzoekers hebben ReCAP getest op een grote verzameling data (JIGSAWS). Het bleek dat ReCAP:

• Beter presteerde dan alle andere systemen die alleen naar bewegingsdata keken.
• Net zo goed was als de systemen die naar video keken (die veel zwaarder en complexer zijn).

De "Gok" die werkte

Het slimste aan ReCAP is dat het niet duizenden voorbeelden nodig heeft waarvoor al elke seconde is beoordeeld door een expert (dat is te veel werk). Het leert op een "zwak toezicht" manier.

• Analogie: Stel je voor dat je een speler wilt leren voetballen. Je hebt geen trainer die elke seconde van de wedstrijd roept "Goed trap!" of "Slecht trap!". Je hebt alleen de trainer die aan het einde zegt: "Je hebt gewonnen." ReCAP leert zelf te raden welke momenten goed waren en welke niet, zolang het eindresultaat (de overwinning) maar klopt.

Wat zeggen de experts?

De onderzoekers hebben hun systeem laten testen door een echte, ervaren chirurg. Ze lieten de chirurg kijken naar de "gokken" van ReCAP tijdens het kijken naar een video.

• De chirurg was het 77% van de tijd eens met de computer.
• Dat is heel goed, zeker als je bedenkt dat mensen zelf ook vaak oneens zijn over hoe goed iemand een taak heeft gedaan.

Conclusie

ReCAP is als een slimme, onuitputtelijke assistent voor chirurgische opleidingen. Het neemt de last van de hand van de senior chirurgen, geeft directe, gedetailleerde feedback aan de leerling (niet alleen een eindcijfer), en doet dit allemaal puur op basis van de bewegingen van de robot.

Het is een stap in de richting van een toekomst waarin elke chirurg, waar ook ter wereld, kan oefenen en direct weet wat hij of zij moet verbeteren, zonder dat er een dure expert urenlang naar een scherm hoeft te staren.

Technische samenvatting

Probleemstelling

In de robotchirurgie zijn tools zoals de Objective Structured Assessment of Technical Skills (OSATS) en de Global Rating Scale (GRS) essentieel voor het beoordelen van vaardigheden tijdens de training. Bestaande machine learning-benaderingen richten zich vaak op het regresseren van de GRS-score (een samenvattende score) op basis van kinematische data of video.
De auteurs stellen echter dat het alleen voorspellen van de GRS beperkend is omdat:

1. Het de individuele OSATS-componenten (zoals respect voor weefsel, naaldbehandeling, etc.) aggregeert, waardoor klinisch relevante variaties tijdens een procedure verloren gaan.
2. Het geen gedetailleerde, actievere feedback biedt over specifieke momenten in de operatie.
3. Bestaande methoden die proberen scores per segment te voorspellen, vaak afhankelijk zijn van zwaar gelabelde data (elk segment moet door een expert worden beoordeeld), wat tijdrovend en duur is.

Het doel is dus een systeem te ontwikkelen dat zwaktoezicht (weakly-supervised) gebruikt om gedetailleerde, segment-gebaseerde OSATS-scores te genereren zonder dat elk segment handmatig gelabeld hoeft te worden, terwijl het toch de totale GRS nauwkeurig voorspelt.

Methodologie: ReCAP

De auteurs introduceren ReCAP (Recursive Cross-Attention for Pseudo-label generation), een recurrente transformer-architectuur die werkt met kinematische data (bewegingsdata van de robotarm).

Kerncomponenten:

1. Probleemformulering:

   • De input (kinematisch signaal) wordt opgedeeld in gelijke segmenten ($x_s$).
   • Het model leert een functie $F$ die een trial-level label (de totale GRS, afgeleid van 6 OSATS-scores) voorspelt.
   • In plaats van directe labels voor elk segment te hebben, wordt aangenomen dat de totale score het gemiddelde is van de segment-scores: $y_n = \frac{1}{S} \sum f_n(x_s)$.
   • Het model genereert pseudo-labels ($\hat{y}_s$) voor elk segment in een zwaktoezicht-omgeving.

2. Architectuur:

   • Backbone: Een recurrente structuur die een kinematisch segment ($x_s$) en de vorige verborgen staat ($z_{s-1}$) verwerkt.
   • Fusie-module: Gebruikt Self-Attention en Cross-Attention blokken om de tijdsafhankelijke informatie te fuseren.
   • Classificatiekoppen: Er zijn zes classificatiekoppen (MLP's), één voor elke OSATS-categorie. Deze voorspellen per segment een score.
   • Output: De uiteindelijke voorspelling is het gemiddelde van alle segment-voorspellingen, wat resulteert in de trial-level OSATS en GRS.

3. Training en Loss:

   • Het model wordt end-to-end getraind met een Cross-Entropy Loss op het gemiddelde van de segment-voorspellingen, vergeleken met de echte trial-level labels.
   • Een $L_2$-regularisatie term wordt toegevoegd om overfitting te voorkomen.
   • Er wordt gebruikgemaakt van data-augmentatie (Gaussian noise en flipping) om generalisatie te verbeteren.

4. Validatie:

   • Gebruikt de JIGSAWS-dataset (kinematische data van 8 chirurgen bij 3 taken: naaldpasseren, naaien, knopen leggen).
   • Validatie via Leave-One-Supertrial-Out (LOSO) cross-validatie.
   • Een senior chirurg valideerde de gegenereerde pseudo-labels visueel om de kwaliteit van de segment-voorspellingen te beoordelen.

Belangrijkste Bijdragen

1. Zwaktoezicht Framework: Een nieuwe objectieve functie die recurrente cross-attention-modellen in staat stelt om zowel trial-level scores (GRS) als granulaire segment-level OSATS-scores te voorspellen zonder extra labels per segment.
2. Interpreteerbaarheid en Feedback: Het omzetten van kwantitatieve voorspellingen in kwalitatieve feedback op segment-niveau, wat essentieel is voor geautomatiseerde beoordelingspijplijnen.
3. Prestatieverbetering: Het aantonen dat kinematische data, wanneer correct gemodelleerd, concurrerend is met video-gebaseerde modellen, maar met lagere rekenkosten en meer systeem-onafhankelijkheid.

Resultaten

De prestaties werden gemeten met de Spearman's Correlation Coefficient (SCC).

• GRS Voorspelling (Trial-level):

  • ReCAP presteerde beter dan alle bestaande kinematische methoden (SCC 0.83 - 0.88).
  • Het presteerde vergelijkbaar met state-of-the-art (SOTA) video-modellen, ondanks het gebruik van alleen kinematische data.
  • Voor de taak "Knot Tying" (KT) werd een SCC van 0.88 bereikt.

• OSATS Voorspelling (Segment-level):

  • Het model presteerde beter dan SOTA voor de meeste individuele OSATS-taken (gemiddelde SCC 0.46 - 0.70).
  • Specifieke scores (zoals "Time and Motion") bereikten een SCC tot 0.95.

• Validatie door Expert:

  • Een senior chirurg beoordeelde de gegenereerde pseudo-labels.
  • De chirurg was het 77% van de tijd eens met de modelvoorspellingen (statistisch significant, $p=0.006$) in vergelijking met willekeurige voorspellingen (69% overeenstemming).

• Ablatie Studies:

  • Het verwijderen van de pseudo-label generatie leidde tot een drastische daling in prestaties (vooral bij taken met onbalans in data), wat aantoont dat de zwaktoezicht-aanpak cruciaal is.

Betekenis en Conclusie

ReCAP vertegenwoordigt een doorbraak in de geautomatiseerde beoordeling van chirurgische vaardigheden door:

1. Granulaire Feedback: Het biedt niet alleen een eindcijfer, maar identificeert specifieke momenten in een procedure waar een chirurg goed of slecht presteert. Dit maakt het mogelijk om gerichte feedback te geven.
2. Schaalbaarheid: Door zwaktoezicht te gebruiken, wordt de enorme last van het handmatig labelen van elk tijdssegment in een operatie vermeden.
3. Efficiëntie: Het bewijst dat kinematische data (die vaak al beschikbaar is in robotchirurgie) voldoende informatie bevat om complexe vaardigheden te beoordelen, zonder de noodzaak van zware videobewerking.

Hoewel het model nog uitdagingen kent bij het voorspellen van visueel gebaseerde criteria (zoals "kwaliteit van het eindproduct" bij naaldpasseren), biedt ReCAP een robuust, schaalbaar en interpreteerbaar raamwerk voor de toekomst van robotchirurgische training en evaluatie.