Technische Samenvatting: ExpOS – Verklaarbare Beoordeling van Vaardigheden in Open Chirurgie met 3D-Handreconstructie

Probleemstelling

Effectieve chirurgische opleiding vereist tijdige en transparante feedback, maar huidige beoordelingsmethoden vertrouwen sterk op expertobservatie met gestructureerde rating-systemen (bijv. OSATS). Deze traditionele benaderingen zijn arbeidsintensief, subjectief en beperken kansen voor autonoom oefenen. Hoewel recente deep learning-methoden algehele vaardigheidsniveaus kunnen voorspellen op basis van beweging of videodata, functioneren ze doorgaans als "black boxes" en leveren ze globale scores zonder uit te leggen welke temporale segmenten of gedragspatronen de voorspelling beïnvloeden. Omgekeerd bieden methoden die vertrouwen op door experts gedefinieerde metrieken wel interpretatie, maar beperken ze de ontdekking tot vooraf vastgestelde criteria, waardoor datagedreven inzichten worden beperkt. Het artikel adresseert de behoefte aan een schaalbaar, objectief en verklaarbaar raamwerk dat chirurgische vaardigheden automatisch kan beoordelen en actiegericht, feedback-georiënteerd evaluatie kan bieden.

Methodologie

De auteurs stellen ExpOS voor, een end-to-end raamwerk dat zwak-supervised temporale belangrijkheidsleer combineert met interpreteerbare bewegingsstatistieken. De pijplijn verwerkt videodata van open-chirurgie taken via drie hoofdfasen:

1. Data-extractie en Feature-engineering

• Input: 4K RGB-video-opnames (30 fps) van bewoners die drie taken uitvoeren: naaien, knopen leggen en fasciale sluiting.
• Detectie & Reconstructie:
  • Een YOLO-model detecteert chirurgische instrumenten (pincet, naaldhouder, schaar, simulator) en handen.
  • RoHans pseudo-label self-training verfijnt de handdetector, die geïntegreerd is in WiLoR voor 3D-handreconstructie. Dit volgt 21 gewrichten per hand.
• Frame-niveau Features: Elke frame wordt gecodeerd met behulp van bounding box-informatie (6 objecten: linker/rechterhand, 3 instrumenten, simulator) en gereconstrueerde 3D-handkeypoints (2 gewrichten × 21 punten). Deze worden samengevoegd tot een tensor per frame. Korte gaten worden geïnterpoleerd en trajecten worden gladgestreken.
• Globaal-niveau Features: Video-level statistieken worden berekend op basis van temporale veranderingen in de centra van bounding boxes, waaronder:
  • Stilstaande tijd (proportie van frames waarin objecten stationair zijn).
  • Gemiddelde snelheid en versnelling (tijdens niet-inactieve periodes).
  • Ratio handen buiten beeld.
  • Tijd voor taakvoltooiing.
  • Autocorrelatie tussen handen.

2. De ExpOS Architectuur

Het raamwerk bestaat uit drie hoofdcomponenten:

• Temporele Backbone (MS-TCN++): De per-frame features worden ingevoerd in een MS-TCN++ backbone (met de classificatiekop verwijderd) om spatiotemporale dynamiek te coderen. Dit behoudt de temporele dimensie en geeft een reeks verborgen representaties uit ($F \times T$).
• Temporele Attention Pooling: Een multi-head self-attention mechanisme wordt toegepast op de verborgen reeks. Deze module wijst importantieweights toe aan specifieke temporele segmenten, comprimeert de reeks tot een compacte representatie en genereert tegelijkertijd een importantiekaart op frame-niveau. Hierdoor kan het model identificeren wanneer kritieke prestatiemomenten optreden.
• Fusie en Voorspelling: De temporeel gepoolde representatie wordt samengevoegd met de vooraf berekende globale statistische features. Deze gefuseerde vector wordt door een Multi-Layer Perceptron (MLP) gevoerd om een finale regressie-gebaseerde vaardigheidsscore uit te brengen. Globale features worden pas in dit laatste stadium geïnjecteerd om hun interpreteerbaarheid te behouden.

3. Verklaarbaarheidsmechanismen

ExpOS biedt multi-level verklaarbaarheid:

• Temporele Belangrijkheid: Geïnspireerd door NLP-attention mechanismen, markeren de attention weights uit de poolinglaag specifieke videoframes (temporele segmenten) die de vaardigheidsvoorspelling het sterkst beïnvloedden.
• Attributie van Globale Features: De auteurs gebruiken SHAP (Shapley Additive exPlanations)-waarden om de bijdrage van elke globale bewegingsstatistiek (bijv. taaktijd, versnelling) aan de finale voorspelling te kwantificeren. Dit identificeert welke bewegingskenmerken de score bepalen.

Belangrijkste Resultaten

Het raamwerk werd getraind en geëvalueerd op 221 video's van 77 chirurgische bewoners die drie verschillende taken uitvoerden. Een apart model werd getraind voor elke simulator met Soft Ordinal Regression (SORD) loss.

• Prestatiecorrelatie: Het raamwerk bereikte sterke correlaties met expertbeoordelingen voor alle taken:
  • Fasciale Sluiting: Hoogste prestatie met Pearson-correlatie $r = 0,778$ en $R^2 = 0,74$.
  • Knopen Leggen: $r = 0,678$, $R^2 = 0,649$, met de laagste RMSE (1,276).
  • Naaien: $r = 0,622$, $R^2 = 0,579$, met de laagste MAE (0,833).
• Interpreteerbaarheidsbevindingen:
  • Fasciale Sluiting: Tijd voor taakvoltooiing was de dominante feature (kortere tijden geassocieerd met hogere scores). Positieve bijdragen kwamen van hogere proporties stilstaande pincetten/handen en handautocorrelatie; negatieve bijdragen kwamen van hogere gemiddelde versnelling.
  • Knopen Leggen: Hogere gemiddelde snelheid en lagere versnelling van de rechterhand waren geassocieerd met hogere scores.
  • Naaien: Vergelijkbaar met fasciale sluiting, waarbij het gebruik van stilstaande pincetten en kortere voltooiingstijden de meest invloedrijke positieve factoren waren.

Betekenis en Claims

Het artikel stelt dat ExpOS een verschuiving vertegenwoordigt van door experts gedefinieerde evaluatiecriteria naar modelgedreven importantieschatting. De primaire betekenis ligt in het vermogen om:

1. Discriminerende Patronen te Leren: In plaats van te vertrouwen op vooraf gedefinieerde metrieken, leert het model temporele patronen direct uit data om te identificeren wat vaardigheid uitmaakt.
2. Multi-level Feedback te Bieden: Door attention-gebaseerde temporele lokalisatie te combineren met SHAP-gebaseerde globale feature-analyse, biedt het systeem gestructureerde feedback over wanneer prestatieafwijkingen optreden en welke bewegingsgedragingen bijdragen aan de score.
3. Schaalbaar Autonom Opleiden mogelijk te Maken: Het raamwerk toont aan dat datagedreven temporele modellering van 3D-handbeweging klinisch betekenisvolle prestatiepatronen kan vastleggen, en biedt een schaalbaar alternatief voor arbeidsintensieve experttoezicht.

De auteurs erkennen beperkingen, waarbij ze opmerken dat de aanpak afhankelijk is van betrouwbare 3D-handreconstructie en duidelijke zichtbaarheid, en dat occlusies of uitdagende gezichtspunten de prestaties kunnen verslechteren. Zij suggereren dat toekomstig werk zich zal richten op multimodale integratie en validatie op grotere, diversere cohorten.