Technische Samenvatting: Multimodale AI voor Geautomatiseerde Beoordeling van Chirurgische Prestaties

Probleemstelling

Nauwkeurige en objectieve beoordeling van chirurgische vaardigheid is cruciaal voor patiëntveiligheid, educatieve verbetering en schaalbare evaluatie. Huidige methodologieën vertrouwen zwaar op subjectieve menselijke beoordelingen (bijv. OSATS, Global Rating Scale), die lijden onder inter-beoordelaarsvariabiliteit, beperkte schaalbaarheid en hoge kosten voor middelen. Hoewel recente AI-gestuurde benaderingen deep learning hebben gebruikt voor geautomatiseerde beoordeling, worden veel bestaande methoden beperkt door hun afhankelijkheid van een enkele datamodaliteit (ofwel video of kinematica) of hun afhankelijkheid van gespecialiseerde sensortelemetrie die voornamelijk beschikbaar is in robotondersteunde settings. Dit beperkt hun toepasbaarheid in reële klinische omgevingen waar uitgebreide sensordata mogelijk niet beschikbaar zijn, en waar de variabiliteit in camerabeweging en verlichting hoog is. Bovereven zijn bestaande state-of-the-art modellen vaak afhankelijk van complexe, gespecialiseerde architecturen of specifieke op rubrieken gebaseerde training die mogelijk niet goed generaliseren over diverse datasets en beoordelingsinstellingen.

Methodologie

De auteurs stellen een nieuw, modulair multimodaal deep learning-framework voor dat is ontworpen om complementaire signalen te integreren voor de beoordeling van chirurgische vaardigheden. Het systeem is aanpasbaar aan variërende beschikbaarheid van data, in staat om te opereren met rijke multimodale inputs (video, kinematica, events, tijd) of het direct af te leiden van bewegingsrepresentaties uit video wanneer kinematische sensoren afwezig zijn.

Feature Extraction Pipeline

Het framework extraheert en fuseert vier primaire feature-kanalen:

1. Spatio-temporele Video Features (V): Geëxtraheerd met behulp van een SlowFast-R50 backbone, vooraf getraind op Kinetics-400. Deze dual-pathway architectuur legt zowel de ruimtelijke context (slow pathway) als de snelle temporele dynamiek (fast pathway) vast uit chirurgische video's.
2. Kinematische Bewegingsfeatures (K):
   • Voor JIGSAWS: Maakt gebruik van gesynchroniseerde 2D Cartesiaanse coördinaten van de instrumenttips van robotarmen.
   • Voor Biotissue (Video-only kinematica): Instrumenten (naaldhouders) worden gesegmenteerd met behulp van YOLOv8 (fijn afgesteld met SAM2-ondersteunde annotaties voor pols, schacht en bek delen) en gevolgd met BYTE Tracker. Centroid-trajecten worden gladgestreken via een low-pass Butterworth-filter.
   • Encoding: Trajecten worden omgezet in 1D lijnplot-afbeeldingen (x- en y-coördinaten over de tijd) en gecodeerd met behulp van een Trajectory-to-Image Autoencoder. Deze autoencoder leert een compacte, ruisbestendige 256-dimensionale latente representatie. Het framework bevat ook handmatige kinematische statistieken (RMS-snelheid, versnelling, jerk en totale padlengte) waar van toepassing.
3. Semantische Dichtheidsfeatures (D): Heatmap dichtheidsplots gegenereerd uit de bewegingstrajecten van de instrumenttips worden verwerkt met ResNet-50 om semantische features af te leiden die de ruimtelijke bewegingsverdeling representeren.
4. Event en Tijd Features (E, P):
   • Event Sequenties (E): Voor datasets met gebaar-annotaties (JIGSAWS), worden sequenties via one-hot encoding vastgelegd om de procedurele flow en transities te vangen.
   • Taakvoltooiingstijd (P): Inbegrepen als een hulpvariabele waar beschikbaar.

Fusie en Predictie

Alle geëxtraheerde features worden geconcateneerd, gestandaardiseerd via z-score normalisatie en gereduceerd met behulp van Principal Component Analysis (PCA) (waarbij 99% van de variantie behouden blijft) om een compacte multimodale representatie te creëren. Deze gereduceerde feature-vector wordt ingevoerd in een 1D Convolutional Neural Network (1D-CNN) regressie-head om door experts toegewezen vaardigheidsscores te voorspellen (Global Rating Scale voor JIGSAWS, OSATS voor Biotissue). De 1D-CNN architectuur bestaat uit drie Conv1D lagen (64, 128, 256 filters), max pooling, een dense laag (1024 eenheden), dropout, en een uiteindelijke regressie-output.

Evaluatieprotocollen

Het framework werd rigoureus geëvalueerd op twee benchmarks:

• JIGSAWS Dataset: 103 video's (Suturing, Needle Passing, Knot Tying) met gesynchroniseerde kinematica en event-annotaties. Geëvalueerd met 4-voudige cross-validatie en Leave-One-User-Out (LOUO) splits.
• Biotissue Dataset: 205 video's (Gastrojejunostomy, Pancreatojejunostomy, Hepaticojejunostomy) die een high-fidelity simulatie vertegenwoordigen met variabele camerabeweging en geen directe sensorkinematica. Geëvalueerd met 5-voudige cross-validatie.

Belangrijkste Bijdragen

1. Verenigde Multimodale Pipeline: Een allesomvattend framework dat spatio-temporele video-features, kinematische bewegingsfeatures (afgeleid van zowel sensoren als video), semantische dichtheidsfeatures en event-sequenties verenigt. Het is ontworpen om flexibel te functioneren in verschillende settings met variërende beschikbaarheid van modaliteiten.
2. Uit Video Afgeleide Kinematica: Het vermogen om robuuste bewegingsrepresentaties direct af te leiden uit standaard 2D endoscopische video met behulp van YOLOv8 tracking en autoencoder encoding, wat beoordeling mogelijk maakt in settings zonder directe robotische telemetrie.
3. Robuuste Benchmarking: Uitgebreide validatie op zowel gecontroleerde simulatie (JIGSAWS) als omgevingen met hoge variabiliteit (Biotissue), wat de generaliseerbaarheid over verschillende procedurele taken en dataconstraints aantoont.
4. Ablatie en Architectuuranalyse: Systematische evaluatie van verschillende inputcombinaties en sequentie-encoders (het vergelijken van de voorgestelde autoencoder met BiLSTM, TCN en Transformer baselines), waarbij de optimale configuratie voor vaardigheidspredictie is geïdentificeerd.

Resultaten

JIGSAWS Dataset

• 4-Fold Cross-Validation: Het multimodale model (Video + Kinematica + Events) behaalde een Spearman correlatiecoëfficiënt (SCC) van 0,85 (gemiddeld), waarmee het andere multimodale benaderingen zoals MultiPath (0,81) overtrof en vergelijkbare resultaten behaalde met video-only state-of-the-art modellen zoals CoRe + GART (0,85). Het model behaalde de laagste Mean Absolute Error (MAE) van 2,44 onder de vergeleken methoden.
• Leave-One-User-Out (LOUO): De video-only configuratie behaalde de hoogste gemiddelde SCC van 0,87, waarmee het alle eerder gepubliceerde video-only methoden (bijv. ViSA met 0,81, Contra-Sformer met 0,68) overtrof. Het kinematica-only (K+E) model behaalde een SCC van 0,83, met uitzonderlijke prestaties op de knot-tying taak (0,94).
• Ablatie: De combinatie van Video, Kinematica en Events (V+K+E) bleek het meest robuust. Het toevoegen van taakvoltooiingstijd (P) of dichtheidsfeatures (D) verbeterde de prestaties niet consistent boven V+K+E en, in sommige gevallen (bij het toevoegen van D), verslechterde het de prestaties licht door coördinaatruis.

Biotissue Dataset

• Gastrojejunostomy (GJ): De fusie van Kinematica en Video (K+V) leverde de beste prestaties op met een SCC van 0,67 en een MAE van 2,71, wat de kinematic-only (0,47) en video-only (0,57) baselines aanzienlijk overtrof.
• Pancreatojejunostomy (PJ): Het K+V model behaalde een SCC van 0,69 en een MAE van 2,05, opnieuw superieur aan single-modality benaderingen.
• Encoder Vergelijking: De voorgestelde Trajectory-to-Image Autoencoder presteerde consequent beter dan directe sequentie-encoders (BiLSTM, TCN, Transformer) in de best presterende K+V configuratie, wat suggereert dat compacte traject-afbeelding representaties stabielere samenvattingen bieden van globale bewegingspatronen voor deze taak.

Betekenis en Claims

Het artikel beweert dat het voorgestelde framework een nieuwe standaard vestigt voor multimodale chirurgische vaardigheidsbeoordeling door aan te tonen dat het integreren van complementaire signalen (video, kinematica, events) robuuste, state-of-the-art prestaties oplevert. De belangrijkste claims zijn:

• Schaalbaarheid en Aanpasbaarheid: Het framework is effectief in zowel sensor-rijke (JIGSAWS) als sensor-arme (Biotissue) omgevingen, wat bewijst dat hoogwaardige beoordeling kan worden bereikt door bewegingskenmerken af te leiden uit standaard video wanneer telemetrie niet beschikbaar is.
• Generalisatie: Het model vertoont sterke generalisatie naar onbekende chirurgen, met name bij het gebruik van video-features, waarbij het een LOUO SCC van 0,87 op JIGSAWS bereikt, wat alle eerder gerapporteerde video-only methoden overtreft.
• Praktisch Nut: Door de afhankelijkheid van complexe, op rubrieken gebaseerde modellering of gespecialiseerde sensorinputs te verminderen, biedt de benadering een meer gestroomlijnde en breed toepasbare alternatief voor geautomatiseerde beoordeling in onderzoek en klinische contexten.
• Bescheiden Beperkingen: De auteurs erkennen dat hoewel de Biotissue dataset een high-fidelity simulatie vertegenwoordigt, deze nog geen generaliseerbaarheid naar echte intraoperatieve gevallen heeft vastgesteld. Ze merken ook op dat de prestaties in de Biotissue setting worden beperkt door camerabeweging en het gebrek aan diepte-informatie, en dat de inclusie van dichtheidsfeatures (D) ruis kan introduceren in 2D representaties. De studie benadrukt dat taakvoltooiingstijd (P) geen betrouwbare proxy voor vaardigheid op zich is en als een hulpvariabele moet worden beschouwd.

Het werk concludeert dat een doordachte integratie van toegankelijke datastromen en multimodale deep learning expert-niveau vaardigheidsbeoordeling kan leveren met een hoge nauwkeurigheid en praktische flexibiliteit, waardoor de kloof tussen simulatie-gebaseerde training en reële klinische evaluatie wordt overbrugd.