Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

Technische Samenvatting: Naar Actiegerichte Dynamiek van Chirurgische Teams

Probleemstelling
Effectief teamwork in omgevingen met een hoog risico, zoals operatiekamers (OK), is cruciaal voor de patiëntveiligheid en leunt zwaar op niet-technische vaardigheden zoals communicatie, coördinatie en situationeel bewustzijn. Hoewel recente vooruitgang in de chirurgische datawetenschap multimodale datasets heeft voortgebracht (bijv. Cholec80, MM-OR), richten deze bronnen zich primair op visueel scènebegrip, procedurele faseherkenning en actiedetectie. Ze missen geïntegreerde representaties van teamniveau-fenomenen, zoals spreker-specifieke conversationele structuren, beoordelingen van niet-technische vaardigheden en de dynamiek van interactie-onderbrekingen. Bovendien zijn bestaande datasets vaak gefragmenteerd over modaliteiten en annotatieschema's, en bieden ze zelden verklarende inzichten in waarom de teamwork-prestaties verslechteren. Huidige computationele modellen reduceren teamprestaties vaak tot een enkele score, waarbij de complexe wisselwerking tussen individuele, interpersoonlijke en collectieve processen wordt genegeerd, en falen ze in het bieden van interpreteerbare verantwoordingen die noodzakelijk zijn voor vertrouwen en interventie in klinische settings.

Methodologie
De auteurs stellen een uitgebreide uitbreiding voor van de publiekelijk beschikbare MM-OR dataset, die gesynchroniseerde multimodale opnames bevat van robotgestuurde knieprothesesessies. De methodologie omvat drie primaire technische componenten:

1. Multimodale Verrijkingspipeline:

   • Speaker Diarization: Handmatige verfijning van sprekersbeurten om een hoge temporele nauwkeurigheid te garanderen in de lawaaierige OK-omgeving, wat analyse van beurtname, onderbrekingen en participatiebalans mogelijk maakt.
   • Tweetalige Transcriptie: Creatie van uitgelijnde Duitse (originele) en Engelse transcripten om annotatiebeoordeling en kruislingse modellering te faciliteren.
   • Datastructuur: De bron behoudt hardware-gesynchroniseerde modaliteiten inclusief 5 RGB-D camera's, 3 RGB camera's, 3 microfoons, robotlogs en 3D-tracking, alles uitgelijnd op 1 FPS.

2. Multi-Level Annotatiekader:
   De auteurs introduceren een hiërarchisch annotatieschema dat 169 clips van zes minuten beslaat, geannoteerd door drie experts met behulp van gevestigde kaders:

   • Teamniveau: Gebruikmakend van OTAS (Observational Teamwork Assessment for Surgery) om vijf constructen (Communicatie, Coördinatie, Coöperatie, Leiderschap, Monitoring) te beoordelen op een 0–6 Likert-schaal.
   • Interactieniveau: Aanpassing van het HMT (Human-Machine Teaming) kader voor menselijke teams om paar-gewijze interacties te beoordelen over vijf macro-categorieën (Communicatie, Gezamenlijke Informatieverwerking, Coördinatie, Interpersoonlijke Relatie, Motivatie).
   • Individueel niveau:
     • Dynamisch: Gebruikmakend van NOTSS (Non-Technical Skills for Surgeons) om Situationeel Bewustzijn, Besluitvorming, Communicatie/Teamwork en Leiderschap te beoordelen.
     • Statisch/Stabiel: Integratie van BFTQ (Big-Five-In-Teamwork), SYMLOG (leiderschaps-/interpersoonlijk gedrag) en GLIS (General Leadership Impression Scale) om stabiele eigenschappen en opkomend leiderschap vast te leggen.

3. Counterfactual Annotatielaag:
   Een nieuwe bijdrage waarbij annotatoren specifieke gebeurtenissen of gedragingen identificeren die de teamwork het meest negatief hebben beïnvloed binnen een segment. Deze annotaties bevatten:

   • Temporele Intervallen: Korte duur van de triggerende gebeurtenis.
   • Attributie: Identificatie van het getroffen teamconstruct en de verantwoordelijke agent(en).
   • Kwaliteitsbeoordelingen: Vijf dimensies geëvalueerd op een 1–5 ordinale schaal: Criticaliteit (impact op prestaties), Plausibiliteit (realisme van het alternatief), Zekerheid (annotator-zekerheid), Minimaliteit (voldoendeheid van de wijziging) en Verwachte Verbetering (potentieel prestatiewinst).
   • Rationale: Tekstuele verklaringen die de gebeurtenis, de gevolgen en voorgestelde alternatieve gedragingen beschrijven.

Belangrijkste Bijdragen

• Verrijkte Multimodale Dataset: De eerste publieke OK-dataset die ruwe multimodale signalen combineert met handgemaakte spreker-bewuste en taal-bewuste representaties (diarization en tweetalige transcripten).
• Multi-Level Annotatiekader: Een verenigde bron die gelijktijdige teamniveau, interactieniveau en individueel niveau beoordelingen biedt, afgeleid van meerdere gevalideerde theoretische kaders (OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS).
• Counterfactual Annotatieprotocol: Een nieuwe laag die verklarende signalen vastlegt voor de verslechtering van teamwork, waarbij verder wordt gegaan dan beschrijvende scores om specifieke gedrags-triggers en plausibele alternatieve uitkomsten te identificeren.
• Benchmark Taken: Het artikel stelt de basisprestaties vast voor drie verschillende onderzoeksrichtingen:
  1. Feature Verrijking: Het empirisch beoordelen en kwantificeren van het nut van spreker-bewuste en op transcripten gebaseerde representaties, waarbij wordt aangetoond dat zij complementaire informatie bieden en de teamwork-voorspelling verbeteren ten opzichte van ruwe audio/visuele features.
  2. Multi-Level Voorspelling: Het aantonen dat temporele-relationele architecturen (specifiek TE-ReNN) superieur zijn aan statische en puur temporele modellen bij het voorspellen van constructen op alle annotatieniveaus.
  3. Counterfactual Detectie: Het bewijzen dat multimodale signalen voorspellende patronen bevatten voor het identificeren van gebeurtenissen geassocieerd met de verslechtering van teamwork, waarbij prestaties significant boven toeval uitkomen.

Resultaten

• Annotatieverdeling: De dataset vertoont een matige klassenonbalans, waarbij de meeste beoordelingen geconcentreerd zijn rond gemiddelde-tot-positieve scores (bijv. 62,7% van de clips met een score van 4 of 5 voor Communicatie in OTAS), wat duidt op over het algemeen competente maar niet uitzonderlijke teamwork-prestaties in de opgenomen procedures.
• Counterfactual Inzichten: Ongeveer 70% van de counterfactual gebeurtenissen heeft betrekking op communicatie-, monitoring- of coöperatiefouten. De meeste gebeurtenissen worden toegeschreven aan enkele actoren (gemiddeld 1,3 actoren), en de scores voor criticaliteit en zekerheid zijn over het algemeen laag-tot-gemiddeld, wat suggereert dat annotatoren deze zagen als matige inefficiënties in plaats van catastrofale fouten.
• Modelprestaties:
  • Impact van Features: Modellen die gebruikmaken van diarization en transcripten presteerden consequent beter dan modellen die alleen ruwe audio en computer vision features gebruikten.
  • Architectuur: TE-ReNN (Temporal-Relational Neural Networks) behaalde de hoogste F1-macro scores over alle taken (bijv. 74,2% voor OTAS, 76,7% voor BFTQ), wat bevestigt dat het gezamenlijk modelleren van temporele evolutie en interpersoonlijke afhankelijkheden essentieel is voor de analyse van chirurgisch teamwork.
  • Counterfactual Detectie: Ondanks de zeldzaamheid van gebeurtenissen, behaalden modellen F1-macro scores ruim boven toeval, wat de leerbaarheid van deze verklarende signalen valideert.

Betekenis en Claims
Het artikel claimt het paradigma van chirurgische datawetenschap te verschuiven van louter beschrijvende workflowmodellering naar geïntegreerde, multimodale en verklaarbare modellering van teamdynamiek. Door een verenigde bron te bieden die ruwe sensordata koppelt aan hoogwaardige sociale constructen en counterfactual verklaringen, maakt dit werk het volgende mogelijk:

• De studie van hoe individuele acties en interactiepatronen gezamenlijk bijdragen aan teamresultaten.
• De ontwikkeling van AI-ondersteunde collaboratieve systemen die in staat zijn om teamwork-onderbrekingen te identificeren en verbeteringen voor te stellen.
• Een fundament voor voorspellende modellering en gedragsanalyse in omgevingen met een hoog risico.

De auteurs erkennen bescheiden dat de counterfactual annotaties de expertbeoordelingen van plausibele alternatieven vertegenwoordigen in plaats van experimenteel gevalideerde causale mechanismen. Ze merken ook op dat de afhankelijkheid van handmatige annotatie de schaalbaarheid beperkt, wat suggereert dat toekomstig werk mogelijk semi-geautomatiseerde pipelines zal verkennen. Desalniettemin wordt de bron gepositioneerd als een cruciale stap richting interpreteerbare, mensgerichte AI voor chirurgische teams.