Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

Sintesi Tecnica: Verso una Dinamica del Team Chirurgico Azionabile

Definizione del Problema
Il lavoro di squadra efficace in ambienti ad alto rischio come le sale operatorie (SO) è critico per la sicurezza del paziente e dipende fortemente da competenze non tecniche quali comunicazione, coordinazione e consapevolezza situazionale. Sebbene i recenti progressi nella scienza dei dati chirurgici abbiano prodotto dataset multimodali (ad es., Cholec80, MM-OR), queste risorse si concentrano principalmente sulla comprensione visiva della scena, sul riconoscimento delle fasi procedurali e sul rilevamento delle azioni. Esse mancano di rappresentazioni integrate di fenomeni a livello di team, come le strutture conversazionali specifiche per ogni interlocutore, le valutazioni delle competenze non tecniche e le dinamiche di interruzione dell'interazione. Inoltre, i dataset esistenti sono spesso frammentati tra modalità e schemi di annotazione, e raramente forniscono approfondimenti esplicativi sul perché le prestazioni del team degradino. Gli attuali modelli computazionali spesso riducono la performance del team a un singolo punteggio, trascurando l'interazione complessa tra processi individuali, interpersonali e collettivi, e non forniscono account interpretabili necessari per la fiducia e l'intervento in contesti clinici.

Metodologia
Gli autori propongono un'estensione completa del dataset MM-OR, disponibile pubblicamente, che contiene registrazioni multimodali sincronizzate di procedure di protesi totale di ginocchio robotica. La metodologia prevede tre componenti tecniche primarie:

1. Pipeline di Arricchimento Multimodale:

   • Diarizzazione del Parlatore: Raffinamento manuale dei turni di parola per garantire un'elevata accuratezza temporale nell'ambiente rumoroso della SO, consentendo l'analisi del cambio di turno, delle interruzioni e dell'equilibrio della partecipazione.
   • Trascrizione Bilingue: Creazione di trascrizioni allineate in tedesco (originale) e inglese per facilitare la revisione delle annotazioni e la modellazione cross-lingue.
   • Struttura dei Dati: La risorsa mantiene modalità sincronizzate via hardware, inclusi 5 telecamere RGB-D, 3 telecamere RGB, 3 microfoni, log robotici e tracciamento 3D, tutti allineati a 1 FPS.

2. Framework di Annotazione Multi-livello:
   Gli autori introducono uno schema di annotazione gerarchico che copre 169 clip video di sei minuti, annotate da tre esperti utilizzando framework consolidati:

   • Livello di Team: Utilizzando OTAS (Observational Teamwork Assessment for Surgery) per valutare cinque costrutti (Comunicazione, Coordinazione, Cooperazione, Leadership, Monitoraggio) su una scala Likert da 0 a 6.
   • Livello di Interazione: Adattando il framework HMT (Human-Machine Teaming) per team esclusivamente umani, per valutare le interazioni a coppie attraverso cinque macro-categorie (Comunicazione, Elaborazione congiunta delle informazioni, Coordinazione, Relazione interpersonale, Motivazione).
   • Livello Individuale:
     • Dinamico: Utilizzando NOTSS (Non-Technical Skills for Surgeons) per valutare Consapevolezza Situazionale, Processo Decisionale, Comunicazione/Lavoro di squadra e Leadership.
     • Statico/Stabile: Integrando BFTQ (Big-Five-In-Teamwork), SYMLOG (comportamento di leadership/interpersonale) e GLIS (General Leadership Impression Scale) per catturare tratti stabili e leadership emergente.

3. Livello di Annotazione Controfattuale:
   Un contributo originale in cui gli annotatori identificano eventi o comportamenti specifici che hanno influenzato negativamente il lavoro di squadra all'interno di un segmento. Queste annotazioni includono:

   • Intervalli Temporali: Brevi durate dell'evento scatenante.
   • Attribuzione: Identificazione del costrutto di team interessato e dell'agente (o degli agenti) responsabile.
   • Valutazioni di Qualità: Cinque dimensioni valutate su una scala ordinale da 1 a 5: Criticità (impatto sulle prestazioni), Plausibilità (realismo dell'alternativa), Fiducia (certezza dell'annotatore), Minimalità (sufficienza del cambiamento) ed Enhancement Atteso (potenziale guadagno di prestazione).
   • Razionali: Spiegazioni testuali che descrivono l'evento, le conseguenze e i comportamenti alternativi suggeriti.

Contributi Chiave

• Dataset Multimodale Arricchito: Il primo dataset pubblico di sala operatoria che combina segnali multimodali grezzi con rappresentazioni consapevoli del parlatore e del linguaggio (diarizzazione e trascrizioni bilingui) create manualmente.
• Framework di Annotazione Multi-livello: Una risorsa unificata che fornisce simultaneamente valutazioni a livello di team, di interazione e individuale derivate da molteplici framework teorici validati (OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS).
• Protocollo di Annotazione Controfattuale: Un nuovo livello che cattura segnali esplicativi per il degrado del lavoro di squadra, andando oltre i punteggi descrittivi per identificare i trigger comportamentali e i risultati alternativi plausibili.
• Task di Benchmark: Il documento stabilisce le prestazioni di base per tre distinte direzioni di ricerca:
  1. Arricchimento delle Caratteristiche: Valutazione empirica e quantificazione dell'utilità delle rappresentazioni basate sulla diarizzazione e sulla trascrizione, dimostrando che forniscono informazioni complementari e migliorano la previsione del lavoro di squadra rispetto alle sole caratteristiche audio/visive grezze.
  2. Predizione Multi-livello: Dimostrare che le architetture temporali-relazionali (specificamente TE-ReNN) superano i modelli statici e puramente temporali nella previsione dei costrutti in tutti i livelli di annotazione.
  3. Rilevamento Controfattuale: Provare che i segnali multimodali contengono pattern predittivi per identificare eventi associati al degrado del lavoro di squadra, raggiungendo prestazioni significativamente superiori al caso.

Risultati

• Distribuzione delle Annotazioni: Il dataset presenta un moderato squilibrio di classe, con la maggior parte dei punteggi concentrata intorno a valori intermedi-positivi (ad es., il 62,7% delle clip è valutato 4 o 5 per la Comunicazione in OTAS), riflettendo prestazioni generalmente competenti ma non eccezionali nelle procedure registrate.
• Approfondimenti Controfattuali: Circa il 70% degli eventi controfattuali riguarda fallimenti nella comunicazione, nel monitoraggio o nella cooperazione. La maggior parte degli eventi è attribuita a singoli attori (media 1,3 attori), e i punteggi di criticità e fiducia sono generalmente da bassi a moderati, suggerendo che gli annotatori li abbiano considerati come moderate inefficienze piuttosto che fallimenti catastrofici.
• Prestazioni dei Modelli:
  • Impatto delle Caratteristiche: I modelli che utilizzano la diarizzazione e le trascrizioni hanno costantemente superato quelli che utilizzano solo caratteristiche audio e di computer vision.
  • Architettura: TE-ReNN (Temporal-Relational Neural Networks) ha ottenuto i punteggi F1-macro più elevati in tutti i task (ad es., 74,2% per OTAS, 76,7% per BFTQ), confermando che la modellazione congiunta dell'evoluzione temporale e delle dipendenze interpersonali è essenziale per l'analisi del lavoro di squadra chirurgico.
  • Rilevamento Controfattuale: Nonostante la rarità degli eventi, i modelli hanno raggiunto punteggi F1-macro significativamente sopra il caso casuale, validando la apprendibilità di questi segnali esplicativi.

Significatività e Rivendicazioni
Il documento rivendica lo spostamento del paradigma dalla pura modellazione del workflow alla modellazione integrata, multimodale ed esplicabile della dinamica di team. Fornendo una risorsa unificata che collega i dati sensoriali grezzi a costrutti sociali di alto livello e spiegazioni controfattuali, questo lavoro abilita:

• Lo studio di come le azioni individuali e i pattern di interazione contribuiscano congiuntamente ai risultati del team.
• Lo sviluppo di sistemi collaborativi assistiti dall'IA capaci di identificare i breakdown del lavoro di squadra e suggerire miglioramenti.
• Una base per la modellazione predittiva e l'analisi del comportamento in domini ad alto rischio.

Gli autori riconoscono con modestia che le annotazioni controfattuali rappresentano giudizi esperti di alternative plausibili piuttosto che meccanismi causali sperimentalmente validati. Notano inoltre che la dipendenza dall'annotazione manuale limita la scalabilità, suggerendo che i lavori futuri possano esplorare pipeline semi-automatizzate. Ciononostante, la risorsa è posizionata come un passo critico verso un'IA umana-centrica e interpretabile per i team chirurgici.