Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

Technisches Resümee: Hin zu einer handlungsorientierten Dynamik chirurgischer Teams

Problemstellung
Effektives Teamwork in Hochrisikoumgebungen wie Operationssälen (OR) ist entscheidend für die Patientensicherheit und stützt sich maßgeblich auf nicht-technische Fähigkeiten wie Kommunikation, Koordination und Situationsbewusstsein. Während jüngste Fortschritte in der chirurgischen Datenwissenschaft multimodale Datensätze (z. B. Cholec80, MM-OR) hervorgebracht haben, konzentrieren sich diese Ressourcen primär auf das visuelle Szenenverständnis, die Erkennung von Verfahrensphasen und die Aktionserkennung. Es mangelt ihnen an integrierten Repräsentationen von Phänomenen auf Teamebene, wie etwa sprecherspezifischen Gesprächsstrukturen, Bewertungen nicht-technischer Fähigkeiten und der Dynamik von Interaktionsausfällen. Zudem sind bestehende Datensätze oft fragmentiert über Modalitäten und Annotationsschemata und liefern selten erklärende Einblicke in die Frage, warum die Teamleistung sinkt. Aktuelle Computermodelle reduzieren die Teamleistung oft auf einen einzelnen Score, wodurch das komplexe Zusammenspiel von individuellen, zwischenmenschlichen und kollektiven Prozessen vernachlässigt wird, und sie liefern keine interpretierbaren Erklärungen, die für Vertrauen und Intervention in klinischen Settings notwendig sind.

Methodik
Die Autoren schlagen eine umfassende Erweiterung des öffentlich verfügbaren MM-OR-Datensatzes vor, der synchronisierte multimodale Aufnahmen von robotergestützten Knieprothesen-Operationen enthält. Die Methodik umfasst drei primäre technische Komponenten:

1. Multimodale Anreicherungspipeline:

   • Sprecher-Diarisierung: Manuelle Verfeinerung der Sprecherwechsel, um eine hohe zeitliche Genauigkeit in der lauten OR-Umgebung zu gewährleisten, was die Analyse von Sprecherwechseln, Unterbrechungen und der Beteiligungsbalance ermöglicht.
   • Bilinguale Transkription: Erstellung abgestimmter deutscher (Original) und englischer Transkripte, um die Überprüfung der Annotationen und das kreuzsprachige Modellieren zu erleichtern.
   • Datenstruktur: Die Ressource behält hardware-synchronisierte Modalitäten bei, darunter 5 RGB-D-Kameras, 3 RGB-Kameras, 3 Mikrofone, Roboterprotokolle und 3D-Tracking, die alle auf 1 FPS abgestimmt sind.

2. Mehrstufiges Annotations-Framework:
   Die Autoren führen ein hierarchisches Annotationsschema ein, das 169 sechsminütige Videoclips abdeckt, die von drei Experten unter Verwendung etablierter Frameworks annotiert wurden:

   • Teamebene: Verwendung von OTAS (Observational Teamwork Assessment for Surgery), um fünf Konstrukte (Kommunikation, Koordination, Kooperation, Führung, Monitoring) auf einer 0–6 Likert-Skala zu bewerten.
   • Interaktionsebene: Anpassung des HMT (Human-Machine Teaming)-Frameworks für rein menschliche Teams zur Bewertung paarweiser Interaktionen über fünf Makro-Kategorien (Kommunikation, gemeinsame Informationsverarbeitung, Koordination, zwischenmenschliche Beziehung, Motivation).
   • Individuelle Ebene:
     • Dynamisch: Verwendung von NOTSS (Non-Technical Skills for Surgeons) zur Bewertung von Situationsbewusstsein, Entscheidungsfindung, Kommunikation/Teamwork und Führung.
     • Statisch/Stabil: Integration von BFTQ (Big-Five-In-Teamwork), SYMLOG (Führungs-/zwischenmenschliches Verhalten) und GLIS (General Leadership Impression Scale), um stabile Eigenschaften und emergente Führung zu erfassen.

3. Kontrafaktische Annotationsebene:
   Ein neuartiger Beitrag, bei dem Annotatoren spezifische Ereignisse oder Verhaltensweisen identifizieren, die die Teamarbeit innerhalb eines Segments am negativsten beeinflusst haben. Diese Annotationen umfassen:

   • Zeitliche Intervalle: Kurze Zeiträume des auslösenden Ereignisses.
   • Attribution: Identifizierung des betroffenen Teamkonstrukts und der verantwortlichen Agent(en).
   • Qualitätsbewertungen: Fünf Dimensionen, die auf einer 1–5 ordinalen Skala bewertet werden: Kritikalität (Auswirkung auf die Leistung), Plausibilität (Realismus der Alternative), Konfidenz (Gewissheit des Annotators), Minimalität (Genügsamkeit der Änderung) und Erwartete Verbesserung (potenzieller Leistungsgewinn).
   • Begründungen (Rationales): Textliche Erklärungen, die das Ereignis, die Konsequenzen und alternative Verhaltensweisen beschreiben.

Wesentliche Beiträge

• Angereicherter multimodaler Datensatz: Der erste öffentliche OR-Datensatz, der rohe multimodale Signale mit handgefertigten, sprecher- und sprachbewussten Repräsentationen (Diarisierung und bilinguale Transkripte) kombiniert.
• Mehrstufiges Annotations-Framework: Eine vereinheitlichte Ressource, die simultane Bewertungen auf Team-, Interaktions- und individueller Ebene bereitstellt, die aus mehreren validierten theoretischen Frameworks (OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS) abgeleitet sind.
• Kontrafaktisches Annotationsprotokoll: Eine neuartige Ebene, die erklärende Signale für den Rückgang der Teamarbeit erfasst und über deskriptive Scores hinausgeht, indem sie spezifische Verhaltensauslöser und plausible alternative Ergebnisse identifiziert.
• Benchmark-Aufgaben: Die Arbeit etabliert Baseline-Leistungen für drei unterschiedliche Forschungsrichtungen:
  1. Feature-Anreicherung: Empirische Bewertung und Quantifizierung des Nutzens von sprecherbewussten und transkriptbasierten Repräsentationen, wobei gezeigt wird, dass sie komplementäre Informationen liefern und die Vorhersage der Teamarbeit gegenüber rohen Audio-/Visuellen Features verbessern.
  2. Mehrstufige Vorhersage: Nachweis, dass temporale-relationale Architekturen (speziell TE-ReNN) statische und rein temporale Modelle bei der Vorhersage von Konstrukten auf allen Annotationsebenen übertreffen.
  3. Kontrafaktische Detektion: Beweis, dass multimodale Signale prädiktive Muster für die Identifizierung von Ereignissen enthalten, die mit einem Rückgang der Teamarbeit assoziiert sind, wobei eine Leistung signifikant über dem Zufallsniveau erreicht wird.

Ergebnisse

• Annotationsverteilung: Der Datensatz weist ein moderates Klassenungleichgewicht auf, wobei die meisten Bewertungen um mittlere bis positive Werte konzentriert sind (z. B. 62,7 % der Clips mit einer Bewertung von 4 oder 5 für Kommunikation in OTAS), was eine generell kompetente, aber nicht außergewöhnliche Teamleistung in den aufgezeichneten Eingriffen widerspiegelt.
• Kontrafaktische Erkenntnisse: Etwa 70 % der kontrafaktischen Ereignisse beziehen sich auf Ausfälle in Kommunikation, Monitoring oder Kooperation. Die meisten Ereignisse werden einzelnen Akteuren zugeschrieben (Mittelwert 1,3 Akteure), wobei Kritikalitäts- und Konfidenzwerte generell niedrig bis moderat sind, was darauf hindeutet, dass die Annotatoren diese als moderate Ineffizienzen statt als katastrophale Fehler betrachteten.
• Modellleistung:
  • Einfluss der Features: Modelle, die Diarisierung und Transkripte nutzen, schnitten konsistent besser ab als solche, die nur rohe Audio- und Computer-Vision-Features verwenden.
  • Architektur: TE-ReNN (Temporal-Relational Neural Networks) erreichte die höchsten F1-Makro-Scores über alle Aufgaben hinweg (z. B. 74,2 % für OTAS, 76,7 % für BFTQ), was bestätigt, dass die gemeinsame Modellierung der temporalen Entwicklung und der zwischenmenschlichen Abhängigkeiten für die Analyse chirurgischer Teamarbeit essenziell ist.
  • Kontrafaktische Detektion: Trotz der Seltenheit der Ereignisse erreichten Modelle F1-Makro-Scores deutlich über dem Zufallsniveau, was die Erlernbarkeit dieser erklärenden Signale validiert.

Bedeutung und Ansprüche
Das Paper beansprucht, den Paradigmenwechsel in der chirurgischen Datenwissenschaft von der rein deskriptiven Workflow-Modellierung hin zur integrierten, multimodalen und erklärbaren Modellierung der Teamdynamik herbeizuführen. Durch die Bereitstellung einer vereinheitlichten Ressource, die rohe Sensordaten mit hohen sozialen Konstrukten und kontrafaktischen Erklärungen verknüpft, ermöglicht die Arbeit:

• Die Untersuchung, wie individuelle Handlungen und Interaktionsmuster gemeinsam zu Teamergebnissen beitragen.
• Die Entwicklung KI-gestützter kollaborativer Systeme, die in der Lage sind, Zusammenbrüche der Teamarbeit zu identifizieren und Verbesserungen vorzuschlagen.
• Eine Grundlage für prädiktive Modellierung und Verhaltensanalyse in Hochrisikodomänen.

Die Autoren räumen bescheiden ein, dass die kontrafaktischen Annotationen Expertenurteile über plausible Alternativen darstellen und keine experimentell validierten kausalen Mechanismen sind. Sie merken zudem an, dass die Abhängigkeit von manueller Annotation die Skalierbarkeit einschränkt, was darauf hindeutet, dass zukünftige Arbeiten semi-automatisierte Pipelines untersuchen könnten. Dennoch wird die Ressource als ein entscheidender Schritt in Richtung einer interpretierbaren, menschenzentrierten KI für chirurgische Teams positioniert.