Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

技術要約：実行可能な外科チームダイナミクスに向けて

問題提起
手術室（OR）のような高リスク環境における効果的なチームワークは、コミュニケーション、コーディネーション、状況認識といった非テクニカルスキルに大きく依存しており、患者の安全に直結する。近年の外科データサイエンスの進展により、マルチモーダルなデータセット（例：Cholec80, MM-OR）が生成されているが、これらは主に視覚的なシーン理解、手順フェーズの認識、およびアクション検出に焦点を当てている。これらのリソースには、話者固有の会話構造、非テクニカルスキルの評価、および相互作用の破綻のダイナミクスといった、チームレベルの現象を統合した表現が欠けている。さらに、既存のデータセットはモダリティやアノテーション・スキームが断片化していることが多く、なぜチームワークのパフォーマンスが低下するのかという説明的な洞察を提供することは稀である。現在の計算モデルは、チームのパフォーマンスを単一のスコアに集約してしまうことが多く、個人、対人関係、および集団的プロセスの複雑な相互作用を見落としており、臨床現場での信頼と介入に必要な解釈可能な説明を提供できていない。

手法
著者らは、ロボットによる膝置換術の同期されたマルチモーダル録画を含む、公開されているMM-ORデータセットの包括的な拡張を提案する。その手法は、主に以下の3つの技術的コンポーネントで構成される。

1. マルチモーダル拡充パイプライン:

   • 話者ダイアリゼーション（Speaker Diarization）: ノイズの多い手術室環境において高い時間的精度を確保するために、話者のターンを手動で精査し、ターンテーキング、割り込み、および参加のバランスの分析を可能にする。
   • バイリンガル文字起こし: アノテーションのレビューとクロスリンガル・モデリングを容易にするため、整列されたドイツ語（原文）と英語のトランスクリプトを作成する。
   • データ構造: ハードウェア同期されたモダリティ（5台のRGB-Dカメラ、3台のRGBカメラ、3台のマイク、ロボットログ、および3Dトラッキング）を維持し、すべて1 FPSで整列させている。

2. マルチレベル・アノテーション・フレームワーク:
   著者らは、3人の専門家が確立されたフレームワークを用いてアノテーションを行った169個の6分間のビデオクリップを対象とする、階層的なアノテーション・スキーマを導入している。

   • チームレベル: OTAS（Observational Teamwork Assessment for Surgery）を用い、5つの構成要素（コミュニケーション、コーディネーション、協力、リーダーシップ、モニタリング）を0〜6のリッカート尺度で評価する。
   • 相互作用レベル: HMT（Human-Machine Teaming）フレームワークを人間のみのチームに適応させ、5つのマクロカテゴリ（コミュニケーション、共同情報処理、コーディネーション、対人関係、モチベーション）にわたるペアワイズの相互作用を評価する。
   • 個人レベル:
     • 動的（Dynamic）: NOTSS（Non-Technical Skills for Surgeons）を用い、状況認識、意思決定、コミュニケーション／チームワーク、およびリーダーシップを評価する。
     • 静的／安定的（Static/Stable）: BFTQ（Big-Five-In-Teamwork）、SYMLOG（リーダーシップ／対人行動）、およびGLIS（General Leadership Impression Scale）を統合し、安定した特性と創発的なリーダーシップを捉える。

3. 反事実的アノテーション・レイヤー（Counterfactual Annotation Layer）:
   アノテーターがセグメント内でチームワークに最も悪影響を与えた特定のイベントや行動を特定するという、新しい貢献である。これらのアノテーションには以下が含まれる。

   • 時間的間隔: トリガーとなったイベントの短い継続時間。
   • 帰属（Attribution）: 影響を受けたチーム構成要素および責任となるエージェント（行為者）の特定。
   • 品質評価: 以下の5つの次元を1〜5の順序尺度で評価する：重要度（パフォーマンスへの影響）、妥当性（代替案の現実味）、確信度（アノテーターの確信）、最小限性（変更の十分性）、および期待される改善効果（潜在的なパフォーマンス向上）。
   • 根拠（Rationales）: イベント、その結果、および推奨される代替行動を記述するテキストによる説明。

主な貢献

• 拡充されたマルチモーダル・データセット: 生のマルチモーダル信号と、手作業による話者認識および言語認識表現（ダイアリゼーションおよびバイリンガル・トランスクリプト）を組み合わせた、初の公開手術室データセット。
• マルチレベル・アノテーション・フレームワーク: 複数の検証済み理論フレームワーク（OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS）から導出された、チームレベル、相互作用レベル、および個人レベルの評価を同時に提供する統一されたリソース。
• 反事実的アノテーション・プロトコル: 記述的なスコアを超えて、具体的な行動のトリガーと妥当な代替結果を特定することで、チームワークの低下に関する説明的な信号を捉える新しいレイヤー。
• ベンチマーク・タスク: 本論文は、以下の3つの異なる研究方向に対してベースライン性能を確立している。
  1. 特徴量拡充: 話者認識およびトランスクリプトに基づく表現の有用性を経験的に評価・定量化し、それらが生のオーディオ／ビジュアル特徴量に対して補完的な情報を提供し、チームワーク予測を向上させることを実証する。
  2. マルチレベル予測: 時間的関係的アーキテクチャ（特にTE-ReNN）が、すべてのレベルのアノテーションにおいて、静的モデルや純粋な時間モデルよりも優れた予測を行うことを示す。
  3. 反事実的検出: マルチモーダル信号が、チームワークの低下に関連するイベントを特定するための予測パターンを含んでいることを証明し、偶然よりも有意に高い性能を達成する。

結果

• アノテーションの分布: データセットには中程度のクラス不均衡が見られ、ほとんどの評価は中間からポジティブなスコア（例：OTASのコミュニケーションにおいて、クリップの62.7%が4または5と評価されている）に集中している。これは、記録された手順が概して有能ではあるものの、極めて卓越しているわけではないことを反映している。
• 反事実的知見: 反事実的イベントの約70%は、コミュニケーション、モニタリング、または協力の失敗に関連している。ほとんどのイベントは単一のアクターに起因しており（平均1.3名）、重要度と確信度のスコアは一般に低〜中程度であり、アノテーターはこれらを壊滅的な失敗ではなく、中程度の非効率性と見なしていたことを示唆している。
• モデルの性能:
  • 特徴量のインパクト: ダイアリゼーションとトランスクリプトを利用したモデルは、生のオーディオとコンピュータビジョン特徴量のみを利用したモデルを一貫して上回った。
  • アーキテクチャ: TE-ReNN（Temporal-Relational Neural Networks）は、すべてのタスクにおいて最高のF1-macroスコア（例：OTASで74.2%、BFTQで76.7%）を達成し、時間的進化と対人関係の依存関係を共同でモデリングすることが、外科的チームワークの分析において不可欠であることを裏付けた。
  • 反事実的検出: イベント自体は稀であるにもかかわらず、モデルはランダムな選択を大幅に上回るF1-macroスコアを達成し、これらの説明的信号が学習可能であることを検証した。

意義と主張
本論文は、外科データサイエンスのパラダイムを、単なる記述的なワークフロー・モデリングから、統合された、マルチモーダルで説明可能なチームダイナミクスのモデリングへと移行させることを主張している。生のセンサーデータと高次の社会的構成概念および反事実的な説明を結びつける統一されたリソースを提供することで、本研究は以下を可能にする。

• 個人の行動と相互作用のパターンが、どのように共同でチームの成果に寄与するかという研究。
• チームワークの破綻を特定し、改善を提案できるAI支援型協調システムの開発。
• 高リスク領域における予測モデリングおよび行動分析の基盤。

著者らは、反事実的アノテーションが実験的に検証された因果メカニズムではなく、専門家の判断による妥当な代替案を表していることを謙虚に認めている。また、手動アノテーションへの依存がスケーラビリティを制限することも指摘しており、将来的には半自動化されたパイプラインの探索が必要であるとしている。それにもかかわらず、本リソースは、外科チームのための解釈可能で人間中心のAIに向けた重要なステップとして位置づけられている。