Towards Actionable Surgical Team Dynamics: from Teamwork to Counterfactual Annotations

기술 요약: 실행 가능한 수술 팀 역학을 향하여

문제 정의
수술실(OR)과 같은 고위험 환경에서 효과적인 팀워크는 환자의 안전에 결정적이며, 이는 의사소통, 조정, 상황 인식과 같은 비기술적 능력에 크게 의존한다. 최근의 수술 데이터 과학 발전은 다중 모달 데이터셋(예: Cholek80, MM-OR)을 생성해 왔으나, 이러한 자원들은 주로 시각적 장면 이해, 절차 단계 인식 및 동작 탐지에 집중되어 있다. 이들은 화자별 대화 구조, 비기술적 기술 평가, 상호작용 붕괴의 역학 등 팀 차원의 현상을 통합적으로 표현하는 데 한계가 있다. 또한, 기존 데이터셋은 모달리티와 주석 체계가 파편화되어 있는 경우가 많으며, 팀워크 성능이 왜 저하되는지에 대한 설명적 통찰을 거의 제공하지 못한다. 현재의 계산 모델들은 팀 성능을 단일 점수로 축소하여 개인, 대인 관계 및 집단적 과정 사이의 복잡한 상호작용을 간과하며, 임상 환경에서 신뢰와 개입에 필요한 해석 가능한 설명을 제공하지 못한다.

방법론
저자들은 로봇 무릎 치환술의 동기화된 다중 모달 기록을 포함하는 공개 데이터셋인 MM-OR의 포괄적인 확장을 제안한다. 방법론은 세 가지 주요 기술 구성 요소로 이루어진다:

1. 다중 모달 강화 파이프라인:

   • 화자 분리(Speaker Diarization): 노이즈가 많은 수술실 환경에서 높은 시간적 정확도를 보장하기 위해 화자 전환을 수동으로 정밀화하여, 발화 순서, 방해(interruption), 참여 균형 분석을 가능하게 한다.
   • 이중 언어 전사(Bilingual Transcription): 주석 검토 및 교차 언어 모델링을 용이하게 하기 위해 정렬된 독일어(원본) 및 영어 전사본을 생성한다.
   • 데이터 구조: 본 리소스는 5개의 RGB-D 카메라, 3개의 RGB 카메라, 3개의 마이크, 로봇 로그 및 3D 트래킹을 포함하며, 모두 1 FPS로 정렬된 하드웨어 동기화 모달리티를 유지한다.

2. 다층 주석 프레임워크:
   저자들은 세 명의 전문가가 확립된 프레임워크를 사용하여 주석을 달은 169개의 6분 비디오 클립을 다루는 계층적 주석 스키마를 도입한다:

   • 팀 차원(Team-Level): OTAS(수술을 위한 관찰적 팀워크 평가)를 활용하여 5가지 구성 요소(의사소통, 조정, 협력, 리더십, 모니터링)를 0–6 리커트 척도로 평가한다.
   • 상호작용 차원(Interaction-Level): 인간 전용 팀에 대한 HMT(인간-기계 팀워크) 프레임워크를 적용하여 5가지 거시 범주(의사소통, 공동 정보 처리, 조정, 대인 관계, 동기 부여)에 걸친 쌍별 상호작용을 평가한다.
   • 개인 차원(Individual-Level):
     • 역동적(Dynamic): NOTSS(외과의를 위한 비기술적 기술)를 사용하여 상황 인식, 의사 결정, 의사소통/팀워크, 리더십을 평가한다.
     • 정적/안정적(Static/Stable): BFTQ(팀워크 내 빅파이브), SYMLOG(리더십/대인 관계 행동), GLIS(일반 리더십 인상 척도)를 통합하여 안정적인 특성과 창발적 리더십을 포착한다.

3. 반사실적 주석 레이어(Counterfactual Annotation Layer):
   주석가가 세그먼트 내에서 팀워크에 가장 부정적인 영향을 미친 특정 이벤트나 행동을 식별하는 새로운 기여 요소이다. 이 주석에는 다음이 포함된다:

   • 시간적 구간: 트리거 이벤트의 짧은 지속 시간.
   • 귀속(Attribution): 영향을 받은 팀 구성 요소 및 책임 있는 행위자(들)의 식별.
   • 품질 등급: 1–5 서수 척도로 평가된 5가지 차원: 중요성(성능에 미치는 영향), 타당성(대안의 현실성), 확신도(주석가의 확실성), 최소성(변화의 충분성), 기대 개선 효과(잠재적 성능 향상).
   • 근거(Rationales): 이벤트, 결과 및 제안된 대안 행동을 설명하는 텍스트 기반 설명.

주요 기여

• 강화된 다중 모달 데이터셋: 화자 인식 및 언어 인식 표현(화자 분리 및 이중 언어 전사본)을 원시 다중 모달 신호와 결합한 최초의 공개 수술실 데이터셋이다.
• 다층 주석 프레임워크: 검증된 여러 이론적 프레임워크(OTAS, HMT, NOTSS, BFTQ, SYMLOG, GLIS)로부터 도출된 팀 차원, 상호작용 차원 및 개인 차원의 평가를 동시에 제공하는 통합 리소스이다.
• 반사실적 주석 프로토콜: 기술적(descriptive) 점수를 넘어 특정 행동 트리거와 타당한 대안적 결과를 식별함으로써 팀워크 저하에 대한 설명적 신호를 포착하는 새로운 레이어이다.
• 벤치마크 과제: 논문은 세 가지 뚜렷한 연구 방향에 대한 베이스라인 성능을 설정한다:
  1. 특징 강화: 화자 인식 및 전사 기반 표현의 유용성을 경험적으로 평가하고 정량화하여, 이들이 원시 오디오/비주얼 특징보다 보완적인 정보를 제공하고 팀워크 예측을 개선함을 입증한다.
  2. 다층 예측: TE-ReNN(시간-관계 신경망)이 정적 및 순수 시간 모델보다 모든 주석 수준에서 구성 요소를 예측하는 데 더 우수함을 보여준다.
  3. 반사실적 탐지: 다중 모달 신호가 팀워크 저하와 관련된 이벤트를 식별하기 위한 예측 패턴을 포함하고 있음을 증명하며, 우연 수준을 크게 상회하는 성능을 달行한다.

결과

• 주석 분포: 데이터셋은 중간-긍정 점수에 대부분의 등급이 집중되어 있는(예: OTAS 의사소통 항목에서 클립의 62.7%가 4 또는 5로 평가됨) 완만한 클래스 불균형을 보인다. 이는 기록된 절차들이 일반적으로 유능하지만 독보적이지는 않은 팀 성능을 반영한다.
• 반사실적 통찰: 약 70%의 반사실적 이벤트가 의사소통, 모니터링 또는 협력 실패와 관련되어 있다. 대부분의 이벤트는 단일 행위자(평균 1.3명)에 의해 발생하며, 중요성 및 확신도 점수는 일반적으로 낮거나 중간 수준으로, 주석가들이 이를 파멸적인 실패라기보다는 중간 정도의 비효율성으로 간주했음을 시사한다.
• 모델 성능:
  • 특징 영향: 화자 분리와 전사를 활용한 모델이 원시 오디오 및 컴퓨터 비전 특징만을 사용한 모델보다 일관되게 우수한 성능을 보였다.
    로 TE-ReNN(Temporal-Relational Neural Networks)은 모든 과제에서 가장 높은 F1-macro 점수(예: OTAS 74.2%, BFTQ 76.7%)를 달성하여, 시간적 진화와 대인 관계 의존성을 공동으로 모델링하는 것이 수술 팀워크 분석에 필수적임을 확인했다.
  • 반사실적 탐지: 이벤트의 희소성에도 불구하고, 모델은 무작위 확률을 훨씬 상회하는 F1-macro 점수를 달성하여 이러한 설명적 신호의 학습 가능성을 입증했다.

의의 및 주장
본 논문은 수술 데이터 과학의 패러다임을 순수하게 기술적인 워크플로우 모델링에서 통합적이고 다중 모달하며 설명 가능한 팀 역학 모델링으로 전환한다고 주장한다. 원시 센서 데이터와 고차원 사회적 구성 요소 및 반사실적 설명을 연결하는 통합 리소스를 제공함으로써, 본 연구는 다음을 가능하게 한다:

• 개별 행동과 상호작용 패턴이 팀 성과에 어떻게 공동으로 기여하는지에 대한 연구.
• 팀워크 붕괴를 식별하고 개선을 제안할 수 있는 AI 지원 협업 시스템의 개발.
• 고위험 영역에서의 예측 모델링 및 행동 분석을 위한 토대 마련.

저자들은 반사실적 주석이 실험적으로 검증된 인과 기제라기보다 전문가의 판단에 의한 타당한 대안을 나타낸다는 점을 겸허히 인정한다. 또한 수동 주석에 대한 의존도가 확장성을 제한할 수 있음을 언급하며, 향후 연구에서 준자동화된 파이프라인을 탐구할 수 있음을 시사한다. 그럼에도 불구하고, 이 리소스는 수술 팀을 위한 해석 가능하고 인간 중심적인 AI를 향한 중요한 단계로 자리매김하고 있다.