Actionable Real-Time Modeling of Surgical Team Dynamics via Time-Expanded Interaction Graphs

본 논문은 시간 확장 상호작용 그래프를 활용하여 팀 역학을 모델링함으로써 수술 절차의 효율성을 예측하고, 수술 중 의사소통 및 조율을 개선하기 위한 실행 가능한 반사실적 통찰력을 생성하는 실시간 수술 AI 시스템을 제안한다.

핵심

수술실 (OR) 을 단순히 수술이 이루어지는 장소가 아니라, 고도의 긴장감이 감도는 오케스트라로 상상해 보세요. 외과 의사, 간호사, 마취과 의사는 악단원들입니다. 수술이 원활하게 진행되려면 그들이 완벽한 조화를 이루어 연주해야 합니다. 만약 바이올리니스트 (외과 의사) 가 드러머 (간호사) 와 템포에 대해 논쟁을 시작하거나, 전체 밴드가 지휘자의 지시를 듣지 않는다면, 음악은 무너지고 공연은 지나치게 길어집니다.

이 논문은 실시간으로 그 오케스트라를 경청하고 어떻게 다시 제자리를 찾게 할지 제안하는 새로운'스마트 지휘자'시스템을 소개합니다.

문제:'침묵하는'인공지능

수술실의 현재 인공지능 시스템은 손만 바라보는 카메라와 같습니다. 외과 의사가 올바르게 절개하고 있는지, 또는 도구가 사용되고 있는지 볼 수는 있지만, 팀의 대화와 조율에는'귀가 먹먹'합니다. 팀이 혼란스러워하거나, 논쟁을 벌이거나, 서로 효과적으로 대화하지 않아 수술이 지연될 수 있다는 사실을 놓칩니다.

저자들은 시간이 궁극적인 성적표라고 주장합니다. 수술이 예상보다 오래 걸린다면, 보통 팀의'오케스트라'가 싱크가 맞지 않다는 뜻입니다. 수술 시간이 길어질수록 환자에게는 위험이 커지고 병원에게는 비용이 훨씬 더 많이 듭니다.

해결책:'시간 확장'지도

이를 해결하기 위해 연구자들은 TE-ReNN이라는 새로운 유형의 인공지능 모델을 개발했습니다. 간단한 비유로 작동 원리를 설명해 보겠습니다.

교통 체증을 이해하려고 한다고 상상해 보세요.

• 기존 인공지능: 교통 상황을 한 장의 사진으로 찍습니다. 차량이 멈춰 서 있는 것은 보지만, 왜 멈췄는지, 또는 지난 10 분 동안 교통 흐름이 어떻게 변했는지는 모릅니다.
• 이 새로운 인공지능: 교통 상황에 대한 3 차원 영화 지도를 구축합니다. 단순히 차량을 보는 것을 넘어, 모든 차량을 다른 모든 차량과 연결하고, 각 차량을 1 분 전, 2 분 전의 자신의 위치와 연결합니다.

논문에서 이는 **시간 확장 상호작용 그래프 (Time-Expanded Interaction Graph)**라고 불립니다.

1. 노드 (사람들): 각 팀원은 지도 위의 점입니다.
2. 엣지 (대화): 누군가 말을 하면, 인공지능은 그 사람을 방 안의 모든 사람과 연결하는 선을 그립니다 (수술실에서는 모두가 서로의 소리를 듣기 때문입니다).
3. 타임라인: 인공지능은 1 분의'점'을 2 분의'점'과 연결합니다. 이를 통해 인공지능은 한 사람의 행동이 어떻게 진화하는지 볼 수 있습니다. 외과 의사가 더 조용해졌나요? 간호사가 소리를 지르기 시작했나요?

이 3 차원 지도를 살펴봄으로써, 인공지능은 인간이 눈으로 명확히 인지하기 전에 수술이 지연될지 예측할 수 있습니다.

"만약에"의 마법: 실행 가능한 조언

이 논문의 가장 멋진 점은 인공지능이 단순히"지연될 것입니다"라고 말하는 데 그치지 않는다는 것입니다. 이는 행동 시뮬레이터처럼 작동합니다.

연구자들은 인공지능에게 질문했습니다. *"수술을 더 빠르게 만들기 위해 팀의 행동에 어떤 가장 작은 변화를 줄 수 있을까요?"*이를 **반사실적 분석 (Counterfactual Analysis)**이라고 합니다.

인공지능은 수천 가지의'만약에'시나리오를 실행합니다.

• 만약 외과 의사가 이 단계와 관련 없는 간호사와 대화를 멈춘다면?
• 만약 팀 리더가'불안하고 격분한'상태 대신'차분하고 협력적인'상태로 바뀐다면?

인공지능은 작은 조정이 매우 중요하다는 사실을 발견했습니다. 예를 들어, 리더가'격분한'상태에서'차분한'상태로 바뀌거나, 현재 작업과 관련 없는 사람들과의 사적인 대화를 멈춘다면, 예측된 수술 시간이 크게 단축됩니다. 논문은 팀 행동 패턴의 단 **10%**만 변경해도 예측된 효율성을 **50%**만큼 향상시킬 수 있다고 주장합니다.

테스트 방법

연구자들은 시뮬레이션된 무릎 수술 데이터셋 (외과 의사를 위한 훈련 비디오 게임과 유사) 으로 이를 테스트했습니다. 4 명에서 6 명으로 구성된 팀이 참여한 27 건의 시뮬레이션 수술을 진행했습니다.

그들은 새로운'시간 확장 지도'인공지능을 이전 방법들과 비교했습니다.

• 기존 인공지능: 사람들과의 연결 없이 특징 (음성 크기 등) 만을 보았습니다.
• 기존 인공지능: 시간을 고려했지만 누가 누구와 대화하는지는 무시했습니다.
• 기존 인공지능: 연결을 고려했지만 시간에 따른 변화를 무시했습니다.

결과: 새로운'시간 확장 지도'인공지능이 명백한 승자였습니다. 수술이 느린지, 중간인지, 빠른지 예측하는 데 가장 뛰어났습니다.

결론

이 논문은 수술실의'음악'을 경청하는 도구를 제시합니다. 단순히 수술을 지켜보는 대신, 시간이 지남에 따라 팀이 어떻게 대화하고 움직이는지 매핑합니다. 이는 지연을 조기에 예측할 뿐만 아니라, 가장 중요한 것은 팀이 수술을 더 빠르고 안전하게 마치기 위해 어떤 작은 행동 변화(예: 덜 말하기 또는 어조 변경) 를 해야 하는지 정확히 알려준다는 점입니다.

참고: 이 논문은 명시적으로 이러한 결과가 시뮬레이션된 절차에 기반하며, '수술 시간'은 성과의 대리 지표임을 밝히고 있습니다. 저자들은 이러한 반사실적 제안이 실제 병원에서 사용되기 전에 실제 의료 전문가들에 의한 검증이 필요하다고 강조합니다.

기술 요약

기술 요약: 시간 확장 상호작용 그래프를 통한 수술 팀 역학의 실행 가능한 실시간 모델링

문제 제기
수술 팀의 성과는 기술적 수행과 의사소통 및 조정과 같은 비기술적 기술 간의 복잡한 상호작용에 의해 결정됩니다. 수술 데이터 과학 (SDS) 은 시각적 워크플로우 모델링과 기술적 기술 평가에서 진전을 이루었지만, 수술 중 팀 역학은 여전히 미흡하게 탐구되어 왔습니다. 기존 접근법들은 종종 시간에 따른 팀 상호작용의 구조화된 표현이 부족하거나 성과 개선을 위한 실행 가능한 지침을 제공하지 못합니다. 또한, 의사소통 단절과 불일치한 작업 할당은 시간적 비효율성을 초래할 수 있으며, 이는 수술 후 위험 증가 및 상당한 운영 비용과 상관관계가 있습니다. 현재 예측 모델들은 제한된 데이터와 팀 크기로 인해 표준 시계열 그래프 신경망이 과적합될 수 있는 수술 팀 특유의 소규모 데이터 환경에서 종종 어려움을 겪습니다.

방법론
저자들은 수술 팀 협업을 고정된 15 초 시간 창을 통해 구성된 다중 모달 상호작용 그래프의 시퀀스로 모델링하는 프레임워크를 제안합니다. 이 접근법의 핵심은 순환 아키텍처에 의존하는 대신 시간적 역학을 직접 그래프 토폴로지에 통합하는 **시간 확장 관계 신경망 (TE-ReNN)**입니다.

1. 상호작용 모델링:

   • 입력: 오디오 - 비디오 녹화에서 추출된 다중 모달 시계열 데이터 (부언어적, 운동, 인간 - 객체 상호작용).
   • 그래프 구성: 각 시간 창 $t$에 대해 스냅샷 그래프 $G_t$를 생성하며, 여기서 노드는 팀 구성원을, 에지는 언어적 의사소통을 나타냅니다. "방송 가정"이 사용됩니다: 한 구성원이 말할 때, 수술실 (OR) 의 공유 음향 환경을 반영하여 다른 모든 현존 구성원에게 방향성 에지가 추가됩니다.
   • 노드 특징: 각 노드는 부언어적 특징 (eGeMAPS 2.0 에서의 음량, 알파 비율, 조화 - 잡음 비율), 운동 특징 (위치, 변위), 인간 - 도구 상호작용 트리플릿, 그리고 기능적 역할을 통합합니다.

2. 시간 확장 그래프 ($G_{TE}$):

   • 이 프레임워크는 시간 전반에 걸쳐 스냅샷 그래프를 연결하여 통합된 그래프 $G_{TE}$를 구성합니다.
   • 스냅샷 내부 에지: 특정 시간 창 내의 의사소통을 포착합니다.
   • 스냅샷 간 정체성 에지: 동일한 팀 구성원의 연속된 시간적 인스턴스 ($v^t_i \to v^{t+1}_i$) 를 연결하여 정체성 연속성을 유지하고 종단적 개인 역학을 모델링합니다.
   • 이 구조는 시간 창 내 팀 구성원 간에 그리고 시간 경과에 따른 개인 궤적을 따라 정보가 전파되도록 합니다.

3. 실행 가능한 반사실 분석:

   • 예측을 넘어설 수 있도록, 시스템은 예측된 결과를 개선하기 위해 필요한 최소한의 변경 사항을 식별하는 반사실 설명을 생성합니다 (구체적으로 수술 시간 단축).
   • 토폴로지 반사실: 조합 최적화 절차가 "느린" 절차를 "중간" 또는 "빠른" 상태로 전환하기 위해 어떤 상호작용 (에지) 을 추가하거나 제거해야 하는지 결정합니다.
   • 특징 수준 반사실: 탐욕 알고리즘이 부언어적 특징의 최소 변경 사항을 식별합니다. 이러한 특징은 8 개의 이산적 행동 클래스 (예: "침착한 리더", "지배적 - 공격적", "위축된") 로 매핑됩니다. 시스템은 팀 구성원의 행동 클래스를 전환하여 예측된 효율성에 미치는 영향을 시뮬레이션합니다.

주요 기여

• TE-ReNN 아키텍처: 시간을 그래프 구조에 직접 임베딩하여 관계적 상호작용과 시간적 진화를 동시에 모델링하는 새로운 신경망 아키텍처로, 소규모 데이터 수술 환경에서의 과적합 위험을 해결합니다.
• 이중 수준 반사실 프레임워크: 토폴로지 수준 (상호작용 구조) 과 특징 수준 (행동 클래스) 모두에서 작동하는 해석 가능한 행동 제안을 생성하는 방법.
• 실험적 검증: 시뮬레이션된 무릎 치환 수술 (MM-OR 데이터셋) 에 대한 평가를 통해 모델이 지연된 중재의 조기 식별을 개선하고 일관된 설명을 제공할 수 있음을 입증했습니다.

결과
27 건의 시뮬레이션 수술 (14 건의 완전한 수술) 에 대해 팀 하나를 제외하고 수행하는 leave-one-team-out 프로토콜을 사용하여 실험을 수행했습니다.

• 예측 성능: TE-ReNN 모델은 정적 신경망 (SNN), 시계열 신경망 (TNN), 관계 신경망 (ReNN), 그리고 결합된 시계열 - 관계 네트워크 (TReNN) 를 포함한 기준 모델들과 비교하여 가장 높은 매크로 F1 점수 (70.1%) 를 달성했습니다. 이는 행동 특징, 시간적 의존성, 관계적 그래프 구조를 통합적으로 모델링하는 것이 이러한 구성 요소를 별도로 처리하는 것보다 우수한 성능을 산출함을 확인시켜 줍니다.
• 반사실 통찰:
  • 토폴로지: 분석에 따르면, "민주적 리더" 역할을 하는 외과 의사가 현재 작업에 직접 관여하지 않은 구성원들과 대화를 나눌 때 지연이 종종 발생하며, 반면 "독재적"인 작업 집중은 더 빠른 수술과 상관관계가 있는 것으로 나타났습니다.
  • 특징 수준: 모델은 시간 창 동안 팀 구성원의 행동 클래스를 **10%**만 수정하는 것만으로도 예측된 성능이 약 50% 증가할 수 있음을 식별했습니다. "침착한 리더" 행동은 특정 맥락에서 지연과 유의미하게 연관되었으며, 다른 행동 전환들은 효율성 향상의 가능성을 보여주었습니다.

의의 및 주장
이 논문은 수술용 AI 를 실시간, 팀 인식, 실행 가능한 의사결정 지원 방향으로 발전시킨다고 주장합니다. 수술 시간을 팀 성과의 대리 변수로 규정함으로써, 이 작업은 단순히 결과를 예측하는 것을 넘어 원하는 결과를 달성하기 위해 팀의 의사소통과 행동을 어떻게 수정할 수 있는지에 대한 구체적이고 해석 가능한 제안을 제공하는 시스템을 제공합니다. 저자들은 이 접근법이 고위험 환경에서 예측 정확도와 실행 가능한 피드백 사이의 간극을 해소한다고 강조합니다.

한계점
저자들은 수술 시간이 팀 성과의 직접적인 측정치가 아니라 근사치임을 인정합니다. 또한, 생성된 반사실 설명의 실제 유용성은 분야 전문가들에 의한 추가 검증이 필요하며, 현재 범위는 특정 모달리티와 시뮬레이션된 수술로 제한되어 있습니다.