TopoOR: A Unified Topological Scene Representation for the Operating Room

이 논문은 기존 이항 관계의 한계를 극복하고 수술실의 고차원적 토폴로지 구조를 보존하여 다중 모달 데이터의 정밀한 구조를 유지하면서도 안전-중요 추론 성능을 향상시키는 새로운 통합 토폴로지 장면 표현 'TopoOR'을 제안합니다.

핵심

수술실의 '우주'를 이해하는 새로운 지도: TopoOR

이 논문은 수술실이라는 복잡한 공간을 이해하고 분석하기 위해 기존 방식의 한계를 뛰어넘는 새로운 방법론인 TopoOR를 소개합니다.

기존의 기술들은 수술실을 이해할 때 마치 **'사람과 사물 사이의 2 인 관계'**만 보는 것처럼 단순하게 접근했습니다. 하지만 실제 수술은 의사가 로봇을 조종하고, 로봇이 환자를 치료하며, 간호사가 도구를 건네는 등 여러 요소가 동시에 얽힌 **'복합적인 상황'**입니다.

이 논문은 이를 해결하기 위해 수술실을 하나의 거대한 '입체적인 구조물'로 보는 새로운 시선을 제시합니다.

---

1. 기존 방식의 문제점: "2 인 관계"의 함정

기존의 기술 (그래프 기반 모델) 은 수술실을 이해할 때 **'A 는 B 와 관계가 있다'**는 식의 2 인 관계 (예: 의사가 로봇을 만진다) 만 기록했습니다.

• 비유: 마치 한 편의 영화를 이해하려 할 때, 등장인물들 사이의 대화만 기록하고 "누가 누구를 도와주면서 어떤 장면을 함께 연출했는지"라는 전체적인 흐름을 무시하는 것과 같습니다.
• 문제점: 수술 중에는 의사가 로봇을 조종하면서 동시에 모니터를 보고, 환자를 치료합니다. 이 모든 것이 동시에 일어나는 하나의 사건인데, 기존 기술은 이를 잘게 쪼개어 '의사-로봇', '의사-모니터', '로봇-환자'로 나누어 버립니다. 이렇게 되면 중요한 **전체적인 맥락 (Context)**이 사라져버립니다.

2. TopoOR 의 해결책: "입체적인 구조물"로 보기

저자들은 수술실을 단순한 관계의 나열이 아니라, **수준이 다른 여러 층위가 겹쳐진 '입체적인 구조물 (Topological Complex)'**로 모델링했습니다.

• 비유:
  • 기존 방식: 레고 블록 하나하나를 나열하는 것.
  • TopoOR 방식: 레고 블록들을 조립해서 **완성된 성 (Castle)**을 보는 것.
  • 이 '성' 안에는 개별 블록 (의사, 로봇, 환자) 도 있지만, 이들이 모여 만든 **방 (Room)**이나 층 (Floor) 같은 더 큰 단위도 존재합니다.

이 방식은 개별 요소 (Rank-0), 두 요소의 연결 (Rank-1), 그리고 **세 개 이상의 요소가 만드는 복합적인 행동 (Rank-2)**을 모두 동시에 파악할 수 있게 해줍니다.

3. 어떻게 작동할까? "지능적인 신경망"

이 복잡한 구조를 이해하기 위해 **HAT(Higher-Order Attention Network)**라는 새로운 기술을 사용했습니다.

• 비유: 교실에서의 상황을 상상해 보세요.
  • 기존 방식: 선생님이 학생 A 와 학생 B 의 대화만 듣고, 학생 C 와 학생 D 의 대화만 따로 듣습니다.
  • TopoOR 방식: 선생님이 전체 교실의 분위기를 한눈에 봅니다. "A 가 B 를 도와주면서 C 가 C 를 바라보고 있다"는 그룹 전체의 상황을 동시에 이해합니다.
  • 이 기술은 3D 영상, 로봇의 움직임 데이터, 수술실의 소리 (오디오) 등 다양한 정보를 서로 다른 층위에서 자연스럽게 연결하여, 어떤 정보가 어디서 왔는지 (예: 의사의 손동작인지, 로봇의 소리인지) 구분하면서도 전체적인 흐름을 파악합니다.

4. 왜 이것이 중요한가? (실제 효과)

이 새로운 방식은 수술실의 안전과 효율성을 높이는 데 큰 도움을 줍니다.

1. 실수 방지 (무균 상태 위반 감지):
   • 비전문가 (예: 기술자) 가 무균 구역 (환자 주변) 에 너무 가까이 다가가는 것을 실시간으로 감지합니다. 기존 방식은 '사람과 사람'의 거리만 재지만, TopoOR 는 '사람, 도구, 공간'이 만들어내는 전체적인 안전 구역을 이해하므로 더 정확하게 위험을 예측합니다.
2. 다음 행동 예측:
   • "의사가 지금 칼을 들었으니, 다음에는 로봇이 움직일 것이다"라고 예측할 때, 단순히 두 가지의 관계만 보는 것이 아니라 환자, 로봇, 도구, 간호사가 만들어내는 그룹의 흐름을 보고 예측하므로 훨씬 정확합니다.
3. 빠른 처리 속도:
   • 거대한 인공지능 (LLM) 을 사용하는 기존 방식보다 훨씬 가볍고 빠릅니다. 수술 중에는 **실시간 (Real-time)**으로 반응해야 하므로, 이 속도는 매우 중요합니다.

5. 결론: 수술실을 보는 새로운 눈

이 논문은 **"수술실은 단순한 관계의 합이 아니라, 복잡한 입체적인 구조물이다"**라고 말합니다.

TopoOR 는 수술실의 모든 요소 (사람, 로봇, 소리, 영상) 를 하나의 거대한 입체 지도로 그려냅니다. 이 지도를 통해 우리는 수술실의 복잡한 춤을 더 잘 이해하고, 환자의 안전을 지키며, 수술의 효율을 높일 수 있게 됩니다.

한 줄 요약:

"기존에는 수술실의 '대화'만 들었지만, TopoOR 는 수술실 전체의 '연극'을 한눈에 보게 해주는 새로운 안경을 제공합니다."

기술 요약

1. 문제 정의 (Problem Statement)

수술 데이터 과학 (Surgical Data Science) 분야에서 수술실 (OR) 의 복잡성을 추상화하기 위해 기존에 **수술 장면 그래프 (Surgical Scene Graphs, SSGs)**가 사용되어 왔으나, 다음과 같은 근본적인 한계가 존재합니다.

• 이항적 (Dyadic) 구조의 한계: 기존 그래프 기반 방법론은 개체 간의 관계를 '쌍 (Pairwise)' 단위로만 모델링합니다. 그러나 실제 수술은 외과 의사, 로봇, 수술 도구, 환자, 모니터 등 여러 주체가 동시에 상호작용하는 다항적 (Polyadic) 과정입니다. 이를 단순한 이항 링크로 분할하면 공간적 및 운동학적 제약 (Kinematic constraints) 이 손실되어 상호작용의 통합된 맥락을 왜곡합니다.
• 다중 모달리티 (Multimodality) 의 기하학적 왜곡: 수술실 데이터는 3D 인간 모션 (SE(3)), 로봇 관절 운동학, 오디오 스펙트로그램, RGB 영상 등 서로 다른 기하학적 다양체 (Manifold) 위에 존재합니다. 기존 방법론 (특히 VLM 기반) 은 이러한 이질적인 데이터를 단일 잠재 공간 (Latent Space) 으로 매핑하기 위해 토큰화 (Tokenization) 를 수행하는데, 이 과정에서 데이터의 본질적인 기하학적 구조와 위상적 (Topological) 구조가 평탄화 (Flattening) 되어 소실됩니다. 이는 안전-중요 (Safety-critical) 인 추론 작업에 치명적입니다.

2. 방법론 (Methodology)

저자들은 수술실을 **고차 위상 구조 (Higher-order Topological Structure)**로 모델링하는 새로운 프레임워크인 TopoOR를 제안합니다.

가. 조합 복합체 (Combinatorial Complex, CC) 기반 표현

기존의 그래프를 일반화한 **조합 복합체 (CC)**를 사용하여 수술 장면을 표현합니다.

• Rank-0 (셀): 물리적 개체 (신체 관절, 로봇, 도구) 및 증거 데이터 (오디오, 로봇 로그, 화면 캡처) 를 노드로 정의합니다.
• Rank-1 (간선): 개체 간의 상호작용 (인체 골격, 물리적 근접성, 의미적 연결) 을 정의합니다.
• Rank-2 (고차 셀): 단일 개체가 아닌 **그룹 동역학 (Group Dynamics)**을 포착합니다. 예를 들어, {외과 의사, 로봇, 톱, 환자}가 하나의 기능적 하이퍼셀 (Functional Hypercell) 로 묶여, 이 그룹이 형성하는 고차 상호작용을 직접 모델링합니다.

나. 고차 어텐션 네트워크 (Higher-Order Attention Network, HAT)

기존 그래프 어텐션 (GAT) 을 CC 구조로 확장한 HAT를 도입합니다.

• 연결 구조: 메시지는 단순한 인접 노드 간이 아니라, 복합체의 연결성 (Incidence) 구조를 따라 흐릅니다.
  • 경계 (Boundary): 하위 차원 셀에서 상위 차원 셀로 개체 수준의 특징이 전파됩니다.
  • 공경계 (Co-boundary): 상위 차원 셀에서 하위 차원 셀로 집계된 그룹 맥락이 분배됩니다.
• 랭크 편향 (Rank-Bias): 소스와 타겟 셀의 위상적 관계 (Rank) 에 따라 가중치를 조절하는 학습 가능한 편향을 도입하여, 서로 다른 모달리티 (예: 인간 운동학 vs 그룹 행동) 간의 정보 흐름을 구조적으로 보존합니다.

다. 다중 모달 데이터 구축 및 학습

• 입력: 멀티 뷰 RGB, 3D 포즈 추정, 로봇 로그, 오디오 등을 통합하여 CC 를 구성합니다.
• 학습: 엔드 - 투 - 엔드 (End-to-End) 방식으로 훈련되며, 다음 행동 예측 (Next Action Anticipation), 로봇 단계 예측 (Robot Phase Prediction), 무균 위반 감지 (Sterility Breach Detection) 를 동시에 수행하는 멀티 태스크 학습을 수행합니다.

3. 주요 기여 (Key Contributions)

1. TopoOR 프레임워크 도입: 수술 장면을 고차 위상 구조로 모델링하는 통일된 프레임워크를 제시했습니다. 이는 기존 이항 그래프의 한계를 극복하고 다중 주체 간의 복잡한 동역학을 구조와 의미 손실 없이 포착합니다.
2. 고차 어텐션 메커니즘 (HAT): 위상적 연결성을 명시적으로 보존하는 어텐션 메커니즘을 통해 3D 기하학, 오디오, 로봇 운동학 등 이질적인 모달리티를 단일 잠재 공간으로 강제 병합하지 않고도 효과적으로 통합합니다.
3. 표현력 (Expressiveness) 증명: 제안된 고차 표현이 기존 장면 그래프를 포함 (Subsume) 하는 것을 입증했습니다. 즉, 고차 구조를 기반으로 학습된 모델이 평탄화된 토큰 기반 레이블을 예측하는 데도 기존 방법론보다 우수한 성능을 보입니다.

4. 실험 결과 (Results)

MM-OR 데이터셋을 사용하여 다양한 태스크에서 평가되었습니다.

• 성능 비교 (Table 1):
  • 무균 위반 감지 (Sterility Breach Detection): 3D 기반 방법론들이 텍스트 기반 LLM(MM2SG, 55.00%) 보다 월등히 높은 성능 (76.83%) 을 보였습니다.
  • 다음 행동 예측 (Next Action Anticipation): TopoOR 는 **41.10%**의 F1 점수를 기록하여, 기존 Transformer(34.80%) 및 GNN 기반 방법 (37.46%) 을 능가했습니다. 이는 고차 셀 (Rank-2) 이 다중 에이전트 동역학을 잘 포착했음을 의미합니다.
  • 로봇 단계 예측 (Robot Phase Prediction): **73.53%**의 SOTA 성능을 달성했습니다.
• 표현력 검증 (Table 2): TopoOR 의 위상적 표현을 문자열 기반 장면 그래프 형식으로 축소했을 때, 학습된 헤드를 통해 기존 LLM 베이스라인 (52.90%) 보다 높은 **61.30%**의 F1 점수를 기록하여 richer relational information 을 보유함을 입증했습니다.
• 효율성: 파라미터 수 (12M) 와 추론 시간 (59ms) 면에서 대규모 LLM 기반 모델 (7B 파라미터, 194ms) 보다 훨씬 가볍고 실시간 적용에 적합합니다.
• 모달리티 제거 실험 (Ablation): 3D 기하학적 정보만으로는 성능이 낮았으나, RGB, 로봇 로그, 오디오, 시간적 맥락이 추가될수록 성능이 지속적으로 향상되어 TopoOR 의 다중 모달 통합 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 안전-중요한 수술 환경에서의 구조적 보존: TopoOR 는 수술실의 물리적 현실과 기하학적 구조를 위상학적으로 보존함으로써, 단순한 패턴 인식을 넘어 안전-중요한 (Safety-critical) 의사결정 (예: 무균 위반 감지) 에 필수적인 구조적 맥락을 제공합니다.
• 새로운 패러다임: 단순한 개체 간 관계를 넘어, 수술이라는 복잡한 다중 주체 상호작용을 '고차 위상 셀'로 모델링함으로써 수술 데이터 과학의 새로운 방향성을 제시합니다.
• 실시간 적용 가능성: 경량화된 아키텍처와 높은 정확도로 인해 수술 중 (Intra-operative) 실시간 보조 시스템으로서의 실용성을 갖춥니다.

이 논문은 수술 장면 이해를 위해 **위상 심층 학습 (Topological Deep Learning)**을 도입하여, 기존 방법론이 놓치고 있던 '집합적 상호작용'과 '기하학적 구조'를 동시에 해결하는 획기적인 접근법을 제시했습니다.