SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

기술 요약: SWoMo – 백내장 수술 시뮬레이션을 위한 신경-기호적 세계 모델

문제 제기
현실적인 수술 시뮬레이션은 초보 외과의사의 훈련과 자율 수술 에이전트 개발에 필수적입니다. "세계 모델 (world models)"은 관찰과 행동을 기반으로 미래 환자 상태를 예측함으로써 확장 가능하고 상호작용적인 시뮬레이션의 길을 제시하지만, 현재 최첨단 접근법들은 임상 적용을 위한 세 가지 핵심 기준을 충족하는 데 어려움을 겪고 있습니다:

1. 시각적 사실성: 시뮬레이터는 종종 복잡한 기구 - 조직 상호작용과 질감을 모델링하는 데 있어 시뮬레이션 - 실제 (sim-to-real) 격차를 최소화하는 데 필요한 충실도가 부족합니다.
2. 물리적으로 기반을 둔 상호작용: 많은 방법론들이 상호작용이 물리 법칙을 준수하도록 보장하지 못하여, 학습된 행동의 고위험 실제 환경으로의 전이성을 제한합니다.
3. 일반화: 기존 모델들은 훈련 분포에其行为가 밀접하게 결합되어 있어, 보이지 않는 도구 기하학, 삽입 각도, 또는 새로운 수술 워크플로우와 같은 분포 외 (OOD) 시나리오에 직면할 때 성능이 크게 저하됩니다.

현재 방법론들은 대개 이 세 가지 영역 중 하나에서만 뛰어납니다. 순수 생성형 비디오 모델들은 단계별 행동 조건부 및 물리적 기반이 부족하고, 전통적인 물리 기반 시뮬레이터들은 종종 시각적 사실성이 부족하며 복잡한 변형을 처리하는 데 어려움을 겪습니다.

방법론
저자들은 백내장 수술을 위한 신경 - 기호적 세계 모델인 SWoMo를 소개하며, 운동 생성과 시각적 사실성을 분리합니다. 이 아키텍처는 두 가지 주요 구성 요소로 구성됩니다:

1. 기호적 구성 요소 (운동 및 역학):

   • 역쌍 전략 (Inverse Pairing Strategy): 시스템은 실제 수술 비디오에서 해부학적 구성 ($k_{anat}$) 과 도구 운동학 ($k_{tool}$) 을 추출합니다. 동공/홍채 타원, 안구 회전/이동과 같은 해부학적 매개변수는 nnU-Net 과 CoTracker 를 사용하여 유도되며, 팁 위치, 방향, 관절과 같은 도구 매개변수는 SASVi 와 SAM2 를 사용하여 복원됩니다.
   • 규칙 기반 시뮬레이터: 추출된 매개변수는 Godot 게임 엔진을 기반으로 구축된 규칙 기반 시뮬레이터를 구동합니다. 이 시뮬레이터는 눈과 수술 도구의 디지털 트윈을 생성하여 시뮬레이션된 프레임 시퀀스 ($\bar{x}$) 와 해당 분할 ($\bar{m}$) 을 생성합니다. 이는 물리적으로 기반을 둔 상호작용과 도구 - 조직 역학에 대한 정밀한 제어를 보장합니다.
   • 기호적 장면 그래프: 시뮬레이션된 프레임과 분할로부터 시스템은 장면 그래프 ($G$) 를 구성합니다. 이러한 그래프는 객체 기하학과 관계 구조 (예: 중심점, 공간적 확산, 광학 흐름) 를 인코딩합니다. 저자들은 구조적 관계와 외관 단서를 포착하기 위해 두 가지 그래프 인코더 (전역 및 로컬) 를 활용하며, 이는 시뮬레이션된 비디오와 실제 비디오 간의 정렬 오류를 완화하기 위한 조건부 신호로 작용합니다.

2. 신경 구성 요소 (시각적 사실성):

   • 비디오 확산 모델: 탈노이즈 확산 모델 ($\epsilon_\theta$) 은 시뮬레이션된 시퀀스 ($\bar{x}$) 와 장면 그래프 ($G$) 를 현실적인 수술 비디오 ($x$) 로 변환합니다.
   • 2 단계 훈련:
     • 1 단계: 모델은 첫 번째 프레임과 장면 그래프에 조건부로 이미지 및 그래프 - 비디오 생성을 학습합니다.
     • 2 단계: ControlNet 기반 접근 방식을 사용하여 전체 시뮬레이션 비디오 시퀀스 ($\bar{x}_{1:n}$) 를 조건부 신호로 통합합니다. 이를 통해 모델은 사전 훈련된 생성적 사전 지식을 방해하지 않으면서 중간 특징을 조절할 수 있어, 시뮬레이션된 운동을 준수하면서도 높은 시각적 충실도를 보장합니다.

주요 기여

• 분리된 아키텍처: SWoMo 는 수술 운동/상호작용 역학 모델링 (기호 시뮬레이터가 처리) 과 시각적 외관 (확산 모델이 처리) 을 명시적으로 분리합니다. 이를 통해 도구 및 해부학적 운동을 정밀하게 보존하면서 데이터로부터 복잡한 질감과 변형을 학습할 수 있습니다.
• 훈련을 위한 역쌍: 저자들은 대규모 쌍을 이룬 시뮬레이션 및 실제 비디오 데이터셋을 생성하기 위해 시뮬레이터에서 실제 수술 비디오를 재구성하는 새로운 전략을 제안합니다. 이는 모든 프레임을 수동으로 주석할 필요 없이 시뮬레이션 - 실제 변환을 위한 비디오 - 비디오 확산 모델의 훈련을 가능하게 합니다.
• 장면 그래프 조건부: 조건부 입력으로 기호적 장면 그래프를 통합하는 것은 객체 정체성을 유지하고 잔류 정렬 오류로 인한 도구 - 조직 경계 근처의 평활화 아티팩트를 줄이는 데 결정적인 것으로 나타났습니다.
• 비지도 스타일 전이: 외관과 독립적으로 기하학과 운동을 인코딩하는 공유 중간 표현 (시뮬레이션된 시퀀스) 을 활용함으로써, SWoMo 는 쌍을 이룬 훈련 데이터 없이도 서로 다른 데이터셋 (예: CATARACTS 및 Cataract-1k) 간의 비지도 비디오 스타일 전이를 가능하게 합니다.

결과
실험은 안전이 중요한 수술 단계에 초점을 맞춰 CATARACTS 및 Cataract-1k 데이터셋에서 수행되었습니다.

• 정량적 성능: SWoMo 는 시각적 충실도 (FID, FVD, LPIPS) 및 조건부 준수 (Bounding Box IoU, F1 점수) 측면에서 여러 베이스라인 (StyleGAN-V, Endora, MedSora, LVDM, MOFA, SG2VID 포함) 을 능가했습니다. 구체적으로, CATARACTS 데이터셋에서 FVD 265.4 및 F1 점수 0.412 를 달성하여 조건부 준수 측면에서 다음으로 가장 좋은 방법 (SG2VID) 을 능가했습니다.
• 어블레이션 연구: 장면 그래프 조건부 (SWoMo-✗SG) 또는 이미지 조건부 (SWoMo-✗IMG) 를 제거하면 측정 가능한 성능 저하가 발생하여, 고충실도 합성 및 준수를 위해 두 구성 요소 모두 필요함을 확인했습니다.
• 일반화: 이 모델은 훈련 데이터에 존재하지 않는 새로운 도구 진입 방향 및 도구 조합을 포함한 보이지 않는 상호작용 기하학에 대한 타당한 결과를 생성하는 능력을 입증했습니다.
• 하류 유틸리티: 수술 단계 인식 (MS-TCN++ 사용) 을 위한 생성형 데이터 증강 도구로 사용될 때, SWoMo 는 실제 데이터만으로 훈련하거나 다른 생성형 방법으로 증강한 경우보다 정확도와 F1 점수를 향상시켰습니다.

의의
이 논문은 SWoMo 가 수술 세계 모델의 임상 적용을 방해해 온 물리적 기반과 시각적 사실성 간의 트레이드오프를 해결한다고 주장합니다. 역학을 위한 규칙 기반 시뮬레이터와 외관을 위한 확산 모델을 결합함으로써 SWoMo 는 세 가지 핵심 기준을 충족합니다: 높은 시각적 사실성을 달성하고, 물리적으로 기반을 둔 상호작용을 보장하며, 훈련 분포를 넘어선 시나리오로 일반화됩니다. 저자들은 이 접근 방식이 복잡한 질감을 수동으로 모델링할 필요가 없음을 통해 시뮬레이터 구현 노력을 줄이면서도 수술 행동에 대한 정밀한 제어를 유지하여, 더 효과적인 훈련 환경과 자율 수술 에이전트 개발을 가능하게 한다고 강조합니다.