SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation

이 논문은 언어 프롬프트, 참조 수술 장면, 조직 affordance 마스크, 2D 도구 팁 궤적이라는 네 가지 경량 신호로 조건부 비디오 확산 모델을 학습하여 현실적이고 시간적으로 일관된 수술 행동 영상을 생성하는 'Surgical Action World (SAW)'를 제안하며, 이를 통해 희귀 수술 행동 데이터 증강 및 수술 시뮬레이션의 정확도를 획기적으로 개선함을 보여줍니다.

핵심

🎬 1. 핵심 아이디어: "수술실이라는 무대 위의 '마법 같은 영화 제작자'"

지금까지 수술용 인공지능은 실제 수술 영상을 많이 봐야만 배울 수 있었습니다. 하지만 실제 수술 영상은 구하기 어렵고, 드문 수술 상황 (예: 드문 합병증) 은 거의 없습니다. 마치 드라마 배우가 배우기 위해 실제 전쟁터를 직접 경험해야 하는 것처럼 비효율적이죠.

SAW는 이 문제를 해결합니다.

**"수술실이라는 무대 위에, 우리가 원하는 대로 배우 (수술 도구) 를 움직이게 하고, 배경을 바꾸며, 진짜처럼 보이는 장면을 만들어내는 AI 감독"**이라고 생각하세요.

이 AI 는 실제로 수술을 하지 않아도, 텍스트 설명과 간단한 그림만 입력하면 "칼로 조직을 자르는 장면"이나 "집게로 피를 멈추는 장면"을 실제 수술 영상처럼 완벽하게 만들어냅니다.

---

🛠️ 2. 어떻게 작동할까요? (4 가지 '조작 레버')

이 AI 가 영상을 만들 때, 전문가들이 복잡한 데이터를 다 입력할 필요 없이 **4 가지 가벼운 신호 (조작 레버)**만 주면 됩니다.

1. 대본 (언어 프롬프트): "로봇 수술 기구가 담낭 절제술을 하고 있다"라고 텍스트로 알려줍니다.
2. 배경 사진 (참고 프레임): 수술실의 첫 장면을 보여줍니다. (무대 배경 설정)
3. 접촉 지도 (조직 affordance 마스크): "도구가 어디에 닿아야 하는지"를 표시한 그림입니다. (예: "이 붉은 부분은 피가 나는 조직이니 조심해")
4. 연필로 그린 궤적 (2D 도구 궤적): 수술 도구가 움직일 경로를 점선으로 그립니다. (예: "이렇게 움직여라")

이 네 가지만 있으면, SAW 는 실제 수술실처럼 생생한 영상을 뚝딱 만들어냅니다.

---

🌟 3. 기존 기술과 무엇이 다를까요? (비유: "조종석")

기존 기술들은 다음과 같은 한계가 있었습니다.

• 과거의 기술: 매 프레임마다 복잡한 마스크를 그려 넣거나, 무거운 3D 데이터를 입력해야 했습니다. (마치 비행기 조종사가 매 초마다 엔진을 수동으로 조절해야 하는 것처럼 번거로움)
• SAW 의 기술: 위에서 말한 4 가지 가벼운 신호만 주면 됩니다. (마치 비행기 조종사가 핸들만 살짝 돌리면 AI 가 자동으로 비행 경로를 유지하는 것처럼 쉽고 빠름)

또한, SAW 는 시간의 흐름에 따른 일관성이 매우 뛰어납니다.

• 다른 AI 들은 영상이 길어지면 도구가 갑자기 사라지거나, 조직이 비현실적으로 찢어지기도 했습니다.
• SAW 는 깊이 (Depth) 정보를 학습 과정에서 '가상'으로 배워두었습니다. (실제 3D 깊이 데이터를 입력하지 않아도, AI 가 "이건 3D 공간이니까 이렇게 움직여야 해"라고 스스로 추론하는 능력) 덕분에 도구가 조직을 찌르거나 자르는 모습이 매우 자연스럽고 안전해 보입니다.

---

🚀 4. 이 기술로 무엇을 할 수 있나요? (두 가지 실용적인 예)

① "드문 수술 상황"을 위한 훈련용 데이터 만들기 (수술 AI 교육)

• 문제: AI 가 '칼로 자르는 (Cutting)'이나 '클립을 다는 (Clipping)' 같은 드문 수술 행동을 배우기엔 실제 데이터가 너무 부족합니다. (마치 비행기 조종사 훈련용 시뮬레이터에 '비행기 엔진 고장' 상황이 없어서, 실제 엔진 고장을 겪어봐야만 대처법을 아는 것과 같습니다.)
• 해결: SAW 를 이용해 드문 수술 장면 200~300 개를 가상으로 만들어서 AI 훈련 데이터에 추가했습니다.
• 결과: 그 결과, 실제 수술 영상에서 드문 행동을 찾아내는 AI 의 정확도가 20% 에서 43% 로, 0% 에서 8% 로 크게 향상되었습니다.

② "가상 현실 수술 시뮬레이터"의 눈 (외과의사 훈련)

• 문제: 기존 수술 시뮬레이터는 로봇 팔의 움직임은 잘 따라가지만, 살이 찢어지거나 피가 나는 모습이 너무 어색하고 기계적입니다. (마치 인형극처럼 딱딱하고 부자연스러운 움직임입니다.)
• 해결: 시뮬레이터에서 로봇 팔의 움직임을 SAW 에 입력하면, SAW 가 살이 찢어지고 피가 흐르는 아주 리얼한 영상을 실시간으로 만들어냅니다.
• 효과: 외과의사들이 실제 수술 전에, 가상 세계에서 매우 현실적인 훈련을 할 수 있게 됩니다.

---

💡 요약

이 논문은 **"수술실이라는 무대에서, 우리가 원하는 대로 장면을 연출할 수 있는 AI 감독 (SAW)"**을 개발했습니다.

• 기존: 복잡한 데이터 입력, 비현실적인 움직임, 드문 상황 학습 불가.
• SAW: 간단한 신호로 리얼한 영상 생성, 시간 흐름에 따른 자연스러운 움직임, 드문 수술 상황도 쉽게 만들어냄.

이 기술은 수술실 AI 의 지능을 높여주고, 외과의사들이 더 안전하게 훈련할 수 있는 가상 현실을 만들어주며, 궁극적으로는 더 안전하고 정교한 수술을 가능하게 할 것입니다. 마치 수술실이라는 무대에 '마법 같은 영화 제작자'를 영입한 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

수술 AI 및 시뮬레이션 분야에서 **'수술 세계 모델 (Surgical World Model)'**은 현실적인 수술 행동 비디오를 생성하고 도구 - 조직 상호작용을 정밀하게 제어할 수 있어야 합니다. 이는 데이터 부족 문제 해결, 희귀 사건 합성, 그리고 시뮬레이션과 현실 간의 격차 (Sim-to-Real Gap) 해소 등에 필수적입니다.

그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 높은 비용 및 확장성 부족: HieraSurg 은 프레임별 세그멘테이션 마스크와 같은 고비용 주석이 필요하고, SG2VID 는 추론 시 조작이 어려운 복잡한 시공간 장면 그래프에 의존합니다.
• 일관성 및 현실성 부족: SurgSora 와 같은 궤도 기반 접근법은 추론 창 (inference window) 이 제한적이며, 복잡한 복강경 장면에서 시간적 일관성 (temporal consistency) 을 유지하는 데 어려움을 겪습니다.
• 깊이 정보 부재: 많은 모델이 2D 정보에만 의존하여 중요한 해부학적 구조물 간의 기하학적 타당성 (depth consistency) 을 보장하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 **SAW (Surgical Action World)**를 제안하며, 이는 경량화된 4 가지 신호에 조건부 (conditioned) 로 비디오 확산 (video diffusion) 을 수행하여 제어 가능하고 확장성 있는 수술 행동 합성을 가능하게 합니다.

핵심 구성 요소:

1. 4 가지 경량 조건부 신호 (Lightweight Conditioning Signals):

   • 언어 프롬프트 (Language Prompt): 도구 및 행동 맥락을 인코딩 (예: "로봇 다빈치 가위 가 담낭 절제술 중 절단 수행").
   • 참조 프레임 (Reference Frame): 장면의 외관을 고정하는 첫 번째 프레임.
   • 조직 어포던스 마스크 (Tissue Affordance Mask): 도구 - 조직 상호작용이 발생할 영역을 지정하는 2D 이진 맵.
   • 2D 도구 팁 궤적 (2D Tool-tip Trajectory): 수술 장면 내 도구 끝단의 2D 이동 경로.

2. 모델 아키텍처:

   • Backbone: 다중 모달 조건부 (텍스트, 비디오, 이미지) 를 지원하는 LTX-Video를 기반으로 합니다.
   • 학습 전략: **IC-LoRA (In-Context Low Rank Adaptation)**를 사용하여 12,044 개의 복강경 클립으로 파인튜닝합니다.
   • Depth Consistency Loss (LDC): 추론 시에는 깊이 정보를 입력하지 않지만, 학습 단계에서는 Depth Anything V2로 생성된 깊이 맵을 활용합니다.
     • 확산 트랜스포머의 노이즈 제거 (denoised) RGB 토큰을 사용하여 마스킹된 깊이 잠재 변수 (latent) 를 재구성합니다.
     • Smooth L1 Loss를 사용하여 기하학적 일관성을 강제하며, 3 차원 (Z 축) 운동의 물리적 타당성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 커스텀 데이터셋 구축: 101 개의 수술 비디오 (HeiChole, Cholec80, SurgVU, CRCD 등) 에서 추출한 12,044 개의 복강경 클립으로 구성된 데이터셋을 제공합니다. 이는 비디오 수준의 도구 - 행동 라벨, 조직 어포던스, 프레임별 도구 팁 궤적 등 풍부한 시공간 주석을 포함합니다.
2. 제어 가능한 비디오 확산 프레임워크: 궤도 기반 수술 행동 합성을 위해 비디오 - 투 - 비디오 (video-to-video) 확산을 재정의하고, 추론 시 깊이 입력 없이도 기하학적 타당성을 보장하는 Depth Consistency Loss를 도입했습니다.
3. 하류 응용 분야 실증:
   • 수술 AI: 희귀 행동 (절단, 클리핑) 을 SAW 로 생성된 비디오로 증강하여 실제 테스트 데이터에서의 행동 인식 성능을 획기적으로 향상시켰습니다.
   • 수술 시뮬레이션: 시뮬레이터에서 추출된 도구 궤적과 조직 어포던스를 기반으로 시각적으로 충실한 도구 - 조직 상호작용 비디오를 렌더링하여 시뮬레이션 엔진으로의 활용 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: SAW 는 기존 모델 (WAN, LTXb, SurgSora) 대비 최고의 성능을 기록했습니다.
  • CD-FVD (시간적 일관성 지표): SAW 는 199.19를 기록하여 SurgSora(546.82) 보다 월등히 우수했습니다.
  • FVD (시각적 사실성): 224.28 로 가장 낮은 값을 보였습니다.
  • 구조적/지각적 품질: SSIM(0.5948), PSNR(17.36) 에서도 모든 베이스라인을 상회했습니다.
• Ablation Study: 궤도 조건부 신호를 제거할 경우 성능이 급격히 저하되었으며, **Depth Consistency Loss(LDC)**를 제거하면 시간적 일관성 (CD-FVD) 이 악화되어 도구와 조직의 움직임이 비일관적이 됨을 확인했습니다.
• 하류 작업 성능 (Action Recognition):
  • 희귀 행동인 **'클리핑 (Clipping)'**의 F1 점수가 20.93% → **43.14%**로, **'절단 (Cutting)'**은 0.00% → **8.33%**로 크게 향상되었습니다. 이는 생성된 합성 데이터가 실제 테스트 데이터의 모델 학습에 효과적임을 입증합니다.

5. 의의 및 결론 (Significance)

SAW 는 제어 가능하고 확장 가능한 수술 행동 세계 모델을 향한 중요한 첫걸음입니다.

• 데이터 효율성: 고비용의 주석 없이도 희귀 수술 사건을 합성하여 데이터 부족 문제를 해결할 수 있습니다.
• 시뮬레이션 혁신: 물리 기반 시뮬레이터의 한계 (복잡한 조직 변형 모델링의 어려움) 를 극복하고, 시뮬레이터의 운동학적 데이터를 기반으로 현실적인 시각적 피드백을 제공하는 새로운 시뮬레이션 엔진의 가능성을 제시합니다.
• 안전성: 깊이 일관성 손실을 통해 도구와 조직 간의 기하학적 상호작용을 물리적으로 타당하게 만들어 수술 AI 및 디지털 트윈 개발의 안전성을 높입니다.

이 연구는 향후 더 긴 비디오 생성, 다양한 도구 및 해부학적 장면 지원, 그리고 실시간 추론을 통한 폐루프 (closed-loop) 시뮬레이션 구현을 위한 기반을 마련했습니다.