TwinOR: Photorealistic Digital Twins of Dynamic Operating Rooms for Embodied AI Research

1. 문제 정의 (Problem)

• 배경: 수술실 (OR) 은 의료진, 간호사, 로봇 시스템 간의 정밀한 조율이 필요한 매우 복잡하고 안전이 최우선인 환경입니다. 지능형 외과 시스템을 위한 'Embodied AI(구체적 AI)' 개발은 필수적이지만, 실제 수술 환경에서 에이전트를 훈련하고 평가하는 것은 안전 규제, 접근성 제한, 임상 업무 방해 등의 이유로 매우 어렵습니다.
• 한계: 기존 합성 데이터나 시뮬레이션 환경은 실제 수술실의 공간적, 시각적, 시간적 복잡성을 충분히 반영하지 못해 비현실적인 외관이나 시간적 일관성이 없는 움직임을 보입니다. 또한, 기존 수술실 디지털 트윈 연구는 대부분 2D 추상화나 정적 (quasi-static) 표현에 국한되어 있어, 지속적으로 변화하는 인간과 장비의 움직임을 포착하는 동적 모델링이 부족했습니다.
• 목표: 안전하고 통제 가능한 환경에서 지속적인 학습과 평가를 가능하게 하되, 실제 수술실과 동일한 수준의 사실성 (Photorealism) 과 동적 상호작용을 제공하는 고품질 디지털 트윈 구축 방법론의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

논문은 TwinOR이라는 새로운 'Real-to-Sim(실제-시뮬레이션)' 인프라를 제안합니다. 이는 정적 기하학 재구성과 동적 운동 감지를 통합하여 사실적인 3D 환경을 생성합니다.

• 시스템 아키텍처:

  • 정적 재구성 (Static Reconstruction): 수술 전 촬영된 손으로 든 (handheld) RGB 비디오를 기반으로 Neuralangelo 기법을 사용하여 수술실의 벽, 천장, 고정 장치 및 주요 의료 장비의 3D 기하학을 밀도 있게 재구성합니다.
  • 동적 감지 (Dynamic Perception):
    • 인간 모델링: 다중 뷰 (Multi-view) 카메라 시스템을 활용하여 수술실 내 인력을 감지합니다. 2D 포즈 추정 (ViTPose+) 과 삼각측량을 통해 3D 관절 위치를 복원한 후, 통계적 파라메트릭 인간 메시 모델인 SMPL에 피팅하여 전체 인체를 재구성합니다. 시간적 일관성을 위해 다중 뷰 최적화 및 시간적 평활화 (temporal smoothing) 를 적용합니다.
    • 장비 운동 모델링: SAM2(Segment Anything Model 2) 를 사용하여 장비 영역을 분할하고, 스테레오 카메라의 깊이 정보를 활용해 3D 포인트 클라우드로 변환합니다. 이후 CAD 모델과 정렬 (RANSAC, ICP) 하여 6 자유도 (6-DoF) 포즈를 추정합니다.
  • 통합 및 렌더링: 재구성된 정적 요소와 동적 요소는 Blender 기반의 몰입형 3D 환경으로 융합되어, 사실적인 렌더링, 동적 재생, 제어 가능한 시뮬레이션을 지원합니다.

• 하드웨어 인프라:

  • 방의 모서리에 설치된 4 개의 스테레오 RGB 카메라 (ZED-X) 를 사용하여 동기화된 다중 뷰 데이터를 수집합니다.
  • 정밀 시간 프로토콜 (PTP) 을 통해 밀리초 미만의 동기화를 달성합니다.

3. 주요 기여 (Key Contributions)

1. TwinOR 프레임워크 개발: 수술실의 정적 기하학 재구성과 연속적인 운동 감지를 통합한 최초의 사실적이고 동적인 디지털 트윈 인프라를 제안했습니다.
2. 센서 수준의 사실성 확보: 실제 임상 데이터를 기반으로 구축되어, 실제 수술실과 유사한 시각적, 기하학적 일관성을 제공합니다.
3. Embodied AI 연구용 플랫폼: 안전하고 확장 가능한 가상 놀이터를 제공하여, 실제 수술 전에 에이전트의 지각 (Perception), 국소화 (Localization), 상호작용을 검증할 수 있게 합니다.
4. 오프라인 파이프라인: 수술 전 스캔과 수술 중 다중 뷰 감지를 결합하여, 실제 수술실의 복잡한 동적 환경을 자동으로 구축하는 파이프라인을 제시했습니다.

4. 실험 결과 (Results)

논문은 두 개의 수술실 (OR-A: 시뮬레이션 수술, OR-B: 실제 환자 수술) 에서 TwinOR 을 평가했습니다.

• 기하학적 및 시각적 정확도:
  • 정적 재구성: COLMAP 기반 포인트 클라우드와 비교하여 OR-A 에서 평균 14.1mm, OR-B 에서 22.7mm 의 체임퍼 거리 (Chamfer Distance) 오차를 보여 센티미터 수준의 공간 정확도를 달성했습니다.
  • 시각적 사실성: SSIM 0.90/0.92, PSNR 27.7/25.4 dB 의 높은 점수를 기록하며 사실적인 렌더링을 입증했습니다.
• 동적 감지 정확도:
  • 인간 포즈: 가시 관절에 대한 평균 3D 포즈 오차 (MPJPE) 가 3.52cm, 3D Percentage of Correct Parts (PCP3D@0.5) 가 **98.34%**로 매우 높은 정확도를 보였습니다.
  • 장비 포즈: 수술대, C-아ーム, 수송대 등 주요 장비의 6-DoF 포즈 추정에서 평균 병진 오차 9.12cm, 회전 오차 4.57°, 3D IoU 0.82 를 달성했습니다.
• Embodied AI 태스크 검증:
  • 기하학적 지각 (Stereo Depth Estimation): FoundationStereo 모델을 TwinOR 데이터에 적용했을 때, 실제 실내 벤치마크와 유사한 성능 (평균 절대 오차 7mm) 을 보이며 센서 수준의 사실성을 입증했습니다.
  • 시각적 국소화 (Visual SLAM): ORB-SLAM3 를 사용하여 로봇의 궤적을 추정한 결과, 절대 궤적 오차 (ATE) 0.12m, 상대 포즈 오차 (RPE) 0.066m 로 실제 환경의 SLAM 성능과 유사한 결과를 얻었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• Real-to-Sim 갭 해소: TwinOR 은 실제 수술실과 합성 환경 간의 격차를 크게 줄여, 시뮬레이션에서 훈련된 AI 에이전트가 실제 임상 환경에서도 효과적으로 작동할 수 있는 기반을 마련했습니다.
• 안전하고 확장 가능한 연구 환경: 실제 수술 중 발생할 수 있는 위험 없이 반복적이고 통제된 실험이 가능하여, 외과 로봇, 자율 항법, 인간 - 로봇 협업 연구의 새로운 가능성을 열었습니다.
• 미래 전망: 현재는 오프라인 처리 및 대형 장비에 국한되어 있지만, 실시간 처리, 변형 가능한 조직 모델링, 더 넓은 범위의 병원 환경으로의 일반화 등을 통해 차세대 지능형 수술실 (Intelligent OR) 로의 발전 가능성을 제시합니다.

요약하자면, TwinOR 은 고정밀 3D 재구성과 실시간 다중 뷰 감지를 결합하여, 실제 수술실과 구별하기 어려울 정도로 사실적인 동적 디지털 트윈을 자동 생성하는 프레임워크이며, 이는 수술실 환경에서의 Embodied AI 연구에 필수적인 인프라를 제공합니다.