MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery

이 논문은 독점 로봇 인터페이스 없이도 시간 동기화된 다중 모달 데이터를 수집할 수 있는 오픈소스 시스템 'MiDAS'와 이를 통해 구축된 로봇 보조 최소 침습 수술용 데이터셋을 소개하며, 비침습적 센서 기반의 동작 인식 성능이 독점 텔레메트리와 유사함을 입증했습니다.

핵심

로봇 수술의 '블랙박스'를 여는 열쇠: MiDAS 프로젝트 설명

이 논문은 로봇이 도와주는 최소 침습 수술 (RMIS) 을 연구할 때 겪는 큰 난관을 해결한 새로운 시스템을 소개합니다. 바로 MiDAS입니다.

이걸 이해하기 쉽게, **'수술실의 블랙박스'**와 **'스마트워치'**의 비유로 설명해 드릴게요.

---

1. 왜 MiDAS 가 필요한가요? (문제 상황)

지금까지 로봇 수술 (예: 다빈치 로봇) 을 연구하려면, 로봇 제조사 (인튜이티브 서지컬 등) 가 제공하는 비밀 데이터에 접근해야 했습니다.

• 비유: 마치 자동차를 연구하려는 사람이 자동차 엔진 내부의 모든 센서 데이터 (속도, RPM, 브레이크 압력 등) 를 직접 읽으려면, 자동차 회사만이 가진 '비밀 열쇠'를 받아야만 하는 상황과 같습니다.
• 문제: 이 열쇠는 매우 비싸고, 특정 로봇 모델에만 맞으며, 일반 연구자들이 구하기 어렵습니다. 그래서 수술 데이터를 분석하거나 새로운 AI 를 훈련시키기가 매우 어려웠습니다.

2. MiDAS 는 무엇인가요? (해결책)

MiDAS 는 이 '비밀 열쇠' 없이도 로봇 수술의 모든 움직임을 기록할 수 있게 해주는 오픈소스 시스템입니다.

• 핵심 아이디어: 로봇 내부의 비밀 데이터를 훔쳐보지 않고, 수술실 밖에서 수술하는 의사의 손과 발, 그리고 수술 장면을 카메라와 센서로 찍어내면 됩니다.
• 비유: 자동차 내부의 복잡한 센서 대신, 운전자의 **손목시계 (손동작), 발바닥 센서 (발동작), 그리고 차 앞의 드론 카메라 (시야)**를 통해 운전자의 행동과 차의 움직임을 완벽하게 추측해내는 시스템이라고 생각하세요.

3. MiDAS 는 어떻게 작동하나요? (세 가지 도구)

MiDAS 는 세 가지 '외부 센서'를 조합하여 로봇이 하는 일을 재현합니다.

1. 전자기 손 추적기 (EmHT):
   • 역할: 의사의 손가락에 작은 센서를 붙여, 손가락이 어떻게 움직이는지 3 차원 공간에서 정밀하게 쫓습니다.
   • 비유: 의사의 손이 로봇의 '조종간'을 어떻게 움직이는지, 마치 유령처럼 보이지 않게 따라다니는 마법 지팡이처럼 작동합니다. 로봇이 실제로 어떻게 움직였는지 (내부 데이터) 와 거의 똑같은 움직임을 만들어냅니다.
2. RGB-D 카메라 (깊이 카메라):
   • 역할: 의사의 손 모양과 위치를 카메라로 찍어 3D 로 재구성합니다.
   • 비유: 의사의 손이 로봇 조종간을 잡는 모습을 VR 게임의 모션 캡처 카메라처럼 찍어서, 손가락 하나하나의 움직임을 디지털로 변환합니다.
3. 발 페달 센서 (PSS):
   • 역할: 의사가 발로 밟는 페달의 압력을 감지합니다.
   • 비유: 운전자가 브레이크나 엑셀을 밟을 때, 페달이 얼마나 눌렸는지 스마트 발바닥 센서가 감지합니다. 로봇이 칼을 켜거나 끄는 순간을 정확히 포착합니다.

4. 이 시스템으로 무엇을 했나요? (실험 결과)

연구진은 이 시스템을 두 가지 로봇 (오픈소스 로봇 'Raven-II'와 실제 병원용 '다빈치 Xi') 에 적용했습니다.

• 실험 1: 핀 옮기기 ( Peg Transfer)
  • 로봇이 핀을 옮기는 간단한 작업을 시켰습니다.
  • 결과: 로봇 내부의 비밀 데이터를 직접 읽지 않고, MiDAS 로 측정한 의사의 손동작만으로도 로봇이 어떻게 움직였는지 90% 이상 정확하게 예측할 수 있었습니다.
• 실험 2: 배탈 (허니아) 수선하기 (Suturing)
  • 실제 수술 훈련 중인 의사가 돼지고기 조직을 이용해 바느질하는 모습을 기록했습니다.
  • 결과: 이 데이터는 기존에 없던 고품질의 새로운 데이터셋입니다. 특히 바느질 동작 (바늘 잡기, 꿰매기, 매듭 묶기 등) 을 8 가지로 세분화하여 기록했습니다.

5. 왜 이것이 중요한가요? (의미)

• ** democratization (민주화):** 이제 비싼 로봇을 사지 않아도, 누구나 이 시스템을 이용해 로봇 수술 데이터를 수집하고 연구할 수 있습니다.
• AI 훈련의 혁신: 로봇 수술을 더 똑똑하게 만드는 AI 를 훈련시키려면 방대한 데이터가 필요합니다. MiDAS 는 이 데이터를 누구나, 어디서나, 저렴하게 만들어낼 수 있게 해줍니다.
• 안전과 교육: 수술 중 실수를 감지하거나, 의사의 숙련도를 평가하는 시스템을 개발하는 데 필수적인 도구가 됩니다.

요약

MiDAS 는 **"로봇 수술의 블랙박스를 열지 않고도, 수술실 밖에서 의사의 움직임을 포착해 로봇이 한 일을 완벽하게 재구성하는 스마트한 감시 시스템"**입니다.

이제 연구자들은 로봇 제조사의 허락 없이도, 더 많은 데이터를 모아 로봇 수술을 더 안전하고 똑똑하게 만드는 데 집중할 수 있게 되었습니다. 마치 모든 자동차 회사가 엔진 데이터를 공개하지 않아도, 운전자의 행동을 분석해 교통 법규를 개선할 수 있게 된 것과 같은 혁신입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 데이터 접근의 장벽: 로봇 보조 최소 침습 수술 (RMIS) 연구는 멀티모달 데이터 (비디오, 로봇 운동학, 상호작용 이벤트 등) 에 크게 의존하지만, 상용 로봇 (예: da Vinci) 의 독점적인 텔레메트리 (내부 데이터) 에 대한 접근이 제한되어 있습니다.
• 기존 시스템의 한계:
  • 오픈 소스 연구용 로봇 (Raven-II 등) 은 하드웨어 의존성이 강하고 특수한 접근 권한이 필요하여 규모 확장과 다양성이 제한적입니다.
  • 대부분의 대규모 RMIS 데이터셋은 비전 (Video) 데이터만 포함하거나, 건조 실험 (Dry-lab) 환경에 국한되어 있습니다.
  • 임상 환경에서의 습식 실험 (Wet-lab) 데이터는 부족하며, 특히 복강경 수술과 같은 복잡한 수술 동작에 대한 멀티모달 데이터가 부족합니다.
• 필요성: 다양한 로봇 플랫폼 (상용 및 오픈 소스) 에 적용 가능하고, 독점 인터페이스 없이 비침습적으로 시간 동기화된 멀티모달 데이터를 수집할 수 있는 저비용 오픈 소스 프레임워크의 부재가 연구의 주요 걸림돌입니다.

2. 방법론 (Methodology)

저자들은 MiDAS (Multimodal Data Acquisition System) 라는 새로운 오픈 소스 시스템을 제안했습니다. 이 시스템은 로봇 플랫폼에 물리적/소프트웨어적 개입 없이 외부 센서를 통해 데이터를 동기화하여 수집합니다.

2.1 시스템 아키텍처

• 클라이언트 - 서버 구조: 이기종 데이터 스트림 (운동학, 비디오, 센서 신호) 을 실시간으로 동기화하여 수집하는 중앙 서버와 여러 클라이언트 프로세스로 구성됩니다.
• 플랫폼 독립성: 오픈 소스 로봇 (Raven-II) 과 임상용 로봇 (da Vinci Xi) 모두에서 작동하도록 설계되었습니다.

2.2 주요 센싱 모듈 (비침습적)

1. 3D 전자기 손 추적 (EmHT):
   • NDI trakSTAR 시스템을 사용하여 수술자의 손가락 (엄지, 중지) 에 부착된 6 자유도 (6-DoF) 센서를 활용합니다.
   • 로봇의 마스터 도구 조작기 (MTM) 와 환자 측 조작기 (PSM) 의 운동학을 비침습적으로 근사화합니다.
   • 보정: 강체 변환 (Rigid-body transformation) 과 잔차 오차를 학습하는 MLP(다층 퍼셉트론) 를 결합하여 로봇 운동학과의 정합도를 높였습니다.
2. RGB-D 손 추적 (HandKP):
   • 수술대 위에 ZED Mini 카메라를 설치하여 마커 없는 3D 손 포즈와 조작 궤적을 추적합니다.
   • 손가락 키포인트를 추출하여 MTM 좌표계로 변환합니다.
3. 고선명 입체 비디오 캡처:
   • OBS(Open Broadcaster Software) 를 활용하여 da Vinci Xi 의 SDI 출력과 Raven-II 의 스테레오 카메라 영상을 동기화하여 기록합니다.
4. 발판 감지 시스템 (PSS):
   • 아두이노 기반의 저비용 모듈과 FSR(Force-Sensitive Resistors) 을 사용하여 수술자의 발판 조작 (활성화, 클러치 등) 을 비침습적으로 감지합니다.

3. 주요 기여 (Key Contributions)

1. MiDAS 시스템 개발: 독점 로봇 텔레메트리 없이 실시간 동기화 멀티모달 데이터를 수집할 수 있는 오픈 소스, 플랫폼 중립적 시스템을 공개했습니다.
2. 대체 모달리티의 유효성 입증: 내부 로봇 신호 대신 외부 손/발 동작 (EmHT, PSS) 을 사용하여 로봇 운동학을 정확하게 근사화할 수 있음을 증명했습니다.
3. 새로운 데이터셋 공개:
   • Raven-II: 페그 이동 (Peg Transfer) 작업에 대한 멀티모달 데이터셋.
   • da Vinci Xi: KindHeart 시뮬레이션 모델을 사용한 실제적인 탈장 수리 (Hernia Repair) 봉합 작업에 대한 멀티모달 데이터셋. 이는 고충실도 시뮬레이션 모델에서 수집된 최초의 멀티모달 봉합 데이터셋 중 하나입니다.
   • 주석 (Annotation): 수술 동작 (Gesture) 에 대한 상세한 태소노미 (Taxonomy) 와 주석을 포함합니다.
4. 성능 벤치마킹: 최신 Transformer(MTRSAP) 및 CNN(MS-TCN++) 모델을 사용하여 다양한 모달리티 조합의 동작 인식 성능을 평가했습니다.

4. 실험 결과 (Results)

4.1 데이터 유효성 검증 (Data Validation)

• 손 추적 (EmHT vs. HandKP):
  • EmHT: MTM 및 PSM 운동학과의 위치 상관관계 (Cosine Similarity) 가 0.8 이상으로 매우 높게 나타났습니다. 이는 외부 센서가 로봇 내부 운동학을 매우 정확하게 대체할 수 있음을 의미합니다.
  • HandKP: 시야각 (FoV) 제한과 가려짐 (Occlusion) 으로 인해 EmHT 보다 성능이 낮았으나, 여전히 유의미한 상관관계를 보였습니다.
• 발판 감지 (PSS):
  • Raven-II 와 da Vinci Xi 모두에서 발판 누름 상태 감지의 F1 점수가 각각 0.85, 0.78 로 높게 측정되었으며, 지연 시간 (Lag) 은 약 130~160ms 수준으로 실시간 처리에 적합함을 보였습니다.

4.2 하류 작업 평가 (Gesture Recognition)

• 동작 인식 성능:
  • Raven-II (Peg Transfer): 내부 로봇 운동학 (Ground Truth) 을 사용한 모델의 성능과 비교했을 때, EmHT 만을 사용한 모델이 거의 동등한 성능 (F1: 0.86 vs 0.87) 을 보였습니다.
  • da Vinci Xi (Suturing): 내부 운동학 데이터가 없는 환경에서 EmHT 는 비전 (Video) 만을 사용한 모델보다 우수한 성능을 보였으며, EmHT 와 비디오를 융합 (Fusion) 했을 때 가장 높은 정확도 (Acc: 0.71, F1: 0.70) 를 달성했습니다.
• 결론: 비침습적 운동 신호 (특히 EmHT) 는 가려짐이나 시야 밖 조건에 강건하여, 독점 텔레메트리 데이터가 unavailable 한 상황에서도 효과적인 대체 수단이 될 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 민주화: MiDAS 는 고가의 독점 로봇 시스템에 의존하지 않고도 재현 가능한 멀티모달 수술 데이터 수집을 가능하게 하여, 연구 커뮤니티의 접근성을 크게 높였습니다.
• 임상적 적용 가능성: KindHeart 모델을 사용한 실제적인 수술 시나리오 (탈장 수리) 데이터를 제공함으로써, 건조 실험과 임상 현실 사이의 간극을 해소했습니다.
• 미래 지향성: 이 시스템과 데이터셋은 수술 동작 인식, 기술 평가, 오류 탐지, 그리고 AI 기반 수술 보조 시스템 개발을 위한 강력한 베이스라인을 제공합니다.
• 공개: 코드, 하드웨어 설계, 그리고 주석이 달린 데이터셋은 GitHub 및 프로젝트 웹사이트를 통해 공개되어 재현성을 보장합니다.

요약하자면, 이 논문은 비침습적 센싱 기술과 오픈 소스 아키텍처를 결합하여 로봇 보조 수술 연구의 데이터 장벽을 해소하고, 외부 센서 데이터가 내부 운동학 데이터를 효과적으로 대체할 수 있음을 실증적으로 증명한 획기적인 연구입니다.