SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics

이 논문은 수술 로봇의 지능화를 위해 다중 모달 데이터를 수집하고 동기화하는 'SurgSync' 프레임워크와 이를 기반으로 한 새로운 데이터셋을 제안하며, dVRK 플랫폼과 다양한 센서를 활용하여 임상적으로 현실적인 수술 데이터를 구축하고 수술 기술 평가에 활용 가능성을 입증했습니다.

핵심

수술 로봇의 '블랙박스'를 여는 키: SurgSync

이 논문은 수술 로봇이 더 똑똑해지려면 무엇이 필요한지, 그리고 그 답을 어떻게 찾았는지에 대한 이야기입니다.

1. 왜 이 연구가 필요할까요? (문제 상황)

지금까지의 수술 로봇 (예: 다빈치 시스템) 은 마치 고급 인형극과 같습니다. 의사가 조종간을 움직이면 로봇이 그대로 따라 합니다. 하지만 로봇이 스스로 "이제 바늘을 꿰매야겠다"거나 "조직을 너무 세게 잡지 말아야겠다"라고 판단하는 **인공지능 (AI)**은 아직 초보 단계입니다.

왜일까요? 바로 데이터 부족 때문입니다. AI 가 배우려면 수많은 예시 (데이터) 가 필요한데, 기존에 쌓인 데이터는 다음과 같은 치명적인 결함이 있었습니다:

• 시간이 안 맞음: 카메라 영상과 로봇의 움직임 데이터가 서로 다른 시점에 찍혀서, "로봇이 움직인 직후에 조직이 찢어졌다"는 인과관계를 파악하기 어렵습니다. (비유: 노래 가사와 멜로디가 1 초씩 어긋난 상태)
• 화질이 낮음: 옛날 카메라를 써서 세밀한 조직의 질감이나 피가 흐르는 모습까지 선명하게 보이지 않았습니다.
• 감각이 없음: 로봇이 조직을 잡았는지, 찌르었는지에 대한 '촉감' 데이터가 전혀 없었습니다.

2. SurgSync 가 해결한 방법 (해결책)

저자들은 **'SurgSync'**라는 새로운 시스템을 만들어 이 문제를 해결했습니다. 이를 쉽게 비유하자면 다음과 같습니다.

A. 완벽한 동기화: "오케스트라의 지휘자"

기존 데이터는 악기 소리와 악보가 안 맞았지만, SurgSync 는 정교한 지휘자 역할을 합니다.

• 두 가지 녹음 모드:
  1. 실시간 모드: 수술 중에도 바로바로 데이터를 맞춰줍니다. (즉석에서 악보와 소리를 맞춤)
  2. 오프라인 모드: 수술을 먼저 녹화하고, 나중에 컴퓨터로 정교하게 맞춰줍니다. (녹음실처럼 고화질로 찍고 나중에 편집)
  • 이 덕분에 AI 는 "로봇이 0.01 초 전에 움직였을 때, 조직이 어떻게 반응했는지"를 정확히 학습할 수 있습니다.

B. 고화질 카메라: "안경에서 망원경으로"

기존 로봇에 달린 구형 카메라 대신, 최신 칩 온 팁 (Chip-on-tip) 엔도스코프를 달았습니다.

• 비유: 낡은 안경을 끼고 수술하던 것을, 고해상도 망원경을 통해 수술하는 수준으로 바꾼 것입니다. 조직의 미세한 혈관이나 질감까지 선명하게 보여줘서 AI 가 더 잘 볼 수 있게 했습니다.

C. 촉감 센서: "무감각한 로봇에 손끝을 달다"

로봇이 조직을 잡았는지, 찌르었는지를 알려주는 전용 센서를 개발했습니다.

• 비유: 로봇의 손가락 끝에 전기를 감지하는 민감한 피부를 붙인 것입니다. 로봇이 조직을 잡았을 때 "딸깍" 하는 신호를 보내주어, AI 가 "아, 지금 로봇이 조직을 잡고 있구나"라고 정확히 알 수 있게 했습니다.

3. 무엇을 얻었나요? (결과)

이 시스템을 이용해 실제 수술 훈련 (가상의 환자나 동물 조직 사용) 을 13 명의 참가자 (초보자부터 전문 외과 의사까지) 와 함께 진행했습니다.

• 214 개의 완벽한 데이터: 다양한 수술 훈련 (실밥 꿰매기, 조직 옮기기 등) 에서 수집된 214 개의 고품질 데이터 세트를 만들었습니다.
• AI 검증: 이 데이터로 AI 를 훈련시켜 보니, 의사의 수술 실력을 자동으로 평가하는 데 성공했습니다. 이는 이 데이터가 AI 학습에 얼마나 유용한지 증명하는 것입니다.

4. 결론: 왜 중요한가요?

이 논문은 단순히 데이터를 모은 것이 아니라, 수술 로봇이 스스로 학습할 수 있는 '교과서'를 완성했다는 점에서 의미가 큽니다.

• 미래의 모습: 앞으로는 AI 가 수술 중 의사를 돕거나, 위험한 실수를 막아주는 '스마트 코파일럿' 역할을 할 수 있게 됩니다.
• 열린 문: 모든 소프트웨어와 데이터는 공개되어 있어, 전 세계 연구자들이 이 '교과서'를 공유하고 더 똑똑한 수술 로봇을 만들 수 있게 되었습니다.

한 줄 요약:

"수술 로봇이 스스로 배우기 위해 필요한 '완벽하게 맞춰진 고화질 영상'과 '촉감 데이터'를 담은 새로운 교과서 (SurgSync) 를 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

로봇 보조 수술 (RAS) 분야에서 인공지능 (AI) 기반의 고수준 제어 (감독 자율성 또는 완전 자율성) 를 구현하기 위해서는 방대한 양의 고품질 훈련 데이터가 필수적입니다. 그러나 현재 다음과 같은 주요 한계점들이 존재합니다.

• 데이터 부족: 실제 수술 환경에서 고품질의 잘 주석된 (well-annotated) 대규모 공개 데이터셋이 부족합니다.
• 시뮬레이션의 한계: 합성 데이터 (Synthetic data) 를 생성하여 '시뮬레이션 - 현실 (Sim-to-Real)' 전이를 시도하지만, 물리적 상호작용의 복잡성과 절차의 정밀도 측면에서 한계가 있어 실제 데이터의 필요성이 여전히 큽니다.
• 기존 데이터셋의 결함:
  1. 시간 동기화 부재: 다양한 센서 모달리티 (비전, 로봇 운동학 등) 간의 시간 정렬이 약하거나 불일치하여 인과관계 파악과 시퀀스 모델 학습을 저해함.
  2. 레거시 이미징 파이프라인: 화질이 낮아 비전 성능이 제한됨.
  3. 작업 범위 및 도구 부족: 특정 작업에 국한되어 있고, 재현성을 위한 후처리 도구가 부족함.

2. 방법론 (Methodology)

저자들은 da Vinci 연구 키트 (dVRK) 를 기반으로 한 오픈 소스 데이터 수집 프레임워크인 SurgSync를 제안했습니다. 이는 온라인 및 오프라인 동기화를 모두 지원하는 다중 모달 데이터 수집 시스템입니다.

A. 시간 동기화 레코더 (Time-Synchronized Recorders)

사용자의 필요에 따라 두 가지 모드를 제공합니다.

1. 온라인 매칭 레코더 (Online-Matching Recorder):
   • 실시간으로 비디오 스트림과 로봇 운동학 데이터를 동기화합니다.
   • 멀티스레딩을 사용하여 사용자 정의 시간 허용 오차 (예: 10ms) 내의 샘플만 허용하여 엄격한 시간 정렬을 보장합니다.
   • 실시간 제어 및 추론 시나리오에 적합합니다.
2. 오프라인 매칭 레코더 (Offline-Matching Recorder):
   • 녹음과 시간 정렬을 분리하여 시스템 효율성을 극대화합니다.
   • 1 단계: 카메라와 운동학 데이터를 각각 비디오와 바이너리 파일로 별도 녹음.
   • 2 단계: 사후 처리 (Post-processing) 파이프라인을 통해 고정된 프레임 레이트로 재구성하고, 가장 가까운 시간戳 (timestamp) 을 기반으로 보간 (Interpolation) 을 수행합니다.
   • 대용량 훈련 데이터셋 구축에 적합하며, 데이터 손실 없이 균일한 샘플링을 제공합니다.

B. 하드웨어 통합 및 센서

• 현대적 엔도스코프 통합: dVRK-Si 시스템에 '칩 온 팁 (Chip-on-tip)' 엔도스코프 (Cornerstone Robotics) 를 통합하여 임상 시스템과 동등한 화질을 확보했습니다. 기존 dVRK-Si 엔도스코프 대비 라플라시안 분산 (Laplacian variance) 이 30 배 이상 향상되어 에지 명확도와 디테일이 개선되었습니다.
• 접촉 센서 (Contact Sensor): 아두이노 (Arduino) 와 정전용량 센서를 활용하여 도구 - 조직 접촉 여부를 감지합니다. 이 신호는 dVRK 컨트롤러의 디지털 입력을 통해 데이터 스트림에 통합됩니다.
• 측면 카메라: 수술 부위의 전체적인 맥락을 파악하기 위해 측면 뷰 카메라를 추가했습니다.

C. 사후 처리 도구상자 (Post-Collection Processing Toolbox)

수집된 데이터를 가공하기 위한 확장 가능한 도구상자를 제공합니다.

• 운동학 재투사 (Kinematic Reprojection): 손 - 눈 보정 (Hand-eye calibration) 을 통해 3D 도구 팁 위치를 2D 엔도스코프 이미지 평면에 투사합니다. 가우시안 히트맵 (Gaussian heatmap) 을 생성하여 관심 영역을 강조하는 'Attention-weighted' 이미지를 만듭니다.
• 기타 기능: 스테레오 정렬 (Rectification), 깊이 추정 (Depth Estimation, FoundationStereo 모델 사용), 광학 흐름 (Optical Flow, RAFT 모델 사용), 그리고 접촉 감지 및 이벤트/단계 주석을 위한 GUI 기반 데이터 주석 도구를 포함합니다.

3. 주요 기여 (Key Contributions)

1. 동기화 설계 패턴: 온라인/오프라인 매칭을 지원하는 이중 모드 동기화 레코더를 도입하여 시간 동기화를 최우선 설계 제약 조건으로 삼았습니다.
2. 고성능 이미징 스택: 현대적 엔도스코프를 dVRK-Si 에 통합하여 화질을 획기적으로 개선했습니다.
3. 접촉 그라운드 트루스 (Ground Truth): 정전용량 센서를 통해 도구 - 조직 접촉에 대한 정량적 그라운드 트루트 데이터를 획득했습니다.
4. 사용자 연구 데이터셋: 다양한 숙련도 (초보자, 경험자, 전문 외과 의사) 의 참가자를 대상으로 한 사용자 연구를 통해 214 개의 유효한 데이터 인스턴스를 수집했습니다.
5. 오픈 소스 생태계: 모든 소프트웨어와 데이터셋을 공개하여 연구의 재현성과 확장을 지원합니다.

4. 결과 (Results)

• 데이터셋 규모: 214 개의 검증된 인스턴스를 수집했으며, 이는 핀 이송 (Peg transfer), 조직 조작, 봉합 (Suturing), 박리 (Dissection) 등 여러 표준 훈련 작업을 포함합니다.
• 동기화 성능:
  • 온라인 레코더: 평균 시간 지연 6.36ms (표준편차 4.72ms).
  • 오프라인 레코더: 평균 시간 지연 1.35ms (표준편차 0.81ms) 로 더 높은 정밀도를 보였으나, 사후 처리가 필요했습니다.
• 화질 개선: 기존 dVRK-Si 엔도스코프 대비 라플라시안 분산이 529.48 (본 시스템) 대 16.93 (기존) 으로 크게 향상되었습니다.
• 접촉 센서 정확도: 조직 조작 (99.1%), 박리 (74.3%), 봉합 (45.2%) 작업에서 검출 정확도를 보였으며, 오분류는 주로 센서 노이즈나 습기, 전도성 물체 접촉으로 인한 것이었습니다.
• 기술 검증 (Skill Assessment): 수집된 데이터를 사용하여 수술 숙련도 평가 모델을 훈련시켰습니다. 봉합 및 매듭 묶기 작업에서 스피어만 순위 상관 계수 (SROCC) 가 각각 0.803 및 0.765 로 나타나, 데이터의 유효성과 모델 학습 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 표준화 및 재현성: SurgSync 는 시간 동기화, 고품질 비전, 그리고 도구 - 조직 상호작용 데이터를 통합하여 로봇 수술 AI 연구의 표준 데이터 수집 프레임워크를 제시합니다.
• AI 연구 촉진: 기존 데이터셋의 한계를 극복하고, 실제 물리적 상호작용을 반영한 고품질 데이터를 제공함으로써 수술 자동화, 기술 평가, 조직 역학 이해 등 다양한 AI 응용 분야의 발전을 돕습니다.
• 확장성: ROS 기반 아키텍처를 사용하여 다양한 수술 로봇 시스템으로 확장 가능하며, 오프라인 매칭 방식을 통해 대규모 데이터셋 구축을 용이하게 합니다.

이 논문은 로봇 보조 수술 분야에서 AI 모델의 성능을 극대화하기 위한 필수적인 인프라 (하드웨어, 소프트웨어, 데이터셋) 를 구축했다는 점에서 중요한 의의를 가집니다.