Cosmos-H-Surgical: Learning Surgical Robot Policies from Videos via World Modeling

이 논문은 방대한 레이블이 없는 수술 영상을 활용하여 가상-실제 데이터 쌍을 생성하는 세계 모델 (Cosmos-H-Surgical) 을 학습시킴으로써, 데이터 부족 문제를 해결하고 실제 수술 로봇에서 더 뛰어난 성능을 보이는 자율 수술 정책 개발을 가능하게 합니다.

핵심

🏥 "Cosmos-H-Surgical": 수술 로봇을 위한 '가상 현실 훈련장' 이야기

이 논문은 **"수술 로봇이 스스로 수술하는 법을 배우기 위해, 왜 진짜 환자 대신 '가짜' 수술 영상을 많이 봐야 하는가?"**에 대한 해답을 제시합니다.

핵심 아이디어를 쉽게 풀어서 설명해 드릴게요.

---

1. 문제: 수술 로봇은 '공부할 책'이 너무 없어! 📚🚫

지금까지 로봇이 물건을 잡거나 문을 여는 법을 배울 때는 수많은 영상과 동작 데이터를 함께 모아 학습시켰어요. 하지만 수술 로봇은 상황이 다릅니다.

• 진짜 데이터 부족: 수술실은 환자 안전과 비밀 유지 때문에 영상을 찍기 어렵고, 로봇의 움직임을 기록하는 데이터는 극히 드뭅니다.
• 영상은 많지만...: 유튜브에 수술 영상은 넘쳐나지만, **"어떤 순간에 로봇 팔이 어떻게 움직였는지"**에 대한 설명 (라벨) 이 없어서 로봇이 직접 따라 배울 수 없어요.

비유하자면:
요리사가 되고 싶은데, 요리 레시피 (동작 설명) 가 없는 요리 영상만 수백 시간 보는 것과 같습니다. "어떻게 칼을 잡았는지"는 알 수 있지만, "손목은 어떻게 움직였는지"는 알 수 없으니 직접 따라 하기가 어렵죠.

2. 해결책: "상상력"을 가진 AI 를 만들다 🎨✨

연구팀은 이 문제를 해결하기 위해 세 가지 단계로 이루어진 마법 같은 시스템을 만들었습니다.

1 단계: '수술용 사전' 만들기 (SATA 데이터셋)

먼저, 수술 영상에 전문가들이 상세한 설명을 달아주었습니다.

• "바늘을 잡는다", "조직을 꿰맨다", "매듭을 묶는다" 같은 구체적인 행동과 그 공간적 관계를 텍스트로 기록했죠.
• 비유: 요리 영상에 "칼을 45 도 각도로 내리고, 손목은 3 번 회전시켜라"라는 정교한 레시피를 달아준 셈입니다.

2 단계: '수술 영화 제작가' AI 학습 (Cosmos-H-Surgical)

이제 이 데이터를 바탕으로 세상에서 가장 똑똑한 '수술 영화 제작가' AI를 훈련시켰습니다.

• 이 AI 는 "왼쪽 집게가 바늘을 오른쪽 집게에 넘겨줘"라는 명령을 받으면, 실제 수술과 구별하기 힘든 진짜 같은 수술 영상을 직접 만들어냅니다.
• 단순히 영상을 만드는 게 아니라, 조직이 어떻게 찢어지고, 바늘이 어떻게 통과하는지 물리 법칙까지 고려합니다.

3 단계: '보이지 않는 손'을 찾아내다 (거꾸로 역학 모델)

여기서 가장 중요한 마법이 일어납니다.

• AI 가 만든 가짜 수술 영상에는 **실제 로봇의 움직임 데이터 (키네틱스)**가 없습니다.
• 그래서 연구팀은 **IDM(역동학 모델)**이라는 또 다른 AI 를 썼습니다. 이 AI 는 "이 영상에서 바늘이 이렇게 움직였으니, 로봇 팔은 반드시 이렇게 움직였을 거야!"라고 가상의 움직임을 추측해냅니다.
• 비유: 영화 속 배우가 공을 던지는 장면을 보고, "아, 저 배우는 저렇게 팔을 휘둘렀구나!"라고 움직임을 역추적하는 것과 같습니다.

3. 결과: 가짜로 배워서, 진짜에서 이기다! 🏆

이제 이 시스템이 얼마나 효과적인지 확인했습니다.

• 실험: 실제 수술 로봇에게 바늘을 집어 다른 로봇에 넘기는 작업을 시켰습니다.
• 방법:
  1. 진짜 데이터만 보고 배운 로봇 (실제 수술 영상 20 개만 학습)
  2. 가짜 영상 560 개 + 진짜 데이터 20 개를 섞어 배운 로봇 (Cosmos-H-Surgical 사용)
• 결과: 가짜 영상을 많이 본 로봇이 오류가 훨씬 적고, 훨씬 더 부드럽고 정확하게 바늘을 넘겼습니다.

핵심 메시지:
"진짜 수술을 할 수 없는 상황에서도, AI 가 만들어낸 수백 편의 '가짜 수술 영화'와 그 속의 '가상의 움직임'을 통해 로봇은 훨씬 더 빠르게, 더 안전하게 수술 기술을 습득할 수 있다"는 것을 증명했습니다.

4. 왜 이것이 중요한가? 🌟

이 기술은 수술 로봇의 민주화를 가져옵니다.

• 더 이상 고가의 장비와 위험한 환자 데이터를 모으지 않아도 됩니다.
• AI 가 무한히 다양한 수술 시나리오를 만들어내면, 로봇은 그 안에서 수천 번의 실수를 겪으며 성장할 수 있습니다.
• 결국 환자의 안전을 해치지 않으면서, 더 똑똑하고 자율적인 수술 로봇을 세상에 내놓을 수 있는 길을 열었습니다.

요약

이 논문은 **"진짜 데이터가 부족할 때, AI 가 만든 가상의 세상 (World Model) 에서 로봇을 훈련시켜, 실제 수술에서도 최고의 실력을 발휘하게 했다"**는 획기적인 연구입니다. 마치 비행 조종사가 비행 시뮬레이터에서 수천 시간을 훈련하여 실제 비행에서도 안전하게 착륙하는 것과 같은 원리입니다. 🚁✨

기술 요약

1. 문제 정의 (Problem Statement)

• 데이터 부족의 근본적 장벽: 자율 수술 로봇의 실현을 가로막는 가장 큰 문제는 시각적 관찰 (내시경 영상 등) 과 로봇 운동학 (Kinematics) 또는 제어 명령이 동기화된 대규모 데이터셋의 부재입니다.
• 기존 접근법의 한계:
  • 실제 데이터 수집의 어려움: 수술실 접근 제한, 환자 안전, 규제 장벽, 높은 비용으로 인해 대규모 쌍 (Paired) 데이터 수집이 거의 불가능합니다.
  • 기존 시뮬레이션의 한계: 물리 기반 시뮬레이터는 실제 수술 환경과 시각적/동역학적 영역 차이 (Domain Shift) 가 크고, 연조직 (Soft body) 시뮬레이션이 부족하여 정책 전이 (Policy Transfer) 가 어렵습니다.
  • 비지도 데이터의 활용 불가: 방대한 수술 영상이 존재하지만, 이에 대응하는 행동 레이블이 없어 직접적인 모방 학습 (Imitation Learning) 이나 VLA(시각 - 언어 - 행동) 모델 학습에 사용할 수 없습니다.

2. 방법론 (Methodology)

저자들은 Cosmos-H-Surgical이라는 통합 프레임워크를 제안하여, 레이블이 없는 수술 영상을 활용하여 로봇 정책을 학습하는 새로운 파이프라인을 제시합니다. 전체 워크플로우는 다음과 같습니다.

가. Surgical Action-Text Alignment (SATA) 데이터셋 구축

• 목적: 물리적 AI(Physical AI) 학습을 위한 전문 수술 영상 - 텍스트 정렬 데이터셋.
• 구성: 8 가지 수술 절차에서 수집된 2,447 개의 전문가 주석 영상 클립 (30 만 프레임 이상).
• 세부 액션: 바늘 잡기 (Needle grasping), 바늘 찌르기 (Needle puncture), 실 당기기 (Suture pulling), 매듭 묶기 (Knotting) 등 4 가지 기본 동작으로 세분화.
• 특징: 단순한 의미론적 설명이 아닌, 도구 - 조직 상호작용, 공간적 관계, 해부학적 맥락을 정밀하게 기술한 텍스트 설명을 포함합니다.

나. 수술용 월드 모델 (Surgical World Model) 학습

• 베이스 모델: Cosmos-Predict2.5(대규모 로봇 및 체화 데이터로 사전 학습된 월드 모델) 를 기반으로 합니다.
• 파인튜닝: SATA 데이터셋과 실제 수술 궤적 데이터를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 파인튜닝합니다.
• 기능: 초기 프레임 ($I_0$) 과 텍스트 프롬프트를 입력받아 미래의 수술 장면 (비디오 롤아웃) 을 생성합니다. 이는 실제 로봇의 구체적인 형태 (Embodiment) 를 보지 못했더라도 일반화된 동역학을 학습할 수 있게 합니다.

다. 역동역학 모델 (Inverse Dynamics Model, IDM) 및 가시적 행동 생성

• 역동역학 모델 (IDM): 생성된 합성 비디오 (Synthetic Videos) 에서 로봇의 운동학 (Kinematics) 을 추론하는 모델입니다.
  • 입력: 동일한 비디오의 두 프레임 ($t$와 $t+T$).
  • 출력: 두 프레임 사이의 로봇 행동 (가상의 운동학 데이터).
• 데이터 증강: 월드 모델이 생성한 고품질 합성 비디오에 IDM 을 적용하여 '영상 - 행동' 쌍 데이터를 생성합니다. 이를 통해 레이블이 없는 영상에서 학습 가능한 대규모 합성 데이터를 확보합니다.

라. 수술 로봇 정책 학습 (VLA Policy Training)

• 모델: GR00T N1.5(VLA 모델) 를 사용합니다.
• 학습 전략: 실제 수술 데이터 (Real Data) 와 합성 데이터 (Synthetic Data, IDM 으로 라벨링된 것) 를 혼합하여 정책을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. SATA 데이터셋 공개: 물리적 AI 학습을 위해 설계된 대규모 수술 영상 - 텍스트 정렬 데이터셋 (2,447 개 클립, 8 가지 수술, 4 가지 기본 액션) 을 최초로 구축 및 공개했습니다.
2. 최초의 수술용 월드 모델 개발: Cosmos2.5 기반의 최첨단 물리 AI 월드 모델을 수술 도메인에 특화시켜, 고품질의 합성 수술 영상을 생성하고 일반화 능력을 입증했습니다.
3. 월드 모델과 로봇 학습의 연결: 역동역학 모델 (IDM) 을 통해 합성 비디오에서 가상의 운동학 (Pseudo-kinematics) 을 추론하고, 이를 VLA 정책 학습에 활용하여 실제 로봇 성능을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

• 영상 생성 품질 (SATA 데이터셋 평가):
  • Cosmos-H-Surgical 은 제로샷 (Zero-shot) 및 단순 카테고리 기반 파인튜닝 모델보다 훨씬 낮은 FVD(Fréchet Video Distance) 와 높은 VBench 점수를 기록했습니다.
  • 전문가 평가: 3 명의 외과 의사가 평가한 결과, 텍스트 - 비디오 정합성, 도구 일관성, 해부학적 구조의 현실성 측면에서 모든 지표에서 가장 높은 점수를 받았습니다. 특히 텍스트 프롬프트에 따라 복잡한 다단계 행동 (예: 바늘 3 회 전달) 을 정확하게 생성하는 능력을 입증했습니다.
• Few-shot 적응 능력:
  • 실제 데이터 5 개만으로도 파인튜닝이 가능했으며, SATA 사전 학습을 거친 모델이 기존 모델보다 더 높은 성공률 (73.2%) 과 영상 품질을 보였습니다.
• 로봇 정책 성능 (실제 로봇 플랫폼 테스트):
  • 실험 설정: 바늘 집기 및 전달 (Needle Pickup and Hand-Over) 태스크 수행.
  • 결과: 실제 데이터만 학습한 모델 대비, 합성 데이터를 추가 학습한 모델 (Real + Synthetic 10x) 이 궤적 예측 오차 (MSE) 를 크게 감소시켰습니다.
  • 의미: 제한된 실제 데이터만으로는 성능이 제한적이었으나, 합성 데이터를 통해 데이터 효율성이 크게 향상되었고, 실제 로봇에서의 성공률이 유의미하게 증가했습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성과 확장성: 환자 안전과 규제 문제로 인해 실제 데이터 수집이 어려운 수술 로봇 분야에서, 레이블이 없는 방대한 영상 데이터를 활용하여 고품질의 학습 데이터를 생성하는 확장 가능한 경로를 제시했습니다.
• 자율 수술의 가속화: 물리 기반 시뮬레이션의 한계를 극복하고, 현실적인 수술 동역학을 반영한 합성 데이터를 통해 자율 수술 기술 습득 속도를 획기적으로 높일 수 있음을 입증했습니다.
• 미래 전망: 이 연구는 수술 로봇의 기초 모델 (Foundation Models) 개발에 중요한 이정표가 되며, 향후 더 복잡하고 다양한 수술 절차로 확장하여 안전하고 자율적인 수술 로봇 상용화의 문을 열 것으로 기대됩니다.

요약: Cosmos-H-Surgical 은 SATA 데이터셋을 기반으로 월드 모델을 학습시켜 고품질 수술 영상을 생성하고, 이를 역동역학 모델을 통해 로봇 행동 데이터로 변환함으로써, 실제 데이터 부족 문제를 해결하고 수술 로봇의 자율성을 극대화하는 혁신적인 접근법을 제시했습니다.