기술 요약: Surgical WAM

문제 정의

신뢰할 수 있는 수술 조작 정책을 학습하는 것은 현재 액션 레이블이 포함된 데모의 부족으로 인해 병목 현상을 겪고 있습니다. 동기화된 운동학적 레이블(예: dVRK)을 포함하는 텔레오퍼레이션 수술 로봇 궤적을 수집하려면 특수 하드웨어, 전문가 운영자, 그리고 막대한 비용이 드는 설정이 필요하며, 이로 인해 데이터셋은 수백 개에서 수천 개의 데모 수준에 머물게 됩니다. 반면, 내시경 비디오는 풍부하고 저렴하게 수집할 수 있지만 액션 레이블이 결여되어 있습니다. 기존의 수술 월드 모델들은 시뮬레이션이나 정책 평가를 위해 비디오를 활용하지만, 학습된 역학(dynamics)을 폐쇄 루프 제어(closed-loop control)로 직접 전환하는 경우는 드뭅로습니다. 본 논문이 다루는 핵심 질문은 다음과 같습니다: 정해진 액션 레이블 데모 예산 하에서, 액션 레이블이 없는 비디오 사전 학습이 폐쇄 루프 수술 조작 성능을 향상시키는가?

방법론

저자들은 Cosmos Policy 아키텍처를 기반으로 한 통합 생성 모델인 Surgical WAM(World-Action Model)을 제안합니다. 이 모델은 단일 잠재 시퀀스(latent sequence) 내에서 미래의 내시경 관측값과 실행 가능한 수술 로봇 액션 청크(action chunks)를 공동으로 예측합니다.

아키텍처

• 모델 클래스: 미래 비디오 관측($o$)과 로봇 상태($s$)의 결와 결합된 분포 $p_\theta(o_{t+1:t+K}, a_{t:t+H_c} | o_{\le t}, s_{\le t}, c)$를 학습하는 월드-액션 모델(WAM)입니다. 여기서 $c$는 태스크 임베딩을 나타냅니다.
• 백본(Backbone): 모델은 비주얼 토큰, 로봇 상태 토큰, 액션 토큰이 단일 네트워크에 의해 처리되는 통합 시퀀스를 공유하는 디퓨전 트랜스포머(diffusion-transformer)를 활용합니다. 이를 통해 액션 레이블이 없는 비디오로부터 학습된 가중치가 액션 예측으로 직접 전이될 수 있습니다.

2단계 학습 레시피

학습 절차는 데이터의 비대칭성을 활용하기 위해 비주얼 역학 학습과 액션 감독(supervision)을 분리합니다:

1. 1단계: 액션 프리 비디오 사전 학습 (Action-Free Video Pretraining): 월드 모델 구성 요소를 대규모의 레이블 없는 수술 비디오 코퍼스에 대해 학습시킵니다. 목표는 미래 비디오 잠재 변수($L_{vid}$)의 노이즈를 제거하는 것이며, 이때 액션 및 상태 슬롯은 마스킹됩니다. 이 단계에서는 운동학적 레이블 없이도 일반적인 시공간 역학 및 비주얼 표현을 학습합니다.
2. 2단계: 공동 미세 조정 (Joint Fine-Tuning): 사전 학습된 모델을 정해진 예산의 액션 레이블이 포함된 수술 데모($D_{va}$)를 통해 미세 조정합니다. 목표($L_{joint}$)는 미래 비디오와 액션 청크를 모두 공동으로 디노이징하는 것입니다. 이를 통해 학습된 비주얼 역학을 실행 가능한 명령에 접지(grounding)시킵니다.

폐쇄 루프 실행 (Closed-Loop Execution)

배포 시, Surgical WAM은 **후퇴 수평 제어기(receding-horizon controller)**로서 작동합니다:

1. 모델은 현재 내시경 이미지와 로봇 고유 수용 감각(proprioception)을 수신합니다.
2. 모델은 미래의 비디오 시퀀스와 액션 청크(길이 $H_c$)를 공동으로 샘플링합니다.
3. 로봇은 예측된 액션의 짧은 접두사(prefix, 길이 $H_e$)를 실행합니다.
4. 시스템은 환경을 재관측하고 재계획(replan)하여, 예측과 액션에 대한 지속적인 교정을 가능하게 합니다.

주요 기여

1. 최초의 수술용 WAM: 본 논문은 수술 로봇 학습에 적용된 최초의 월드-액션 모델을 소개하며, 미래 비디오 예측과 액션 생성을 단일 아키텍처 내에서 통합하여 폐쇄 루프 실행을 구동합니다.
2. 비디오 사전 학습의 유효성 검증: 저자들은 액션 레이블이 없는 비디오 사전 학습이 정해진 액션 레이블 예산 하에서 폐쇄 루프 수술 조작 성능을 유의미하게 향상시킨다는 것을 입증했습니다. 사전 학습된 모델은 액션 레이블만으로 처음부터 학습했을 때보다 더 적은 미세 조정 단계만으로도 더 높은 성공률을 달 수 있습니다.
3. 이점의 특성화: 어블레이션 연구(Ablation studies)를 통해 비디오 사전 학습의 이점이 접촉이 빈번한(contact-rich) 작업과 양손(bimanual) 작업에서 가장 두드러진다는 것을 밝혀냈습니다. 사전 학습된 초기화 모델은 더 빠르게 수렴하며(최적화 단계의 절반에서 정점 도달), 다양한 실행 호라이즌(execution horizons)에서도 견고함을 유지합니다.

실험 결과

방법론은 네 가지 시뮬레이션 dVRK 조작 태스크(Needle Pick, Peg Transfer, Needle Regrasp, BiPeg Transfer)로 구성된 SurRoL 벤치마크에서 평가되었습니다.

• 성능 향상: 전체 태스크 세트에서 비디오 사전 학습은 평균 폐쇄 루프 성공률을 (사전 학습이 없는 경우) **63.5%**에서 **77.8%**로 향상시켰습니다.
• 태스크별 개선: 가장 큰 폭의 향상은 Peg Transfer 태스크에서 관찰되었으며, 절대적으로 20 퍼센트 포인트 상승했습니다 (66%에서 86%로).
• 베이스라인과의 비교: 사전 학습을 거친 Surgical WAM은 일반적인 시각-언어-액션(VLA) 모델(예: $\pi_{0.5}$, ALOHA, Diffusion Policy)보다 우수한 성능을 보였습니다. VLA 모델들은 수술 도메인으로의 전이에 어려움을 겪으며 평균 약 22%의 성공률만을 기록했습니다.
• 효율성: 사전 학습된 모델은 80k 미세 조정 단계에서 최고 성능(86%)에 도달한 반 \면, 비사전 학습 모델은 더 낮은 정점(79%)에 도달하기 위해 160k 단계가 필요했습니다.
• 실제 환경 검증: JIGSAWS 데이터셋의 실제 dVRK 비디오를 이용한 실험을 통해, 이러한 성능 향상이 시뮬레이션의 결과물이 아니라 실제 환경의 시각적 복잡성 하에서도 지속됨을 확인했습니다.

의의 및 주장

본 논문은 데이터 효율적인 액션 프리 비디오 사전 학습을 수술 로봇 학습을 확장하기 위한 실질적인 경로로 제시합니다. 값비싼 텔레오퍼레이션 데모를 수집하는 것에서 벗어나 이미 대규모로 생성되고 있는 풍부한 수술 비디오를 활용함으로써, 제한된 액션 감독 하에서도 견고한 조작 정책을 학습할 수 있게 합니다. 저자들은 이 방법이 액션 레이블링 비용을 증가시키지 않으면서도, 특히 정밀한 접촉 제어와 양손 협응이 필요한 작업에 대해 시각적 역학 프라이어(visual dynamics priors)를 효과적으로 제어로 전이한다고 주장합니다.