Diffusion Stabilizer Policy for Automated Surgical Robot Manipulations

1. 문제 정의 (Problem Statement)

• 배경: 지능형 수술 로봇은 정밀도와 자동화를 통해 임상 관행을 혁신할 잠재력을 가지고 있으나, 가정용 조작 작업 (household manipulation) 에 비해 수술 작업의 자동화는 상대적으로 덜 연구된 분야입니다.
• 핵심 문제: 최근 데이터 기반 접근법 (Diffusion Policy 등) 의 성공은 대규모 고품질 데이터에 의존합니다. 그러나 실제 수술 데이터 수집 과정에서 센서 노이즈, 의도치 않은 조작 실수, 또는 실패한 시도 (perturbed/failed trajectories) 와 같은 불완전한 데이터는 피할 수 없습니다.
• 기존 방법의 한계: 기존 모방 학습 (Imitation Learning) 은 고품질 데이터에 의존하며, 노이즈가 포함된 데이터를 학습에 포함할 경우 오히려 성능이 저하될 수 있습니다. 특히 다중 모드 (multi-modality) 분포를 학습하는 확산 모델 (Diffusion Model) 은 노이즈에 더 취약할 수 있습니다.
• 목표: 깨끗한 데이터뿐만 아니라 노이즈가 있거나 실패한 데이터까지 효과적으로 활용하여, 수술 로봇의 안정적이고 정확한 조작을 가능하게 하는 새로운 학습 프레임워크를 개발하는 것.

2. 제안 방법론: Diffusion Stabilizer Policy (DSP)

저자들은 **Diffusion Stabilizer Policy (DSP)**라는 확산 기반 정책 학습 프레임워크를 제안합니다. 이 프레임워크는 불완전한 데이터를 필터링하고 정제된 데이터로만 학습을 진행하는 2 단계 구조를 가집니다.

A. 문제 설정 및 데이터 유형

• 클린 데이터 ($D$): 이상적인 전문가 시연 데이터.
• 노이즈 데이터 ($\tilde{D}$): 두 가지 유형의 불완전 데이터로 정의됨.
  1. 액션 레벨 노이즈 (Action-level): 기록 장비의 노이즈로 인해 전문가의 행동에 가우스, 포아송, 균일 분포 등의 노이즈가 추가된 경우.
  2. 궤적 레벨 노이즈 (Trajectory-level): 수술 중 실패 후 재시도하는 등 최적 경로는 아니지만 과제를 완수한 비최적 경로 (예: 바늘을 잘못 잡았다가 다시 잡는 경우).

B. 2 단계 학습 프레임워크

1. 1 단계: 확산 안정화 정책 (Diffusion Stabilizer) 학습
   • 오직 클린 데이터만을 사용하여 초기 확산 정책 ($\pi_\theta$) 을 학습합니다.
   • 이 모델은 데이터 분포의 본질적인 특성을 학습하여 '정상적인' 행동 패턴을 이해하게 됩니다.
2. 2 단계: 필터링 및 지속적 업데이트
   • 클린 데이터와 노이즈 데이터가 혼합된 배치 (Mixed Batch) 를 준비합니다.
   • 필터링 메커니즘: 학습된 1 단계 모델을 사용하여 현재 배치의 각 관측치 ($o'$) 에 대해 예측 행동 ($\hat{a}$) 을 생성합니다.
   • 오차 계산: 실제 행동 ($a'$) 과 예측 행동 ($\hat{a}$) 간의 오차 ($\delta = ||\hat{a} - a'||^2$) 를 계산합니다.
   • 선택적 학습: 오차가 임계값 ($\gamma$) 을 초과하면 해당 데이터는 '노이즈/실패 데이터'로 간주하여 제외하고, 임계값 이하인 데이터만 선택하여 정책 업데이트에 사용합니다.
   • 이 과정은 온라인 (온라인 필터링) 또는 오프라인 방식으로 수행될 수 있으며, 정책이 업데이트됨에 따라 필터링 기준도 동적으로 조정됩니다.

C. 구현 세부 사항

• 모델 아키텍처: CleanDiffuser 기반, 4 층 MLP 사용.
• 학습 과정: VP (Variance Preserving) SDE 기반의 확산 과정과 5 단계의 역확산 (Denoising) 과정 사용.
• 임계값 설정: 오차 분포의 평균 ($\hat{\mu}$) 과 분산 ($\hat{\sigma}$) 을 기반으로 동적 임계값을 설정 ($\hat{\mu} - \hat{\sigma}$ 등).

3. 주요 기여 (Key Contributions)

1. 수술 로봇을 위한 확산 기반 정책 학습 프레임워크 제안: 시연 데이터에 노이즈나 불완전성이 존재하더라도 안정적인 조작을 학습할 수 있는 DSP 를 개발했습니다.
2. 노이즈에 대한 강력한 성능 입증:
   • 액션 레벨 노이즈: 평균 성공률 31% 향상.
   • 궤적 레벨 노이즈: 평균 성공률 28% 향상.
   • 기존 확산 정책 (Standard Diffusion Policy) 이 노이즈 데이터로 인해 성능이 급격히 떨어지는 반면, DSP 는 필터링을 통해 높은 성공률을 유지했습니다.
3. 실제 로봇 플랫폼에서의 검증 (Sim-to-Real): 시뮬레이션 (SurRoL) 에서 학습된 정책이 실제 수술 로봇 (dVRK 시스템) 에서도 다양한 수술 과제를 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

• 실험 환경: SurRoL 플랫폼의 10 가지 수술 작업 (NeedlePick, PegTransfer, BiPegTransfer 등) 및 다양한 노이즈 조건 (가우스, 포아송, 균일, 비최적 궤적).
• 성능 비교 (Table I & II):
  • 클린 데이터만 사용했을 때에도 기존 강화학습 (SAC, DDPG) 및 모방 학습 (BC, VINN) 기반 방법들보다 우수한 성능을 보였습니다.
  • 노이즈가 섞인 데이터셋에서 DSP는 'Perturbed' (기존 확산 정책) 대비 압도적인 성공률 차이를 보였습니다. 예를 들어, NeedlePick 작업에서 가우스 노이즈 하에 Perturbed 는 0.38 이었던 반면, DSP 는 0.81 을 기록했습니다.
• Ablation Study:
  • 온라인 vs 오프라인: 학습 중 모델 가중치를 업데이트하며 실시간으로 필터링하는 '온라인' 방식이 오프라인 방식보다 더 높은 성능을 보였습니다.
  • 데이터 양: 100 개의 시연 데이터만으로도 정책이 수렴하며, 노이즈 데이터가 섞여 있더라도 필터링을 통해 효과적으로 학습이 가능함을 확인했습니다.
  • 임계값 민감도: 다양한 임계값 설정 (Otsu, GMM, K-means 등) 에서도 DSP 는 안정적인 성능을 유지했습니다.
• 실제 로봇 실험: 시뮬레이션에서 학습된 정책이 실제 하드웨어 (da Vinci Surgical Research Kit) 에서 바늘 잡기, 거즈 회수, 핀 이동 등의 작업을 안정적으로 수행함을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 확장성 (Data Scaling): 수술 로봇 분야에서 고품질 데이터 수집의 어려움 (안전 문제, 비용, 시간) 을 해결할 수 있는 길을 제시합니다. 실패하거나 노이즈가 있는 데이터를 폐기하지 않고 필터링하여 활용함으로써 데이터 효율성을 극대화합니다.
• 실용적 적용 가능성: 실제 수술 환경에서 발생할 수 있는 다양한 불완전한 시나리오를 고려하여 학습된 모델은 임상 적용에 더 가까워질 수 있습니다.
• 미래 전망: 이 연구는 수술 로봇 자동화를 위한 데이터 기반 학습의 새로운 방향성을 제시하며, 향후 실제 수술가들의 비최적 시연 데이터를 수집하여 학습하는 연구로 이어질 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 불완전한 수술 시연 데이터를 필터링하여 고품질 학습을 가능하게 하는 'Diffusion Stabilizer Policy'를 제안함으로써, 수술 로봇 자동화의 핵심 장벽인 데이터 품질 문제를 해결하고 실제 환경 적용 가능성을 크게 높였습니다.