Supervised Mixture-of-Experts for Surgical Grasping and Retraction

기술 요약: 외과적 집게 및 견인을 위한 감독형 전문가 혼합 (Supervised Mixture-of-Experts)

문제 제기
모방 학습 (Imitation Learning, IL) 은 로봇 조작 기술을 발전시켰으나, 최소 침습 수술 (Minimally-Invasive Surgery, MIS) 에 적용하는 데에는 데이터 부족, 제한된 작업 공간, 그리고 극도의 안전성과 예측 가능성에 대한 필요성이라는 중요한 장벽이 존재합니다. 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 기반 모델이 일반 로봇 분야에서 희망을 보이고 있지만, 이러한 모델들은 방대한 데이터셋과 높은 계산 자원에 의존하므로 시연 데이터가 제한적 (종종 150 회 미만) 이고 추론 지연 시간이 낮아야 하는 수술 영역에는 적합하지 않습니다. 또한, 기존 수술 학습 접근법은 신뢰할 수 있는 성능을 달성하기 위해 다중 카메라 설정 (예: 손목 장착 카메라) 이나 광범위한 시연 횟수 (예: 16,000 회 이상) 를 요구하는 경우가 많으며, 이는 단일 내시경 뷰만 제공되는 표준 복강경 환경에서는 불가능합니다.

방법론
저자들은 경량 행동 트랜스포머 정책, 특히 행동 청킹 트랜스포머 (Action Chunking Transformer, ACT) 를 보강하도록 설계된 감독형 전문가 혼합 (Supervised Mixture-of-Experts, MoE) 아키텍처를 제안합니다. 핵심 혁신은 수술 작업의 명시적이고 위상 구조화된 특성을 활용하여 훈련을 안정화하고 데이터 효율성을 향상시키는 데 있습니다.

• 아키텍처: 이 시스템은 위상 인식 MoE 블록을 삽입함으로써 표준 ACT 프레임워크를 확장합니다. 이 블록은 $H$개의 병렬 전문가 (각 수술 위상: 대기, 접근 및 집기, 유지, 견인, 장력 유지에 하나씩) 와 게이트 네트워크로 구성됩니다.
  • 전문가 (Experts): 별도의 "행동 전문가 (Action Experts)"와 "집게 전문가 (Gripper Experts)"가 잠재 변수 및 시각적 상태에 조건부로 각 위상의 특정 행동 분포를 모델링하도록 훈련됩니다.
  • 게이트 네트워크: 모드 붕괴나 불안정한 수렴에 자주 시달리는 비지도 MoE 접근법과 달리, 이 방법은 **감독형 게이트 (supervised gating)**를 사용합니다. 위상 분류기는 정답 수술 위상 레이블을 사용하여 현재 상태를 적절한 전문가로 라우팅하도록 명시적으로 훈련됩니다.
• 관측 공간: 정책은 엄격하게 **비전 전용 (vision-only)**으로, 스테레오 내시경 이미지 쌍을 활용합니다. 정책이 하드웨어 보정 및 운동학적 잡음과 무관하도록 고유 감각 데이터는 제외됩니다.
• 훈련 목적: 모델은 다음을 포함하는 변분 하한 (ELBO) 을 최적화합니다:
  1. 행동 재구성 손실 ($L_1$).
  2. 게이트 네트워크를 감독하기 위한 위상 교차 엔트로피 손실 (CE).
  3. 집게 이진 교차 엔트로피 손실 (BCE).
  4. KL 발산 정규화.
• 실험 설정: 실험은 한 UR5e 로봇 팔이 스테레오 내시경을 들고 다른 팔이 집게를 들고 있는 OpenHELP 팬텀을 사용하여 수행되었습니다. 데이터셋은 고정 시점의 120 회 시연과 무작위 카메라 각도의 50 회 시연으로 구성됩니다.

주요 기여

1. 새로운 아키텍처: 다중 뷰 또는 깊이 센서 없이 내시경 시각 피드백만 사용하여 150 회 미만의 시연으로부터 복잡하고 장기적인 수술 작업을 학습할 수 있도록 하는 행동 트랜스포머를 위한 감독형 MoE 확장 도입.
2. 인간 - 로봇 협업 작업: 외과 의사가 복강경 기구를 통해 표적 장 분절을 지시하고 로봇이 집기, 견인, 장력 유지를 자율적으로 수행하는 새로운 협업 작업 정의.
3. VLA 벤치마킹: 데이터가 부족한 환경에서 일반 목적 VLA 모델 (SmolVLA, $\pi_0.5$) 이 고정밀 수술 정책을 습득하지 못하지만, 특화된 경량 아키텍처는 성공한다는 실증적 검증.
4. 일반화 전제 조건: in vivo 전환을 위한 두 가지 중요한 능력 증명:
   • 시점 불변성: 무작위 카메라 각도로 훈련하면 명시적인 3D 표현 없이도 보이지 않는 시점으로 일반화 가능.
   • 제로샷 전이: 팬텀 데이터만으로 훈련되었음에도 불구하고 추가 훈련 없이 ex vivo 돼지 조직으로 전이 시 80% 성공률 달성.

결과

• 분포 내 (In-Distribution) 성능: 고정 시점 팬텀 데이터셋에서 제안된 ACT + MoE는 85% (17/20) 의 엔드 투 엔드 성공률을 달성하여, 표준 ACT 베이스라인 (50%, 10/20) 보다 크게 개선되었고 VLA 베이스라인은 완전히 실패 (0%) 했습니다. MoE 모델은 또한 위상 전환 중 조직 미끄러짐을 줄여 우수한 섬세함을 보여주었습니다.
• 분포 외 (Out-of-Distribution, OOD) 성능: MoE 정책은 감소된 조명, 부분적 가림, 새로운 집기 위치 하에서도 견고성을 유지하여 65% (13/20) 의 엔드 투 엔드 성공률을 달성했으며, 이는 표준 ACT 의 30% (6/20) 보다 높습니다.
• 제로샷 및 시점 일반화:
  • Ex Vivo: ex vivo 돼지 장에서 80% 성공률 (12/15) 달성.
  • 무작위 시점: 무작위 카메라 각도를 포함한 결합 데이터셋으로 훈련했을 때, 보이지 않는 카메라 시점에서 82% 성공률 (18/22) 달성.
• 효율성: ACT + MoE 정책은 27 Hz로 작동하여 베이스라인 ACT 와 유사한 반면, VLA 모델은 10 Hz 및 3.3 Hz 로 훨씬 낮은 주파수로 작동하여 실시간 수술 제어에는 적합하지 않았습니다.

의의 및 주장
본 논문은 감독형 MoE 아키텍처가 시각적으로 제한된 환경에서 다단계 섬세한 조작을 학습하기 위한 데이터 효율적 경로를 제공한다고 주장합니다. 수술 작업의 위상 구조를 명시적으로 모델링함으로써, 이 접근법은 비지도 MoE 훈련의 불안정성과 기반 모델의 데이터 갈망을 극복합니다. 저자들은 이 방법이 제한된 데이터, 단일 뷰 입력, 엄격한 안전 요구 사항이라는 MIS 의 특정 제약을 해결하여 자율 수술 보조를 향한 실현 가능한 경로를 제공한다고 단언합니다. ex vivo 조직으로의 성공적인 제로샷 전이와 초기 in vivo 시범 운영 (정성적으로 보여짐) 은 시스템이 동적 임상 환경에 내재된 기하학적 및 시각적 도메인 변화에 강건함을 시사합니다. 이 연구는 모방 학습과 감독형 MoE 를 결합함으로써 내시경 비전만을 사용하여 다단계 MIS 작업을 자동화할 수 있으며, in vivo 배포 목표에 한 걸음 더 다가섰다고 결론지었습니다.