기술 요약: Mixture-of-Experts Diffusion Policy를 통한 로봇 조작 기술의 추상화

문제 정의

디퓨전 기반 정책(Diffusion-based policies)은 액션 생성을 노이즈 제거 과정으로 모델링함으로써 단일 작업 로봇 조작 분야에서 놀라운 성공을 거두어 왔습니다. 그러나 이러한 정책을 다중 작업(multi-task) 시나리오로 확장하는 데는 상당한 어려움이 따릅니다. 현재의 전략들은 일반화 성능을 높이기 위해 모델 크기와 데모 데이터셋을 키우는 방식에 의존합니다. 이러한 접근법은 과도한 비용을 발생시킵니다. 거대 모델은 실시간 제어에 부적합할 정도로 느린 추론 속도를 보이며, 요구되는 데모 데이터는 작업의 다양성에 따라 기하급수적으로 증가합니다. 또한, 로보틱스 분야의 기존 Mixture-of-Experts(MoE) 적용 사례들은 재사용 가능한 조작 기술을 명시적으로 분리하지 못해, 행동이 뒤엉키거나 해석 가능성이 떨어지는 문제를 겪습니다. 핵심 과제는 적절한 모델 크기와 낮은 샘플링 지연 시간을 유지하면서도, 기술의 재사용성과 전이 가능성을 보장하며 효과적인 다중 작업 일반화를 달enable 하는 것입니다.

방법론: Skill Mixture-of-Experts Policy (SMP)

저자들은 압축되고 직교하는 기술 기저(skill basis)를 학습하고, 희소한 전문가(expert) 부분 집합으로부터 액션을 구성하는 디퓨전 기반 프레임워크인 **Skill Mixture-of-Experts Policy (SMP)**를 제안합니다.

1. 상태 적응형 직교 기술 기저 (State-Adaptive Orthogonal Skill Basis)

SMP는 고정된 액션 기저를 사용하는 대신, 상태 의존적 정규 직교 기저 $B(s) \in \mathbb{R}^{d \times K}$ (여기서 $K \ll d$)를 학습합니다.

• 구성: 경량 신경망이 제약이 없는 행렬 $W(s)$를 생성하며, 이는 부호 안정화(sign stabilization)를 포함한 미분 가능한 thin-QR 리트랙션(retraction)을 통해 스티펠레프 매니폴드(Stiefel manifold) 상으로 투영됩니다. 이를 통해 기저 벡터들이 정규 직교성을 유지하고 로봇의 상태(예: 팔의 포즈, 접촉)에 따라 연속적으로 변화하도록 하여 국소적 분리성(local disentanglement)을 보존합니다.
• 액션 분해: 액션은 $a_t = B(s_t)(g_t \odot z_t)$로 디코딩됩니다. 여기서 $g_t$는 게이팅 가중치이고 $z_t$는 기술 계수입니다. 이러한 직교 분해는 각 전문가가 액션 공간에서 서로 중첩되지 않는 별개의 방향에 기여하도록 보장합니다.

2. 스티키 라우팅 및 글로벌 사용 (Sticky Routing and Global Usage)

전문가 간의 급격하고 불안정한 전환(chatter) 문제를 해결하기 위해, SMP는 게이팅 메커니즘에 **스티키 디리클레-마르코프 역학(sticky Dirichlet-Markov dynamics)**을 채택합니다.

• 시간적 일관성: 게이트 $g_t$는 현재 상태가 이전 게이트 $g_{t-1}$과 글로벌 사용 벡터 $\vartheta$에 의존하는 마르코프 과정으로 모델링됩니다. 이는 조작 작업의 준정상 단계(quasi-stationary phases, 예: 잡기, 이동, 놓기)와 일치하도록 구간별로 일정한(piecewise-constant) 기술 활성화를 유도합니다.
• 글로벌 사용: 글로벌 벡터 $\vartheta$는 전반적인 기술의 출현 빈도를 포착하여, 정책이 특정 전문가 하나로 붕괴되는 것을 방지하고 작업 전반에 걸쳐 균형 잡힌 활용을 유지합니다.

3. 변분 학습 목적 함수 (Variational Training Objective)

SMP는 세 가지 구성 요소로 분해되는 ELBO(Evidence Lower Bound)를 최대화하기 위해 변분 추론을 통해 학습됩니다.

• 재구성 손실 ($L_{recon}$): 화이트닝된 기저(whitened basis)에서 합성된 액션이 실제 값(ground truth)과 일치하도록 합니다. 결정적으로, 훈련에는 디퓨전 대리 모델을 위한 stop-gradient 타겟과 액션 재구성을 위한 그래디언트 전달 타겟이라는 두 가지 계수 타겟을 사용하여, 디퓨전 과정을 불안정하게 만들지 않으면서 기술 기저 $B(s)$를 업데이트할 수 있게 합니다.
• 게이트 정규화 ($L_{gate}$): 아마티즈된(amortized) 게이트 사후 확률을 스티키 디리클레 사전 확률과 일치시켜, 시간적 스티키함과 글로벌 사용 제약을 강제합니다.
• 계수 정규화 ($L_{coeff}$): 기술 계수를 디퓨전 사전 확률과 일치시킵니다.

4. 추론 시 적응형 전문가 활성화 (Adaptive Expert Activation at Inference)

계산 비용을 줄이기 위해, SMP는 매 단계마다 모든 전문가를 평가하지 않습니다.

• 상태 전용 라우터: 경량 라우터가 오직 상태 $s_t$만을 기반으로 게이트 가중치를 예측합니다.
• 희소 선택: 전문가들은 그들의 "질량"(mass, $m_i = \bar{g}_{t,i}^2$)에 의해 순위가 매겨집니다. 시스템은 상위-$k$ 명의 전문가 또는 전체 질량의 일정 임계값(예: 95%)을 포괄하는 가장 작은 부분 집합만을 활성화합니다. 이는 희소하고 상태 의존적인 활성화를 구현하여 활성 파라미터와 지연 시간을 크게 줄여줍니다.

주요 기여

1. SMP 프레임워크: 상태 의존적 정규 직교 액션 기저와 스티키 라우팅을 통해 재사용 가능한 조작 기술을 명시적으로 추상화하는 디퓨전 기반 MoE 정책을 제안합니다.
2. 적응형 활성화 전략: 추론 시 압축된 전문가 부분 집합만을 활성화하여, 액션 샘플링 정확도를 유지하면서도 계산 비용을 줄이는 동적 선택 메커니즘을 제공합니다.
3. 실증적 검증: 시뮬레이션(RoboTwin-2, RLBench-2) 및 실제 양팔 로봇 플랫폼에서의 포괄적인 평가를 통해, 강력한 디퓨전 베이스라인들과 비교하여 우수한 다중 작업 성공률과 낮은 추론 비용을 입증했습니다.

실험 결과

저자들은 SMP를 바닐라 디퓨전 정책(DP, DP3), 트랜스포머 기반 정책(ACT), 대규모 파운데이션 모델(RDT), 그리고 기타 기술 추상화 또는 MoE 베이스라인들과 비교 평가했습니다.

• 다중 작업 학습: SMP는 양팔 작업(예: 쟁반 들기, 핸드오버, 쓸기) 전반에서 베이스라인들보다 일관되게 높은 성공률을 달성했습니다. RDT(1.2B 파라미터 모델)를 스케일링했을 때 작은 베이스라인 대비 성공률이 19% 향상된 반면, SMP는 훨씬 작은 규모로 더 높은 성능을 보여주었습니다.
• 효율성: SMP는 추론 시간과 활성 파라미터를 줄였습니다. SMP는 자신의 파라미터 중 약 30%만을 활성화했으며(RDT 전체 파라미터의 약 7%), 높은 성공률을 유지했습니다. 반면, 밀집형(dense) 베이스라인과 FFN-MoE 변형 모델들은 모든 전문가를 동기화하거나 평가해야 하기 때문에 더 높은 지연 시간을 겪었습니다.
• 전이 학습:
  • 퓨샷 적응(Few-Shot Adaptation): 단 10개의 데모만으로 새로운 작업에 대해 미세 조정했을 때, SMP는 전체 백본을 재학습할 필요 없이 관련 전문가를 효과적으로 재사용함으로써 베이스라인들을 능가했습니다.
  • 기술 조합: 학습된 기술의 재조합이 필요한 작업(예: 프라이팬에 감자튀김 넣기)에서, SMP의 라우터 전용 미세 조정은 기술을 성공적으로 재조합한 반면, 베이스라인들은 역할이 모호해지고 단계가 일관되지 않은 모습을 보였습니다.
• 실제 로봇 성능: PiPER 양팔 로봇 플랫폼에서, SMP는 네 가지 복잡한 양팔 작업(예: 펜 캡 제거하기, 콩 붓기)에서 디퓨전 베이스라인보다 낮은 지연 시간과 함께 가장 높은 진행 점수(progress scores)를 기록했습니다.

의의 및 주장

본 논문은 SMP가 확장 가능하고 전이 가능한 다중 작업 조작을 향한 실질적인 경로를 제공한다고 주장합니다. 한 번에 재사용 가능한 기술을 학습하고 필요한 것만 활성화함으로써, SMP는 모델 용량과 추론 효율성 사이의 트레이드오프 문제를 해결합니다. 저자들은 학습된 전문가들이 직관적인 조작 역할(왼쪽/오른쪽 팔, 잡기/이동/놓기 단계)과 일치함을 강조하며, 적응형 활성화 메커니즘이 정확도와 지연 시간 사이의 균형을 조절할 수 있는 간단한 조절 장치 역할을 한다고 설명합니다. 이 연구는 명시적인 기술 분리와 단계 일관적 라우팅이 견고한 양팔 제어를 위해 필수적임을 시사하며, 무차별적인 모델 스케일링에 대한 더 효율적인 대안을 제시합니다.

저자들은 현재 연구가 상대적으로 작은 백본을 가진 양팔 조작에 집중되어 있다는 한계를 인정했습니다. 향-후 연구로는 SMP를 더 큰 모델로 확장하고, 단일 팔 및 모바일 조작으로 범위를 넓히며, 센싱 노이즈 및 도메인 변화 하에서의 강건성을 평가하기 위한 더 광범한 실제 로봇 연구를 수행하는 것이 제안되었습니다.