기술 요약: Mixture-of-Experts VLA에서의 창발적 구성 능력

문제 정의

시각-언어-행동 모델(VLA)은 다양한 로봇 조작 작업 전반에 걸쳐 일반화하는 데 상당한 가능성을 보여주었습니다. 그러나 이러한 모델은 일반적으로 단일체(monolithic) 정책으로 훈련되고 배포됩니다. 이러한 구조는 한계점을 가집니다: 재사용 가능한 기술을 식별하거나, 행동을 계층적으로 구성하거나, 전체 모델을 다시 훈련하지 않고 정책의 특정 부분을 적응시키는 것이 어렵습니다. 반면, 많은 로봇 작업은 자연스럽게 재사용 가능한 행동 모드(예: 도달, 잡기, 놓기)로 분해됩니다. 본 연구의 핵심 질문은, 사전 정의된 작업 분해, 계층 또는 수동으로 정의된 기술 라이브러리 없이도 데이터로부터 직접 유도될 수 있는 모듈형 정책 구조가 존재하는가 하는 점입니다.

방법론

저자들은 기존의 사전 훈련된 VLA 백본인 $\pi_0$와 SmolVLA 위에 Mixture-of-Experts(MoE) 액션 정책을 훈련하는 방을 제안합니다. 두 백본 모두 행동 생성을 위해 flow matching을 활용합니다. 이 접근 방식은 두 가지 주요 설계 선택 사항으로 정의됩니다:

1. LoRA Mixture-of-Experts: MoE 아키텍처는 각 액션 레이어의 Feed-Forward Network(FFN) 서브레이어만을 교체하며, self-attention은 모든 전문가(expert) 간에 공유됩니다. 각 전문가는 기본 FFN에 적용되는 저차원(low-rank) LoRA 델타($r=16$)로 구현됩니다. 정책은 다음과 같이 공식화됩니다:
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   여기서 $R$은 정규화된 가중치 $w_e$를 가진 라우팅된 전문가들의 집합입니다. LoRA 행렬 $B$는 zero-initialized되어, 정책이 0단계에서 사전 훈련된 백본을 정확히 재현하도록 보장하며, 이를 통해 강력한 사전 지식(prior) 주변에서 특화(specialization)가 발생할 수 있도록 합니다.

2. 전체 순방향 패스 라우팅(Whole Forward Pass Routing): 토큰당 레이어별로 라우팅하는 표준 MoE 트랜스포머와 달리, 이 방식은 정책의 전체 순방향 패스당 한 번 라우팅을 수행합니다. 작은 MLP 라우터 $g_\phi$는 시각, 언어 및 고유 수용성 상태를 인코딩하는 컨텍스트 벡터를 입력받아 $E$개의 전문가에 대한 로짓(logits)을 생성합니다. 단일 선택(top-$k$)이 모든 액션-전문가 레이어에 걸쳐 균일하게 적용됩니다. 이는 각 전문가가 독립적인 레이어별 결정의 집합이 아니라, 일관된 엔드 투 엔드(end-to-end) 행동 또는 "기술(skill)"로서 기능하도록 보장합니다.

훈련 목적 함수: 모델은 백본의 flow-matching 행동 복제(behavior-cloning) 손실과 단일 전문가로의 라우팅 붕괴를 방지하기 위한 보조 로드 밸런싱 항($\lambda_{LB} = 0.01$)을 사용하여 훈련됩니다.

주요 결과 및 분석

저자들은 LIBERO-10 벤치마크에서 이 접근 방식을 평가하여, 학습된 기술의 성격에 관한 네 가지 핵심 질문을 다룹니다:

• 질적으로 구별되는 기술의 창발: 라우터는 특정 저수준 행동에 대응하는 전문가를 자율적으로 선택하는 법을 학습합니다. 질적 분석 결과, 전문가들이 "잡은 물체를 운반하기", "놓고 뒤로 물러나기", 또는 "얇은 손잡이에 접근하여 잡기"와 같이 조작의 특정 단계에 특화되어 있음이 드러났습니다. 이러한 기술들은 구조적으로 다른 작업들(예: 머그컵 놓기 vs 모카 포트 놓기) 전반에서 재사용되며, 이는 전문가들이 작업 특정적 정책이 아닌 단계 수준의 기술을 인코딩하고 있음을 시사합니다합니다.
• 재사용 가능한 전문가 vs 작업 특정적 전문가: 선택 빈도 분석은 전문가의 이중 역할을 보여줍니다. 일부 전문가(예: Expert A 및 B)는 여러 작업에서 빈번하게 재사용되어(선택률 35–45%) 일반적인 프리미티브(primitive) 역할을 합니다. 다른 전문가들은 매우 특화되어 특정 작업(예: Task T5에 대한 Expert C)에 거의 독점적으로 활성화되며, 이는 특이한 에지 케이스(edge case)를 처리함으로써 재사용 가능한 전문가들을 "선명하게(crisp)" 유지합니다.
• 프리미티브의 구성: 라우터는 이러한 프리미티브들을 더 긴 호라이즌의 궤적으로 엮어주는 암묵적인 상위 수준 시퀀서(sequencer) 역할을 합니다. 예를 들어, 어떤 작업은 Expert C(잡기)에 이어 Expert A(놓기)를 포함할 수 있습니다. 주목할 점은 실패 사례에서도 정책이 임의의 노이즈로 퇴보하는 대신, 알려진 프리미티브를 반복적으로 호출하는(예: 잡기와 놓기를 여러 번 시도함) 해석 가능한 행동을 보인다는 것입니다.
• 수동 라우팅 검증: 기술이 라우터의 정책에 의한 산물이 아니라 전문가 자체에 내재되어 있는지 확인하기 위해, 저자들은 수동 라우팅 실험을 수행했습니다. 라우터의 선택을 특정 전문가로 대체했을 때(예: 원래 선택되지 않았던 컨텍스트에서 "잡기" 전문가를 강제 적용), 기대했던 질적 행동이 나타났습니다. 이는 전문가들이 라우터의 기본 선택과 독립적으로 재사용 가능하고 일반화 가능한 능력을 보유하고 있음을 확인시켜 줍니다.
• 성능: MoE 정책은 동일한 체크포인트에서 파인튜닝된 밀집형(dense) 단일체 베이스라인과 대등한 작업 성능을 달성했습니다. 이는 작업 역량을 희생하지 않고도 기술 특화가 이루어질 수 있음을 입증합니다.

의의 및 주장

본 논문은 로봇을 위한 계층적, 기술 기반 학습이 고수준 플래너, 옵션 프레임워크(options frameworks) 또는 사전 훈련된 기술 라이브러리와 같은 추가적인 메커니즘을 반드시 필요로 하지 않는다고 주장합니다. 대신, 표준 모방 학습에 적용된 단순한 MoE 아키텍처를 통해 다음을 얻을 수 있습니다:

1. 창발적 구성성(Emergent Compositionality): 모델은 작업을 작고 모듈화된 재사용 가능한 프리미티브 세트로 분해하는 법을 학습합니다.
2. 해석 가능성: 실패와 성공을 알려진 프리미티브의 시퀀스로 이해할 수 있어 정책을 더 투명하게 만듭니다.
3. 데이터 기반 모듈성: 구성적 구조는 라우터와 특화된 전문가 사이의 상호작용에 의해 오직 데모 데이터로부터만 창발됩니다.

저자들은 일부 학습된 기술이 여전히 작업 특정적이거나 해석이 어렵다는 점을 언급하며 한계를 인정하였으나, 본 연구는 데이터로부터 직접적으로 발생하는 모듈적이고 해석 가능한 로봇 정책을 향한 진일보를 나타냅니다.