기술 요약: Eximo: VLM 가이드 기반의 VLA 정책 탐색

문제 정의

본 논문은 값비싼 인간의 원격 조종(teleoperation)에 의존하지 않고, 새로운 복잡한 태스크를 즉각적으로 학습하기 위해 로봇 정책을 효율적으로 미세 조정(finetuning)하는 과제를 다룹니다. 최첨단 로봇 조작 정책들은 대규모 시각-언어-행동(Vision-Language-Action, VLA) 모델의 대규모 행동 복제(Large-scale Behavior Cloning, LBC)에 기반하고 있지만, 이러한 모델들은 훈련 분포를 벗어난 장기적(long-horizon), 구성적(compositional) 또는 추론 중심적인 태스크를 수행하는 데 어려움을 겪습니다.

두 가지 주요 기존 접근 방식에는 다음과 같은 한계가 있습니다:

1. 강화 학습 (RL): 자기 개선이 가능하지만, 특히 탐색이 어려운 장기적 태스크에서 샘플 효율성이 매우 낮습니다. 거대한 VLA 모델에 RL을 직접 적용하는 것은 모델의 크기와 구조적 설계(예: 디퓨전 헤드)로 인해 더욱 복end합니다.
2. 원격 조종 기반 행동 복제: 매번 새로운 태스크를 위해 원격 조종 데이터셋을 수집하는 것은 수백 시간의 값비싼 노동력을 요구하며, 현실 세계의 다양한 시나리오를 모두 포착하기 어렵습니다.

저자들은 자연어 목표와 성공 탐지기(success detector)만으로 지정된 새로운 태스크에 사전 학습된 언어 조건부 VLA 정책을 적응시키는 설정을 제안하며, 추가적인 원격 조종 없이 샘플 효율성을 달성하는 것을 목표로 합니다.

방법론: Eximo

저자들은 의미론적 이해와 운동 제어 사이의 간극을 메우기 위해 설계된 3단계 알고리즘인 Eximo를 제안합니다. 이 파이프라인은 탐색(Explore), 모방(Imitate), 최적화(Optimize) 단계로 구성됩니다.

1. 탐색 (Explore): VLM 가이드 데이터 수집

이 단계에서는 최첨단 시각-언어 모델(VLM)을 활용하여 VLA를 위한 고수준 플래너 및 오케스트레이터(orchestrator) 역할을 수행하게 합니다.

• 메커니즘: VLM(구체적으로 Gemini)은 환경의 시각적 이력과 자연어 목표를 제공받습니다. VLM은 복잡하고 장기적인 목표를 실행 가능한 짧은 주기의 하위 목표 또는 지침들로 분해합니다.
• 상호작작용: VLM은 폐쇄 루프(closed loop)로 작동하여 VLA 정책에 단계별 자연어 지침(예: "왼손으로 파란색 접시를 집으세요")을 제공합니다. VLA는 이 지침을 실행합니다.
• 데이터 필터링: 시스템은 이러한 오케스트레이션된 정책들을 실행(rollout)합니다. 태스크를 성공적으로 완료한 에피소드(실제 성공 탐지기에 의해 검증됨)만이 데이터 버퍼에 저장됩니다. 실패한 시도는 제외됩니다.
• 목표: VLM의 세상 지식(world knowledge)을 활용한 의미론적 탐색을 통해, 인간의 개입 없이 새로운 태스크를 위한 고품질의 다양한 궤적(trajectory)을 수집합니다.

2. 모방 (Imitate): 지도 미세 조정 (SFT)

수집된 성공적인 궤적은 VLM의 오케스트레이션 지식을 VLA로 증류(distill)하는 데 사용됩니다.

• 과정: VLA는 필터링된 데이터셋을 통해 지도 행동 복제(supervised behavior cloning) 방식으로 미세 조정됩니다.
• 증류: 결정적으로, VLA는 VLM이 제공한 중간 지침이 아니라 **원래의 태스크 목표($g$)**에 직접 조건화되어 행동을 예측하도록 훈련됩니다. 이를 통해 VLA는 VLM이 보여준 다단계 추론과 기술의 연쇄를 내재화할 수 있습니다.
• 결과: 결과적으로 생성된 정책은 온라인 VLM 쿼리 없이도 새로운 태스크를 실행할 수 있는 독립적인 에이전트가 되며, 이를 통해 배포 시 레이턴시를 제거하고 계산 오버헤드를 줄입니다.

3. 최적화 (Optimize): 잔차 온라인 RL (Residual Online RL)

마지막 단계는 온라인 강화 학습을 사용하여 정책을 더욱 정교하게 다듬습니다.

• 과제: 거대한 VLA 모델을 RL로 직접 훈련하는 것은 모델의 크기와 장기적 태스크에서의 희소한 보상(sparse reward) 문제로 인해 어렵습니다.
• 접근 방식: 저자들은 잔차 정책(residual policy) 구조를 채택합니다. 더 작은 잔차 정책($\pi_{ref}$)은 현재 상태, 목표, 그리고 미세 조정된 VLA가 예측한 행동($a_{VLA}$)을 바탕으로 수정 항($\Delta a$)을 출력하도록 학습됩니다. 최종 실행되는 행동은 $a = a_{VLA} + \Delta a$입니다.
• 훈련: 잔차 정책은 성공 확률을 극대화하기 위해 오프-정책 RL(구체적으로 MPO 알고리즘)을 사용하여 훈련됩니다. 사전 미세 조정된 VLA가 강력한 초기값을 제공하므로, 잔차 정책의 탐색이 더욱 샘플 효율적으로 이루어집니다.

주요 기여

1. Eximo 프레임워크: VLM 가이드 탐색과 VLA 미세 조정 및 잔차 RL을 결합한 새로운 3단계 파이프라인(Explore-Imcite-Optimize)을 제시합니다.
2. 오케스트레이터로서의 VLM: VLM이 로봇 API나 사전 정의된 기술 세트에 대한 명시적인 접지(grounding) 없이도 자연어를 통해 VLA 정책을 효과적으로 오케스트레이션하여 복잡한 장기 태스크를 해결할 수 있음을 입증했습니다.
3. 지식 증류: VLM 가이드 궤적을 SFT를 통해 VLA로 전략적으로 증류하는 것이 성능과 샘플 효율성을 크게 향상시키며, 추론 시점에 기본 VLA 및 VLM 오케스트레이션 VLA보다 뛰어난 성능을 보이는 독립적인 정책을 생성함을 보여주었습니다.
4. 잔차 RL 통합: 잔차 정책을 통해 온라인 RL을 VLA 미세 조정과 성공적으로 통합하여, 샘플 효율성을 유지하면서도 추가적인 성능 향상을 달 Achieve 했습니다.

실험 결과

저자들은 ALOHA 로봇 플랫폼을 사용하여 시뮬레이션 환경의 22가지 조작 태스크에 대해 Eximo를 평가했습니다. 태스크에는 접시 배치, 추론 기반 객체 선택(예: "원숭이가 좋아하는 과일"), 공간 추론(예: 왼쪽 vs 오른쪽 칸) 등이 포함되었습니다.

• 탐색 효율성: VLM 오케스트레이션은 기본 VLA(GROD)의 성공률을 크게 높였고, 기본 VLA 단독 사용 시보다 에피소드 길이를 단축시켜 더 효율적인 데이터 수집이 가능함을 보여주었습니다.
• 미세 조정 이득: VLM 오케스트레이션 데이터에 대한 지도 미세 조정(SFT)은 기본 VLA의 성능을 급격히 향상시켰습니다. 미세 조정된 VLA는 추론 시점에 VLM 오케스트레이션 VLA보다 우수한 성능을 보였으며, 이는 증류 과정의 성공을 입증합니다.
• RL 성능: 온라인 RL이 적용되었을 때, "GROD + SFT + RL" 구성이 가장 높은 성공률과 빠른 수렴도를 달성했습니다. 이는 기본 모델이 훨씬 더 많은 환경 스텝 동안 훈련되었을 때의 기본 GROD 모델보다도 유의미하게 높은 성능을 보였습니다.
• 절제 연구(Ablation): 본 논문은 세 단계 모두가 최종 성능에 기여함을 확인했습니다. 특히, VLM의 행동을 VLA로 증류하는 것이 평가 시점에 VLM을 온라인 오케스트레이터로 유지하는 것보다 우수합니다.

의의 및 주장

본 논문은 Eximo가 VLA 훈련의 새로운 패러다임을 구축한다고 주장합니다. VLM의 일반적인 세상 지식과 VLA의 감각-운동 기술을 결합함으로써, 로봇이 값비싼 원격 조종 시간 없이도 새로운 기술을 습득할 수 있게 합니다.

저자들은 이 방법이 다음과 같은 이점을 제공한다고 강조합니다:

• 샘플 효율성: 순수 RL이나 순수 원격 조종에 비해 새로운 태스크를 배우는 데 필요한 데이터를 획기적으로 줄입니다.
• 자율성: 자연어로 지정된 복잡하고 추론이 필요한 새로운 태스크에 로봇이 적응할 수 있는 완전한 자율 학습 루프를 생성합니다.
• 배포 가능성: 실행 중 고지연(high-latency) VLM 오케스트레이터에 의존하지 않는 독립적인 정책을 생성하여 실시간 제어에 적합하게 만듭니다.

이 연구는 향후 시스템이 VLM을 단순한 플래너를 넘어 자기 증류(self-distillation)를 위한 도구로 활용함으로써, VLA가 스스로 생성한 고품질 데이터를 통해 능력을 지속적으로 확장할 수 있음을 시사합니다.