Adapting Generalist Robot Policies with Semantic Reinforcement Learning

기술 요약: 시맨틱 강화 학습을 통한 범용 로봇 정책의 적응

문제 정의
시각-언어-행동(VLA) 모델은 대규모 사전 학습을 통해 다양한 기술 레퍼토리를 학습할 수 있는 능력을 입증하며, 강력한 사전 지식(prior) 역할을 수행해 왔다. 그러나 이러한 범용 정책을 활용하여 새롭고 복잡하거나 장기적인(long-horizon) 과제를 해결하는 것은 여전히 큰 과제로 남아 있다. 제로샷 프롬프팅(zero-shot prompting)과 같은 표준 배포 전략은 VLA가 복잡한 과제의 시맨틱(semantic)을 실행 가능한 원자적 행동으로 올바르게 분해하지 못하거나, 해당 행동을 로봇의 특정 물리적 맥락에 제대로 접지(grounding)하지 못하기 때문에 종종 실패한다.

VLA를 강화 학습(RL)을 통해 개선하려는 기존 방식들은 일반적으로 로봇의 저수준 행동 공간(예: 관절 위치 또는 end-effector 델타)에서 직접 작동한다. 이러한 방법들은 기본 정책의 행동 분포가 이미 성능이 우수한 정책에 가깝다는 가정을 전제로 한다. 이 가정은 기본 정책의 초기 행동이 부정확하거나 실패 모드에 빠지는 분포 외(OOD) 과제에서는 무너진다. 결과적으로, 행동 공간 기반의 RL 방식은 효과적으로 탐색하거나 심각한 오류로부터 회복하는 데 어려움을 겪으며, 이는 새로운 복잡한 시나리오에 VLA를 적응시키는 능력을 제한한다.

방법론: 시맨틱 행동 강화 학습 (SARL)
저자들은 RL의 최적화 공간을 저수준 로봇 행동에서 언어 프롬프트의 시맨틱 공간으로 전환하는 Semantic Action Reinforcement Learning (SARL)을 제안한다. 핵심 통찰은 충분히 표현력이 풍부한 범용 정책의 경우, 언어 프롬프트가 효과적인 대안 행동 공간 역할을 한다는 것이다. 이러한 프롬프트를 조절함으로써 정책의 사전 학습된 레퍼토리에 이미 존재하는 기술을 끌어낼 수 있으며, 이를 통해 제로샷 역량을 넘어서는 과제를 해결하기 위해 기존 기술들을 조합할 수 있다.

본 방법론은 다음과 같은 주요 구성 요소를 포함한다:

1. 시맨틱 MDP 정식화: SARL은 VLA의 언어 프롬프트를 하나의 "시맨틱 행동"($\ell \in A_{sem}$)으로 취급한다. 시스템은 정책 $\pi: S \to A_{robot}$을 학습하는 대신, 언어 명령을 선택하는 정책 $\pi_{sem}: S \to A_{sem}$을 학습한다. VLA는 선택된 시맨틱 행동 $\ell$을 로봇 행동 $a \sim \pi_{vla}(\cdot | s, \ell)$로 변환하는 변환 함수 역할을 한다.
2. 온라인 RL 루프: SARL은 시맨틱 Q-함수($Q_{sem}$)를 학습하기 위해 온라인 RL 루프를 채택한다. 이 함수는 특정 언어 프롬프트가 과제 보상(reward)을 향한 진전에 얼마나 효과적인지를 추정한다. 정책은 이러한 Q-값들의 소프트맥스(softmax) 분포를 기반으로 프롬프트를 선택하며, 이를 통해 시스템은 VLA를 적응적으로 제어하여 과제 성공으로 유도할 수 있다.
3. 후보 생성 및 캐싱: 가능한 언어 프로프트의 무한한 공간에 대한 탐색을 실행 가능하게 만들기 위해, SARL은 각 단계에서 현재 관측값과 과제를 바탕으로 후보 시맨틱 행동($A_{sem}^t$)을 생성하기 위해 시각-언어 모델(VLM)을 활용한다. 또한 탐색 공간을 더욱 제한하고 효율적인 학습을 가능하게 하기 위해, 시스템은 유한한 프롬프트 세트를 캐싱한다. 이후 VLM은 이 캐시에서 후보를 선택하도록 제한되며, 이를 통해 행동 공간의 원-핫 인코딩(one-hot encoding)과 효율적인 Q-러닝이 가능해진다.
4. 접지(Grounding): 결정적으로, SARL은 이러한 시맨틱 행동을 실제 경험에 접지하는 법을 학습한다. 환경과의 상호작용을 통해, 시스템은 어떤 특정 언어 명령이 실제로 성공적인 물리적 행동을 유도하는지를 학습하며, 시맨틱적으로는 타당하지만 물리적으로는 효과적이지 않은 지시와 성공으로 이끄는 지시를 구분해낸다.

주요 기여

• 시맨틱 행동 공간: 본 논문은 언어 프롬프트를 RL의 주요 행동 공간으로 취급하는 개념을 도입하여, 학습 문제를 저수준 제어에서 시맨틱 스티어링(steering)으로 격상시킨다. 이를 통해 VLA에 인코딩된 행동 사전 지식을 활용하는 구조적이고 시맨틱적으로 의미 있는 탐색이 가능해진다.
• SARL 알고리즘: 저자들은 온라인 상호작용을 통해 VLA 프롬프트를 최적화하는 법을 배우는 알고리즘인 SARL을 제시한다. 이는 후보 생성에 VLM의 시맨틱 사전 지식을 결고, 물리적 결과에 기반하여 프롬프트 선택을 정교화하기 위해 RL의 접지 능력을 결합한다.
• 분해 및 접지: 본 연구는 성공적인 적응을 위해서는 단순히 복잡한 목표를 하위 과제로 분해하는 것(VLM이 할 수 있는 일)뿐만 아니라, 시맨틱 지시와 그것이 유도하는 물리적 행동 사이의 접지된 매핑을 학습하는 것(RL이 제공하는 일)이 필요함을 입증한다.

결과
저자들은 시뮬레이션 벤치마크(Libero-10)와 WidowX 로봇을 이용한 실세계 환경에서 SARL을 평가하였다. 실험은 제로샷 VLA 배포로는 불가능하고 기존 RL 방식으로는 어려운 복잡한 장기 과제들에 초점을 맞춘다.

• 성능: SARL은 Diffusion Steering via RL (DSRL), Residual RL, 그리고 인-컨텍스트 러닝(ICL) VLM 접근법을 포함한 기존 베이스라인들을 유의미하게 능가한다. 실세계 과제에서 SARL은 기본 VLA의 성공률을 60~100회의 온라인 에피소드 내에 거의 0%에서 약 80%까지 향상시킨다.
• 행동 공간 RL과의 비교: DSRL 및 Residual RL과 달리, SARL은 기본 정책의 초기 행동 분포에 제약을 받으며 기본 정책이 크게 틀린 과제에서 학습에 실패하는 경우가 많지만, 다양한 시맨틱 프롬프트를 탐색함으로써 이러한 실패 모드를 성공적으로 극복한다.
• VLM 베이스라인과의 비교: ICL VLM 베이스라인들은 과제를 분해할 수는 있지만, 시맨틱적으로는 의미가 있어도 물리적으로는 효과적이지 않은 지시(예: 잘못된 동사나 객체 참조 사용)를 자주 선택한다. SARL은 물리적 결과에 기반하여 프롬프트 선택을 학습함으로써 이러한 베이스라인들보다 뛰어난 성능을 보인다.

의의 및 주장
본 논문은 SARL이 범용 로봇 정책을 적응시키기 위한 근본적으로 새로운 능력을 열어준다고 주장한다. 시맨틱 행동 공간을 최적화함으로써, SARL은 다음의 경우에 불가능한 복잡하고 장기적인 과제를 로봇이 해결할 수 있도록 한다:

1. 로봇 행동 수준에서 작동하는 기존 RL 방식.
2. 제로샷 VLA 배포.
3. VLM을 통한 고수준 언어 스티어링을 사용하되 온라인 RL 없이 배포된 VLA.

저자들은 SARL의 효율성이 새로운 기술을 처음부터 배우는 것이 아니라 사전 학습된 기술을 재사용하는 능력에서 비롯되며, 이를 통해 탐색 공간을 과제에 적합한 행동으로 제한한다는 점을 강조한다. 또한, 본 방법론은 시맨틱 지시를 물리적 행동에 접지하는 것의 결정적인 중요성을 부각하며, 이는 순수 언어 기반 방식이나 순수 행동 기반 방식이 갖지 못한 능력이다. 이 연구는 향후 범용 로봇 정책이 더욱 강력한 언어 준수 능력을 갖추도록 설계될 수 있으며, SARL이 개방형 환경에서의 자율적 적응을 위한 표준 도구 세트 역할을 할 수 있음을 시사한다.