기술 요약: ExToken: 효율적인 시각-언어-행동 강화 학습 미세 조정을 위한 구조적 탐색

1. 문제 정의

시각-언어-행동(VLA) 모델은 로봇 조작 분야에서 유망한 가능성을 보여주었으며, 강화 학습(RL)은 환경과의 상호작용을 통해 이러한 모델을 사후 학습(post-training)하기 위한 패러다임을 제공합니다. 그러나 VLA-RL의 실질적인 확장성은 **샘플 효율성(sample inefficiency)**에 의해 심각하게 제약됩니다. 대규모 VLA 아키텍처는 물리적 또는 시뮬레이션 환경에서의 광범위한 시행착오를 거칠 때 과도한 비용과 안전 리스크를 초кти합니다.

저자들은 현재의 VLA-RL 프레임워크에서 발생하는 특정 병목 현상을 식별했습니다: 바로 **탐색 정체(exploration stagnation)**로 인한 **행동 모드 붕괴(action mode collapse)**입니다. 표준적인 확률적 샘플링 메커니즘은 학습이 진행됨에 따라 정책이 점점 더 균일한 궤적을 생성하게 만듭니다. 에이전트는 유사한 행동 패턴을 반복적으로 활용하게 되며, 이는 상태-행동 커버리지를 개선하지 못한 채 중복된 데이터 수집으로 이어지는 결과를 초래합니다. 본 논문은 근본적인 문제가 단순히 데이터 양의 부족이 아니라, 궤적의 다양성(trajectory diversity) 부족에 있다고 주장합니다.

2. 방법론: ExToken

탐색 정체를 해결하기 위해, 저자들은 오프라인 데모로부터 도출된 이산적 행동 사전(behavioral priors)을 기반으로 VLA 정책에 조건을 부여하여 구조적 탐색을 가능하게 하는 ExToken(RL Exploration Token) 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다.

A. 토큰 공식화 및 조건화 (Token Formulation and Conditioning)

구조화되지 않은 확률적 노이즈에 의존하는 대신, ExToken은 오프라인 전문가 데이터셋에 내재된 행동적 다양성을 활용합니다.

1. 토큰 생성: 사전 학습된 비디오 인코더가 데모 데이터셋 $\mathcal{D}$로부터 잠재적 시공간 특징을 추출합니다. 이 잠재 공간에서 $K$-means 클러스터링을 수행하여 $K$개의 클러스터 중심점 $\{c_1, \dots, c_K\}$를 식별합니다. 각 중심점은 서로 다른 행동 모드에 대응하는 이산적인 **탐색 토큰(exploration token)**을 정의합니다.
2. 토큰 조건부 웜업 (Token-Conditioned Warm-Up): RL 이전에, 지도 학습 기반 미세 조정(SFT) 단계를 통해 정책을 이러한 토큰들과 정렬합니다. 각 데모 궤적은 그에 해당하는 클러스터 토큰과 쌍을 이루어, 정책이 특정 토큰과 행동 모드 사이의 연관성을 학습할 수 있도록 합니다.
3. RL 중 구조적 탐색: RL 상호작용 단계 동안, 정책은 입력 시퀀스 앞에 붙여진 균등하게 샘플링된 탐색 토큰 $k \sim \mathcal{U}(1, K)$에 의해 조건화됩니다. 이는 에이전트를 명시적으로 서로 다른 행동 모드로 유도하여, 행동 모드 붕괴를 방지하고 롤아웃 다양성을 향상시킵니다.

B. 상태 조건부 토큰 선택기 (State-Conditioned Token Selector)

확률적 학습 탐색과 배포 시의 결정론적 추론 사이의 간극을 메우기 위해, ExToken은 토큰 선택기(Token Selector) $\phi$를 포함합니다.

• 아키텍처: 초기 관측값 $s_0$(이미지 및 언어)가 주어지면, 사전 학습된 SigLIP 인코더와 그 뒤의 MLP 헤드가 토큰 공간에 대한 범주형 분포를 예측합니다.
• 학습: 선택기는 VLA 정책과 공동으로 최적화됩니다. 정책은 표준 RL 목적 함수를 통해 업데이트되는 반면, 선택기는 에피소드 단위로 REINFORCE를 사용하여 최적화됩니다. 이 목적 함수는 선택된 토큰에 대한 기대 궤적 보상 $R(\tau)$를 최대화하여, 선택기가 주어진 초기 상태에 대해 가장 효과적인 행동 모드를 예측하도록 독려합니다.
• 추론: 배포 시에는 선택기가 가장 가능성이 높은 토큰($\arg\max$)을 결정론적으로 출력하여, 무작위 샘플링 없이 안정적이고 문맥을 고려한 행동을 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 경험적 통찰: 저자들은 궤적의 다양성이 단순한 롤아웃의 양보다 샘플 효율성에 근본적으로 더 중요하다는 것을 입증했습니다. 이들은 균일한 궤적을 버리고 다양한 서브셋으로 학습하는 것이 표준 롤아웃의 두 배 볼륨으로 학습하는 것과 대등한 성능을 낸다는 것을 보여주었습니다.
2. ExToken 프레임워크: 이산적 토큰 조건화를 통해 VLA 정책이 구조화된 행동 모드를 탐색하도록 가이드하는 단순하고 일반적인 프레임워크를 도입했습니다. 이는 토큰 조건부 탐색과 결정론적 추론을 위한 상태 조건부 토큰 선택기를 독특하게 결합합니다.
3. 강력한 성능: 광범적인 실험을 통해 ExToken이 정책 수렴을 가속화하고, 작업 성공률을 높이며, 엄격하게 제한된 상호작용 예산(예: 제한된 롤아웃 횟수) 및 환경 변화 하에서도 견고함을 유지함을 보여주었습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 로봇 조작 작업 모두에서 ExToken을 평가했습니다.

시뮬레이션 (LIBERO 벤치마크)

• 설정: ExToken은 OpenVLA-OFT를 기본 정책으로, GRPO를 최적화 도구로 사용하여 네 가지 LIBERO 작업 세트(Spatial, Object, Goal, Long)에서 테스트되었습니다. 상호작용 예산은 스텝당 512개의 궤적으로 엄격히 제한되었습니다.
• 성능: ExToken은 동일한 예산 하에서 강력한 베이스라인인 RLinf-GRPO(96.8%)를 능가하는 평균 **98.2%**의 성공률을 달-성했습니다.
• 효율성: 학습 곡선은 ExToken이 베이스라인보다 빠르게 수렴함을 나타냈습니다. 특히 도전적인 LIBERO-Long 세트에서 ExToken은 성공률을 95.2%에서 97.8%로 향상시켰습니다.
• 절제 실험(Ablation): 512개의 다양화된 롤아웃(ExToken 활용)으로 학습하는 것이 1024개의 표준 롤아웃과 대등한 성능을 보였으며, 이는 다양성이 볼륨보다 중요하다는 가설을 검증합니다.

실제 환경 실험

• 작업: 옷 접기(Fold clothes), 테이블 닦기(Wipe table), 물 따르기(Pour water), 펜 꽂기(Insert pen)의 네 가지 작업을 평가했습니다.
• 예산: 반복당 20회의 롤아웃이라는 엄격한 제약 조건 하에 실험이 진행되었습니다.
• 결과: ExToken은 원래 설정에서 Evo-RL 베이스라인보다 평균 6.25% 높은 성능을 보였습니다.
• 일반화: 결정적으로, ExToken은 환경 변화(보이지 않는 물체, 배경 변화, 조명 변화)에 대해 우수한 견고성을 보여주었습니다. 베이스라인이 1025%의 성능 저하를 겪은 반면, ExToken의 저하는 **515%**로 제한되었는데, 이는 훈련 과정에서 다양한 상호작용 패턴에 노출되었기 때문입니다.

분석

• 토큰 클러스터링: 시각화를 통해 토큰이 뚜렷한 행동 모드(예: 천 접기에서의 교정적 직선화 vs. 부드럽게 하기)를 포착했음을 확인했습니다.
• 탐색 공간: 3D 말단 장치(end-effector) 위치 분석 결과, 토큰 조건부 탐색은 표준 확률적 탐색에 비해 훨씬 더 넓은 공간 영역을 커버했습니다.
• 제약 조건: ExToken은 롤아웃 예산이 512개에서 256개로 줄어들어도 견고함을 유지하며, 유사한 결과를 얻기 위해 두 배의 데이터가 필요한 베이스라인보다 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 ExToken이 VLA-RL의 근본적인 병목 현상인 탐색 비용과 샘플 효율성 사이의 트레이드오프를 해결한다고 주장합니다. "더 많은 데이터를 수집하는 것"에서 "구조적 토큰 조건화를 통해 더 다양한 데이터를 수집하는 것"으로 초점을 전환함으로써, ExToken은 타이트한 상호작용 예산 하에서도 효율적인 정책 최적화를 가능하게 합니다.

저자들은 ExToken을 다양한 VLA 아키텍처 및 RL 패러다임(온라인 및 반복적 오프라인)에 통합할 수 있는 경량화되고 폭넓은 호환성을 가진 프레임워크로 포지셔닝합니다. 이들은 이 방법이 복잡한 아키텍처 변경을 요구하기보다는 입력 조건화를 활용하여 탐색을 유도한다는 점을 강조합니다.

한계 및 향 향후 연구 방향:
저자들은 현재의 설계가 핵심 가설에 대한 단순화된 검증임을 겸허히 언급하며, 향-후 연구 방향으로 다음을 제시했습니다:

• 토큰 표현과 정책의 공동 최적화.
• 암시적 앙상블을 위한 확률적 토큰 드롭아웃 도입.
• 복잡하고 긴 호흡의 작업을 처리하기 위해 단일 초기 상태 토큰에서 **시간적 조건부 토큰(temporally-conditioned tokens)**으로의 전환 (탐색 전략이 동적으로 변해야 하는 경우를 대비).