기술 요약: 직관을 믿으세요: 시각-언어-행동(VLA) 모델을 위한 신뢰도 기반 테스트 타임 RL

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 체화된 AI(Embodied AI)의 변혁적인 패러다임으로 부상했으나, 강화 학습(RL)을 통한 최적화는 외부 환경 피드백에 대한 과도한 의존성이라는 결정적인 병목 현상에 직면해 있습니다. 기존 VLA를 위한 RL 방식은 일반적으로 정책 업데이트를 가이드하기 위해 사전 정의된 성공 신호, 시뮬레이터가 제공하는 보상, 또는 인간의 주석(annotation)을 필요로 합니다. 이러한 의존성은 그 효용성을 사전 정의된 시나리오에 국한시키며 진정한 자율적 자기 개선을 저해합니다.

테스트 타임 RL은 이산적 도메인(수학 및 코딩의 majority voting 등)에서 가능성을 보여주었으나, 이를 로봇 조작으로 번역하는 것은 매우 어렵습니다. 단일하고 검증 가능한 정답이 존재하는 수학 문제와 달리, 로봇 작업은 동일한 목표를 달 achieve할 수 있는 여러 갈래의 서로 다른 행동 시퀀스를 포함하는 연속적인 궤적을 수반하며, 이는 자기 성찰(self-reflection)을 위한 명확한 그라운드 트루스(ground truth)를 제거합니다. 결과적으로, VLA 모델이 외부 보상 감독 없이 순수하게 라벨이 없는 궤적만을 사용하여 스스로 최적화할 수 있게 하는 방법론이 부족한 실정입니다.

방법론: T2VLA 프레임워크

저자들은 모델의 내부 평가 능력을 활용하여 자기 부트스트래핑(self-bootstrapping) 정책 개선을 가능하게 하는 아키텍처 불가지론적(architecture-agnostic) 프레임워크인 **T2VLA (Test-time VLA)**를 제안합니다. 핵심 가설은 토큰 기반 VLA 정책의 경우, 생성 신뢰도가 높은 궤적이 물리적으로 성공할 가능성이 현저히 높다는 것입니다.

본 방법론은 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 경험적 동기: 대리 지표로서의 신뢰도

저자들은 내부 생성 신뢰도(생성된 행동의 길이 정규화된 평균 로그 확률로 정의됨)와 작업 성공률 사이에 강력한 양의 상관관계가 있음을 경험적으로 입증했습니다. 이 관찰은 외부 환경 보상($R_{env}$)을 내부 보상($R_{self}$)으로 대체하여, 자율적 자기 부트스트래핑을 위한 신뢰할 수 있는 신호로서 내부 신뢰도를 사용하는 것을 정당화합니다.

2. 신뢰도 기반 듀얼 전문가 부트스트래핑 (Confidence-Driven Dual Expert Bootstrapping)

외부 검증 없이 고품질의 참조 궤적을 추출하기 위해, T2VLA는 듀얼 전문가 메커니즘을 채택합니다:

• 로컬 의사 전문가 (Local Pseudo-Expert): 현재 배치(batch)의 탐색적 롤아웃(exploratory rollouts) 중에서 특정 작업에 대해 가장 높은 신뢰도 점수를 가진 궤적을 "로컬 의사 전문가"로 선정합니다. 이는 공격적인 탐색을 위한 즉각적인 온-폴리시(on-policy) 앵커 역할을 합니다.
• 글로벌 전문가 풀 (Global Expert Pool): 하위 최적화된 탐색 중에 발생하는 정책 붕괴를 방지하고 훈련 안정성을 확보하기 위해, 동적인 글로벌 전문가 풀을 유지합니다. 이 풀은 각 작업에 대해 신뢰도 순으로 정렬된 상위-$K$개의 과거 전문가들을 저장합니다. 이는 안정적인 행동 베이스라인 역할을 하여 현재의 롤아웃이 부진할 때 발생하는 퇴보를 방지합니다.

3. DTW 기반 하이브리드 유사도 보상

전문가 가이드를 보상 신호로 변환하기 위해, T2VLA는 탐색적 궤적과 전문가 사이의 유사도를 계산합니다.

• 동적 시간 워핑 (Dynamic Time Warping, DTW): 표준 유클리드 거리는 시간적 이질성(예: 속도 변화)으로 인해 연속 제어에서의 유사성을 포착하지 못합니다. T2VLA는 엄격한 시간적 인덱스가 아닌 공간적 형태(spatial morphology)를 기준으로 궤적을 정렬하기 위해 DTW를 활용하여 견고한 유사도 측정을 제공합니다.
• 적응형 가중치 (Adaptive Weighting): 최종 내부 보상은 로컬 의사 전문가와 글로벌 전문가 풀에 대한 유사도의 가중 결합입니다. 가중치 $w$는 로컬 전문가의 상대적 신뢰도에 따라 동적으로 조정됩니다. 신뢰도가 높은 로컬 발견은 우선시되는 반면($w \to 1$), 불확실한 배치는 안정성을 위해 역사적 전문가로 회귀합니다($w \to 0$).
• KL 페널티: 과최적화를 방지하고 유효한 행동 분포를 유지하기 위해 초기 지도 미세 조정(SFT) 모델에 대한 쿨백-라이블러(Kullback-Leibler) 발산 페널티가 적용됩니다.

4. 정책 최적화

프레임워크는 **그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 사용합니다. 하이브리드 유사도 메커니즘에서 도출된 내부 보상은 그룹 정규화를 통해 어드밴티지(advantage)를 계산하는 데 사용되며, 이를 통해 VLA 정책을 업데이트합니다. 이는 모델이 오직 내부 신호만을 사용하여 지속적으로 실행을 정교화하는 폐쇄 루프(closed loop)를 형성합니다.

주요 기여

1. 자기 부트스트래핑 프레임워크: 생성 신뢰도와 물리적 성공 사이의 내재적 상관관계를 활용하여 외부 감독 신호의 필요성을 제거한, 최초의 아키텍처 불가지론적 VLA용 테스트 타임 RL 프레임워크인 T2VLA를 제안했습니다.
2. 듀얼 전문가 메커니즘: 탐색을 위한 로컬 의사 전문가와 안정성을 위한 글로벌 전문가 풀을 결합하고, 오류 누적을 방지하기 위한 DTW 기반 적응형 보상을 도입했습니다.
3. 아키텍처 불가지론성: 본 프레임워크가 이산 행동 모델(OpenVLA-OFT)과 연속 흐름 매칭 모델($\pi_0, \pi_{0.5}$)을 포함한 다양한 VLA 패러다임과 호환됨을 입증했습니다.

실험 결과

LIBERO 및 RoboTwin 2.0 벤치마크에서 광범위한 실험이 수행되었습니다.

• LIBERO 벤치마크:
  • T2VLA(OpenVLA-OFT 기반)는 평균 성공률 **97.2%**를 달성하여, 최첨단 SFT 모델(UniVLA 95.2%)과 동시기에 진행된 테스트 타임 훈련 방식인 EVOLVE-VLA(95.8%)를 능가했습니다.
  • 외부 환경 피드백에 접근할 수 있는 오라클 가이드 RL(SimpleVLA-RL 99.1%)의 성능에 근접했습니다.
  • 연속 행동 모델의 경우, T2VLA는 $\pi_0$의 평균 성공률을 24.2%(57.7%에서 81.9%로) 개선하였고, $\pi_{0.5}$를 8.0% 개선했습니다.
• RoboTwin 2.0 (양손 제어):
  • T2VLA는 다양한 실행 호라이즌(execution horizons) 전반에서 유의미한 이득을 보였으며, SFT 베이스라인 대비 평균 **+21.3%**의 향상을 달성했습니다. 특히 "Beat Hammer" 작업에서 28.1%에서 68.0%로 크게 개선되었습니다.
• 절제 연구 (Ablation Studies):
  • 듀얼 전문가 설계(로컬 및 글로벌 전문가 결합)는 두 구성 요소 중 하나만 사용할 때보다 우수한 성능을 보여 그 상호 보완적 역할을 입증했습니다.
  • 참조 다양성과 품질 관리를 균형 있게 맞추는 최적의 풀 용량($K=5$)이 확인되었습니다.
  • DTW 정렬은 시간적 이동이 있는 상황에서도 견고한 공간 유사도 점수를 회복하며 유클리드 거리보다 우월함을 증명했습니다 (0.9460 vs 0.6914).
  • 프레임워크는 롱 호라이즌(long-horizon) 작업의 극단적인 1-샷 설정에서 한계를 보였으며, 이는 초기화가 불충분할 경우 정책 붕괴가 발생하는 "사전 임계값(prior threshold)"이 존재함을 시사합니다.

의의 및 주장

본 논문은 T2VLA가 체화된 AI를 위한 확장 가능한 내부 보상 기반 패러다임을 구축한다고 주장합니다. 모델의 내부 신호가 연속적이고 자율적인 정책 개선을 효과적으로 부트스트랩할 수 있음을 입증함으로써, 본 연구는 로봇이 라벨이 없는 자신의 궤적으로부터 직접 학습하는 "경험의 시대(Era of Experience)"를 향한 경로를 제시합니다.

저자들은 이 접근 방식이 사전 정의된 시나리오와 외부 보상 엔지니어링에 대한 의존성을 깨뜨려, VLA 모델이 오라클 가이드 RL에 필적하는 자기 개선을 달 수 있게 한다고 강조합니다. 이 프레임워크가 서로 다른 VLA 아키텍처(이산 및 연속)에 적응할 수 있다는 점은 로보틱스 분야에서 테스트 타임 강화 학습을 위한 일반화 가능한 솔루션으로서의 잠재력을 더욱 뒷받침합니다.