기술 요약: VLA(Vision-Language-Action) 모델을 위한 SCALE

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 사전 학습된 시각-언어 모델(VLM)을 활용하여 다중 모달 관측값과 언어 지침을 행동으로 매핑함으로써 범용 로봇 제어를 위한 선도적인 패러다임으로 부상했습니다. 그러나 이러한 모델들은 지각적 모호성(예: 시각적으로 유사한 방해 요소) 및 행동 다중성(여러 가지 가능한 행동이 존재하는 경우)이 특징인 실제 환경에서 강건성(robustness)을 확보하는 데 어려움을 겪는 경우가 많습니다.

테스트 시점의 강건성을 높이기 위한 기존의 전략인 테스트 타임 스케일링(Test-Time Scaling, TTS)은 일반적으로 다음과 같은 세 가지 결정적인 한계점을 가집니다:

1. 배포의 비실용성: 많은 TTS 방법론은 외부 검증기(verifier)를 위한 추가 학습이 필요하거나, 도메인 변화(domain shift) 상황에서 성능이 저하되며, 여러 번의 순전파(forward pass)를 수행해야 하므로 실시간 제약 조건과 충돌합니다.
2. 고정된 지각: 현재의 TTS 접근 방식은 시각적 표현을 고정시킨 채 행동 디코딩 단계에서만 개입합니다. 이는 에이전트가 단순히 '어떤 행동을 취할지'뿐만 아니라, 장면을 '어떻게 지각할지'를 재고해야 하는 지각적 모호성 상황에서는 불충분합니다.
3. 부적절한 불확실성 지표: 기존의 불확실성 측정 방식은 주로 전체적인 분포 불확실성(예: 엔트로피)만을 포착하며, 대부분의 VLA에서 사용되는 탐욕적 디코딩(greedy decoding)에 중요한 'Top-1 선택에 대한 모델의 결단력'을 반영하지 못합니다.

방법론: SCALE

저자들은 모델의 내재적 "자기-불확실성(self-uncertainty)"에 기반하여 시각적 지각과 행동을 공동으로 조절하는 단순하고 학습이 필요 없는 추론 전략인 SCALE(Self-uncertainty Conditioned Adaptive Looking and Execution)을 제안합니다. 능동적 추론(Active Inference) 이론의 불확실성 기반 탐색에서 영감을 받은 SCALE은 외부 검증기 없이 단일 순전파 과정 내에서 작동합니다.

1. 자기-불확실성 추정

핵심 혁신은 분포의 확산(spread)과 Top-1 결단력을 모두 포착하는 새로운 자기-불확실성 지표($u_t^k$)입니다. SCALE은 단일 참조값 대신 두 가지 참조 분포를 정의합니다:

• 저-불확실성 참조($q_{low}$): 모델의 예측된 Top-1 토큰에 집중된 원-핫(one-hot) 분포로, 완전한 확신을 나타냅니다.
• 고-불확실성 참조($q_{high}$): 어휘 집합(vocabulary) 전체에 걸친 균등 분포로, 완전한 모호성을 나타냅니다.

자기-불확실성 점수는 예측 분포($p_t^k$)와 이 두 참조 분포 사이의 쿨백-라이블러 발산(Kullback-Leibler divergence) 차이로 계산됩니다:
$$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$$
이 공식은 예측을 확신의 스펙트럼 상에 효과적으로 배치합니다. 양수 값은 분포가 모호성에 가깝다는 것을 나타내며, 음수 값은 높은 신뢰도를 나타냅니다.

2. 적응형 추론 메커니즘

SCALE은 이 불확실성 신호를 활용하여 VLA 파이프라인의 두 가지 상호 보완적인 측면을 조절합니다:

• 적응형 행동 디코딩 (토큰 수준): 행동 토큰에 대한 샘플링 온도($\tau_t^k$)가 토큰 수준의 불확실성 $u_t^k$에 따라 동적으로 조정됩니다.
  $$\tau_t^k = T_0 \cdot \sigma(u_t^k)$$
  여기서 $\sigma$는 시그모이드 함수입니다. 불확실성이 높을 때는 온도를 높여 다양하고 탐색적인 샘플링을 유도합니다. 불확실성이 낮을 때는 온도를 낮추어 거의 탐욕적인(near-greedy) 실행을 가능하게 합니다.

• 적응형 시각 주의 집중 (단계 수준): 지각적 모호성을 해결하기 위해, SCALE은 비전 인코더의 어텐션 온도($\gamma_t$)를 조절합니다. 행동 디코딩이 즉각적인 불확실성을 사용하는 것과 달리, 시각적 조절은 장면 복잡도의 변화에 반응합니다.

  • 시스템은 토큰 수준의 불확실성을 평균하여 단계별 불확실성($u_t$)을 계산합니다.
  • 최근 불확실성의 지수 이동 평균($\bar{u}_{t-1}$)을 추적합니다.
  • 편차($\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$)가 어텐션 온도를 결정합니다:
    $$\gamma_t = \kappa \tanh(\Delta u_{t-1})$$
  • 불확실성이 최근 평균보다 높아지면($\Delta u > 0$), $\gamma_t > 1$이 되어 장면을 탐색하기 위해 주의 집중 범위를 넓힙니다. 불확실성이 낮아지면($\Delta u < 0$), $\gamma_t < 1$이 되어 과업 관련 단서에 집중하도록 주의를 날카롭게 만듭니다.

이는 한 시점의 불확실성이 다음 시점의 행동 샘플링을 조절하는 동시에 시각적 주의 집중을 조정하는 피드백 루프를 생성하여, 폐쇄 루프 제어(closed-loop control) 내에서의 적응형 실행을 가능하게 합니다.

주요 기여

1. 지각과 행동의 공동 조절: 지각적 변화를 고려하지 않고 행동 디코딩만을 조정하는 기존 TTS 방법들과 달리, SCALE은 자기-불확실성에 기반하여 시각적 주의 집중과 행동 샘플링을 공동으로 적응시켜 모호한 시나리오에서의 실패 근본 원인을 해결합니다.
2. 학습이 필요 없는 단일 패스 효율성: 이 방법은 추가 학습, 외부 검증기 또는 다중 순전파를 요구하지 않으므로 실시간 로봇 배포에 실용적입니다.
3. 새로운 불확실성 지표: 제안된 이중 참조 불확실성 측정 방식은 분포 불확실성과 Top-1 결단력을 모두 포착하며, 엔트로피나 신뢰도 점수와 같은 기존 대리 지표보다 우수한 성능을 보입니다.
4. 실증적 검증: 이 접근 방식은 시뮬레이션 및 실제 환경 모두에서 다양한 자기회귀(autoregressive) VLA 아키텍처(OpenVLA, $\pi_0$-FAST, SpatialVLA)를 통해 검증되었습니다.

실험 결과

실험은 시뮬레이션 벤치마크(LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long)와 UR10e 암을 이용한 실제 Pick-and-place 작업에서 수행되었습니다.

• 성능 향상: SCALE은 다양한 상태 기술(SoTA) VLA 및 기존 TTS 방법들을 일관되적으로 능가합니다. OpenVLA를 사용한 LIBERO 벤치마크에서 SCALE은 평균 성공률 **81.5%**를 달성하여, 탐욕적 베이스라인(75.7%)과 MG-Select(70.8%), RoboMonkey, TACO와 같이 학습이 필요한 TTS 방법들을 앞질렀습니다.
• 강건성: 실제 실험에서 SCALE은 인-도메인(in-distribution) 조건에서 성공률을 +19.5%(OpenVLA) 및 +13.9%($\pi_0$-FAST) 향상시켰으며, 미학습 객체가 포함된 아웃-오브-도메인(out-of-distribution) 조건에서도 각각 +16.7% 및 **+12.5%**의 향상을 보였습니다.
• 절제 연구(Ablation Studies):
  • 적응형 디코딩과 적응형 시각 주의 집중을 결합했을 때 시너지 효과를 내어(+베이스라인 대비 +10.6%), 개별 개선치의 합을 초과하는 이득을 얻었습니다.
  • 제안된 자기-불확실성 지표는 엔트로피, 지니 불순도(Gini impurity), 자기-확신도(self-certainty) 등의 대안들보다 상당한 차이로 우수한 성능을 보였습니다(63.3% vs 차순위 57.8%).
  • VLA 백본의 교차 모달(cross-modal) 어텐션을 조절하는 것보다 비전 인코더의 단일 모달(uni-modal) 어텐션을 조절하는 것이 더 효과적이었습니다.
• 효율성: SCALE은 단일 패스 효율성을 유지하는 반면, 다중 샘플링을 요구하는 방법(예: Best-of-N)은 OpenVLA 기준으로 최대 15.9배의 지연 시간 증가를 보였습니다.

의의 및 주장

본 논문은 SCALE이 기존 TTS 방법들의 계산 오버헤드 없이 VLA의 강건성을 향상시키기 위한 실용적이고 효과적인 솔루션을 제공한다고 주장합니다. 저자들은 능동적 추론(Active Inference)의 원리를 활용하여, 에이전트가 어떻게 지각하는지(시각적 주의)와 무엇을 하는지(행동 샘플링)를 적응적으로 변경함으로써 불확실성을 줄일 수 있음을 입증했습니다.

저자들은 자신들의 기여가 새로운 모델 역량을 도입하는 것이 아니라, 적응형 추론을 통해 기존 VLA 아키텍처를 개선하는 방법론적 측면에 집중되어 있음을 강조합니다. SCALE은 로봇이 자신의 예측 신뢰도에 따라 탐색(exploration)과 활용(exploitation) 사이를 동적으로 전환할 수 있게 함으로써, 보다 신뢰할 수 있고 안전한 실제 환경 운영을 가능하게 한다고 주장합니다. 코드는 추가 연구와 배포를 용이하게 하기 위해 공개되어 있습니다.