기술 요약: 액션 토큰 개입을 통한 자기회귀적 시각-언어-행동 정책의 스티어링(Steering)

1. 문제 정의

RT-2, OpenVLA, $\pi^0$와 같은 시각-언어-행동(Vision-Language-Action, VLA) 정책은 대규모 시각-언어 사전 학습과 로봇 궤적 데이터를 결합하여 강력한 일반화 능력을 입증했습니다. 그러나 이러한 시스템은 언어를 물리적 세계에 접지(grounding)하고, 장기적 추론(long-horizon reasoning)을 수행하며, 실시간으로 적응하는 데 있어 지속적인 과제에 직면해 있습니다. 실패는 종종 인간이 즉각적으로 인식하고 수정할 수 있는 작은 궤적 수준의 오류에서 비롯됩니다.

자율적 가이드를 위한 기존 인터페이스는 다음과 같은 이분법적 한계를 가집니다:

• 언어 프롬프팅(Language Prompting): 유연하지만, 미세하고 실시간적인 궤적 수정에는 부적합합니다.
• 전체 원격 조종(Full Teleoperation): 직접적인 제어는 정책이 학습한 자율적인 숙련도와 태스크 사전 지식(task priors)을 제거합니다.

핵심 과제는 사용자가 정책의 학습된 능력을 무력화하거나 재학습을 요구하지 않으면서도, 롤아웃(rollout) 중에 로봇의 행동에 영향을 주어 오류를 수정하거나 의도를 유도할 수 있도록 하는 것입니다.

2. 방법론: 토큰 스티어링 (Token Steering, TS)

저자들은 **토큰 스티어링(TS)**을 제안합니다. 이는 액션 토큰 공간에 직접 개입하여 자기회귀적 VLA 정책을 제어하는 추론 단계(inference-time) 방법론입니다. TS는 기저의 VLM 아키텍처를 수정하지 않으며, 추가적인 학습이나 미세 조정(finetuning)을 필요로 하지 않습니다.

핵심 메커니즘

TS는 토큰화된 액션 생성의 이산적(discrete)이고 자기회귀적인 구조(특히 $\pi^0$-FAST 모델 사용)를 활용합니다. 저수준 제어 신호를 교체하는 대신, TS는 사용자 생성 스티어링 토큰을 자기회귀적 액션 시퀀스에 직접 주입합니다. 그러면 정책은 이 수정된 접두사(prefix)를 조건으로 나머지 궤적을 자기회귀적으로 완성합니다.

이 과정은 세 가지 주요 단계로 구성됩니다:

1. 입력 인코딩: 저차원 사용자 입력 $u \in \mathbb{R}^6$(예: 키보드 방향)를 데카르트 속도 벡터($v_{cart}$)로 변환합니다.
2. 운동학적 변환: 역운동학($\dot{q} = J(q)^\dagger v_{cart}$)을 통해 데카르트 속도를 로봇 관절 속도($\dot{q}$)로 변환합니다.
3. 토큰 주입: 관절 속도를 액션 호라이즌(action horizon)에 맞춰 패딩하고, 이산 코사인 변환(Discrete Cosine Transform, DCT)을 사용하여 주파수 영역으로 변환한 뒤, Byte-Pair Encoding(BPE)을 통해 FAST 토큰으로 토큰화합니다. 이 중 일부 토큰(시작 인덱스 $b$와 윈도우 크기 $w$로 정의됨)이 정책의 자기회귀 버퍼 내 해당 토큰을 대체합니다. 이후 정책은 수정된 접두사, 시각적 관측, 언어 지시문 및 로봇 상태를 바탕으로 나머지 시퀀스를 생성합니다.

토큰화 전략

이 방법은 로봇 궤적을 주파수 영역에서 표현하는 FAST 토큰화에 의존합니다.

• 궤적은 주파수 순서대로 정렬된 계수들로 분해됩니다.
• 저주파 토큰은 거시적인 전역 궤적 구조를 인코딩합니다.
• 고주파 토큰은 미세한 움직임의 정밀도를 인코딩합니다.
  이러나 계층적 구조를 통해 TS는 초기 토큰을 편집함으로써 전역적 의미(semantics)에 영향을 주는 동시에 국소적인 매끄러움(smoothness)을 유지할 수 있습니다.

3. 주요 기여 및 결과

본 논문은 DROID 로봇 플랫폼을 이용한 실험을 통해 세 가지 주요 결과를 제시합니다.

1. 자율성이 보존된 제어 가능한 스티어링: 부분적인 토큰 주입은 VLA가 매끄럽고 시간적으로 일관되며 동적으로 실행 가능한 궤적을 생성하는 능력을 유지하면서도, 제어 가능한 스티어링을 가능하게 합니다. 정책은 사용자의 입력을 강제적인 오버라이드가 아닌 가이드로 사용하여 학습된 숙련도를 유지합니다.
2. 주파수 의존적 영향력: 저주파 FAST 토큰을 편집하는 것은 전역 궤적 의미(예: 이동 방향)에 불균형적으로 큰 영향을 미치는 반면, 고주파 토큰을 편집하는 것은 주로 국소적인 정밀도에 영향을 미칩니다. 저주파 토큰을 주입하는 것이 훨씬 더 높은 스티어링 성공률을 보였습니다.
3. 접지 실패(Grounding Failures)의 수정: TS는 사용자가 "접지 실패"(언어에 따라 잘못된 객체를 선택하는 경우)를 수정하고, 베이스라인 자기회귀 VLA가 수행하지 못하는 장기적이고 상태 의존적인 태스크를 완료할 수 있게 합니다.

실험 결과

저자들은 두 가지 가사 조작 태스크에서 TS를 평가했습니다:

• 태스크 1: 서랍 닫기 (배치 후 단계)

  • 베이스라인: $\pi^0$-FAST는 **10.0%**의 성공률을 기록했습니다.
  • TS 적용 시: 성공률이 **72.5%**로 향상되었습니다.
  • 효율성: 중앙값 완료 시간이 74.0초에서 42.0초로 단축되었습니다.
  • 관찰: 사용자는 그리퍼를 서랍을 부드럽게 닫기에 최적인 위치로 유도할 수 있었으며, 정책은 미세한 움직임의 세부 사항을 처리하여 충격을 방지했습니다.

• 태스크 2: 상태 인지 객체 교체 (State-Aware Object Swapping)

  • 베이스라인: 자율 정책은 (메모리 및 상태 추적 부족으로 인해) **0%**의 성공률을 보였습니다.
  • TS 적용 시: 성공률이 **93.8%**로 향상되었습니다.
  • 관찰: 사용자는 스티어링을 통해 고수준의 태스크 로직(스펀지의 상태 및 위치 추적)을 관리하고, 정책은 정교한 조작을 실행했습니다.

강건성 및 엔트로피

연구에서는 OOD(Out-of-Distribution) 토큰 주입이 "엔트로피 붕괴"(정책의 다양성 상실)를 일으키는지 조사했습니다. 결과에 따르면, 토큰 주입 직후에는 엔트로피가 일시적으로 감소하지만 빠르게 회복되었습니다. 정책은 (무작위로 배치된 블록의 방향에 맞춰 파지 방향을 조정하는 등) 다운스트림 액션을 생성하는 능력을 유지하며, 이는 TS가 자율적 적응성을 파괴하지 않으면서 궤적 생성을 편향(bias)시킨다는 것을 나타냅니다.

4. 의의

본 논문은 자기회귀적 액션 토큰 공간이 단순한 압축된 궤적 표현이 아니라, 추론 시 인간이 유도할 수 있는 제어 가능한 의미적 인터페이스(controllable semantic interfaces) 역할을 한다고 주장합니다.

• 접근성: 가벼운 방식의 직관적인 스티어링(예: 키보드 또는 잠재적인 뇌-컴퓨터 인터페이스)을 가능하게 함으로써, 전체 원격 조종을 수행하기 어려운 신체적 제약이 있는 개인들의 접근성을 높입니다.
• 제로샷 적용 가능성: TS는 재학습 없이 추론 단계에서 완전히 작동하므로, 다양한 태스크와 환경에 즉시 적용될 수 있습니다.
• 인간-로봇 상호작용: 이 인터페이스는 사용자가 고수준의 의도(방향/수정)를 제공하고 VLA가 저수준의 숙련도를 처리하는 "공유 자율성(shared autonomy)" 모델을 가능하게 하여, 소비자 환경에서의 안전성과 태스크 성공률을 높일 수 있습니다.

저자들은 확산 기반(diffusion-based) 접근 방식과 비교했을 때 자기회귀 모델의 고유한 추론 지연 시간(latency) 문제를 언급했으나, TS가 아키텍처 변경 없이 파운데이션 모델에 실시간 개입할 수 있는 새로운 메커니즘을 제공한다는 점을 강조했습니다.