기술 요약: X-Tokenizer

1. 문제 정의

현대의 시각-언어-행동(Vision-Language-Action, VLA) 모델은 사전 학습된 시각-언어 추론 능력과 정밀하고 연속적인 로봇 제어 사이의 간극을 메우는 것을 목표로 합니다. 이 분야의 근본적인 과제는 **표현 불일치(representation mismatch)**입니다. 사전 학습된 시각-언어 백본은 의미적으로 구조화된 이산적 표현(discrete representations) 위에서 작동하는 반면, 로봇 정책은 정밀하고 연속적인 모터 명령을 출력해야 합니다.

기존의 솔루션들은 연속적인 액션 청크(action chunks)를 자기회귀적 예측을 위한 이산 기호로 매핑하기 위해 **액션 토크나이저(action tokenizers)**를 채택하곤 합니다. 그러나 기존 토크나이저(예: FAST, VQ-BeT)는 주로 압축 모듈로서 설계되었습니다. 이들은 동작의 기하학적 구조를 보존하기 위해 재구성 오차(reconstruction error)를 최소화하는 데 집중하지만, 토큰 구조를 작업의 의미(semantics), 시각적 문맥 또는 언어 조건부 의도와 정렬시키는 데는 실패합니다. 결과적으로 하이브리드 이산-연속 VLA 시스템에서, 이산 액션 토큰 예측 손실은 백본을 약하게 감독하는 보조적인 목적 함수로만 작용하며, 은닉 상태(hidden states)를 액션 관련 멀티모달 의미론이 아닌 기하학적 코드 패턴 쪽으로 끌어당기는 데 그칩니다. 이는 모델이 고수준의 추론을 실행 가능한 제어로 접지(grounding)하는 능력을 제한합니다.

2. 방법론: X-Tokenizer

저자들은 단순한 압축을 넘어, 멀티모달 추론과 실행 가능한 제어 사이의 의미적 인터페이스(semantic interface) 역할을 수행하도록 설계된 경량 액션 토크나이저인 X-Tokenizer를 제안합니다. 이 아키텍처는 인코더(Encoder), 의미적 잔차 양자화(Semantic Residual Quantization, SRQ) 병목 구간, 그리고 디코더(Decoder)로 구성됩니다.

핵심 아키텍처

• 인코더(Encoder): $T$-프레임 액션 청크($T$-frame action chunk, 구체적으로는 고유 수용 감각 앵커에 대한 델타 액션)를 Perceiver 스타일 네트워크를 사용하여 $M$개의 연속적인 잠재 슬롯(latent slots)으로 매핑합니다. 다양한 로봇 팔에 대한 강건성을 보장하기 위해 체형(embodiment) 토큰을 포함합니다.
• 의미적 잔차 양자화(SRQ): 이것이 핵심적인 혁신입니다. 모든 레벨이 재구성을 위해 균일하게 최적화되는 표준 잔차 벡터 양자화(RVQ)와 달리, SRQ는 **비대칭적 감독 구조(asymmetric supervision structure)**를 부과합니다.
  • 레벨 1 (의미적 의도): 최상위 RVQ 레이어는 **마스크된 액션 모델링(Masked Action Modeling, MAM)**을 통해 학습됩니다. 이를 통해 최상위 이산 코드들이 거친 동작 의도(예: "컵으로 이동")를 포착하는 일관된 "액션 언어"를 형성하도록 강제합니다.
  • 심층 레벨 (실행 잔차): 레벨 $q > 1$은 재구성을 위해서만 학습됩니다. 이들은 의미적 감독 없이 미세한 기하학적 세부 사항과 실행 잔차를 보존하며, 거친 의도에 대한 보정 역할을 수행합니다.
• 디코더(Decoder): 양자화된 잠재 변수로부터 전체 길이의 액션 청크를 재구성합니다.

사전 학습 감독 신호

액션 토큰이 멀티모달 의미론과 정렬되도록 하기 위해, X-Tokenizer는 세 가지 보조 헤드(사전 학습 시에만 사용되며 배포 시에는 제거됨)를 사용하여 사전 학습됩니다.

1. 마스크된 액션 모델링(MAM): 최상위 이산 코드에 BERT 스타일의 목적 함수를 적용하여, 모델이 문맥으로부터 마스킹된 토큰을 예측하도록 합니다. 이는 액션 언어에 구문론적 규칙성을 확립합니다.
2. 시각-언어 대조 정렬(Vision-Language Contrastive Alignment): 인코더의 연속적 잠재 변수를 동결된 Qwen2.5-VL-7B 파운데이션 모델에서 유도된 융합 시각-언어 특징과 정렬합니다. 이는 글로벌(궤적 수준) 및 로컬(슬롯 수준) 그래뉴리티 모두에서 InfoNCE 손실을 통해 달성되며, 액션 공간이 VLM의 표현 공간과 동일한 매니폴드를 공유하도록 보장합니다나.
3. 다음 프레임 VL 특징 예측(Next-Frame VL Feature Prediction): 액션 청크 바로 다음에 오는 프레임의 시각-언어 특징을 회귀하는 작은 예측기를 사용합니다. 이는 전방을 내다보는 신호를 주입하여, 코드북이 액션의 즉각적인 물리적 결과를 인코딩하도록 강제합니다.

다운스트림 통합

다운스트림 VLA 공동 학습(co-training)에서, 동결된 X-Tokenizer는 공유 VLM 은닉 상태에 대한 자기회귀적 감독으로서 다단계 액션 토큰을 제공합니다. 연속적인 플로우 매칭(Flow Matching) 전문가가 이러한 은닉 상태에 조건화되어 실행 가능한 궤적을 회귀합니다. 추론 시에는 토크나이저가 비활성화되며, 정책은 단일 순방향 연속 플로우 회귀기로 작동합니다.

3. 주요 기여

• 의미적 인터페이스 공식화: 논문은 액션 토크니제이션을 단순한 압축 작업에서 고수준 추론과 저수준 제어를 연결하는 "의미적 인터페이스 학습"으로 재정의합니다.
• 의미적 잔차 양자화(SRQ): 의미적 의도(레벨 1)와 실행 잔차(심층 레벨)를 명시적으로 분리하는 비대칭 RVQ 구조를 도입하여, 최상위 레벨이 작업 의미를 포착하는 동시에 재구성 충실도를 유지할 수 있도록 합니다.
• 멀티모달 정렬: 대조 학습과 다음 프레임 예측을 통해 액션 토큰을 동결된 VLM 표현 공간과 정렬함으로써, 추론 시 오버헤드 없이 멀티모달 접지 능력을 크게 향상시킴을 입증했습니다.
• 교차 체형 확장성(Cross-Embodiment Scalability): 17종의 암 패밀리에 걸친 240만 개의 궤적(20억 개의 액션 프레임)으로 사전 학습된 이 토크나이저는 다양한 로봇 체형에 대해 재사용 가능한 인터페이스로 설계되었습니다.

4. 실험 결과

논문은 시뮬레이션 및 실제 환경에서 FAST, RDT2 VQ, 균등 양자화(uniform quantization)와 같은 베이스라인과 X-Tokenizer를 비교 평가합니다.

• 멀티모달 정렬:
  • 통계적/기하학적: 액션 잠재 변수와 VLM 특징은 공유 매니폴드를 점유하며, 액션 슬롯과 그에 대응하는 시각-언어 문맥 사이의 코사인 유사도가 높게 나타납니다.
  • 기능적: 동결된 VLM 특징이 액션 디코더를 성공적으로 구동하여 액션 방향에서 높은 코사인 유사도(0.85–0.95)를 달성함으로써, 정렬이 기하학적일 뿐만 아니라 기능적임을 증명했습니다.
• 코드북 구조: SRQ는 명확한 역할 분담을 보여줍니다. (MAM으로 규제된) 최상위 레벨은 의미적 "단어"를 나타내는 롱테일 분포(76.4% 사용률)를 보이는 반면, 심층 레벨은 잔차 보정을 위해 균등하게 사용됩니다(>93%).
• 강건성: X-Tokenizer는 FAST보다 액션 노이즈에 더 강합니다. FAST는 노이즈 발생 시 BPE 재분할로 인해 시퀀스 길이가 변하는 문제를 겪는 반면, X-Tokenizer는 최상위 의도 스트림을 보존하며 노이즈로 인한 편집을 하위 레벨의 잔차 코드로 국한시킵니다.
• 시뮬레이션 (RoboTwin 2.0):
  • 평가된 인터페이스 중 가장 우수한 종합 성능을 달s성했습니다.
  • Hard 설정에서 $\pi0.5$ 베이스라인보다 8.25% 높은 성능을 보였습니다.
  • 5종의 암 유형에 대해 공동 학습했을 때 교차 체형 전이에서 상당한 이득을 보였습니다.
• 실제 환경 평가 (7가지 테이블탑 작업):
  • 멀티모달 접지: FAST 대비 VQA 정확도를 13.5% 향상시켰습니다 (75.7% $\to$ 85.9%).
  • 장기 호라이즌 작업: 성능을 8.25% 개선했습니다 (61.0% $\to$ 69.25%).
  • 종합: 모든 작업에서 77.4%의 평균 진행률(Progress Rate, PR)을 달성하여, 재구성 전용 토크나이저와 원래의 연속 플로우 헤드 모두를 능가했습니다.

5. 의의 및 주장

본 논문은 액션 토크나이저가 단순한 내부 액션 압축 모듈이 아니라, VLA 사전 학습을 위한 재사용 가능한 의미적 인터페이스로 기능할 수 있다고 주장합니다.

• 압축을 넘어: 결과는 VLA에서 토크나이저의 주요 가치가 단순히 차원을 축소하는 것이 아니라, VLM 백본의 은닉 상태를 실행 가능한 액션과 의미적으로 정렬된 형태로 형성하는 데 있음을 시사합니다.
• 관심사의 분리: SRQ 설계는 의미적 의도와 기하학적 세부 사항을 성공적으로 분리하여, VLM이 "무엇을" 할지에 집중하는 동안 연속 전문가(continuous expert)가 "어떻게" 정밀하게 수행할지를 처리할 수 있게 합니다.
• 효율성: 의미적 감독은 사전 학습 시에만 적용됩니다. 배포된 시스템은 가볍게 유지되며, 추론 시 추가적인 시각 특징 추출이나 역학 롤아웃 비용을 발생시키지 않습니다.
• 일반화: 7B 파라미터 VLM과 정렬된 토크나이저를 3B 파라미터 정책 백본으로 전이할 수 있다는 점은, 학습된 인터페이스가 특정 모델 규모에 종속되지 않고 견고함을 시사합니다.

저자들은 소비하는 멀티모달 모델과 토크나이징 전략이 명시적으로 정렬되는 '문맥 가이드 압축(context-guided compression)'이 체화된 파운데이션 모델(embodied foundation models)을 개선하기 위한 중요한 방향이라고 결론짓습니다.