기술 요약: TBD-VLA (Temporal Block Diffusion Vision Language Action Model)

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 자연어 지침을 실행 가능한 로봇 행동으로 매핑하는 것을 목표로 합니다. 이 분야의 핵심 과제는 **시간적 일관성(temporal coherence)**과 추론 효율성(inference efficiency) 사이의 균형을 맞추는 것입니다.

• 자기회귀적 한계 (Autoregressive Limitations): 현재의 이산 토큰 기반 VLA 모델은 행동을 토큰 단위로 하나씩 생성합니다. 이는 시간적 의존성을 잘 포착하지만, 순차적인 특성으로 인해 추론 지연 시간이 높아져 고주파 폐루프(closed-loop) 로봇 제어에는 부적합합니다.
• 병렬 디코딩의 한계 (Parallel Decoding Limitations): 최근의 접근 방식들은 병렬 디코딩이나 플로우 매칭(flow-matching) 헤드를 통해 속도를 개선하려고 시도합니다. 그러나 이러한 방법들은 행동 청크(action chunks) 간의 시간적 의존성을 모델링하는 명시적인 메커니즘이 부족하여, 장기 호라이즌(long-horizon) 궤적의 일관성을 저해할 가능성이 있습니다.
• 공백 (The Gap): 비전-언어 모델(VLM) 백본을 액션 생성 프로세스에서 분리하지 않으면서, 병렬 디코딩의 효율성과 행동 시퀀스에 내재된 시간적 구조를 통합할 수 있는 프레임워크가 필요합니다.

방법론: TBD-VLA

저자들은 행동 생성을 **블록 단위 이산 확산(block-wise discrete diffusion)**으로 정식화한 이산 토큰 기반 VLA 프레임워크인 TBD-VLA를 제안합니다. 이 접근 방식은 행동 시퀀스를 시간적 블록으로 분할하여, 블록 내에서는 병렬 디코딩을 가능하게 하는 동시에 블록 간에는 자기회귀적 생성을 유지합니다.

1. 모델 아키텍처 및 토큰화

• 백본 (Backbone): 모델은 마스킹, 플레이스홀더, 행동을 위한 특수 토큰이 추가된 VLM 백본(실험에서는 Qwen3-VL 2B 사용)을 활용합니다.
• 이산화 (Discretization): 행동 특징(고유 수용 감각 및 제어 출력)은 빈(bin)으로 이산화된 후 공유된 어휘집을 사용하여 토큰화됩니다. 행동 청크 $A_t$는 토큰의 시퀀스로 표현됩니다.
• 시간적 블록 구조 (Temporal Block Structure): 행동 호라이즌은 크기가 $m$인 $K$개의 블록으로 나뉩니다. 행동 시퀀스의 확률은 다음과 같이 블록에 대해 인수분해됩니다:
  $$p(a_{1:H_p} | o, g) = \prod_{k=0}^{K-1} p_\theta(a_{km+1:(k+1)m} | o, g, a_{1:km})$$

2. 학습 파이프라인

학습 과정은 세 가지 핵심 메커니즘을 통해 VLM의 다음 토큰 예측 목적 함수를 이산 확산 패러다임에 적응시킵니다:

• 시간적 수준의 토큰 시프트 (Temporal-Level Token Shift): VLM의 자기회귀적 특성과 일치시키기 위해, 모델은 현재 행동 블록의 토큰이 다음 행동 블록을 예측하도록 학습됩니다. 이는 자기 재구성 확산(self-reconstructive diffusion)과 인과적 시퀀스 모델링 사이의 간극을 메워줍니다.
• 이산 블록 확산 (Discrete Block Diffusion):
  • 순방향 과정 (Forward Process): 깨끗한 행동 블록은 무작위로 토큰을 마스킹함으로써 손상됩니다.
  • 역방향 과정 (Reverse Process): 모델은 "시프트된 예측자(shifted predictor)" 블록 $z_k$를 조건으로 하여 블록 $k$의 깨끗한 토큰을 예측합니다. 첫 번째 블록의 경우 $z_k$는 마스크의 앵커(anchor)이며, 이후 블록의 경우 $z_k$는 깨끗한 이전 블록들로 구성됩니다.
  • 손실 함수 (Loss Function): 목적 함수는 마스킹된 행동 토큰들에 대한 평균 교차 엔트로피(cross-entropy)입니다.
• 이중 레이아웃 어텐션 마스킹 (Doubled-Layout Attention Masking): 블록 내 병렬성과 블록 간 자기회귀성을 동시에 처리하기 위해, 학습 입력은 깨끗한 시퀀스와 노이즈가 섞인 시퀀스를 결합합니다. 커스로 설계된 어텐션 마스크를 통해 모델은 단 한 번의 패스(pass)로 이전의 깨끗한 블록들과 현재의 노이즈 섞인 블록 모두에 어텐션을 줄 수 있어 학습 속도를 크게 가속화합니다.

3. 추론 전략

• 블록 단위 디코딩 (Block-wise Decoding): 추론 시 행동 블록은 순차적으로 생성됩니다. 각 블록 내에서 토큰은 $n_d$ 단계의 이산 확산을 통해 병렬적으로 정제됩니다.
• 필요 시 디코딩 (Decode-as-Needed): 전체 호라이즌을 생성하는 대신, 정책은 현재 롤아웃 호라이즌($K_{exec}$)에 필요한 만큼의 블록만 디코딩하여 전체 디노이징 단계를 줄입니다.
• 접두사 KV 캐싱 (Prefix KV Caching): 시각적 입력, 프롬프트 및 이전에 생성된 행동 블록에 대한 키-값(key-value) 상태를 캐싱하여 반복적인 디노이징 단계 동안 불필요한 계산을 방지합니다.
• 기댓값 샘플링 (Expectation Sampling): 단일 최적 토큰(argmax)을 선택하는 대신, 전체 예측된 토큰 분포에 대한 기댓값을 계산하여 스칼라 행동 값을 디코딩함으로써 더 미세한 신호를 제공합니다.
• 실시간 청킹 (Real-Time Chunking, RTC): 폐루프 제어에서의 지연 시간을 완화하기 위해, TBD-VLA는 비동기 실행을 지원합니다. 이전에 생성된 행동의 꼬리 부분(이전의 추론 지연 시간 창에 해당하는 부분)을 고정하고 이를 다음 행동 블록을 위한 "인페인팅(in-painting)" 컨텍스트로 사용합니다. 이는 부분적으로 커밋된 행동 청크를 완성하려는 학습 목표와 일치합니다.

주요 기여

1. TBD-VLA 프레임워크: 블록 이산 확산을 통해 병렬 행동 디코딩과 시간적 수준의 자기회귀를 결합한 새로운 VLA 프레임워크를 제시합니다.
2. 학습 체계: VLM 백본에서 블록 단위 확산을 효율적으로 학습하기 위해 시간적 토큰 시프트와 이중 레이아웃 어텐션 마스킹을 포함하는 특정 파이프라인을 도입했습니다.
3. 포괄적 평가: 다양한 시뮬레이션 벤치마크(LIBERO, SimplerEnv) 및 실제 조작 작업에서 강력한 일반화 성능과 견고함을 입증하는 광범-한 실험을 수행했습니다.

실험 결과

저자들은 시뮬레이션 및 실제 환경 모두에서 TBD-VLA를 최신 모델(예: $\pi0.5$, GR00T-N1, OpenVLA-OFT)과 비교 평가했습니다.

• 시뮬레이션 (LIBERO): TBD-VLA는 LIBERO 벤치마크에서 **97.6%**의 평균 성공률을 달eric하여 이전의 SOTA 방법들을 능가했습니다. 추론 지연(시뮬레이션된 지연 시간) 상황에서, RTC를 적용한 TBD-VLA는 **93.2%**의 성공률을 유지하며, RTC가 없는 베이스라인(72.3%로 하락)을 크게 앞질렀습니다.
• 견고성 (LIBERO-Plus): 모델은 객체 배치, 카메라 뷰포인트, 조명 등의 섭동(perturbation)에 대해 높은 견고성을 보였으며, **83.0%**의 평균 성공률을 기록하여 두 번째로 우수한 방법보다 15.1% 높은 성과를 냈습니다.
• 실제 환경 전이 (Real-World Transfer):
  • SimplerEnv: TBD-VLA는 Widow-X 작업에서 66.8%, Google Robot 작업(시각적 매칭)에서 **91.0%**의 성공률을 달성하여 대부분의 베이스라인을 능가했습니다.
  • 물리적 조작: 실제 테이블탑 작업(예: "Everything in Bin", "Load Toaster")에서 TBD-VLA는 섭동 시나리오 전반에 걸쳐 **67.1%**의 평균 성공률을 달성했으며, 이는 $\pi0.5$ 베이스라인의 **50.0%**와 대조됩니다.
• 효율성: 모델은 최적화(KV 캐싱, 컴파일)를 통해 NVIDIA RTX A40 GPU에서 0.086초의 추론 지연 시간을 달성하였으며, 이는 시간적 일관성을 유지하면서도 다른 빠른 VLA 모델들과 경쟁할 만한 수준입니다.

의의 및 주장

본 논문은 TBD-VLA가 빠르고 시간적 인지가 가능한 이산 VLA 모델을 향한 확장 가능한 경로를 제공한다고 주장합니다. 시간적 자기회귀와 병렬 디코딩을 통합함으로써, 이 프레임워크는 추론 속도와 행동 일관성 사이의 트레이드오프 문제를 해결합니다.

저자들은 명시적인 시간적 모델링이 비동기 실행(RTC를 통해)을 가능하게 하며, 이것이 실시간 제어에 매우 중요하다는 점을 강조합니다. 결과는 블록 확산이 폐루프 제어에 필요한 효율성을 희생하지 않으면서도 로봇 정책의 일반화와 견고성을 향상시키는 유망한 방향임을 시사합니다.

논문은 한계점에 대해 겸허한 태도를 유지하며, 본 연구가 VLA 내에서의 블록 확산 채택에 집중하고 있음을 밝히고, 보조 목적 함수와의 공동 학습(co-training)과 같은 대안적 학습 전략이나 VLM 표현이 실행 가능한 행동으로 어떻게 변환되는지에 대한 더 깊은 해석은 향후 과제로 남겨두었습니다. 또한, 견고하긴 하지만 극단적인 분포 외(out-of-distribution) 조건(예: 액체 이동 작업에서의 상당한 카메라 뷰포인트 변화)에서는 여전히 실패할 수 있음을 인정합니다.