기술 요약: 자기회귀 정책을 이용한 실시간 실행

1. 문제 정의

대규모 시각-언어-행동(Vision-Language-Action, VLA) 모델의 로봇 배포는 **추론 지연 시간(inference latency)**이라는 결정적인 병목 현상에 직면해 있습니다. 파운데이션 모델에 내재된 거대한 파라미터 크기는 "생각 후 이동"(동기식 추론) 패러다임으로 인해 상당한 로봇 유휴 시간을 유발합니다. 이 정지 시간 동안 로봇은 환경 변화에 반응할 수 없으며, 이는 반응성과 작업 완료 속도를 모두 저하시킵니다.

최근 연구들은 실시간 실행(비동기식 추론 또는 "이동 중 생각하기")을 다루어 왔으나, 주로 확산 기반 정책(병렬 디코딩)에 집중해 왔습니다. 자기회귀 정책(순차적 디코딩)은 수렴 속도와 지시 이행 일반화 측면에서 이점을 제공함에도 불구하고, 실시간 실행 연구에서 대체로 제외되어 왔습니다. 이는 자기회귀 방식의 순차적 특성이 일반적으로 높은 지연 시간($\delta_{t,H}$)을 발생시켜, 로봇이 멈춤 없이 지속적으로 행동을 수신해야 하는 비동기 제어의 엄격한 타이밍 요구 사항을 충족하기 어렵기 때문입니다.

핵심 과제는 토큰 단위 생성의 가변적이고 종종 높은 지연 시간에도 불구하고, 로봇이 연속적인 행동 스트림을 받을 수 있도록 보장하면서 자기회귀 정책의 고유한 이점을 희생하지 않고 실시간으로 작동하게 만드는 것입니다.

2. 방법론

저자들은 네 가지 핵심 기술적 조정을 통해 자기회귀 정책의 실시간 실행을 가능하게 하는 프레임워크인 $\pi_0$-REALFAST를 제안합니다.

A. 행동 지평(Action Horizon) 및 토큰화의 분리

저자들은 행동 청킹(action chunking) 전략을 재정의합니다. 전체 행동 지평 $H$를 한 번에 토큰화하는 대신, $H = 2m$으로 설정하고 두 단계로 토큰화합니다:

1. 컨디셔닝 접두사(Conditioning Prefix): 이미 실행되었거나 대기 중인 첫 $m$개의 행동을 접두사($T_m(A_{0:m})$)로 토큰화합니다.
2. 예측(Prediction): 모델은 접두사와 현재 관측치를 조건으로 하여 다음 $m$개의 행동($T_m(A_{m:2m})$)을 예측합니다.
   이를 통해 단일 추론 단계에서 디코딩해야 할 토큰 수를 줄여, 다음 실행 가능한 청크를 생성하는 데 필요한 지연 시간 $\delta_{t,m}$을 직접적으로 낮춥니다.

B. 지연 시간 경계 확보를 위한 제약 디코딩(Constrained Decoding)

로봇이 절대 멈추지 않도록 하려면, 시스템은 다음 청크를 디코딩하는 시간($\delta_{t,m}$)이 현재 청크를 소비하는 시간($d_m \cdot \Delta t$)을 초과하지 않음을 보장해야 합니다.

• 문제: 자기회귀 모델의 토큰 길이는 가변적이어서 지연 시간을 예측하기 어렵습니다.
• 해결책: 저자들은 제약 디코딩을 구현합니다. 디코딩 과정을 동적 계획법(DP)을 사용하는 유한한 "동전 교환 문제(coin change problem)"로 모델링합니다.
  • 특정 토큰 시퀀스 길이 $L$이 최대 스텝 수 $B$ 내에 유효하게 디토크나이즈(detokenize)될 수 있는지 결정하기 위해 DP 테이블을 사전 계산합니다.
  • 추론 중에 지연 시간 경계를 위반할 가능성이 있는 토큰(즉, $B$ 스텝 내에 디토크나이즈될 수 없는 시퀀스로 이어지는 토큰)의 로짓(logits)을 마스킹 처리합니다.
  • 이를 통해 디코딩 프로세스가 엄격한 지연 시간 경계 $\delta'$ 내에 완료되도록 보장하며, 결과적으로 $d_m \le m$을 만족합니다.

C. 다중 궤적 디코딩(Multi-Trajectory Decoding)

추론과 행동 소비 사이의 지연 간극으로 발생하는 "유휴" 시간 동안 성능을 극대화하기 위해, 저자들은 다중 궤적 디코딩을 채택합니다.

• 모델은 $N$개의 후보 궤적(예: $N=4$)을 병렬로 생성합니다.
• 접두사(KV 캐시)가 공유되므로 계산 오버헤드는 미미합니다.
• 최적의 궤적은 가능도(likelihood)를 기준으로 선택되며, 이는 최악의 지연 시간 경계를 늘리지 않으면서 작업 성공률을 높입니다.

D. 비동기 추론 루프

시스템은 다음과 같이 비동기적으로 작동합니다:

1. 클라이언트(로봇 컨트롤러)는 행동 큐(Action Queue, AQ)를 유지합니다.
2. 서버(정책)는 AQ 접두사를 조건으로 다음 $m$개 토큰을 디코딩합니다.
3. 디코딩이 완료되면(경계 내에서), 새로운 청크를 AQ에 추가합니다.
4. 로봇은 AQ로부터 행동을 지속적으로 실행하여, 정책이 다음 청크를 계산 중이더라도 멈춤 없이 동작하도록 보장합니다.

3. 주요 기여

1. 자기회귀 실시간 실행의 가능성 입증: 본 논문은 자기회귀 정책이 비동기 제어에 너무 느리다는 가설에 도전하며, 실시간 실행이 가능하다는 것을 입증했습니다.
2. 지연 시간이 보장된 디코딩: 동적 계획법을 통한 제약 디코딩의 도입은 비동기 설정에서 로봇의 멈춤을 방지하기 위한 필수 전제 조건인 엄격한 지연 시간 경계를 보장합니다.
3. 성능 최적화: 감소된 토큰 지평($m$)과 다중 궤적 디코딩의 결에는 실시간 시나리오에서 자기회귀 정책이 동등한 수준의 플로우 매칭(diffusion) 정책보다 우수한 성능을 보이게 합니다.
4. 외부 지연에 대한 강건성: 이 방법은 추론 빈도($d_m$)가 적절히 관리된다면 외부 지연(네트워크/센서)이 변하더라도 높은 성공률을 유지합니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 환경 모두에서 $\pi_0$(플로우 매칭) 및 $\pi_0.5$(FAST 토크나이저가 적용된 플로우 매칭)를 포함한 베이스라인에 대해 $\pi_0$-REALFAST( $\pi_0$-FAST에서 미세 조정됨)를 평가했습니다.

• 시뮬레이션 환경 (LIBERO):

  • $\pi_0$-REALFAST는 모든 작업 범주(Spatial, Object, Goal, Long)에서 실시간 행동 청킹(RTC)이 적용된 $\pi_0$보다 일관되게 우수한 성능을 보였습니다.
  • 더 큰 데이터셋으로 학습된 $\pi_0.5$와 대등한 성능을 달성했습니다.
  • 연구 결과, $d_m = m$의 엄격한 동기화는 $\pi_0$의 성능 저하를 일으키는 반면, $d_m \le m$을 허용하는 것이 더 견고하다는 점을 밝혀냈습니다.

• 실제 환경 (DROID):

  • 제로샷 테이블탑 조작 작업에서 $\pi_0$-REALFAST는 동기식 $\pi_0$-FAST 베이스라인을 크게 앞질렀습니다.
  • $\pi_0$보다 뛰어난 성능을 보였으며, $\pi_0.5$와 대등한 성능을 나타냈습니다.
  • 정성적 분석: 동기식 추론은 종종 오버슈팅(궤적 중간에 조정 불가)으로 인한 충돌을 유발하는 반면, $\pi_0$-REALFAST는 실시간으로 궤적을 조정하여 충돌을 피하는 데 성공함으로써 빈번한 행동 업데이트의 결정적 가치를 입증했습니다.

• 절제 연구 (Ablation Studies):

  • 제약 디코딩: 제약 디코딩을 제거했을 때 성능 저하가 발생하여, 신뢰성을 위한 필요성을 확인했습니다.
  • 학습 단계: 모델은 6k 단계 이내에 빠르게 정점 성능에 도달했으며, 이는 자기회귀 정책의 빠른 수렴 특성과 일치합니다.
  • 다중 궤적: $N$(궤적 수)을 늘리면 성공률이 향 향상되었으며, 이는 유휴 컴퓨팅 자원을 활용하는 것의 유용성을 검증합니다.

5. 의의 및 주장

본 논문은 자기회귀 정책이 특정 구조 및 디코딩 전략을 통해 실시간 로봇 제어를 위한 경쟁력 있고 실행 가능한 선택지임을 주장합니다.

• 트레이드오프 재평가: 저자들은 업계가 반응성을 확보하기 위해 정책의 강건성과 일반화 능력을 희생하면서 추론 지연 시간을 줄이는 데에만 과도하게 집중해 왔다고 주장합니다. 연구 결과는, 약간 높더라도 경계가 명확한 지연 시간이 강력한 일반화 능력을 갖춘 자기회귀 방식과 결합될 때, 그러한 능력이 부족한 저지연 정책보다 더 나은 배포 결과를 낳을 수 있음을 시사합니다.
• 네이티브 지원: 본 연구 결과는 자기회귀 정책을 확산 기반 접근 방식의 부차적인 것으로 취급하는 대신, 실시간 실행을 네이티브하게 지원하도록 사전 학습할 것을 독려합니다.
• 한계점: 저자들은 현재 실험이 단일 암(single-arm) 및 비교적 정적인 테이블탑 환경에 국한되어 있음을 인정했습니다. 양팔(bimanual) 또는 매우 역동적인 작업으로 확장하려면 더 많은 토큰을 디코딩해야 하며, 이는 스펙큘레이티브 디코딩(speculative decoding)과 같은 추가적인 구조적 혁신을 요구하는 더 엄격한 지연 시간 제약을 부과할 것입니다.

결론적으로, 본 연구는 비동기 추론, 토큰화 지평 조정, 그리고 제약 디코딩을 통해 자기회귀 정책이 확산 기반 대응 모델과 대등하거나 그 이상의 성능을 내며, 실시간 로봇 배포에서 우수한 지시 이행 및 수렴 특성을 활용할 수 있음을 확립했습니다.