기술 요약: DREAM-Chunk

문제 정의

액션 청킹(Action chunking)은 시각-언어-행동(VLA) 모델의 표준 인터페이스가 되어, 저빈도 정책 추론이 고빈도 로봇 실행을 구동할 수 있도록 합니다. 그러나 일단 액션 청크가 확정되면, 로봇은 이를 주로 개루프(open-loop) 방식으로 실행합니다. 이러한 방식은 확률적 역학(stochastic dynamics), 하드웨어 실행 오류, 그리고 부분적으로 관측된 상태 하에서 취약합니다. 실행 중 오류가 누적되는 이유는 정책이 다음 추론 단계 전까지는 편차에 반응할 수 없기 때문입니다. 최근의 연구들은 빈번한 재계획(replanning), 경량화된 구조적 수정, 또는 적응형 호라이즌(adaptive horizons)을 통해 반응성을 개선하려고 시도하지만, 이러한 방법들은 종종 계산 비용이 높거나, 긴 호라이즌의 계획을 낭비하거나, 더 큰 모델의 확장 가능성을 제한하는 문제에 직면합니다.

방법론: DREAM-Chunk

저자들은 기존의 액션 청킹 정책을 수정하거나 미세 조정하지 않고도 기존 VLA의 반응성을 향상시키는 테스트 타임 스케일링 프레임워크인 DREAM-Chunk(Dreamed-state REactive Action Matching for Action Chunking)를 제안합니다.

핵심 메커니즘

DREAM-Chunk는 고정된 청킹 기반 VLA 정책에 **경량 보조 잠재 세계 모델(auxiliary latent world model)**을 추가하여 기능을 확장합니다. 프로세스는 다음과 같이 작동합니다:

1. 배치 추론(Batched Inference): 각 재계획 단계 $t$에서, 고정된 정책 $\pi$는 현재 관측값 $o_t$로부터 $N$개의 후보 액션 청크($A^{(1)}, \dots, A^{(N)}$)를 샘플링합니다.
2. 병렬 잠재 롤아웃(Parallel Latent Rollouts): 경량 세계 모델(인코더 $e$와 잠재 역학 모델 $f$로 구성)은 $N$개의 모든 후보 청크에 대한 미래 잠재 상태를 병렬로 예측합니다. 인코더는 관측값을 잠재 공간 $s_t = e(o_t)$로 매핑하고, 역학 모델은 $s_{t+\tau} = f(s_{t+\tau-1}, a_{t+\tau-1})$를 예측합니다.
3. 반응형 매칭(Reactive Matching): 실행 중 로봇이 각 단계 $\tau$마다 새로운 관측값 $o_{t+\tau}$를 받으면, 이를 잠재 공간으로 인코딩합니다. DREAM-Chunk는 관측된 잠재 상태를 모든 후보 청크의 **위상 정렬된 꿈의 상태(phase-aligned dreamed states)**와 비교합니다.
4. 선택(Selection): 시스템은 예측된 잠재 상태가 관측된 상태와 가장 잘 일치하는(잠재 공간에서의 유클리드 거리를 최소화하는) 후보 청크의 액션을 선택합니다. 이를 통해 로봇은 확률성으로 인해 현재 궤적이 이탈할 경우 다른 후보 청크로 전환할 수 있으며, 결과적으로 실행 호라이즌 내에서 반응형 교정을 가능하게 합니다.

주요 설계 특징

• 정책 불가지론적(Policy-Agnostic): 기본 VLA는 동결된 상태로 유지됩니다. 이 방법은 여러 청크를 샘플링하고 경량 세계 모델을 실행하는 것만을 요구합니다.
• 잠재 매칭(Latent Matching): 매 단계마다 VLA를 다시 추론하는 대신(이는 계산 비용이 많이 듭s니다), 이 방법은 세계 모델을 사용하여 미래를 "꿈꾸고" 이를 현실과 매칭합니다.
• 비동기 지원(Asynchronous Support): 이 방법은 비동기 추론을 지원하여, 현재 배치가 실행되는 동안 다음 배치의 청크를 샘플링할 수 있도록 합니다.

주요 기여

1. 프레임워크 제안: 확률적 역학 하에서 기본 정책의 미세 조정 없이 반응성을 개선하는 테스트 타임 스케일링 방법인 DREAM-Chunk를 도입했습니다.
2. 시뮬레이션 분석: Kinetix 벤치마크를 통한 실증적 검증을 통해 다음을 입증했습니다:
   • 성능은 후보 샘플 크기($N$)가 커질수록 향상됩니다.
   • 효과성은 **교정 동작(corrective behaviors)**의 존재 여부에 크게 의존합니다(즉, 정책이 유용한 복구 옵션을 샘플링할 수 있어야 합니다).
   • 잠재 표현의 선택(예: RSSM, LEWM, EB-JEPA)이 성능에 상당한 영향을 미치며, 신뢰할 수 있는 위상 정렬 매칭을 지원하는 모델이 우수합니다.
3. 하드웨어 검증: 두 가지 로봇 플랫폼(SO-101 및 Franka Panda)과 두 가지 VLA 정책(SmolVLA 및 $\pi_{0.5}$)을 사용하는 네 가지 실제 조작 작업에 배치되었습니다. 이 방법은 하드웨어 실행 오류, 부분적 관측 가능성 및 외부 섭동을 성공적으로 완화했습니다.

실험 결과

시뮬레이션 (Kinetix)

• 확률성(Stochasticity): 액션 노이즈가 증가함에 따라 DREAM-Chunk는 베이스라인(Naive Asynchronous, BID, RTC, Adaptive Chunking)보다 우수한 성능을 보입니다. 베이스라인이 청크 간 일관성에 집중하는 반면, DREAM-Chunk의 청크 내 반응성은 궤적이 명목상의 롤아웃에서 벗어날 때 결정적인 역할을 합니다.
• 샘플 스케일링(Sample Scaling): 샘플링된 청크의 수($N$)를 늘리면 예측된 잠재 상태와 실제 상태 사이의 거리가 줄어들어, 가능한 미래에 대한 커버리지가 향상됩니다.
• 교정 데이터(Corrective Data): 이 방법은 밑바탕이 되는 정책이 교정 동작(예: 높은 액션 노이즈를 가진 전문가 데이터로 학습된 정책)을 포함하는 데모로 학습되었을 때만 효과적으로 스케일링됩니다.

하드웨어 배치

• 작업: USB 뽑기/삽입, 움직이는 물체 잡기, 장난감 집기/삽입, 섭동 하에서의 캔 삽입.
• 성능 향상:
  • SmolVLA (SO-101): 모든 작업에서 성공률 향상 (예: USB 작업: 75% $\to$ 95%; 움직이는 물체 잡기: 60% $\to$ 80%).
  • $\pi_{0.5}$ (Franka): 외부 섭동이 있는 정밀 삽입 작업에서, DREAM-Chunk는 개루프 정책의 성공률을 10%에서 65%로(N=5일 때) 높였습니다.
• 지연 시간(Latency): 세계 모델의 오버헤드는 미미합니다(밀리초 단위). $N=20$일 때, 세계 모델 구성 요소(인코더, 예측기, 매칭)를 위한 추가 지연 시간은 약 4.8ms이며, 정책 추론이 전체 시간을 지배합니다.

의의 및 주장

본 논문은 DREAM-Chunk가 VLA와 세계 모델 연구를 통합함으로써 실용적으로 배치 가능한 체화된 지능(embodied intelligence)을 향한 모듈형 경로를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 재학습 없는 반응성: 빈번한 VLA 재추론의 계산 비용이나 대규모 모델 미세 조정의 복잡성 없이, 장기 호라이즌 청크 실행이 확률적 역학에 반응하도록 만듭니다.
• 기존 데이터 활용: 생성적 정책의 강건성은 테스트 타임에 완전히 새로운 고수준 전략을 학습하는 것이 아니라, 훈련 분포에 존재하는 국소적 교정 변형을 샘플링하는 능력에 달려 있음을 강조합니다.
• 확장성: 가벼운 세계 모델로 대안의 "계획"을 오프로딩함으로써, 이 접근 방식은 대규모 VLA가 실시간 제어를 위해 실용성을 유지하면서도 모델 기반 계획의 강건성을 얻을 수 있게 합니다.

저자들은 경량 예측 모델이 실용적인 반응형 모듈로서 역할을 할 수 있으며, 실행 노이즈, 부분적 관측 가능성, 외부 섭동이 특징인 환경에서 액션 청킹 정책의 성공률을 크게 향상시킨다고 결론짓습니다.