GlanceWAM: Sparse Test-Time Imagination for World-Action Models

기술 요약: GlanceWAM – 월드-액션 모델을 위한 희소 테스트 타임 상상(Sparse Test-Time Imagination)

1. 문제 정의

기존의 월드-액션 모델(World-Action Models, WAMs)은 로봇 조작 분야에서 근본적인 "속도-성공 딜레마(speed–success dilemma)"에 직면해 있습니다. 현재의 방식들은 일반적으로 미래의 시각적 예측(상상)을 고주파 액션 디코딩과 동기적으로 결합합니다. 이러한 긴밀한 결합은 두 가지 치명적인 비용을 발생시킵니다:

1. 과도한 지연 시간(Prohibitive Latency): 제어 속도(예: 48ms마다)에 맞춰 밀집된 다단계 비디오 프레임을 생성하는 것은 값비싼 확산 샘플링(diffusion sampling)을 요구하며, 이는 1.1~3.8초의 추론 지연 시간을 초래하여 실시간 제어 예산을 초과하게 됩니다.
2. 호라이즌 퇴화(Horizon Degeneration): 속도를 유지하기 위해 모델은 종종 액션 청크(예: 0.8초)의 짧은 기간으로 예측을 제한합니다. 이러한 근사 정적 호라이즌은 의미 있는 장면 역학을 포착하지 못하며, 이로 인해 월드 모델링이 사소한 관측 재구성 수준으로 붕괴됩니다.

반대로, 실시간 속도를 달성하기 위해 테스트 타임의 시각적 상상을 포기하는 방식은 다운스트림 정책으로부터 명시적인 시각적 예견(visual foresight)을 박탈하여, 장기 호라이즌 과업 수행 능력을 제한합니다. 본 논문은 이 딜레마가 시각적 예견의 내재적 한계가 아니라 동기적 결합에 의한 산물이라고 주장합니다.

2. 방법론: GlanceWAM

GlanceWAM은 단일 통합 비디오 디퓨전 트랜스포머(DiT) 내에서 시각적 상상과 실시간 제어를 분리하는 프레임워크를 도입합니다. 핵심 혁신은 제어 경로 외부에서 실행되는 **비동기적, 희소 룩어헤드 생성(asynchronous, sparse lookahead generation)**입니다.

2.1 이중 타임스케일 아키텍처

시스템은 두 개의 구별된 타임스케일에서 작동합니다:

• 느린 클록 (상상 - Slow Clock): 비동기적 "프로포저(proposer)"가 약 3초($H_f \approx 3.0$ s)마다 앞을 내다보며 먼 미래의 상태를 나타내는 단일 잠재 룩어헤드 프레임을 생성합니다. 이 생성 과정은 백그라운드(예: 병렬 워커)에서 수행되며 제어 루프를 차단하지 않습니다.
• 빠른 클록 (제어 - Fast Clock): 액션 헤드는 순수하게 잠재 공간(latent space) 내에서 액션 청크를 48ms당 한 번씩 디코딩합니다. 이는 생성된 룩어헤드 잠재값을 직접 소비하며, 원본 RGB 픽셀로 디코딩하지 않으므로 낮은 지연 시간의 실행을 보장합니다.

2.2 통합 잠재 월드-액션 아키텍처

모델은 공유된 DiT 백본과 플로우 매칭(flow-matching) 액션 헤드를 사용합니다.

• 3가지 역할 학습 윈도우: 학습 시퀀스는 세 가지 구별된 시각적 입력을 포함합니다:
  1. 관측 이력 ($o_{\le t}$): 깨끗한 시각적 컨텍스트.
  2. 노이즈가 섞인 미래 타겟 ($x_{t+H_f}$): 비디오 백본의 생성적 순방향 역학을 감독합니다.
  3. 깨끗한 룩어헤드 컨디션 ($x_{t+u}$): 무작위로 설정된 중간 오프셋 $u \sim U(0, H_f]$에서의 티처 포싱(teacher-forced) 시각 가이드로, 액션 정책을 조건화하는 데 사용됩니다.
• 비간섭 어텐션 마스크 (Non-Interfering Attention Mask): 정보 누출(미래 토큰이 관측 인코딩을 오염하거나 생성이 룩어헤드를 복사하는 지름길을 사용하는 현상)을 방지하기 위해, 저자들은 구조화된 3클래스 프리픽스-LM(prefix-LM) 마스크를 구현했습니다. 이를 통해 관측 쿼리는 관측에만 어텐션하고, 미래 쿼리는 관측과 미래 타겟에 어텐션하며(룩어헤드는 제외), 룩어헤드 쿼리는 자신과 관측에만 어텐션하도록 보장합니다.
• 2패스 인과적 인코딩 (Two-Pass Causal Encoding): 압축 과정에서 룩어헤드 잠재값을 미래 정보로부터 엄격히 격리하기 위해 2패스 VAE 인코딩 전략을 채택하여 인과적 무결성을 보장합니다.

2.3 노후성에 강건한 공동 학습 (Staleness-Robust Co-Training)

룩어헤드는 약 3초마다 한 번 생성되지만 여러 개의 0.8초 액션 청크에 재사용되므로, 룩어헤드와 현재 액션 사이의 시간적 오프셋($\Delta$)은 시간이 지남에 따라 감소합니다.

• 무작위 오프셋 학습: 모델은 명시적인 시간적 조건화를 통해 학습되며, 액션 헤드는 사인형 시간 임베딩을 통해 정확한 오프셋 $\Delta$를 전달받습니다. 이는 정책이 가이드의 "노후도(staleness)"와 상관없이 시각적 예견을 따르도록 학습시킵니다.
• 다층 시각 추출: 액션 헤드는 네 개의 균등하게 배치된 트랜스포머 레이어(5, 12, 19, 26)에서 풀링된 결합 표현에 크로스 어텐션(cross-attend)하여, 저수준의 공간적 세부 사항과 고수준의 의미적 목적지를 결합합니다.

2.4 비동기 잠재 공간 추론

테스트 시, 룩어헤드 잠재값($\hat{z}_{la}$)은 ODE 플로우 샘플러를 통해 생성되며 인과적 VAE의 정규화된 잠재 공간 내에 완전히 유지됩니다. 이는 RGB 픽셀로 절대 디코딩되지 않습니다. 액션 헤드는 이 잠재 토큰과 감소하는 오프셋 $\Delta$에 조건화되어, 비디오 샘플링 오버헤드를 여러 제어 사이클(룩어헤드당 약 4개의 청크)에 걸쳐 분산시킬 수 있게 합니다.

3. 주요 결과

RoboCasa 키친 벤치마크(24개 과업) 및 LIBERO 스위트에서 평가된 GlanceWAM은 우수한 성능과 효율성을 입증했습니다:

• RoboCasa Kitchen: 과업당 단 50개의 데모만을 사용하여 평균 **72.2%**의 성공률을 달 achieves. 이는 동기식 Cosmos Policy(67.1%)와 상상 없는 공동 학습(64.4%)을 능가합니다.
• LIBERO: 4개의 스위트에서 평균 **99.0%**의 성공률을 달성하여 최고 성능 방법론들의 포화 상태와 일치하는 결과를 보였습니다.
• 추론 속도: 단일 NVIDIA A100 GPU에서 액션 디코딩을 청크당 48ms에 실행합니다. 이는 동기식 베이스라인(1133ms ~ 3812ms 범위)보다 24배 빠르면서도 더 높거나 대등한 성공률을 유지합니다.
• 효율성: 모델은 빠르게 수렴하며, RoboCasa에서는 10k 단계, LIBERO에서는 15k 단계의 학습만 필요하며, 이는 일반적인 베이스라인(60k–100k+)보다 현저히 적은 수치입니다.
• 강건성: 룩어헤드 샘플러를 10단계에서 1단계로 줄여도 성능이 안정적(71.2%~71.5%)으로 유지되어, 정책이 고주파 시각적 충실도보다는 저주파 공간 레이아웃에 의존함을 보여줍니다.

4. 의의 및 주장

본 논문은 GlanceWAM이 다음과 같은 점을 입증함으로써 월드-액션 모델의 속도-성공 딜레마를 해결한다고 주장합니다:

1. 시각적 예견은 본질적으로 느리지 않다: 상상과 실행의 타임스케일을 분리함으로써, 모델은 장기 계획의 이점을 희생하지 않고도 실시간 반응성을 달성할 수 있습니다.
2. 잠재 공간은 충분하다: 명시적인 시각적 예견이 원본 픽셀로 디코딩될 필요는 없습니다. 잠재 표현에 직접 조건화하는 것만으로도 고성능 제어에 충분하며, 상당한 계산 오버헤드를 제거할 수 있습니다.
3. 비동기 실행은 실행 가능하다: 시각적 가이드가 (몇 초 전에 생성되어) "노후"되었더라도, 정책이 다양한 시간적 오프셋을 처리하도록 학습된다면 룩어헤드 조건화는 여전히 인과적 역할을 수행하며 강건함을 유지합니다.
4. 희소 상상이 효과적이다: 미래의 단일 룩어헤드 프레임을 생성하는 것이 밀집된 단기 호라이즌 비디오 생성보다 과업 성공에 더 효과적이며, 이는 조작에 필요한 "어디로 갈 것인가"라는 공간적 목적지를 제공합니다.

이 연구는 희소한 비동기적 시각적 예견이 높은 과업 성공률과 실시간 추론 속도를 모두 제공할 수 있음을 증명함으로써, 월드-액션 모델의 새로운 최첨단(SOTA)을 구축했습니다.