기술 요약: MiniWorld

문제 정의

비디오 월드 모델은 과거의 관측값과 제어 신호를 조건으로 미래의 관측을 예측하는 것을 목표로 하며, 이는 체화된 AI(Embodied AI) 및 상호작나적인 시뮬레이션의 기초 구성 요소 역할을 합니다. 시각적 외형에 집중하는 기존의 비디오 생성 모델과 달리, 월드 모델은 환경 진화의 기저에 깔린 역학(dynamics)을 학습해야 합니다.

현재의 최첨단 접근 방식은 주로 대규모 사전 학습된 양방향 비디오 확산 모델(예: Wan)을 미세 조정(fine-tuning), 증류(distillation), 또는 강화 학습과 같은 사후 학습 기술을 통해 자기회귀적(autoregressive) 예측기로 변환하는 데 의존합니다. 이러한 방법은 효과적이긴 하지만, 다음과 같은 세 가지 주요 한계점을 가집니다:

1. 자원 집약적: 복잡한 다단계 파이프라인과 상당한 계산 자원을 요구합니다.
2. 훈련-추론 불일치: 양방향 사전 학습은 인과적 스트리밍 추론과 본질적으로 일치하지 않습니다. 훈련 중에 모델은 정답(ground-truth) 이력을 보지만, 추론 중에는 자신의 이전 예측에 의존하므로 노출 편향(exposure bias)과 오차 누적이 발생합니다.
3. 접근 가능한 베이스라인의 부재: 커뮤니티에는 적절한 계산 예산 내에서 처음부터 스트리밍 비디오 월드 모델을 학습시킬 수 있는 경량화되고 투명하며 완전히 재현 가능한 프레임워크가 부족합니다.

방법론

MiniWorld는 사전 학습된 Video VAE(Wan2.2)의 잠재 공간(latent space)에서 Flow Matching으로 학습되는 **블록-인과적 비디오 확산 트랜스포머(Block-Causal Video DiT)**를 사용하여, 처음부터 스트리밍 비디오 월드 모델을 학습시키기 위한 프레임워크를 제안함으로써 이러한 과제를 해결합니다.

핵심 아키텍처 구성 요소

• 블록-인과적 어텐션(Block-Causal Attention): 비디오 시퀀스는 시간 순서대로 정렬된 청크(chunk) 단위로 분할됩니다. 동일한 청크 내의 토큰들은 양방향으로 어텐션을 수행하지만, 청크 간 어텐션은 엄격하게 인과적입니다(하나의 청크는 이전 청크들만 참조할 수 있음). 이는 청크 내에서의 풍부한 시공간적 상호작용을 보존하면서도, 자기회귀적 생성을 위해 필요한 인과적 의존성을 강제합니다.
• 액션 컨디셔닝(Action Conditioning): 로봇의 행동과 카메라 포즈는 AdaLN 기반 메커니즘을 통해 통합됩니다. 액션 인코더는 임베딩과 변조 벡터(modulation vectors)를 생성하여 확산 타임스텝 임베딩과 상호작용합니다. 본 프레임워크는 AdaLN-LoRA를 활용하는데, 여기서 레이어들은 공통의 변조 브랜치를 공유하면서도 가벼운 저계수 잔차(low-rank residuals)를 학습함으로써, 의미적 컨디셔닝과 특징 변조를 분리합니다.
• 청크 단위 노이즈 스케줄링(CoPP): Diffusion Forcing을 기반으로, MiniWorld는 시퀀스 내의 서로 다른 잠재 청크에 독립적인 확산 타임스텝을 할당합니다. 이는 비감소 노이즈 제약 조건($\tau_1 \le \tau_2 \le \dots \le \tau_M$)을 강제하여, 이전 청크들이 이후의 청크보다 더 깨끗한 상태가 되도록 합니다. 이는 과거의 관측값은 수렴되어 있고 미래의 콘텐츠는 불확실한 추론 상태를 모사합니다. 저자들은 유효한 단조적 타임스텝 구성을 샘플링하기 위해 청크 지향 확률 전파(CoPP) 스케줄러를 도입하여 표준 샘플링보다 개선된 견고함을 제공합니다.
• 2단계 지속 학습(Two-Stage Continued Training):
  1. 사전 학습(Pre-training): 짧은 비디오 클립(21/46 프레임)으로 학습되어 국소적인 액션 조건부 상태 전이를 효율적으로 학습합니다.
  2. 지속 학습(Continued Training): 동일한 해상도에서 더 긴 시퀀스(125/253 프레임)로 학습됩니다. 이 단계에서는 목적 함수를 수정하지 않고도 **타임스텝 시프팅(timestep shifting)**을 활용하여 더 긴 인과적 컨텍스트와 액션 궤적에 모델을 노출시킵니다.

스트리밍 추론 파이프라인

MiniWorld는 **롤링 KV 캐시(rolling KV cache)**와 **파이프라인 비동기 디노이징(pipelined asynchronous denoising)**을 채택합니다.

• 구조화된 롤링 KV 캐시: 추론 상태는 "확정된 이력(committed history)"(이미 수렴된 청크)와 "활성 디노이징 윈도우(active denoising window)"로 나뉩니다. 하나의 청크가 확정되면 그 키-값(KV) 쌍은 FIFO 캐시에 저장됩니다. "싱크 앵커(sink anchor)"(초기 깨끗한 컨텍스트)는 영구적으로 유지되는 반면, 오래된 이력 청크는 제거됩니다. 이를 통해 생성 길이에 관계없이 제한된 계산 비용을 유지합니다.
• RoPE 재시프팅(RoPE Re-shifting): 회전 위치 임베딩(RoPE)을 훈련 범위를 벗어나 외삽하지 않고도 새로운 청크의 진행되는 시간적 위치를 처리하기 위해, 시스템은 유지된 키(key)들에 RoPE 재시프팅을 적용하여 슬라이딩 윈도우를 효과적으로 재인덱싱합니다.
• 파이프라인 디노이징: 여러 미래 청크가 서로 다른 확산 타임스텝에서 동시에 존재할 수 있어, 활성 윈도우 내에서 병렬 디노이징이 가능합니다. 이는 처리량(throughput)과 품질 사이의 유연한 트레이드오프를 가능하게 합니다.

주요 기여

1. MiniWorld 프레임워크: 적절한 하드웨어(예: 단일 8-GPU 서버)에서도 처음부터 스트리밍 비디오 월드 모델을 학습시키는 것을 가능하게 하는 경량화되고 완전히 재현 가능한 프레임워크를 제공합니다.
2. 통합 레시피: 블록-인과적 비디오 DiT, 청크 단위 비감소 노이즈 스케줄링, 2단계 지속 학습, 롤링-KV 스트리밍 추론을 결합한 실용적인 방법론을 제시합니다.
3. 오픈 소스 베이스라인: 데이터 처리, 학습, 추론 및 평가를 포함한 전체 파이프라인을 공개하여, 복잡하고 독점적인 사후 학습 방식에 대한 투명한 대안을 제공합니다.

실험 결과

저자들은 두 가지 벤치마크인 DROID(로봇 액션 조건부)와 RealEstate10K(카메라 궤적 조건부)에서 MiniWorld를 평가했습니다.

• 베이스라인 대비 성능: 양방향 짧은 비디오 베이스라인(슬라이딩 윈도 \text{도우})과 비교했을 때, MiniWorld는 상대 점수(베이스라인을 1로 정규화)에서 유의미한 향상을 보였습니다. DROID에서 궤적 정확도(Trajectory Accuracy) 2.49, 깊이 정확도(Depth Accuracy) 2.38, LPIPS 2.16의 상대 점수를 달성했습니다. RE10K에서는 광도 매끄러움(Photometric Smoothness)을 상대 점수 1.89, 깊이 정확도를 1.55로 개선했습니다.
• 어블레이션 연구(Ablation Studies):
  • 클래시파이어 프리 가이던스(CFG): 프레임 수준의 충실도를 크게 변화시키지 않으면서 외형과 역학 지표를 개선했습니다.
  • 윈도우 크기: 온라인 디노이징 윈도우를 (KV 캐시를 포함하여) 32개 청크에서 8개로 줄여도 품질을 유지하면서 효율성을 획기적으로 높였습니다.
  • 캐시 크기: KV 캐시 크기를 24개에서 6개 청크로 줄여도 성능에 미미한 영향만을 주었으며, 이는 모델이 활성 윈도우와 싱크가 고정된 후에는 전체 이력을 유지하는 데 의존하지 않음을 시사합니다.
  • 싱크 앵커(Sink Anchors): 싱크 프레임을 추가하는 것은 글로벌 컨텍스트에 약간의 안정성을 제공했지만, 품질 향상의 주요 동력은 아니었습니다.
• 스케일링: 성능은 0.5B에서 3B 파라미터까지 단조롭게 향상되었으며, 더 큰 모델일수록 역학 모델링과 3D 일관성 측면에서 특히 강점을 보였습니다.
• 효율성: 전체 윈도우를 8개 청크의 인플라이트(in-flight) 윈도우와 KV 캐시로 교체함으로써 처리량을 3.31 FPS에서 7.29 FPS로 증가시켜 약 2.20배의 속도 향상을 이루었으며, 첫 번째 청크 지연 시간(latency)을 74.0초에서 4.86초로(15.2배 감소) 단축했습니다.

의의 및 주장

본 논문은 MiniWorld를 순수한 지각적 품질 면에서 거대한 독점 모델과 경쟁하는 최첨단 생성기가 아니라, 연구 커뮤니티를 위한 투명하고 재현 가능한 베이스라인으로 포지셔닝합니다.

• 민주화: 안정적이고 장기적인(long-horizon) 액션 조건부 스트리밍 월드 모델링이 과도한 컴퓨팅 자원이나 복잡한 사후 학습 파이프라인을 필요로 하지 않음을 입증합니다.
• 정렬(Alignment): 액션 조건부 차세대 상태 예측 공식에 직접 훈련함으로써, MiniWorld는 양방향 모델을 변환할 때 발생하는 구조적 불일치를 완화하고 훈련 목적 함수를 인과적 스트리밍 추론 과정과 일치시킵니다.
• 연구 촉진: 저자들은 MiniWorld가 시간적 메모리, 인과적 표현 학습, 장기적 오차 누적과 같은 스트리밍 월드 모델의 특정 과제를 연구하기 위한 엔지니어링 장벽을 낮추어, 향후 아키텍처 및 알고리즘 혁신을 촉진하기를 기대합니다.

저자들은 복잡한 시나리오에서 장기간의 롤아웃(rollout) 동안 예측 오차가 여전히 누적된다는 점과 현재의 규모가 프런티어 파운데이션 모델에 비해 작다는 점을 언급하며 한계를 인정했습니다. 그들은 MiniWorld를 분야의 성능 한계가 아닌, 재현 가능한 연구를 위한 출발점으로 보고 있습니다.