기술 요약: NVIDIA OmniDreams

문제 정의

자율주행 자동차(AV) 역량이 발전함에 따라, 롱테일(long-tail) 시나리오에서 주행 정책을 안전하게 평가하는 것이 여전히 중요한 병목 구간으로 남아 있습니다. 최근의 재구성 기반 신경망 시뮬레이터(예: 3D 가우시안 스플래팅 또는 NeRF를 사용하는 방식)는 극사실적인 묘사를 제공하지만, 근본적으로 초기 캡처된 데이터에 의해 제약을 받습니다. 이러한 시스템은 매우 동적이거나 새로운 장면을 생성하는 데 어려움을 겪으며, 완전히 새로운 조건(예: 극한의 날씨나 예측 불가능한 에이전트 행동) 하에서 일관된 관측치를 생성하는 데 한계가 있습니다. 폐쇄 루프(closed-loop) 시뮬레이션에서는 주행 정책이 환경과 능동적으로 상호작용하므로, 관찰되지 않은 현상을 합성할 수 없는 능력은 정책 학습 및 평가의 확장성과 안전성을 제한합니다.

방법론

NVIDIA는 실시간 폐쇄 루프 자율주행 시뮬레이션을 위해 설계된 파운데이션 생성 월드 모델인 OmniDreams를 소개합니다. OmniDreams는 Cosmos 확산 모델(diffusion model)로부터 미드 트레이닝(mid-training) 및 포스트 트레이닝(post-training)을 거쳐 액션 조건부 비디오를 자기회귀적(autoregressively)으로 생성합니다.

데이터 및 컨디셔닝(Conditioning)

• 데이터셋: 미드 트레이닝에는 RDS(Real Driving Scene) 데이터셋(16,600시간, 3백만 클립)을 사용하고, 파인튜닝 및 포스트 트레이닝에는 RDS-HQ-1M(4,944시간, 1.14백만 클립)을 사용합니다. 이 데이터셋들은 다양한 날씨, 조명, 도로 조건을 가진 15개국을 포괄합니다.
• 컨디셔닝 신호: 모델은 다음 세 가지 모달리티를 기반으로 생성을 제어합니다:
  1. 추상적 월드-시나리오 맵(Abstract World-Scenario Map): 픽셀 정렬된 선과 표면으로 렌더링된 HD 맵 요소(차선, 교통 표지판) 및 동적 에이전트(3D 바운딩 박스)를 포함하는 구조화된 표현.
  2. 텍스트 프롬프트: 환경 속성(날씨, 조명, 시간대)을 설명하기 위해 VLM(Qwen2.5-VL-7B)을 통해 생성됩니다.
  3. 시각적 히스토리(Visual History): 시간적 일관성을 유지하기 위한 이전에 생성된 프레임의 스트리밍 키-값(Key-Value, KV) 캐시.

모델 아키텍처

OmniDreams는 양방향 생성 대신 **인과적 확산 공식(Causal Diffusion Formulation, Diffusion Forcing)**을 채택하여, 정책 액션에 즉각적으로 반응할 수 있도록 합니다.

• 자기회귀적 생성: 모델은 현재 시뮬레이터 상태와 주행 액션에 조건화되어 미래의 짧은 프레임 시퀀스를 생성합니다. 전체 시퀀스를 다시 계산하지 않고도 긴 롤아웃(rollout)을 수행할 수 있도록 이전의 어텐션 키와 값을 재사용하는 스트리밍 KV 캐시를 활용합니다.
• 다중 뷰 일관성(Multi-View Consistency): 모델은 최대 7개의 동기화된 카메라 뷰의 공동 생성을 지원합니다. 이를 위해 팩터화된 어텐션(factorized attention) 메커니즘을 사용합니다. 시간적 어텐션은 각 뷰 내에서 독립적으로 적용되는 반면, 교차 뷰 어텐션은 각 타임 스텝에서 뷰 간에 적용되어 기하학적 및 의미론적 일관성을 보장합니다.
• 경량 제어 브랜치: 구조화된 월드 컨디셔닝은 시뮬레이터 상태를 압축된 제어 토큰으로 인코딩하는 경량 MLP를 통해 주입되며, 이를 통해 계산 오버헤드를 최소화합니다.

학습 전략

학습 파이프라인은 품질, 제어 가능성 및 효율성의 균형을 맞추기 위해 여러 단계로 구성됩니다:

1. 미드 트레이닝(Mid-Training): 양방향 Cosmos-Predict 2.5 모델을 다중 뷰 생성 및 RDS 데이터셋을 사용한 자기회귀적 인과적 생성을 위해 적응시킵니다.
2. 월드-시나리오 제어: 추상적 월드 맵에 따라 생성을 조건화하기 위해 제어 브랜치를 추가합니다.
3. 증류(Distillation, Self Forcing): 몇 단계의 생성(few-step generation)을 가능하게 하고 노출 편향(exposure bias, 긴 롤아웃에서의 누적 오류)을 완화하기 위해, 모델은 Self Forcing 학습을 거칩니다. 이 과정에서 학습 중 실제 정답(ground-truth) 컨텍스트를 스스로 생성한 프레임으로 대체합니다. 또한, 긴 롤아웃에서의 시프팅 아티팩트(shifting artifacts)를 더욱 줄이기 위해 롱 컨텍스트 양방향 모델을 사용하는 **점진적 교사 전략(progressive teacher strategy)**이 사용됩니다.
4. 추론 최적화: 시스템은 로컬 윈도우 어텐션, 정적 형태의 KV 캐시, CUDA Graphs를 특징으로 하는 스트리밍 추론 스택인 FlashDreams를 사용하여 실시간 성능을 달ien합니다.

시스템 통합

OmniDreams는 AlpaSim(시뮬레이션 오케스트레이터) 및 Alpamayo 1(정책 모델)과 함께 폐쇄 루프 시스템에 통합됩니다. 비디오 모델은 gRPC를 통해 통신하는 상태 유지(stateful) 서버로 실행됩니다. 비디오 생성의 청크(chunk) 기반 특성을 처리하기 위해, 시스템은 정책과 트래픽 모델이 비디오 청크 경계에 맞춰 미리 다단계 궤적을 생성하는 프리페치 생성(pre-fetch generation) 방식을 사용하여 이벤트 순서가 보존되도록 합니다.

주요 기여

1. 실시간 생성형 월드 모델: OmniDreams는 주행 액션 및 시뮬레이터 상태에 조건화되어 실시간(16 GB300 GPU에서 최대 105 FPS)으로 극사실적인 다중 뷰 센서 관측치를 생성할 수 있는 최초의 파운데이션 모델입니다.
2. 장기적 일관성(Long-Horizon Consistency): 인과적 마스킹, 스트리밍 KV 캐시, 점진적 Self Forcing 증류의 결 조합을 통해, 모델은 자기회귀적 비디오 모델에서 전형적으로 나타나는 드리프트(drift) 현상을 극복하고 긴 롤아웃(수 분 단위) 동안 시각적 충실도와 객체 정체성을 유지합니다.
3. 제어 가능한 롱테일 합성: 재구성 기반 시뮬레이터와 달리, OmniDreams는 텍스트 프롬프트와 월드-시나리오 맵을 통해 복잡하고 관찰되지 않은 현상(예: 극한의 날씨, 변형 가능한 객체, 예측 불가능한 에이전트 행동)을 합성하고 역사실적 편집(counterfactual editing)을 수행할 수 있습니다.
4. 월드-액션 모델(WAM) 잠재력: 본 논문은 OmniDreams의 내부 표현이 다운스트림 정책 학습에 유용함을 입증합니다. OmniDreams 백본(2B 파라미터)으로부터 포스트 트레이닝된 정책 모델은 NuRec 데이터셋에서 더 큰 규모의 Alpamayo 1.5 VLA 모델(10B 파라미터)보다 우수한 성능을 보이며 충돌률을 크게 감소시켰습니다.
5. 디퓨전 픽서(Diffusion Fixer): OmniDreams는 카메라 포즈가 원래 캡처된 궤적에서 벗어날 때 기존 재구성 기반 시뮬레이터의 아티팩트(예: 블러링, 고스팅)를 수정하도록 포스트 트레이닝될 수 있습니다.

결과

• 시뮬레이션 품질: 홀드아웃 평가 세트에서, 증류된 OmniDreams 모델은 24.8의 Fréchet Video Distance(FVD)를 달성하고 강력한 3D 탐지 및 차선 인식 지표를 보여주며, 중간 단계의 인과적 및 양방향 베이스라인 모델들을 능가했습니다.
• 장기 롤아웃: 분절된 FVD 분석 결과, 점진적 롱 컨텍스트 교사 전략이 단기 컨텍스트 교사 모델에 비해 20초 롤아웃 동안의 오류 축적을 유의미하게 감소시킴을 보여주었습니다.
• 폐쇄 루프 평가: AlpaSim과 통합되었을 때, OmniDreams는 실제 세계의 정책 평가를 위한 충실한 대리 모델 역할을 합니다. 서로 다른 정책 클래스(OmniDreams WAM vs. Alpamayo 1.5 변체)의 순위는 OmniDreams 또는 재구성 기반 NuRec 시뮬레이터에서 평가할 때 모두 일관되게 유지되었습니다.
• 효율성: 2B 규모의 OmniDreams 모델은 단일 GB300 GPU에서 720p 비디오를 68 FPS(단일 뷰)로, 16 GB300 GPU에서 105 FPS(다중 뷰)로 렌더링합니다.
• 정책 성능: Omni-Dreams 기반의 WAM은 NuRec 폐쇄 루프 평가에서 파라미터 수가 1/5 수준임에도 불구하고, "모든 사고(All Incidents)" 발생률을 Alpamayo 1.5의 10.1%에서 4.7%로 낮추었습니다.

의의 및 주장

본 논문은 OmniDreams가 순수 재구성 기반 환경에서 생성형 월드 모델로의 중대한 전환을 나타낸다고 주장합니다. 고도로 동적이고 제약이 없는 시나리오를 합성함으로써, OmniDreams는 표준 시뮬레이터가 재현할 수 없는 "롱테일" 엣지 케이스 문제를 해결합니다.

저자들은 이 프레임워크가 차세대 자율주행 정책을 훈련하고 평가하기 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 나아가, 결과는 월드 모델이 단순히 수동적인 센서 시뮬레이터가 아니라, 파라미터 효율성과 성능 측면에서 Vision-Language-Action (VLA) 모델보다 우수한 솔루션을 제공하는 정책 아키텍처 자체의 백본 역할을 할 수 있음을 시사합니다. OmniDreams를 AlpaSim 및 Alpamayo와 통합하는 것은 실시간 폐쇄 루프 시뮬레이션을 위한 실질적이고 엔드 투 엔드(end-to-end)인 파이프라인을 구축합니다.