기술 요약: OmniNWM – 전지적 주행 내비게이션 월드 모델 (Omniscient Driving Navigation World Models)

1. 문제 정의 (Problem Statement)

자율주행 월드 모델은 단일 확률 프레임워크 내에서 상태 예측, 행동 평가, 보상 할당을 통합하여 실제 환경의 결합 다중 모드 사후 확률(joint multimodal posterior)을 근사하는 것을 목표로 합니다. 그러나 기존 방식들은 진정한 "전지적(omniscient)" 월드 모델의 실현을 가로막는 세 가지 근본적인 병목 현상에 직면해 있습니다:

1. 상태의 장기적 결합 일관성 (Long-term Joint Consistency in State): 현재의 접근 방식은 일반적으로 단일 모달리티인 RGB 비디오에 의존하거나, 다중 모달 센서 시뮬레이션(예: 깊이, 시맨틱)을 독립적인 조건부 작업으로 취급합니다. 이는 "조건부 독립의 오류(conditional independence fallacy)"를 야기하여, 자기회귀적 노출 편향(autoregressive exposure bias)으로 인해 장기 롤아웃(long-horizon rollouts) 과정에서 픽셀 수준의 정렬 불량과 시간적 일관성의 급격한 저하를 초래합니다.
2. 행동의 기하학적 공변량 변화 (Geometric Covariate Shift in Action): 정밀한 카메라 제어는 운동 역학과 특정 센서 리그(rig) 기하 구조 사이의 얽힘으로 인해 방해를 받습니다. 기존의 희소 표현 방식(예: 웨이포인트, 원시 카메라 포즈)은 특정 외부 캘리브레이션에 과적합되어, 새로운 데이터셋, 카메라 구성 또는 궤적 유형에 대해 제로샷(zero-shot) 일반화에 실패합니다.
3. 내재적 보상의 부재 (Lack of Intrinsic Rewards): 유효한 월드 모델은 생성과 계획 사이의 루프를 닫기 위해 물리적으로 근거가 있는 보상 신호를 필요로 합니다. 현재의 방법들은 분포 변화(distribution shifts)에 취로한 외부 블랙박스 보상 모델에 의존하는 경우가 많아, 생성된 환경 내에서 계획 에이전트를 효과적으로 평가하는 데 한계가 있습니다.

2. 방법론 (Methodology)

OmniNWM(Omniscient panoramic Navigation World Model)은 상태(State), 행동(Action), 보상(Reward)을 일관된 확률 프레임워크 내에서 통합함으로써 이러한 과제들을 해결합니다.

2.1 포괄적 상태 생성 (Comprehensive State Generation)

OmniNWM은 **파노라마 디퓨전 트랜스포머(Panoramic Diffusion Transformer, PDiT)**를 사용하여 파노라마 RGB, 시맨틱, 메트릭 깊이 비디오를 공동으로 최적화합니다.

• 결합 잠재 인코딩 (Joint Latent Encoding): 별도의 재구성 손실을 사용하는 대신, 다중 모달리티를 공유 잠재 매니폴드(shared latent manifold)로 투영합니다. 시맨틱 맵은 위상(topology)을 보존하기 위해 색상이 입혀지고 이산화되며, RGB, 시맨틱, 깊이 잠재 변수는 채널 방향으로 결합됩니다.
• 통합 디노이징 역학 (Unified Denoising Dynamics): PDiT는 이 결합된 잠재 변수 상에서 조건부 역방향 디퓨전(conditional reverse diffusion)을 근사합니다. 공유 최적화를 통해 깊이와 시맨틱으로부터의 그래디언트가 결합된 변수로 역전파되어 출력들을 동기화함으로써 픽셀 수준의 정렬을 보장합니다.
• 기하학적 리프팅 (Geometric Lifting): 경량화된 기하학적 매핑을 통해 2D 관측치를 3D 시맨틱 점유 그리드($V_{occ}$)로 리프팅합니다. EfficientNet-B7 U-Net이 특징을 추출하고, 이를 3D 컨볼루션을 통해 집계하여 복셀 볼륨을 계산함으로써 3D 구조가 시각적 관측치에 근거하도록 보장합니다.

2.2 정준 행동 인코딩 (Canonical Action Encoding)

기하학적 공변량 변화를 완화하기 위해, OmniNWM은 정규화된 파노라마 플뤼커 레이 맵(Normalized Panoramic Plücker Ray-map) 인코딩 방식을 도입합니다.

• 파라미터 프리 인코딩 (Parameter-Free Encoding): 입력 궤적은 학습된 시맨틱 사전 지식에 의존하지 않고 파라미터 프리 인코더를 사용하여 고차원 레이 맵으로 매핑됩니다.
• 정준 투영 (Canonical Projection): 원시 플뤼커 임베딩은 절대적 스케일과 포즈에 민격합니다. OmniNWM은 모든 카메라 레이를 통일된 참조 프레임(예: 초기 전방 뷰)으로 투영하여 운동 역학을 리그별 기하 구조로부터 분리합니다. 이는 픽셀을 단위 정규화된 세계 방향 벡터로 역투영하고 강체 변환을 적용하는 과정을 포함합니다.
• 결과: 이를 통해 다중 뷰 궤적을 공유 3D 플뤼커 공간으로 통합하는 기하학적으로 불변하는 표현을 생성하며, 서로 다른 카메라 리그 및 미학습 데이터셋에 대한 제로샷 제어를 가능하게 합니다.

2.3 구조적 파노라마 포싱 (Structured Panoramic Forcing)

장기 생성의 안정성을 높이고 노출 편향을 완화하기 위해, 본 논문은 구조적 파노라마 포싱(Structured Panoramic Forcing) 전략을 제안합니다.

• 구조적 노이즈 주입 (Structured Noise Injection): 표준 가우시안 노이즈와 달리, 훈련 과정에서 구조적으로 결합된 오류(시간적 드리프트 $\epsilon_{temp}$ 및 공간적 불일치 $\epsilon_{spat}$)를 시뮬레이션하는 계층적 노이즈를 주입합니다.
• 확률적 매니폴드 두께 형성 (Stochastic Manifold Thickening): 섭동된 상태(perturbed states)에 대해 훈련함으로써, 모델은 유효 데이터 매니폴드를 얇은 정답(GT) 표면에서 튜브 형태의 근방(tubular neighborhood)으로 확장하는 복원 매핑을 학습합니다. 이는 전이 연산자가 섭동을 증폭하는 대신 억제하는 국소적 수축 특성(local contractive property)을 갖도록 유도하여, GT 범위를 벗어난 안정적인 생성을 가능하게 합니다.

2.4 내재적 보상 및 폐쇄 루프 시뮬레이션 (Intrinsic Rewards and Closed-Loop Simulation)

OmniNWM은 생성된 3D 시맨틱 점유가 내재적 효용 함수(intrinsic utility function) 역할을 하는 폐쇄 루프 시뮬레이션 사이클을 구축합니다.

• 조밀한 보상 (Dense Rewards): 보상은 생성된 점유 볼륨에서 직접 도출되며, 충돌 페널티(장애물 교차 기반), 주행 가능 영역 제약, 교통 흐름 효율성의 세 가지 구성 요소를 통해 안전성과 준수 여부를 평가합니다.
• OmniNWM-VLA 에이전트: Qwen-VL 기반의 Tri-Modal Mamba 기반 인터프리터(Tri-MMI)를 탑록한 특화된 시각-언어-행동(VLA) 에이전트가 파노라마 컨텍스트를 처리하여 12Hz로 미래 궤적을 추론하고 계획합니다. 에이전트의 출력은 다음 생성 단계를 조건화하기 위해 정준 플뤼커 레이 맵으로 인코딩됩니다.

3. 주요 기여 (Key Contributions)

1. 통합 상태-행동-보상 프레임워크: OmniNWM은 자율주행의 삼중주(triad)를 공동으로 모델링하는 통합 프레임워크입니다. 파노라마 RGB, 시맨틱, 깊이를 함께 최적화하여 모달리티 드리프트를 해결하고, 생성된 3D 시맨틱 점유가 시각적 관측치와 일치하도록 보장합니다.
2. 정준 기하학적 행동 인코딩: 정규화된 파노라마 레이 맵의 도입은 운동 역학을 센서 내부 파라미터로부터 분리함으로써, 서로 다른 카메라 리그 및 미학습 장면에서도 정밀한 행동 제어와 제로샷 일반화를 가능하게 합니다.
3. 구조적 파노라마 포싱: 자기회귀적 드리프트와 오차 누적을 명시적으로 완화하는 새로운 훈련 전략을 통해, 훈련 범위를 초과하는 안정적이고 견고한 장기 예측(200 프레임 이상)을 가능하게 합니다.
4. 폐쇄 루프 시뮬레이션 사이클: 본 프레임워크는 내재적, 점유 기반의 조밀한 보상이 계획 에이전트를 평가하고, 에이전트가 다시 미래 궤적을 추론 및 계획하는 완전한 폐쇄 루프 사이클을 보여줌으로써 스스로 일관된 시뮬레이션 환경을 구축합니다.

4. 실험 결과 (Experimental Results)

nuScenes, nuPlan 및 자체 데이터셋에 대한 광범한 실험을 통해 다음을 입증하였습니다:

• 생성 충실도 (Generation Fidelity): OmniNWM은 nuScenes 검증 세트에서 FID 5.45, FVD 23.63을 달성하여, 무거운 볼륨 입력을 사용하지 않고도 DriveDreamer-2 및 MagicDrive-V2와 같은 방식보다 우수한 SOTA 성능을 보였습니다.
• 제어 정밀도 (Control Precision): 본 방식은 카메라 제어 드리프트를 크게 줄였습니다. nuScenes 검증 세트에서 이동 오차(Translation Error) 1.18m, 회전 오차(Rotation Error) 0.16 rad을 달성하여, UniScene(7.56m TransErr) 및 CameraCtrl과 같은 베이스라인을 크게 앞질렀습니다.
• 제로샷 일반화 (Zero-Shot Generalization): 모델은 제로샷 설정에서 탁월한 강건성을 보였습니다. (학습 시 보지 못한) nuPlan 데이터셋에서 낮은 오차(0.28 rad RotErr, 1.65m TransErr)와 FVD 79.24를 유지한 반면, 베이스라인들은 기하학적 공변량 변화로 인해 높은 궤적 오차를 보였습니다.
• 장기 안정성 (Long-Horizon Stability): 구조적 파노라마 포싱을 통해, 순수 자기회귀 베이스라인이 FVD 386.72로 붕괴되는 것과 대조적으로, OmniNWM은 201 프레임 동안 안정적인 생성 품질(FVD ~25.22)을 유지했습니다.
• 점유 예측 (Occupancy Prediction): OmniNWM은 카메라 입력만을 사용하여 nuScenes-Occupancy 데이터셋에서 SOTA mIoU 19.8를 달성하였으며, 이는 카메라 기반 판별 방법 및 LiDAR 기반 접근 방식(예: L-CONet, 15.8 mIoU)보다 우수한 성능입니다.
• 계획 평가 (Planning Evaluation): OmniNWM-VLA 에이전트는 폐쇄 루프 평가에서 87.3%의 시나리오 통과율(SPR)을 달 기록하며, Impromptu-VLA와 같은 베이스라인을 크게 능가했습니다.

5. 의의 (Significance)

본 논문은 OmniNWM이 고충실도 비디오 합성(video synthesis)과 안전이 중요한 계획(planning) 사이의 간극을 메운다고 주장합니다. 상태-행동-보상 삼중주를 단일 확률 프레임워크 내에서 통합함으로써, 기존의 모듈형 아키텍처에 만연한 파편화 문제를 해결합니다. 정준 기하학적 인코딩과 내재적 보상의 도입은 차세대 자율주행 시뮬레이션을 위한 안정적인 폐쇄 루프 기반을 마련하며, 외부 보상 모델이나 특정 센서 캘리브레이션 없이도 물리적으로 근거가 있는 장기 환경에서 계획 에이전트를 평가할 수 있게 합니다.