기술 요약: OMNIDRIVE

1. 문제 정의

자율주행 월드 모델은 고충실도(high-fidelity)의 제어 가능한 다중 뷰 비디오 생성을 저해하는 두 가지 지속적이고 해결되지 않은 긴장 상태에 직면해 있습니다:

1. 이질적 제어 주입 (Heterogeneous Control Injection): 기존 시스템은 근본적으로 다른 제어 모달리티를 통합하는 데 어려움을 겪습니다. 기하학적 단서(HD-map, 3D box, 카메라 포즈)는 픽셀 그리드에 공간적으로 고정되어 있는 반면, 의미론적 단서(자유 형식 텍스트, 날씨, 스타일)는 전역적으로 확산되어 있습니다. 현재의 접근 방식은 일반적으로 별도의 브랜치(예: 기하학을 위한 ControlNet, 텍스트를 위한 cross-attention)를 이식하지만, 이들은 디퓨전 과정이 사후적으로(post-hoc) 이를 조정하려고 시도하기 전까지는 서로 분리된 상태로 남아 있습니다.
2. 사후적 교차 뷰 융합 (Post-Hoc Cross-View Fusion): 대부분의 방법은 별도의 3D VAE를 사용하여 각 카메라 뷰를 독립적으로 압축한 후 cross-attention을 통해 나중에 융합합니다. 이는 글로벌 3D 기하학적 인식을 결여한 카메라 로컬 잠재 변수(latent)를 생성하며, 개별 뷰 품질 지표(FID)가 경쟁적이더라도 지속적인 교차 뷰 드리프트(cross-view drift), 광도 플리커(photometric flicker), 객체 순간 이동(object teleportation) 문제를 야기합니다.

저자들은 이러한 두 실패의 근본 원인이 언어, 기하학, 픽셀을 잠재 토큰 레벨에서 정렬하는 **공유된 상징적 인터링구아(shared symbolic interlingua)**의 부재라고 주장합니다.

2. 방법론

OMNIDRIVE는 제어 가능한 다중 뷰 비디오 생성을 멀티 에이전트 시스템에 의해 오케스트레이션되고 새로운 압축 전략을 통해 통일된 잠재적 안무(latent choreography) 문제로 재정의합니다.

A. LLM이 안무하는 멀티 에이전트 시스템 (LLM-Choreographed Multi-Agent System)

단일 프롬프트-투-인코더 파이프라인 대신, OMNIDRIVE는 하나의 위치 인식 토큰 시퀀스를 공동으로 작성하는 세 개의 특화된 Qwen2.5-VL 에이전트를 채택합니다:

• ARCHITECT (설계자): 자유 형식의 사용자 프롬프트를 구조화된 WORLDSCRIPT (JSON)로 파싱합니다. 이 스크립트는 전역 상태(날씨, 시간), 에고 궤적(ego trajectory), 에이전트 목록(클래스, 위치, 행동), 그리고 도로 토폴로지를 인코딩합니다. 출력값은 의미론적 토큰($C_{sem}$)으로 임베딩됩니다.
• CARTOGRAPHER (지도 제작자): WORLDSCRIPT를 공간적으로 고정된 기하학으로 구체화합니다. 이 에이전트는 각 카메라와 타임스텝에 대해 희소 레이아웃 이미지(래스터화된 HD-map, 투영된 3D box, 에고 리본)를 프로그래밍 방식으로 렌더링합니다. 이러한 레이아웃은 시각적 토큰과 정확히 동일한 위치 인덱스를 공유하는 기하학적 토큰($C_{geo}$)으로 인코딩됩니다.
• AUDITOR (감사관): 학습 중에 디코딩된 멀리 뷰 크롭(multi-view crops)과 WORLDSRIPT를 소비하여 카메라 쌍 사이의 구조화된 비평(일관성 점수 및 실패 모드 태그)을 생성합니다. 이는 리뷰 토큰($C_{rev}$)으로 임베딩되어 보조적인 감독(supervision)을 제공합니다.

B. 잠재 공동 압축 (Latent Co-Compression)

교차 뷰 일관성 문제를 해결하기 위해, OMNIDRIVE는 독립적인 뷰별 인코딩을 대신하여 통합된 프로세스를 도입하는 **잠재 공동 압축(Latent Co-Compression)**을 도입합니다:

• 뷰-시간 순열 ($\Pi$): 6개 카메라 $\times$ 시간 비디오 큐브를 시간 차원이 $\tilde{t} = (n-1)T + t$로 정의되는 의사-템포럴 스트림(pseudo-temporal stream)으로 평탄화합니다. 이 순열은 RGB 비디오와 CARTOGRAPHER의 기하학적 레이아웃 이미지 모두에 동일하게 적용됩니다.
• 통합 3D VAE: 일반 비디오로 사전 학습된 단일 3D VAE가 순열된 텐서를 인코딩합니다. 이 순열은 메트릭을 보존하고 직교하므로, 인코더의 리프시츠 상수(Lipschitz constant)를 유지합니다.
• 뷰-블록 인식 패딩 (View-Block-Aware Padding, VBP): 컨볼루션 수용 영역(receptive field)이 서로 다른 카메라 뷰를 가로질러 걸쳐지는 것(이는 무관한 공간적 맥락을 섞이게 함)을 방지하기 위해 학습 가능한 마스킹 연산자가 적용됩니다. 이를 통해 템포럴 커널이 뷰 간의 정보를 집계할 때 동일한 순간의 정보만을 집계하도록 보장하여 카메라 간 분산을 줄입니다.
• 공유 노이즈 엔드포인트 (Shared Noise Endpoint): 물리적으로 동일한 순간에 캡처된 뷰들에 대해, flow-matching 공식에서의 노이즈 엔드포인트($z_1$)를 공유함으로써 광도 분산을 더욱 감소시킵니다.

C. 안무된 생성 (Choreographed Generation, MM-DiT)

공동 압축된 잠재 변수는 패치화(patchified)되어 에이전트가 작성한 토큰들($C_{sem}, C_{geo}, C_{tmp}, C_{rev}$)과 함께 통합 시퀀스 $S$로 결합됩니다.

• 위치 스키마 (Positional Schema): 기하학적 토큰($C_{geo}$)은 시각적 토큰($X$)과 동일한 3D 위치 인덱스 $(\tilde{t}, i, j)$를 공유하여 픽셀 수준의 기하학적 접지를 강제합니다. 의미론적 토큰은 오프셋되어 있으며, 템포럴 토큰은 사인 함수(sinusoidal) 형태를 띱니다.
• 편향된 어텐션 (Biased Attention): 멀티모달 어텐션 메커니즘에 제어 가능한 편향이 적용되며, 특히 스칼라 게인 $\gamma_{geo}$를 통해 시각적 토큰과 기하학적 토큰($X$와 $C_{geo}$) 사이의 어텐션을 강화합니다. 이는 멀티 브랜치 크로스 어텐션을 명시적인 위치 정렬을 가진 단일 셀프 어텐션 메커니즘으로 붕괴(collapse)시킵니다.

D. 학습 및 추론

• 손실 함수: 모델은 조건부 플로우 매칭($L_{CFM}$)과 함께, 비물리적인 잠재 점프를 징벌하는 등변성 인식 평활도 항($L_{sm}$), 그리고 뷰 간의 속도 불일치를 비평가의 일관성 점수와 정렬하는 AUDITOR 손실($L_{rev}$)을 사용하여 학습됩니다.
• 추론: 생성은 rectified-flow ODE 솔버(Heun steps)를 통해 수행됩니다. AUDITOR는 테스트 시점에 선택적으로 호출되어 중간 샘플을 평가하고, 일관성 점수가 임계값 아래로 떨어지면 단일 정제(refinement) 단계를 트리거할 수 있습니다.

3. 주요 기여

1. OMNIDRIVE 아키텍처: 언어 이해, 기하학적 레이아웃, 픽셀 생성을 단일 위치 인식 토큰 그리드로 통합한 최초의 멀티 에이전트 드라이빙 월드 모델입니다.
2. 잠재 공동 압축 (Latent Co-Compression): 뷰-시간 순열 전략을 통해 교차 뷰 3D 제약 조건을 공유 3D VAE 내의 로컬 컨볼루션 의존성으로 변환하여, 사후 융합의 필요성을 제거하는 새로운 방식입니다.
3. 안무된 조건화 (LLM-Choreographed Conditioning): 세 명의 특화된 에이전트(ARCHITECT, CARTOGRAPHER, AUDITOR)가 시각적 그리드에 토큰 레벨로 결합된 조건화 시퀀스를 작성하는 프레임워크로, 미세하고 분리된 제어를 가능하게 합니다.
4. 최첨단 성능 (State-of-the-Art Performance): OMNIDRIVE는 다중 뷰 일관성과 제어 가능성 측면에서 nuScenes 데이터셋에 대한 새로운 벤치마크를 설정합니다.

4. 실험 결과

nuScenes 검증 세트(6개 카메라, 32 프레임, 880×1280 해상도)에서 평가되었습니다:

• 품질 및 일관성: OMNIDRIVE는 FVD 45.7 및 다중 뷰 일관성 점수(PC) **65.6%**를 달성하여, MagicDrive-V2(FVD 64.8, PC 62.8%) 및 UniMLVG와 같은 베이스라인을 크게 앞질렀습니다. 또한 경쟁 모델 대비 에피폴라 광도 오차(EPC)를 약 28% 줄였습니다.
• 제어 가능성: 모델은 생성된 데이터에서 BEV mAP 21.55 및 mIoU 18.87을 달성하여 모든 다른 방법들을 능가했습니다.
• 다운스트림 유용성: OMNIDRIVE가 생성한 2만 개의 합성 클립만을 학습한 디텍터(BEVFormer-S)는 실제 nuScenes 검증 데이터에서 36.8 mAP 및 44.0 NDS를 달성했습니다. 이는 실제 데이터로만 학습된 베이스라인보다 +2.4 NDS 향상된 수치로, 합성 코퍼스의 높은 유용성을 입증합니다.
• 효율성: OMNIDRIVE는 품질 대 지연 시간의 파레토 최전선(Pareto frontier)에서 작동하며, 클립 생성에 9.6초가 소요되어 UniMLVG보다 2.4배 빠르며 메모리 사용량도 적습니다.

5. 의의 및 주장

본 논문은 OMNIDRIVE가 드라이빙 월드 모델에서 **충실도(fidelity)**와 제어 가능성(controllability) 사이의 오랜 트레이드오프를 해결한다고 주장합니다. 상징적 언어, 렌더링된 기하학, 픽셀 잠재 변수가 완전히 정렬된 좌표계를 공유하는 "공유된 상징적 인터링구아"를 구축함으로써, 시스템은 다음을 가능하게 합니다:

• 진정한 제어 가능성 (Genuine Controllability): 사용자는 WORLDSCRIPT의 단일 필드(예: 날씨, 궤적)를 교체하여 다른 속성에 영향을 주지 않고 목표한 속성만을 변경할 수 있으며, 이는 미세하고 분리된 제어를 보여줍니다.
• 기하학적 접지 (Geometric Grounding): 공동 압축 방식은 기하학적 제약이 잠재 레벨에서 존중되도록 보장하여, 독립적인 인코딩 방식에서 흔히 발생하는 "교차 뷰 드리프트" 및 "객체 순간 이동"을 방지합니다.
• 실용적 유용성 (Practical Utility): 생성된 데이터는 단순히 시각적으로 그럴듯할 뿐만 아니라 기능적으로 가치 있어, 실제 세계의 데이터를 학습하는 다운스트림 인지 모델의 성능을 직접적으로 향상시킵니다.

저자들은 OMNIDRIVE를 단순한 연결된 제어 스트림을 넘어, 통합되고 에이전트에 의해 조율된 생성 프로세스로 나아가는 "진정한 제어 가능성"을 향한 기초적인 단계로 자리매김하고 있습니다.