MoVieDrive: 자율주행을 위한 다중 모달 다중 뷰 비디오 합성

1. 문제 정의 (Problem Statement)

기존의 자율주행용 도시 장면 비디오 생성 연구는 주로 RGB 비디오 생성에 집중되어 왔습니다. 그러나 자율주행 시스템은 깊이 (Depth) 맵, 의미론적 (Semantic) 맵과 같은 다중 모달 (Multi-modal) 데이터가 필수적이며, 이를 통해 도시 장면을 종합적으로 이해해야 합니다.
기존의 문제점은 다음과 같습니다:

• 모달리티 분리: 서로 다른 모달리티 (RGB, 깊이, 의미론적 등) 를 생성하기 위해 여러 개의 모델을 병렬로 사용하는 방식은 모델 배포의 복잡성을 증가시키고, 모달리티 간의 상호 보완적 정보 (complementary cues) 를 충분히 활용하지 못합니다.
• 제어 및 일관성 부족: 자율주행 환경에서는 다중 뷰 (Multi-view) 간의 시공간적 일관성과 높은 수준의 제어 가능성 (Controllability) 이 요구되는데, 기존 단일 모달 생성 모델들은 이를 충족시키기 어렵습니다.

2. 방법론 (Methodology)

저자들은 MoVieDrive라는 새로운 프레임워크를 제안하며, 이는 단일 통합 모델로 다중 모달 다중 뷰 비디오를 생성하는 것을 목표로 합니다.

가. 조건 입력 인코딩 (Conditioning Inputs Encoding)
생성 과정의 제어력을 높이기 위해 세 가지 유형의 조건을 통합합니다:

1. 텍스트 조건 (Text Conditions): 전체적인 장면 설명 (텍스트 프롬프트) 과 카메라 파라미터 (내부/외부 파라미터) 를 포함하여 전역적인 장면 생성을 유도합니다.
2. 레이아웃 조건 (Layout Conditions): 박스 맵 (Box maps), 도로 맵 (Road maps), 3D 오큐파시 (Occupancy) 기반 맵을 통합하여 세밀한 장면 구조와 콘텐츠를 제어합니다. 이를 위해 **통합 레이아웃 인코더 (Unified Layout Encoder)**를 사용하여 각 조건을 융합합니다.
3. 컨텍스트 참조 조건 (Context Reference Conditions): 미래 장면 예측을 위해 초기 프레임 (Reference frames) 을 선택적으로 사용합니다.

나. 다중 모달 다중 뷰 확산 트랜스포머 (Multi-Modal Multi-View Diffusion Transformer)
핵심 아키텍처는 모달 공유 (Modal-shared) 및 모달 특정 (Modal-specific) 구성 요소를 결합한 확산 트랜스포머입니다.

• 모달 공유 구성 요소 (Modal-Shared Components):
  • Temporal Layers: 프레임 간의 시간적 일관성을 학습하고 텍스트 조건을 주입합니다.
  • Multi-View Spatiotemporal Blocks: 다중 카메라 뷰 간의 3D 공간 구조와 시공간적 일관성을 학습합니다. 3D 공간 임베딩 (Hash grid) 과 전역 어텐션을 활용합니다.
• 모달 특정 구성 요소 (Modal-Specific Components):
  • Cross-Modal Interaction Layers: 각 모달리티의 잠재 공간 (Latent) 을 다른 모달리티의 잠재 공간과 교차 어텐션 (Cross-attention) 하여 상호 정렬을 유지하면서 모달리티 고유의 내용을 학습합니다.
  • Projection Heads: 각 모달리티별 노이즈를 추정하여 최종 깨끗한 잠재 변수 (Clean Latents) 를 생성합니다.

다. 학습 및 추론

• DDPM(Denoising Diffusion Probabilistic Models) 기반의 노이즈 스케줄러를 사용하며, 조건 드롭아웃 (Conditioning Dropout) 을 통해 일반화 성능을 높입니다.
• 추론 시에는 DDIM 샘플러와 Classifier-free Guidance 를 사용하여 생성 효율성과 조건 준수도를 균형 있게 조절합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 기존에 여러 모델을 사용하던 방식을 탈피하여, 단일 확산 트랜스포머 모델로 RGB, 깊이, 의미론적 맵 등 다양한 모달리티의 다중 뷰 비디오를 동시에 생성하는 새로운 아키텍처를 제시했습니다.
2. 다양한 조건 입력 활용: 텍스트, 레이아웃 (박스, 도로, 오큐파시), 컨텍스트 참조 등을 통합하여 생성된 비디오의 구조와 콘텐츠에 대한 높은 제어력을 확보했습니다.
3. 모달 공유 및 특정 학습 전략: 모든 모달리티가 공유하는 시공간적 일관성 학습과 각 모달리티의 고유한 특성을 학습하는 계층적 구조를 설계하여 모델의 확장성과 효율성을 높였습니다.

4. 실험 결과 (Results)

데이터셋: nuScenes 및 Waymo 데이터셋에서 평가 수행.
비교 대상: MagicDrive, DriveDreamer, UniScene, MaskGWM, CogVideoX 등 최신 SOTA 방법론.

• 비디오 충실도 (Fidelity):
  • Frechet Video Distance (FVD) 지표에서 MoVieDrive 는 46.8을 기록하여 기존 방법들 (MagicDrive: 236.2, DriveDreamer-2: 55.7 등) 보다 월등히 우수한 성능을 보였습니다.
  • 직접적인 경쟁자인 CogVideoX + SyntheOcc 대비 약 22% 성능 향상을 달성했습니다.
• 제어 가능성 (Controllability):
  • 3D 객체 감지 (mAP) 에서 22.7, BEV 분할 (mIoU) 에서 35.8로 SOTA 방법들을 모두 상회했습니다. 이는 생성된 비디오가 주어진 조건 (텍스트, 레이아웃 등) 과 높은 일치도를 가짐을 의미합니다.
• 다중 모달 생성 품질:
  • 별도의 후처리 모델 없이 통합 모델로 생성한 깊이 맵 (AbsRel: 0.110) 과 의미론적 맵 (mIoU: 37.5) 이 기존 멀티 스테이지 파이프라인 방식보다 높은 정확도를 보였습니다.
  • 생성된 다양한 모달리티 간의 일관성 (Cross-modal consistency) 이 시각적으로 확인되었습니다.
• 기타 기능:
  • 참조 프레임 없이도 긴 비디오 (Long video) 생성이 가능하며, 텍스트 프롬프트를 통해 날씨 (눈, 비) 와 시간 (밤, 낮) 을 변경하는 스타일 편집이 가능합니다.

5. 의의 및 결론 (Significance)

MoVieDrive 는 자율주행 시뮬레이션 및 데이터 증강 분야에서 중요한 진전을 이루었습니다.

• 효율성: 여러 모델을 유지·배포할 필요 없이 단일 모델로 다중 모달 데이터를 생성함으로써 시스템 복잡성을 획기적으로 줄였습니다.
• 정밀도: 모달리티 간의 상호 보완적 정보를 활용하여 더 풍부하고 정확한 도시 장면 이해를 가능하게 했습니다.
• 응용 가능성: 생성된 고품질의 다중 모달 데이터는 자율주행 알고리즘의 성능 향상, 롱테일 시나리오 (Long-tail scenarios) 검증, 그리고 안전한 자율주행 시스템 개발에 필수적인 역할을 할 것으로 기대됩니다.

결론적으로, 이 연구는 자율주행용 도시 장면 생성을 위한 새로운 표준을 제시하며, 단일 통합 모델이 다중 모달 다중 뷰 생성의 복잡성을 해결할 수 있음을 입증했습니다.