기술 요약: InfiniVerse

문제 정의

현실적이고 제어 가능하며 시간적 일관성을 갖춘 도시 환경을 생성하는 것은 자율 주행 분야에서 여전히 해결되지 않은 중요한 과제로 남아 있습니다. 기존 방식들은 단거리 클립을 합성할 수는 있지만, **장기적 시계열 생성(long-horizon generation)**에는 어려움을 겪습니다.

• 암시적 자기회귀 방식(Implicit-Autoregressive methods) (예: 비디오 확산 모델)은 시각적 고충실도를 제공하지만 명시적인 3D 구조가 부족하여, 시간이 지남에 따라 기하학적 드리프트(geometric drift)와 "환각(hallucination)" 현상이 누적됩니다.
• 명시적 사전 정보 가이드 방식(Explicit-Prior-Guided approaches) (예: BEV/HD 맵에 의존하는 방식)은 공간적 일관성을 강제하지만, 입력된 사전 정보의 범위에 제한이 있으며 생성된 기하 구조와 시각적 외형 사이의 정렬을 유지하거나 장기 지속 비디오를 렌더링하는 데 어려움이 있습니다.

따라서 경직되고 미리 정의된 지도에 의존하지 않고도, 단일 프레임으로부터 장거리의 2D-3D 정렬된 제어 가능한 동적 장면을 생성할 수 있는 통합 파이프라인이 필요합니다.

방법론: InfiniVerse

InfiniVerse는 계층적 스케치 및 정제(hierarchical sketch-and-refine) 패러다임을 통해 3D 점유 모델링(occupancy modeling)과 2D 비디오 생성을 연결하는 통합 프레임워크입니다. 이 시스템은 양방향 폐쇄 루프 피드백 메커니즘으로 연결된 두 가지 주요 단계로 작동합니다.

1. 이미지 가이드 복셀 생성 (초기 재구성)

• 백본(Backbone): 시스템은 계층적 희소 복셀 그리드와 잠재 확산(latent diffusion)을 기반으로 하는 대규모 3D 생성 모델인 XCube를 활용합니다.
• 조건화(Conditioning): 입력된 다중 뷰 프레임은 LSS(Lift-Splat-Shoot) 언프로젝션 파이프라인을 통해 처리됩니다. DINO-V2에서 추출된 특징들은 조밀한 3D 복셀 그리드로 인코딩됩니다.
• 출력: 이 단계는 미세한 의미론(semantics)과 기하 구조를 포함하는 상세한 초기 점유 장면($O_0$)을 재구성하며, 효율성을 위해 **트라이플레인 잠재 표현(triplane latent representation)**으로 인코딩됩니다.

2. 스케치 가이드 복셀 생성 (조대 확장)

• 메커니즘: 사용자가 정의한 임의의 궤적을 따라 장면을 확장하기 위해, 시스템은 **스케치 가이드 확산 헤드(sketch-guided diffusion head)**를 사용합니다.
• 과정: 초기 그리드와 궤적 시퀀스가 주어지면, 모델은 다음 점유 볼륨을 예측합니다. 이는 다음과 같이 분해됩니다:
  • 조대 수준 스케칭(Coarse-level Sketching): 전체적인 구조를 효율적으로 포착하기 위해 저해상도(예: $128^3$ 볼륨)에서 전역 장면 레이아웃을 생성합니다.
  • 슬라이딩 윈도우(Sliding Window): 이전 패치들의 컨텍스트를 사용하는 디노이징 루프를 사용하여, 궤적 전반에 걸쳐 매끄러운 전환과 국부적 일관성을 보장합니다.

3. 양방향 폐쇄 루프 생성 (정제)

핵심 혁신은 3D 점유와 2D 비디오 사이의 상호 관계 루프입니다:

• 복셀-투-비디오 (조대에서 미세로):
  • 조대 점유 그리드는 의미론적 정보와 기하학적 정보(가려진 콘텐츠 포함)를 모두 인코딩하는 **다중 평면 이미지(Multi-Plane Images, MPIs)**로 변환됩니다.
  • 비디오 확산 모델 (LoRA로 미세 조정된 CogVideoX1.5-5B 기반)이 이러한 MPI를 고충실도의 다중 뷰 비디오 시퀀스로 변환합니다.
  • 제어: 시스템은 1×1 컨볼루션을 통해 UNet 디코더에 MPI 특징을 주입하고, 카메라 간 및 프레임 간 일관성을 유지하기 위해 교차 뷰/교차 프레임 어텐션(cross-view/cross-frame attention)을 활용합니다.
• 비디오-투-복셀 (정제):
  • 생성된 고충실도 RGB 비디오는 3D 공간으로 **재투영(re-projected)**됩니다.
  • 이는 점유 표현을 정제하기 위한 이미지 조건 피드백 신호로 작용하여, 드리프트를 수정하고 기하학적 세부 사항을 향상시킵니다.
  • 이를 통해 3D 장면과 2D 비디오가 서로를 구속하고 강화하는 폐쇄 루프 정제 프로세스가 생성됩니다.

4. 학습 및 제어

• 손실 함수: 모델은 통합된 디노이징 목적 함수로 학습됩니다. 도로 표면과 동적 객체(차량, 보행자)를 우선시하기 위해 **영역 가중 재구성 손실(region-weighted reconstruction loss)**이 도입되었습니다.
• 텍스트 제어: 고수준의 외형(날씨, 스타일)은 확산 과정에 주입되는 텍스트 인코더(예: "눈 내리는", "모래폭풍")를 통해 제어됩니다.
• 초장기 롤아웃(Ultra-long Rollout): 특징의 주기적인 재앵커링(re-anchoring)을 포함하는 슬라이딩 윈도우 샘플러를 사용하여 임의의 긴 시퀀스(최대 300프레임 이상)에 대한 드리프트를 방지합니다.

주요 기여

1. 통합 파이프라인: 명시적인 HD 맵이나 BEV 사전 정보 없이도 단일 멀티 뷰 프레임으로부터 기하학적으로 정확하고 의미론적으로 일관된 장거리 3D 장면을 생성하는 시스템인 InfiniVerse를 제안합니다.
2. 계층적 스케치 및 정제 패러다임: 장거리 생성을 조대 구조 스케칭과 미세한 이미지 조건 정제로 분해하여 일관성과 제어 가능성을 높이는 2단계 프로세스를 도입합니다.
3. 상호적 2D-3D 정렬: 3D 점유가 비디오 생성을 가이드하고, 생성된 비디오가 3D 표현을 정제하는 양방향 피드백 루프를 구축하여 기하학적 드리프트와 환각 현상을 크게 줄입니다.
4. 최첨단 성능: 표준 벤치마크에서 생성 품질과 지속 시간 모두에서 우수한 성능을 입증했습니다.

실험 결과

본 방법은 Waymo Open Dataset과 nuScenes에서 평가되었습니다.

• 정량적 지표:
  • FID (Fréchet Inception Distance): nuScenes에서 6.40을 달성하여, 기존 방식들(예: Uniscene 6.45, MagicDrive-V2 20.91)을 크게 앞질렀습니다.
  • FVD (Fréchet Video Distance): 67.97을 달성하여 우수한 시간적 일관성을 보여주었습니다.
  • 장기 시계열 안정성: 롤아웃 길이가 길어짐에 따라(최대 300프레임), InfiniVerse는 Vista와 같은 베이스라인에 비해 FID 및 FVD의 저하 추세가 훨씬 완만하게 나타납니다.
• 정성적 결과:
  • 시스템은 현실적인 외형, 날씨 조건, 동적 객체를 포함한 장기 지속 비디오를 성공적으로 생성합니다.
  • RGB, 의미론, 깊이(depth), 점유(occupancy), LiDAR 등 여러 모달리티 간의 엄격한 정렬을 유지합니다.
  • 사용자 정의 스케치(예: 좌회전, 직진 차선)가 궤적과 장면 레이아웃을 효과적으로 가이드합니다.

의의 및 주장

본 논문은 InfiniVerse가 명시적인 3D 구조적 추론과 비디오 확산의 시각적 사실성을 결합함으로써 현재의 주행 장면 생성의 근본적인 한계를 해결한다고 주장합니다.

• 드리프트 극복: 점유 가이드 월드 모델링과 비디오 생성을 결에는으로써, 순수 암시적 자기회귀 방식에서 흔히 발생하는 "환각" 문제를 해결합니다.
• 확장성: 이 접근 방식은 미리 정의된 맵 범위의 제약 없이 임의의 길이의 주행 시나리오를 합성할 수 있게 합니다.
• 응용: 이 시스템은 제어 가능한 도시 환경을 생성하는 확장 가능한 패러다임을 제공하며, 자율 주행 시스템의 데이터 생성, 시뮬레이션 및 대규모 평가를 위한 유망한 방향을 제시합니다.

저자들은 본 방법이 명시적인 지도나 사전 정보 없이 단일 프레임에서 시작하여 이러한 결과를 달성했음을 강조하며, 이는 자율 주행을 위한 더욱 유연하고 견고한 장면 합성으로의 전환을 의미합니다.