기술 요약: AnyScene

1. 문제 제기

신뢰할 수 있는 레벨 4 자율주행의 발전은 기존 공개 데이터셋에서 충분히 대표되지 않는 드물고 안전에 치명적인 시나리오들의 '롱테일(long-tail)' 분포로 인해 방해받고 있습니다. 이러한 문제를 해결하기 위해 확장 가능한 합성 데이터 생성이 필수적이지만, 현재 접근 방식은 두 가지 근본적인 요구사항을 충족하는 데 있어 상당한 구조적 한계에 직면해 있습니다: 정밀한 제어 가능성(사용자가 지정한 장면 구성을 충실히 구현) 과 어디서나 배포 가능성(보이지 않는 지리, 교통 패턴, 임의의 레이아웃에 대한 일반화).

기존 방법들은 세 가지 주요 영역에서 부족함을 보입니다:

• 직접 엔드 - 투 - 엔드 비디오 생성: 거친 프롬프트에서 시각적으로 매력적인 시퀀스를 생성하는 모델은 종종 뷰와 시간에 걸쳐 일관되지 않은 기하학적 구조로 인해 세밀한 제어가 어렵습니다.
• 재구축 기반 시뮬레이터: 이러한 방법들은 높은 시각적 충실도를 달성하지만, 장면별 최적화로 인해 기록된 궤적 재생에 국한되어 새로운 장면을 생성할 능력이 부족합니다.
• 기존 점유율 유도 방법: 3D 의미론적 점유율 (semantic occupancy) 은 구조화되고 뷰에 독립적인 표현을 제공하지만, 현재 파이프라인 (예: UniScene, InfiniCube) 은 취약합니다. 이들은 얕은 교차 어텐션 어댑터나 과도하게 설계된 트라이플레인 분해에 의존하여 세밀한 제약을 약화시키고, 종종 에이전트 누락이나 흐릿한 편집을 초래합니다. 또한, 일반적으로 낮은 주파수 (2Hz) 로 작동하며 참조 프레임과 고정된 카메라 장치에 구조적으로 의존하므로, 임의의 비조 (Bird's-Eye View, BEV) 입력으로부터 완전히 새로운 장면을 생성하는 것을 방지합니다.

2. 방법론

저자들은 주행 장면 생성을 위한 통합적이고 점유율 중심의 프레임워크인 AnyScene을 제안합니다. 이 프레임워크는 BEV 레이아웃에서 고품질 의미론적 점유율 시퀀스를 생성하고, 해당 점유율에서 멀티뷰 비디오를 합성하는 두 단계로 프로세스를 분리합니다.

A. BEV 기반 제어 가능 점유율 생성

이 단계는 임의의 BEV 레이아웃을 3D 의미론적 점유율의 시간적 시퀀스로 변환합니다.

• BEV 기반 점유율 VAE: 계산 효율성과 2D 확산 모델과의 호환성을 보장하기 위해, 저자들은 완전한 2D 변분 오토인코더를 사용합니다. 이는 2D 축적 어텐션 레이어를 사용하여 3D 점유율 볼륨을 컴팩트한 2D BEV 잠재 표현으로 변환합니다. 모델은 클래스 불균형을 해결하기 위한 Focal Loss, Lovasz-Softmax Loss, 그리고 KL 발산을 사용하여 최적화됩니다.
• 시공간 점유율 확산 트랜스포머 (STOccDiT): 이는 핵심 생성 모델입니다. BEV 레이아웃 특징과 점유율 잠재 변수를 함께 토큰화합니다. 이전 방법들이 직접 매핑을 학습하는 것과 달리, STOccDiT는 인과적 시간 어텐션 마스크를 갖춘 자기회귀 생성 과정을 사용합니다.
  • 학습: 모델은 이전 프레임의 깨끗한 잠재 변수와 현재 프레임의 노이즈가 있는 잠재 변수를 수신하는 '교사 강제 (teacher-forcing)' 전략을 사용하여, 병렬 학습을 가능하게 하면서 강력한 조건부 제어를 학습합니다.
  • 추론: 모델은 자기 생성된 이전 프레임에 조건을 부여하여 점유율을 자기회귀적으로 생성합니다. 이를 통해 임의의, 교차 데이터셋의, 사용자 정의 BEV 입력으로부터 정밀하고 고주파수 (12Hz) 의 제어가 가능해집니다.

B. 기하학적 기반 뷰 확장 (GGVE)

이 단계는 참조 프레임에 의존하지 않고 생성된 점유율 시퀀스에서 직접 시간적 및 교차 뷰 일관성을 가진 멀티뷰 주행 비디오를 합성합니다.

• 정규 공간 표현: 생성된 점유율 시퀀스를 정규 3D 장면 표현으로 취급합니다.
• 명시적 기하학적 조건부: 각 카메라 뷰에 대해 시스템은 점유율 볼륨에서 명시적 기하학적 신호를 렌더링합니다: 시맨틱 버퍼, 좌표 버퍼, 그리고 카메라 포즈의 플뤼커 임베딩입니다.
• 아키텍처: GGVE 는 VACE 스타일의 ControlNet 을 갖춘 Wan2.1-T2V-14B 백본을 기반으로 구축됩니다. 학습 가능한 제어 분기는 고정된 DiT 백본과 함께 기하학적 조건 (버퍼 및 플뤼커 임베딩) 을 처리합니다.
• 자기회귀 멀티뷰 합성: 모델은 자기회귀 방식으로 비디오를 합성합니다. 전면 카메라로 시작하여 측면 및 후면 뷰로 점진적으로 확장하며, 이전에 생성된 프레임을 앵커로 사용합니다. 이를 통해 재학습 없이 추론 시 유연한 카메라 구성 (임의의 뷰 수 및 포즈) 이 가능합니다.

C. 데이터셋: nuCraftv2

고주파수 평가를 지원하기 위해, 저자들은 nuScenes 데이터셋의 12Hz 재샘플링인 nuCraftv2를 소개합니다. 이는 동기화된 고해상도 3D 의미론적 점유율, HD 맵 주석, 그리고 3D 바운딩 박스를 특징으로 합니다. 데이터셋 구축에는 교차 모드 3D 감지, 인스턴스별 3D 애셋 뱅크 (SAM3/SAM3D 사용), 그리고 원래 데이터의 수직 편향을 보정하기 위한 LiDAR 기반 포즈 재추정이 포함됩니다.

3. 주요 기여

1. BEV 기반 제어 가능 점유율 생성: 2D BEV 기반 점유율 VAE 와 STOccDiT 로 구성된 새로운 파이프라인. 이 설계는 자기회귀 생성을 통해 임의의 BEV 입력 (교차 데이터셋 및 사용자 정의 레이아웃 포함) 으로부터 정밀하고 고주파수의 제어를 가능하게 합니다.
2. 기하학적 기반 뷰 확장 (GGVE): 생성된 점유율을 공간 앵커로 취급하는 패러다임. 명시적 기하학적 조건부 신호를 렌더링함으로써 GGVE 는 참조 프레임에 의존하지 않는 자기회귀 멀티뷰 비디오 합성을 가능하게 하여 임의의 카메라 수와 포즈를 지원하며, 기존 방법들의 참조 프레임 의존성을 극복합니다.
3. nuCraftv2 벤치마크: 동기화된 BEV 레이아웃과 밀집된 의미론적 점유율을 갖춘 고주파수 (12Hz) 벤치마크로, 고주파수 시간 모델의 학습 및 평가를 용이하게 합니다.

4. 실험 결과

저자들은 nuCraftv2 에서 AnyScene 을 평가하여 점유율 및 비디오 생성 모두에서 최첨단 성능을 입증했습니다.

• 점유율 생성:
  • BEV 기반 점유율 VAE 는 기존 방법들 (예: 동일한 압축 설정에서 X-Scene 보다 mIoU 가 8.8% 향상) 에 비해 우수한 재구성 정확도를 달성했습니다.
  • 생성 작업에서 AnyScene 은 3D 볼륨에서 mIoU 19.01 및 IoU 15.58 을 달성했습니다.
  • 모델은 입력 조건에 대한 강력한 준수를 보여주어, "BEV 대 레이아웃" 설정에서 mIoU 52.45 및 IoU 68.97 을 달성함으로써 BEV 조건부의 효과적인 활용을 확인했습니다.
• 비디오 생성:
  • AnyScene 은 평가된 모든 프레임 길이 (8, 16, 49 프레임) 에서 최고의 Fréchet Video Distance (FVD) 점수를 달성하여 MagicDrive-V2 및 GenieDrive 와 같은 베이스라인을 크게 능가했습니다.
  • 제어 가능성 지표 (mIoU 및 mAP) 는 기존 방법들보다 현저히 높았습니다 (예: GenieDrive 의 30.97 대비 38.26 mIoU), 이는 더 강력한 의미론적 및 공간적 제어를 나타냅니다.
• 일반화 및 유연성:
  • 프레임워크는 보이지 않는 데이터셋 (nuPlan, 싱가포르, 독일, 중국) 과 OpenStreetMap (OSM) 에서 파생된 맞춤형 레이아웃에 대한 제로샷 일반화를 보여주었습니다.
  • 재학습 없이 새로운 뷰 합성 및 임의의 카메라 장치 (예: 6 개에서 12 개 또는 24 개 뷰로 확장) 를 지원합니다.
  • 정성적 결과는 텍스트 프롬프트를 통한 충실한 속성 제어 (날씨, 조명) 와 실제 점유율이 불완전한 경우에도 완전한 장면 구조를 생성할 수 있는 능력을 보여주었습니다.

5. 중요성 및 주장

이 논문은 AnyScene 이 "어디서나" 배포 가능한 고도로 제어 가능한 주행 장면 생성을 향한 중요한 단계라고 주장합니다. 예측된 점유율을 중심 표현으로 위치시킴으로써, 프레임워크는 기하학과 외관을 성공적으로 분리합니다. 이는 다음과 같은 것을 가능하게 합니다:

• 정밀한 제어: 높은 충실도로 사용자 정의 또는 교차 데이터셋 BEV 레이아웃에서 장면을 생성할 수 있는 능력.
• 확장성: 장면별 최적화 없이 장시간 시퀀스를 생성하고 임의의 카메라 구성에 적응할 수 있는 능력.
• 하류 유틸리티: 생성된 데이터는 밀집되고 기하학적으로 일관된 새로운 뷰를 제공함으로써 희소 뷰 3D 재구성과 같은 하류 작업에 측정 가능한 이점을 제공합니다.

저자들은 현재 프레임워크가 에이전트가 고정된 BEV 레이아웃에 조건을 부여받기 때문에 반응형 에이전트 행동이나 교통 흐름 상호작용을 모델링하지 않는다는 한계를 인정합니다. 향후 작업은 교통 행동 모델을 통합하고 표적 코너 케이스를 생성하기 위해 폐루프 시뮬레이션에 프레임워크를 활용하는 것을 목표로 합니다.