InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

기술 요약: InstaDrive

문제 정의
자율 주행 시스템은 인지, 객체 추적, 계획과 같은 다운스트림 태스크를 학습시키기 위해 고품질의 대규모 다중 뷰 주행 비디오에 크게 의존합니다. "월드 모델(World Models)"은 실제 세계의 데이터 수집을 대체할 수 있는 비용 효율적인 대안을 제공하지만, 기존 방식들은 다음과 같은 두 가지 결정적인 한계로 인해 어려움을 겪고 있습니다:

1. 인스턴스 수준의 시간적 일관성(Instance-Level Temporal Inconsistency): 현재의 모델들은 특정 객체의 속성(예: 색상, 질감, 정체성)을 프레임 전반에 걸쳐 안정적으로 유지하는 데 자주 실패하며, 이는 깜빡임 현상이나 정체성 전환(identity switch)을 초래합니다.
2. 공간 기하학적 충실도(Spatial Geometric Fidelity): 생성된 비디오는 제어 신호(예: 바운딩 박스가 의도된 위치에서 벗어남)와 정렬되지 않거나, 폐쇄 계층 구조(예: 먼 곳의 객체가 가까운 곳의 객체를 잘못 가리는 현상)를 올바르게 모델링하지 못하는 경우가 빈번합니다.

이러한 결함은 정밀한 공간적 맥락과 시간적으로 안정적인 객체 추적을 요구하는 엄격한 자율 주행 태스크에 합성 데이터의 적용을 저해합니다.

방법론
저자들은 OpenSora V1.1 프레임워크(변분 오토인코더, T5 텍스트 인코더, 시공간 디퓨전 트랜스포머 활용)를 기반으로 구축된 주행 월드 모델인 InstaDrive를 제안합니다. InstaDrive는 앞서 언급한 과제들을 해결하기 위해 두 가지 혁신적인 인스턴스 인식 모듈을 도입합니다:

1. 인스턴스 플로우 가이더 (Instance Flow Guider, IFG):

   • 목적: 프레임 간에 인스턴스 특징을 추적하고 전파함으로써 시간적 일관성을 강제합니다.
   • 메커니즘: 이 모듈은 트래킹 ID를 활용하여 주변 객체의 운동 궤적(인스턴스 플로우)을 포착합니다. 이는 현재 프레임과 인스턴스의 가장 최근 가시적 프레임 사이의 3D 변위 벡터(오프셋)를 계산합니다.
   • 구현: 이 오프셋은 잠재 공간(latent space) 내에서 "모션 맵(motion map)"으로 렌더링되며, 여기서 x, y, z 오프셋은 RGB 채널로 매핑됩니다. 이 모션 맵은 ControlNet을 통해 디퓨전 트랜스포머(DiT) 백본에 주입됩니다.
   • 효과: 시간적 어텐션 레이어는 이 모션 조건을 사용하여 이전 프레임으로부터 의미론적 특징(카테 category, 색상, 질감)을 추출하고 이를 앞으로 전파하며, 이를 통해 객체가 폐쇄 후 다시 나타나더라도 정체성이 안정적으로 유지되도록 합니다.

2. 공간 기하학 정렬기 (Spatial Geometric Aligner, SGA):

   • 목적: 정밀한 공간적 위치 지정과 올바른 폐쇄 추론을 보장합니다.
   • 메커니즘: 이 모듈은 세계 좌표계의 3D 바운딩 박스를 내적 및 외적 파라미터를 사용하여 카메라의 1인칭 시점(FPV)으로 변환합니다.
   • 구현:
     • 투영(Projection): 3D 박스의 모서리(corner)들을 2D 픽셀 좌표로 투영하여 RGB 도메인 내에 명시적인 공간 제약 조건을 생성합니다.
     • 깊이 순서(Depth Ordering): 폐쇄를 모델링하기 위해, 시스템은 카메라의 광학 중심에 대한 각 모서리 점의 깊이를 계산합니다. 이 깊이 값들은 푸리에 임베딩(Fourier embedding)과 MLP를 통해 인코딩되어 깊이 순서 표현을 생성합니다.
     • 융합(Fusion): 투영된 박스 조건과 깊이 순서 표현은 크로스 어텐션 메커니즘을 통해 융합된 후 생성 파이프라인에 주입됩니다.
   • 효과: 이를 통해 생성된 객체가 바운딩 박스 제어 신호를 엄격히 준수하도록 하며, 가까운 객체가 먼 객체를 올바르게 가리도록 하여 기하학적 일관성을 유지합니다.

주요 기여

• 인스턴스 플로우 가이더: 외부 특징 추출기에 의존하지 않고 프레임 간 인스턴스 특징을 추출하고 전파하는 경량 모듈로, 시간적 일관성을 크게 향상시킵니다.
• 공간 기하학 정렬기: 3D 바운딩 박스 투영과 명시적 깊이 순서를 통합하여 인스턴스를 픽셀 공간과 정렬하고 폐쇄 계층 구조를 해결하는 메커니즘입니다.
• 절차적 롱테일 시뮬레이션 (Procedural Long-Tail Simulation): 다양한 맵에서 희귀하고 안전에 치명적인 주행 시나리오(예: 급브레이크, 끼어들기)를 확률적으로 시뮬레이션하기 위해 CARLA의 오토파일럿을 활용하는 파이프라인으로, 비디오 합성을 위한 엄격한 제어 조건을 제공합니다.
• 통합 프레임워크: 여러 제어 신호(로드 맵, 3D 박스, 카메라 포즈)를 효율적으로 처리하기 위해 이러한 모듈들을 ControlNet과 결합한 엔드 투 엔드 접근 방식입니다.

결과
nuScenes 데이터셋에서 평가된 InstaDrive는 다음과 같이 최첨단(SOTA) 성능을 입증했습니다:

• 비디오 품질: FID 3.96 및 FVD 38.06을 달성하여 MagicDrive-V2, DriveDreamer2, Panacea와 같은 기존 방법들을 능가했습니다.
• 시간적 일관성: StreamPETR 모델을 사용한 다중 객체 추적(MOT) 작업에서, InstaDrive가 생성한 데이터는 ID 스위치(IDS)를 532로 감소시켜(DriveDreamer2의 593 및 실제 데이터 베이스라인의 687 대비), 우수한 인스턴스 안정성을 보여주었습니다.
• 공간적 충실도: 인지 작업에서 InstaDrive 생성 데이터로 학습된 모델은 검증 세트에서 40.51의 nuScenes 탐지 점수(NDS)를 기록했습니다(실제 데이터 대비 86.38%의 상대적 성능). 데이터 증강(합성 데이터와 실제 데이터 혼합)으로 사용될 경우, 인지 모델의 NDS는 실제 데이터만 사용했을 때보다 3.6 포인트 향상되었습니다.
• 정성적 분석: 시각적 비교를 통해 InstaDrive가 색상 변화를 제거하고, 바운딩 박스 제약을 준수하며, 기존 연구들이 편차를 보였던 부분과 달리 폐쇄 관계를 올바르게 렌더링함을 확인했습니다.

의의
본 논문은 InstaDrive가 합성 생성과 실제 자율 주행 요구 사항 사이의 간극을 효과적으로 메우는 정밀하고 견고한 월드 모델을 구축한다고 주장합니다. 인스턴스 수준의 시간적 일관성과 공간 기하학적 충실도를 명시적으로 다룸으로써, 이 모델은 고품질 비디오를 생성할 뿐만 아니라 다운스트림 인지, 추적 및 계획 태스크를 학습시키는 데 직접적으로 적용 가능하고 유익한 합성 데이터를 생성합니다. 또한, 롱테일 시나리오 생성을 위한 CARLA와의 통합은 자율 주행 시스템의 안전 필수적 평가를 위한 본 시스템의 잠재력을 강조합니다.