기술 요약: DriveWeaver

문제 정의

자율 주행 시뮬레이션에는 장면의 다양성을 높이고 테스트를 위한 코너 케이스(corner cases)를 생성하기 위해, 사전 정의된 궤적을 가진 전경 차량(foreground vehicles)을 삽입하는 과정이 필요합니다. 현재의 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 조명 및 스타일 불일치: 사전 재구성된 3D 자산(예: CAD 모델 또는 메쉬 라이브러리)에 의존하는 방법들은 삽입된 전경과 배경의 복잡한 조명 및 스타일 사이의 조화를 맞추는 데 어려움을 겪으며, 이로 인해 지속적인 "도메인 갭(domain gap)"이 발생합니다.
2. 확장성 및 일반화 능력: 기존 파이프라인은 수동 포즈 교정, 휴리스틱 자산 선택, 고품질 3D 메쉬 획득과 같이 노동 집약적인 프로세스에 크게 의존합니다. 이러한 의존성은 대규모 배포를 저해하고 다양한 실제 시나리오에 대한 일반화 능력을 제한합니다.
3. 시간적 불안정성: 일부 생성적 접근 방식이 존재하지만, 장기 생성 시 오류 누적 및 의미론적 드리프트(semantic drift)가 발생하여, 주행 시뮬레이션에 필요한 엄격한 3D 일관성을 위반하는 경우가 많습니다. 또한, 순수 생성 비디오 모델은 실시간 폐루프(closed-loop) 시뮬레이션을 수행하기에는 계산 비용이 너무 높습니다.

방법론

DriveWeaver는 **포인트 조건부 비디오 인페인팅 확산 모델(point-conditioned video inpainting diffusion model)**을 사용하는 제어 가능한 차량 삽입을 위해 설계된 새로운 프레임워크입니다. 이 파이프라인은 네 가지 핵심 구성 요소로 이루어집니다:

1. 포인트 조건부 비디오 인페인팅

DriveWeaver의 핵심은 플로우 매칭(flow matching) 프레임워크를 활용하는 Wan2.1 VACE-14B 비디오 확산 백본을 기반으로 구축되었습니다.

• 입력 조건: 3D 메쉬나 참조 이미지에 의존하는 대신, 모델은 픽셀 수준의 기하학적 조건으로서 **렌더링된 포인트 클라우드 맵(rendered point cloud maps)**을 사용합니다. LiDAR 포인트들을 카메라 이미지에 투영하고, 색상을 입히고, 고정된 반경으로 래스터화(rasterize)하여 밀집된 기하학적 가이드 맵($I_{pc}$)과 마스크($M_{pc}$)를 생성합니다.
• PointAdapter: 거대한 백본을 재학습하지 않고도 이러한 조건들을 통합하기 위해 경량화된 PointAdapter가 도입되었습니다. 이 어댑터는 투영된 포인트 클라우드 맵, 배경 마스크, 그리고 비활성 영역의 RGB 이미지를 처리하는 별도의 DiT 브랜치로 구성됩니다. 어댑터의 출력은 투영되어 고정된(frozen) Wan-DiT 백본의 특정 레이어에 잔차 변조(residual modulation) 형태로 주입됩니다. 이를 통해 모델은 대규모 비디오 모델의 생성적 사전 지식(generative priors)을 활용하면서도 포인트 클라우드가 제공하는 기하학적 제약을 엄격하게 준수할 수 있습니다.
• 추론: 모델은 분류기 없는 가이던스(Classifier-Free Guidance, CFG)를 사용하여 현실감을 높이며, 무조건부 샘플링 단계에서는 포인트 클라우드 조건을 제로화합니다.

2. 글로벌-투-로컬 계층적 인페인팅 (Global-to-Local Hierarchical Inpainting)

장기 생성(수백 프레임에 걸친 생성) 시 발생하는 시간적 드리프트 문제를 해결하기 위해 다음과 같은 단계를 거칩니다:

• 글로벌 앵커링 단계 (Global Anchoring Stage): 모델은 먼저 단일 순방향 패스(forward pass)를 통해 시간적으로 서브샘플링된 저프레임 레이트 시퀀스를 처리합니다. 이는 전체 궤적에 대해 일관된 글로벌 정체성(identity), 기하 구조, 조명 앵커를 설정합니다.
• 로컬 보간 단계 (Local Interpolation Stage): 원래의 고프레임 레이트 타임라인은 세그먼트로 분할됩니다. 첫 번째 단계에서 생성된 희소(sparse) 앵커 프레임은 밀집된 포인트 클라우드 조건을 대체하는 조밀한 가이드 역할을 합니다. 그 후 모델은 고프레임 레이트 로컬 세그먼트를 합성하기 위해 조건부 생성을 수행하여 엄격한 3D 및 시간적 일관성을 보장합니다.
• 학습 전략: 모델은 두 가지 상호 보완적인 모드로 학습됩니다. 글로벌 단계를 위한 GT-Free(희소 조건으로부터만 생성) 모드와 로컬 보간 단계를 위한 GT-Aware(그라운드 트루스 프레임을 감독 신호로 사용) 모드입니다.

3. 3D 가우시안 증류 (3D Gaussian Distillation)

시뮬레이션을 위한 실시간 렌더링을 가능하게 하기 위해, 생성된 2D 비디오를 명시적인 3D 표현으로 증류합니다:

• 고충실도(high-fidelity)의 시간적으로 일관된 비디오 출력은 3D 가우시안 스플래팅(3DGS) 기반 도시 재구성 프레임워크인 OmniRe에 의해 처리됩니다.
• 파이프라인은 삽입된 차량 인스턴스를 배경 장면으로부터 명시적으로 분리합니다. 이를 통해 추출된 3D 가우시안 자산은 확산 모델이 생성한 복잡한 조명, 그림자 및 스타일 특성을 캡슐화할 수 있습니다.
• 이렇게 증류된 3D 자산은 표준 3DGS 래스터화 파이프라인에 통합될 수 있으며, 시뮬레이션 단계에서 계산 비용이 많이 드는 확산 모델을 우회할 수 있습니다.

4. 구현 세부 사항

• 데이터셋: 학습에는 Waymo Open Dataset과 PandaSet이 사용되며, 약 10,000개의 샘플로 큐레이션되었습니다.
• 아키텍처: Wan2.1 VACE-14B를 기반으로 하며, 5번째 블록마다 3B 파라미터의 PointAdapter가 삽입됩니다.
• 학습: 백본은 고정되며, PointAdapter만 업데이트됩니다. 학습은 8대의 NVIDIA H200 GPU에서 20,000회 반복(iteration) 동안 진행됩니다.
• 증류 비용: 전체 재구성은 시간이 소요되지만, 사전 학습된 배경 3DGS 모델에 대해 삽입된 전경 차량만을 최적화하는 경우 인스턴스당 약 10분 내에 수렴합니다.

주요 기여

1. 새로운 프레임워크: 값비싼 3D 자산 대신 비용 효율적인 포인트 클라우드 데이터를 사용하여 확장 가능하고 일반화 가능한 전경 차량 삽입을 달성하는 포인트 조건부 비디오 인페이팅 확산 모델인 DriveWeaver를 제안합니다.
2. 계층적 전략: 장기적인 시간적 일관성을 보장하고 확장된 시퀀스에서 의미론적 드리프트를 방지하는 글로벌-투-로컬 계층적 인페이팅 전략을 도입하며, 이는 자율 주행 시뮬레이션의 핵심 요구사항입니다.
3. 실시간 렌더링 파이프라인: 생성된 2D 비디오를 명시적인 3D 가우시안 표현으로 증류하는 능력을 입증하여, 다운스트림 모델 학습 및 평가를 위한 실시간 렌더링을 용이하게 합니다.
4. 성능: Waymo 및 PandaSet 데이터셋에 대한 광범관적인 실험을 통해 DriveWeaver가 시각적 현실성(FID, FVD, LPIPS)과 기하학적 일관성(PSNR, SSIM) 측면에서 기존의 최첨단 방법들을 능가함을 보여줍니다.

결과

• 시각적 현실성: DriveWeaver는 시각적 현실성 지표에서 베이스라인(HUGSIM, StreetCrafter, Wan2.1 VACE-14B)을 크게 앞섭니다. Waymo 데이터셋에서 단기(Short-term) FID 15.50, 장기(Long-term) FID 17.50을 달성하였으며, 이는 HUGSIM의 각각 49.06 및 56.99와 대조됩니다.
• 기하학적 일관성: 본 방법은 높은 기하학적 일관성을 유지하여 성공적인 3D 재구성을 가능하게 합니다. Waymo에서 DriveWeaver는 단기 34.69, 장기 32.23의 PSNR을 달성하였으며, 이는 시간적 불일치로 인해 치명적인 재구성 실패를 겪는 StreetCrafter를 능가하는 수치입니다.
• 증류: 증류된 3D 가우시안 표현(DriveWeaver-D)은 원본 비디오 생성 대비 시각적 현실성의 저하가 미미하면서도 실시간 렌더링 기능을 제공합니다.
• 절제 연구(Ablation Studies): 실험을 통해 PointAdapter를 제거하면 치명적인 망각(FVD 두 배 증가)이 발생하고, 단순한 포인트 투영은 흐릿한 출력을 초며, 자기회귀(autoregressive) 생성으로 되돌릴 경우 심각한 시간적 드리프트가 발생함을 확인했습니다.

의의

본 논문은 DriveWeaver가 확장 가능한 자율 주행 장면 증강을 위한 강력한 도구를 제공한다고 주장합니다. 노동 집약적인 3D 자산 파이프라인을 접근 가능한 포인트 클라우드 조건으로 대체하고 생성적 사전 지식을 활용하여 환경과의 완벽한 조화를 이룸으로써, 이 방법은 다양하고 고충실도인 코너 케이스를 생성하는 데 있어 핵심적인 병목 현상을 해결합니다. 길고 일관된 비디오를 생성하고 이를 실시간 렌더링 가능한 3D 자산으로 증류하는 능력은 고충실도 오프라인 생성과 온라인 폐루프 자율 주행 시뮬레이션의 요구사항 사이의 간극을 메워줍니다.