CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

문제 제기
자율주행 시스템은 일반적으로 제한된 지리적 지역 내에서 훈련 및 평가되므로, 보지 못한 도시에서 배포될 때 성능이 크게 저하됩니다. 이러한 "도시 간 (cross-city)" 실패는 도로 배치, 시각적 외관, 교통 패턴, 환경 조건의 도메인 변화 (domain shifts) 에서 비롯됩니다. 도메인 적응, 데이터 증강, 합성 데이터 생성과 같은 기존 솔루션들은 종종 라벨이 지정된 타겟 데이터, 도시별 주석, 또는 작업별 설계를 의존합니다. 이러한 의존성들은 지각, 분할, 계획 작업 전반에 걸친 포괄적인 평가를 위한 확장성과 효과성을 제한합니다. 또한, 현재 벤치마크들은 엄격한 지리적 분리를 결여하여 진정한 도시 수준의 일반화를 엄격하게 평가하지 못합니다.

방법론: CityGen 및 CityTransfer-Bench
이러한 과제들을 해결하기 위해, 저자들은 두 가지 주요 구성 요소를 도입합니다:

1. CityTransfer-Bench: 도시 간 일반화를 평가하도록 설계된 지리적으로 분리된 벤치마크입니다. nuScenes 데이터셋을 기반으로 하여 훈련 데이터와 테스트 데이터를 위치별로 엄격하게 분리합니다: 모델은 싱가포르의 세 지역 (One-North, Queenstown, Holland Village) 에서의 데이터로만 훈련되고, 보스턴 시포트 (Boston Seaport) 지역에서 평가됩니다. 이 벤치마크는 지각 (탐지), 분할, 계획이라는 세 가지 핵심 자율주행 작업을 평가합니다.

2. CityGen: 제로-라벨 도시 적응을 위한 확산 기반 생성 프레임워크입니다. 이 프레임워크는 소스 도시의 기하학적 구조를 유지하면서 타겟 도시의 외관을 모방하는 사실적인 도시 장면을 합성합니다. 이 방법은 이중 조건부 (dual-conditioning) 메커니즘을 통해 작동합니다:

   • 구조 유도 기하학적 제어: 프레임워크는 고해상도 (HD) 지도를 활용하여 기하학적 일관성을 강제합니다. 도시 불변의 구조적 원시 요소 (차선 경계, 중심선, 에이전트의 3D 바운딩 박스) 를 다중 뷰 카메라 평면에 투영하여 구조 제어 텐서 ($M_{hdmap}$) 를 생성합니다. 이 텐서는 구조 제어 브랜치를 통해 확산 모델에 주입되어, 차선 토폴로지와 객체 배치가 도메인 간에 안정적으로 유지되도록 합니다.
   • 도시 수준 시각적 프롬프트: 타겟 도시의 외관 (예: 건축물, 식생, 조명) 을 포착하기 위해, 시스템은 타겟 도메인 비디오로부터 "라벨 없는 도시 스타일 라이브러리"를 구성합니다. 비전 - 언어 모델 (VLM) 인 InternVL 이 이러한 비디오에서 장면 캡션을 추출하여 스타일 기술자 집합을 형성합니다. 이러한 기술자들은 확산 과정 중 텍스트 조건부 신호로 작용합니다.
   • 합성 과정: 모델은 Diffusion Transformer (DiT) 아키텍처를 사용합니다. 구조 지도 ($M_{hdmap}$) 와 샘플링된 스타일 기술자 ($y$) 모두에 조건부로 부여된 잠재 변수를 탈노이즈 (denoises) 합니다. 이를 통해 기존 주석을 유지하는 소스 기하학을 보존하면서 타겟 도시의 시각적 스타일을 채택하는 다중 뷰 도시 장면을 생성할 수 있습니다.

주요 기여

• CityTransfer-Bench: 지리적으로 분리된 분할을 사용하여 지각, 분할, 계획 작업 전반에 걸친 도시 수준 일반화를 평가하도록 특별히 설계된 최초의 벤치마크.
• CityGen 프레임워크: 구조적 배치를 시각적 스타일로부터 분리하는 제로-라벨 도시 적응을 위한 새로운 확산 기반 접근법. 이는 타겟 도시에 대한 추가 주석 없이도 의미 보존 스타일 전이를 가능하게 합니다.
• 실증적 검증: CityGen 으로 생성된 데이터가 보지 못한 도시에서의 하위 작업 강건성을 크게 향상시킨다는 대규모 실험 결과로, 도메인 간 자율주행을 위한 확장 가능한 기반을 확립함.

실험 결과
StreamPetr(탐지), Cross-View Transformer(분할), UniAD(계획) 를 사용하여 CityTransfer-Bench 에서 평가한 결과, CityGen 은 기존 향상 방법 및 소스 데이터만으로 훈련된 베이스라인보다 일관되게 우수한 성능을 보였습니다:

• 탐지: 소스 전용 베이스라인 대비 평균 정밀도 (mAP) 를 10.18 에서 13.06 으로, 정규화 탐지 점수 (NDS) 를 28.05 에서 33.95 로 향상시켰습니다.
• 분할: IoU40 을 43.47 에서 50.84 로, IoU50 을 41.97 에서 49.39 로 크게 증가시켜 양쪽 도시로 훈련된 상한선 베이스라인과의 격차를 현저히 줄였습니다.
• 계획: 평균 충돌률을 0.350% 로, 평균 L2 오차를 0.984 로 감소시켜 소스 전용 베이스라인을 능가했습니다.
• Ablation 연구: 타겟 도시 스타일 정렬과 VLM 기반 의미 스타일 인코딩 모두 필수적임을 확인했습니다. 소스 도시 캡션을 사용하거나 VLM 인코딩을 제거하면 성능이 저하되었습니다. 또한, CityGen 은 라벨이 지정된 소스 훈련 데이터가 20% 로 축소되었을 때도 강력한 강건성을 유지하여 향상된 라벨 효율성을 입증했습니다.

의의 및 주장
이 논문은 CityGen 이 일반화 가능한 자율주행을 위한 확장 가능하고 라벨 효율적인 기반을 확립한다고 주장합니다. 구조적으로 일관되지만 시각적으로 다양한 데이터를 합성함으로써, 이 방법은 수동 주석의 prohibitive 비용 없이 하위 모델을 광범위한 타겟 도시 시각 조건에 노출시킵니다. 저자들은 이 구조 유도 합성 접근법이 교통 패턴과 도로 구조의 고유한 차이로 인해 대규모 실세계 도시 간 일반화에 어려움을 겪던 기존 방법들의 한계를 극복한다고 주장합니다. 이 연구는 자율주행 시스템의 확장성과 신뢰성에서 중요한 간극을 해소하는 도시 수준 전이성 평가를 위한 통합 프로토콜을 제공합니다.