기술 요약: FrozenDrive

문제 정의

자율 주행(AD) 모델의 학습은 대규모의 정확하게 라벨링된 데이터셋을 수집하는 데 드는 높은 비용과 어려움, 특히 악천후(예: 비, 눈, 밤) 및 희귀한 롱테일(long-tail) 시나리오에서의 데이터 확보 문제로 인해 제약을 받습니다. 확산 모델(diffusion models)을 이용한 합성 데이터 생성은 해결책을 제시하지만, 기존 방식들은 다음과 같은 중대한 한계점을 가집니다:

1. 지식 침식(Knowledge Erosion): 다중 뷰(multi-view) 및 시간적 일관성(temporal consistency)을 강제하기 위해 백본을 미세 조정하거나 학습 가능한 레이어를 추가해야 합니다. 이 과정은 확산 모델이 가진 풍부한 사전 학습 지식을 침식시켜, 텍스트-이미지 정렬 능력과 제로샷(zero-shot) 능력을 약화시킵니다.
2. 분포 편향(Distributional Bias): 표준 벤치마크에서 학습된 모델은 학습 분포에 강하게 묶여 있기 때문에, 보지 못한 환경이나 열악한 조건에 일반화되지 못하는 경향이 있습니다.
3. 충실도 불균형(Fidelity Imbalance): 현재의 방법들은 빈도가 높은 클래스에 우선순위를 두는 경향이 있어, 희귀 객체(예: 자전거, 건설 차량)에 대한 생성 충실도가 떨어집니다.

방법론: FrozenDrive

저자들은 프리징된(frozen) 확산 백본의 사전 학습된 지식을 보존하면서, 제로샷, 텍스트 가이드 기반의 다중 뷰 주행 장면을 합성하는 제어 가능한 생성 프레임워크인 FrozenDrive를 제안합니다.

핵심 아키텍처

• 프리징된 백본(Frozen Backbone): 기존 연구들(예: Stable Diffusion)과 달리, FrozenDrive는 전체 확산 백본을 고정된 상태(frozen) 및 파라미터가 없는 상태로 유지합니다. 이는 모델의 원래 텍스트 정렬 및 생성적 사전 지식을 보존합니다.
• ControlNet 컨디셔닝: 이 프레임워크는 백본 가중치를 수정하지 않고 구조화된 주행 스택 신호를 주입하기 위해 ControlNet 기반의 파이프라인을 활용합니다. 입력값은 다음과 같습니다:
  • HD 맵 레이아웃 및 3D 바운딩 박스.
  • 뷰별 카메라 인디케이터.
  • 점유 그리드(occupancy grids)에서 유도된 깊이 지도(depth maps).
  • 이전 프레임에 대한 상대적 포즈.
  • 장면 묘사를 위한 텍스트 프롬프트.

주요 기술 혁신

1. 지식 보존형 시공간 어텐션(Knowledge-Preserving Spatio-Temporal Attention): 새로운 학습 가능한 파라미터 없이 일관성을 달al하기 위해, 저자들은 표준 셀프 어텐션 레이어를 입력 컨텍스트를 재구성하는 두 가지 상호 보완적인 메커니즘으로 대체합니다:

   • 다중 뷰 확장 셀프 어텐션(Multi-View Inflated Self-Attention, MISA): 모든 카메라 뷰의 잠재 특징(latent features)을 단일 시퀀스로 결합합니다. 이를 통해 프리징된 어텐션 메커니즘이 뷰를 가로질러 어텐션을 수행할 수 있게 하여, 단 한 번의 패스(pass) 내에서 교차 뷰 기하학적 및 의미적 일관성을 강제합니다.
   • 시간적 참조 셀프 어텐션(Temporal Reference Self-Attention, TRSA): 입력 컨텍스트를 이전 프레임의 잠재 특징을 포함하도록 확장하여 참조로 사용합니다. 이를 통해 현재 프레임이 과거의 시각적 단서(외형, 기하 구조)를 참조할 수 있게 하여, 새로운 시간적 가중치를 학습하지 않고도 비디오 스타일의 일관성을 확보합니다.
   • 구현: 이러한 메커니즘은 프리징된 디코더 내에서 작동합니다. 프로젝션 가중치($W^Q, W^K, W^V$)는 건드리지 않은 채, 오직 입력 토큰 시퀀스만을 수정하여 교차 뷰 및 시간적 참조를 포함하도록 합니다.

2. 객체 중심 제약(Object-Focused Constraint, 객체 존재 비율 손실): 롱테일 분포 문제를 해결하기 위해, 저자들은 픽셀 단위 가중치 손실을 도입합니다. 이 손실은 훈련 데이터에서의 역빈도(inverse frequency)를 기준으로 과소 대표되는 카테데고리(예: 자전거, 오토바이)에 가중치를 높입니다. 이는 학습의 초점을 희귀 객체로 이동시켜, 이들의 생성 충실도와 다운스트림 탐지 성능을 향상시킵령.

주요 기여

1. 파라미터 프리(Parameter-Free) 일관성: 입력 재구성(MISA 및 TRSA)을 통해 파라미터 업데이트 없이 프리징된 확산 백본에 다중 뷰 및 시간적 일관성을 강제함으로써, 지식 망각을 방지하는 프레임워크를 도입했습니다.
2. 제로샷 텍스트 가이드: 텍-특화 미세 조정 없이도, 텍스트 프롬프트를 통해 다양한 날씨, 시간대, 희귀 환경의 조합을 포함한 전역적으로 일관된 주행 장면을 합성할 수 있는 능력을 제공합니다.
3. 개선된 다운스트림 강건성: FrozenDrive로 증강된 데이터가 자율 주행 모델(특히 UniAD 및 SparseDrive)의 인지 및 계획 성능을, 특히 비나 밤과 같은 악천후 상황에서 유의미하게 향상시킨다는 것을 입증했습니다.

실험 결과

본 방법론은 nuScenes 데이터셋을 통해 평가되었습니다.

• 생성 품질: FrozenDrive는 다운스트림 인지 지표(3D 객체 탐지 mAP/NDS 및 BEV 세그멘테이션 mIoU) 측면에서 생성형 베이스라인(MagicDrive, Panacea, DriveArena, MagicDrive-V2 포함) 중 최첨단(SOTA) 성능을 달성했습니다. 또한 SD 기반 방법들 중 가장 낮은 FVD(Fréchet Video Distance)를 기록하여 높은 시간적 및 공간적 일관성을 보여주었습니다.
• 악천후 성능: 밤과 비 시나리오를 위한 훈련 데이터를 증강할 때, FrozenDrive 데이터로 학습된 모델은 실제 데이터, 규칙 기반 필터 및 다른 생성형 베이스라인보다 우수한 성능을 보였습니다. 예를 들어, 밤 조건에서 이 방법은 DriveArena의 8.89와 비교하여 18.15의 3DOD mAP를 달성했습니다.
• 제로샷 능력: 모델은 훈련 데이터에 존재하지 않았던 눈 내리는 장면을 성공적으로 생성하였으며, 이는 미세 조정된 베이스라인들이 텍스트 프롬프트를 정확히 반영하지 못한 것과 대조적입니다.
• 객체 충실도: 객체 존재 비율 손실은 모델 없이 비교했을 때 희귀 카테고리에 대한 탐지 AP를 유의미하게 개선했습니다(예: 오토바이 +1.07%, 자전거 +1.00%).

의의 및 주장

본 논문은 FrozenDrive가 생성형 주행 장면 합성에서 제어 가능성과 지식 보존 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 백본을 엄격하게 프리징하고 지식 보존형 어텐션 메커니즘을 활용함으로써, 이 방법은 사전 학습된 모델의 강력한 제로샷 텍스트 정렬 능력을 유지하면서도 높은 충실도의 다중 뷰 일관성을 달성합니다.

저자들은 이 접근 방식이 다운스트림 AD 강건성을 강화하는 시나리오 타겟형 데이터 생성을 가능하게 한다고 강조합니다. 지식 침식으로 인해 롱테일 또는 악천후 상황에서 성능이 저하되는 기존 방식들과 달리, FrozenDrive는 보지 못한 날씨와 희귀 객체 구성에 효과적으로 일반화되는 합성 데이터를 생성하여 자율 주행의 데이터 부족 문제에 대한 확장 가능한 솔루션을 제공합니다.