DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

이 논문은 자율주행 생성형 월드 모델의 발전을 촉진하기 위해 다양한 평가 데이터셋과 시각적 사실성, 궤적 타당성, 시간적 일관성, 제어 가능성 등을 종합적으로 측정하는 새로운 메트릭을 포함한 포괄적인 벤치마크 'DrivingGen'을 제안합니다.

핵심

🚗 자율주행차의 '미래 예측 능력'을 시험하는 새로운 시험지: DrivingGen

이 논문은 자율주행차 개발에 혁신을 가져올 수 있는 **'생성형 비디오 세계 모델 (Generative Video World Models)'**이라는 기술을 평가하기 위해 만든 새로운 기준, DrivingGen을 소개합니다.

쉽게 말해, **"자율주행차가 눈앞의 상황을 보고 '앞으로 10 초 뒤에는 세상이 어떻게 변할지' 상상해 내는 능력"**을 테스트하는 거대한 시험지 같은 것입니다.

---

🌍 왜 이 연구가 필요한가요? (현재의 문제점)

지금까지 자율주행 AI 를 훈련시키려면 실제 도로에서 수만 번을 주행해야 했습니다. 하지만 위험한 상황 (폭우, 눈, 보행자 돌발 행동 등) 을 실제로 경험하기는 어렵고 비용도 많이 듭니다. 그래서 AI 가 가상의 미래를 상상해 내는 '세계 모델'을 만들려고 합니다.

하지만 문제는 이 모델들을 제대로 평가할 방법이 없었다는 것입니다.

• 기존 평가: "영화가 얼마나 선명한가?" (화질) 만 보았습니다.
• 실제 필요: "차가 물리 법칙을 무시하고 공중에 뜨지 않는가?", "보행자가 갑자기 사라지지 않는가?", "내가 차를 왼쪽으로 조향하라고 지시했을 때 실제로 왼쪽으로 가나?"를 봐야 합니다.

기존 평가는 마치 **"요리사의 실력을 평가할 때, 음식 맛은 보지 않고 접시만 예쁜지 확인하는 것"**과 같습니다.

---

🛠️ DrivingGen 이 뭐가 특별한가요?

DrivingGen 은 이 '세계 모델'들을 평가하기 위해 두 가지 핵심 무기를 준비했습니다.

1. 🌦️ 다양한 '날씨와 상황'을 담은 시험지 (데이터셋)

기존 데이터는 대부분 맑은 날, 낮 시간, 도시 도로 위주로 되어 있었습니다. 마치 **"비 오는 날이나 눈 오는 날 운전하는 법을 배운 적이 없는 운전면허 시험"**과 같죠.

• DrivingGen 의 변화: 비, 눈, 안개, 폭우, 밤, 해질녘, 사막, 유럽/아시아/아메리카 등 전 세계 다양한 도로 상황을 포함했습니다.
• 비유: 이제 운전면허 시험은 맑은 날뿐만 아니라, 폭우가 쏟아지는 밤길과 보행자가 갑자기 튀어나오는 복잡한 교차로까지 모두 포함합니다.

2. 📏 4 가지 측면을 보는 '초정밀 자' (평가 지표)

단순히 영상이 예쁜지 아닌지 (화질) 만 보는 게 아니라, 다음 4 가지를 꼼꼼히 체크합니다.

1. 분포 (Distribution): 생성된 영상이 실제 세상의 흐름과 얼마나 닮았는가? (예: 차가 갑자기 뒤집히지 않는가?)
2. 품질 (Quality): 영상은 선명한가? (화질) 그리고 자율주행 특화 품질은 괜찮은가? (예: 차 불빛이 깜빡거리지 않는가? 카메라가 흔들리지 않는가?)
3. 일관성 (Temporal Consistency): 시간이 흐르면서 캐릭터나 사물이 갑자기 변하거나 사라지지 않는가? (예: 앞차가 갑자기 사라지거나, 보행자의 옷 색깔이 바뀌지 않는가?)
4. 조종성 (Trajectory Alignment): "왼쪽으로 가"라고 지시했을 때, AI 가 상상한 미래가 실제로 왼쪽으로 가는가? (이 부분이 가장 중요합니다. AI 가 엉뚱한 곳으로 차를 몰고 가면 사고가 나니까요.)

---

🔍 실험 결과: 무엇을 발견했나요?

저희는 최신 AI 모델 14 개를 이 DrivingGen 시험지로 시험시켰습니다. 결과는 매우 흥미로웠습니다.

• 일반적인 AI (영화/영상 생성 AI): 영상은 정말 아름답고 영화처럼 예쁩니다. 하지만 물리 법칙을 무시합니다. 차가 벽을 통과하거나, 보행자가 갑자기 증발하는 등 엉뚱한 일이 일어납니다.
  • 비유: "화려한 마술사처럼 보이지만, 실제로는 마법 지팡이로 차를 조종할 수 없는 사람."
• 자율주행 특화 AI: 차의 움직임은 매우 현실적이고 물리 법칙을 잘 따릅니다. 하지만 영상이 조금 투박하고 화질이 떨어집니다.
  • 비유: "실전 운전 실력은 좋지만, 차 안이 좀 지저분하고 시야가 흐릿한 사람."

결론: 아직까지 화질도 좋고, 물리 법칙도 지키며, 내가 지시한 대로 움직이는 완벽한 AI는 없습니다. DrivingGen 은 바로 이 '어디가 부족하고 어디가 잘하는지'를 정확히 알려줍니다.

---

🚀 이 연구가 가져올 미래

DrivingGen 은 자율주행차 개발자들에게 나침반이 되어줍니다.

1. 안전한 훈련: 위험한 상황을 실제 도로가 아닌, 이 AI 가 만든 '가상의 미래'에서 수만 번 연습할 수 있습니다.
2. 신뢰성 확보: AI 가 상상한 미래가 물리적으로 가능하고, 내가 지시한 대로 움직이는지 검증할 수 있습니다.
3. 빠른 발전: 어떤 모델이 화질은 좋지만 조종은 안 되는지, 어떤 모델은 반대의지 명확히 알 수 있어 연구 방향을 잡기 쉽습니다.

한 줄 요약:

"DrivingGen 은 자율주행 AI 가 '예쁜 꿈'을 꾸는 것을 넘어, '안전하고 현실적인 미래'를 예측할 수 있는지 확인해 주는 최고 수준의 운전면허 시험입니다."

기술 요약

1. 문제 정의 (Problem)

자율주행 분야에서 '드라이빙 월드 모델 (Driving World Models)'은 복잡한 장면의 시간적 진화를 모델링하여 에이전트 (차량, 보행자 등) 의 미래를 상상하고 시뮬레이션하는 생성형 모델로 주목받고 있습니다. 그러나 현재 이 분야는 다음과 같은 심각한 한계로 인해 발전이 저해되고 있습니다.

• 부족한 벤치마킹: 기존 평가 지표는 일반적인 비디오 생성 모델에 맞춰져 있어, 자율주행에 필수적인 안전 관련 요소 (센서 아티팩트, 글레어 등) 를 반영하지 못합니다.
• 평가의 한계:
  • 시각적 충실도: FVD(Fréchet Video Distance) 와 같은 분산 기반 지표만으로는 물리 법칙을 위반하거나 비현실적인 모션이 포함된 비디오를 구별하기 어렵습니다.
  • 궤적의 타당성: 생성된 비디오의 배경이 되는 차량 (Ego) 및 주변 에이전트의 궤적이 물리적으로 가능한지, 상호작용이 자연스러운지에 대한 정량적 평가가 부족합니다.
  • 일관성 부족: 시간적 일관성 (Temporal Consistency) 이나 에이전트 수준 (Agent-level) 의 일관성 (갑작스러운 등장/소멸, 외형 변화) 을 평가하는 지표가 부재합니다.
  • 조절 가능성 (Controllability): 입력된 주행 명령 (Ego trajectory) 에 따라 생성된 모션이 얼마나 정확하게 따르는지 평가하는 기준이 없습니다.
• 데이터 편향: 기존 데이터셋 (nuScenes 등) 은 맑은 날씨와 주간 주행에 편향되어 있어, 밤, 눈, 안개 등 안전에 치명적인 극단적 조건 (Long-tail scenarios) 을 평가하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 DrivingGen이라는 포괄적인 벤치마크를 제안했습니다. 이는 다양한 데이터셋과 자율주행 특화 평가 지표로 구성됩니다.

A. 데이터셋 구성 (Benchmark Dataset)

• 규모 및 구성: 총 400 개의 샘플로 구성되며, 효율성과 의미 있는 평가를 위해 두 가지 트랙으로 나뉩니다.
  1. Open-Domain Track: 다양한 날씨, 시간, 지역, 복잡한 주행 상황을 포함하는 인터넷 기반 데이터로, 모델의 일반화 능력을 평가합니다.
  2. Ego-Conditioned Track: nuPlan, DrivingDojo 등 5 개의 오픈소스 데이터셋을 기반으로 하며, 입력된 자차 궤적 (Ego trajectory) 에 대한 조건부 생성 능력을 평가합니다.
• 다양성 확보: 기존 데이터셋과 달리 날씨 (비, 눈, 안개, 폭우, 모래폭풍), 시간 (아침, 낮, 밤, 황혼), 지역 (북미, 유럽, 아시아, 아프리카 등), 그리고 복잡한 상호작용 (보행자 횡단, 급정거, 끼어들기) 을 균형 있게 분포시킵니다.

B. 평가 지표 (Driving-Specific Metrics)

비디오와 궤적에 대해 4 가지 차원의 지표를 도입했습니다.

1. 분포 (Distribution):
   • FVD (Fréchet Video Distance): 생성된 비디오와 실제 비디오의 시각적 분포 거리.
   • FTD (Fréchet Trajectory Distance): 새로운 지표로, 생성된 궤적과 실제 궤적의 분포 거리를 측정합니다. MTR(Motion Transformer) 인코더를 사용하여 궤적을 잠재 공간으로 매핑합니다.
2. 품질 (Quality):
   • 주관적/객관적 화질: CLIP-IQA+ 를 이용한 인간 선호도 기반 점수와, IEEE P2020 표준의 MMP (Modulation Mitigation Probability) 를 이용한 자동차 특화 영상 품질 (깜빡임 등) 평가.
   • 궤적 품질: 편안함 (Comfort, 저크/가속도), 이동성 (Motion, 정지 여부), 곡률 (Curvature, 비현실적인 급커브) 을 종합한 점수.
3. 시간적 일관성 (Temporal Consistency):
   • 비디오/에이전트 일관성: 광학 흐름 (Optical Flow) 기반의 적응형 다운샘플링을 통해 장면 및 개별 에이전트의 외형 일관성을 평가.
   • 비정상 소멸 (Agent Abnormal Disappearance): VLM(Vision-Language Model) 을 활용하여 에이전트가 물리적으로 불가능하게 사라지는지 (Natural vs. Unnatural) 를 판단.
   • 궤적 일관성: 속도와 가속도의 시간적 안정성 (Jitter, Stop-and-Go 등) 평가.
4. 궤적 정렬 (Trajectory Alignment):
   • ADE (Average Displacement Error): 입력된 궤적과 생성된 궤적 간의 평균 거리.
   • DTW (Dynamic Time Warping): 궤적의 전체적인 형태와 궤적을 비선형적으로 정렬하여 오차를 측정.

3. 주요 기여 (Key Contributions)

1. 첫 번째 포괄적 벤치마크: 자율주행 생성형 월드 모델을 평가하기 위해 다양한 데이터 분포와 새로운 평가 지표를 통합한 최초의 벤치마크를 제시했습니다.
2. 자율주행 특화 메트릭 개발: 시각적 품질뿐만 아니라 물리적 타당성, 시간적 일관성, 제어 가능성 (Controllability) 을 동시에 평가하는 4 차원 평가 체계를 구축했습니다.
3. 다양한 데이터셋: 맑은 날씨와 주간 주행에 편향된 기존 데이터셋의 한계를 극복하고, 전 세계 다양한 지역과 극단적 기상 조건을 포함한 데이터셋을 공개했습니다.
4. 광범위한 벤치마킹 및 통찰: 14 개의 최첨단 모델 (상용 폐쇄형, 오픈소스 일반 모델, 물리 기반 모델, 주행 특화 모델) 을 평가하여 중요한 통찰을 도출했습니다.

4. 실험 결과 및 통찰 (Results & Insights)

14 개의 모델을 DrivingGen 에서 평가한 결과는 다음과 같은 트레이드오프를 보여줍니다.

• 시각적 품질 vs. 물리적 일관성:
  • 상용 폐쇄형 모델 (Kling, Gen-3 등): 전반적인 시각적 품질이 높고 에이전트 행동이 안정적이지만, 물리 법칙을 위반하거나 궤적 정렬 (ADE/DTW) 이 부족한 경우가 있습니다.
  • 주행 특화 모델 (Vista, DrivingDojo 등): 입력된 궤적을 정확하게 따르고 물리적으로 타당한 모션을 생성하지만, 생성된 영상의 화질이나 시각적 디테일에서 일반 모델보다 떨어지는 경향이 있습니다.
• 궤적 정렬의 한계: 현재까지의 모델들은 입력된 자차 궤적 (Ego trajectory) 에 대해 상당한 오차 (ADE/DTW) 를 보이며, 이는 생성된 비디오의 아티팩트나 모델의 모션 생성 능력 부족에서 기인합니다.
• 기존 지표의 맹점: FVD 와 같은 단일 지표만으로는 모델의 실패 모드 (예: 물리적으로 불가능한 정지 - 출발 반복, 에이전트의 갑작스러운 소멸) 를 포착하지 못하며, DrivingGen 의 다중 지표가 이를 명확히 드러냈습니다.

5. 의의 및 결론 (Significance)

• 신뢰성 있는 개발 프레임워크: DrivingGen 은 자율주행 월드 모델 개발에 있어 신뢰할 수 있고, 제어 가능하며, 실제 배포 가능한 모델을 위한 통일된 평가 기준을 제공합니다.
• 안전한 시뮬레이션 및 계획: 생성된 시나리오의 물리적 타당성과 시간적 일관성을 보장함으로써, 안전 검증 및 계획 (Planning) 단계에서 신뢰할 수 있는 합성 데이터 생성을 가능하게 합니다.
• 미래 연구 방향 제시: 시각적 품질과 물리적 일관성 사이의 균형을 맞추는 것이 향후 연구의 핵심 과제로 부각되었으며, 폐쇄 루프 (Closed-loop) 시뮬레이션 및 다양한 센서 데이터 (LiDAR, HD Map) 확장 등의 향후 연구 방향을 제시했습니다.

결론적으로 DrivingGen 은 자율주행 분야에서 생성형 AI 의 발전을 단순한 '비디오 생성'을 넘어 '안전하고 현실적인 물리 세계 시뮬레이션'으로 이끄는 중요한 이정표가 될 것으로 기대됩니다.