ScenePilot-Bench: A Large-Scale Dataset and Benchmark for Evaluation of Vision-Language Models in Autonomous Driving

이 논문은 자율주행 시나리오에서 비전 - 언어 모델 (VLM) 의 성능을 평가하기 위해 3,847 시간 분량의 주행 영상과 다중 세분화 주석을 기반으로 구축된 대규모 벤치마크 'ScenePilot-Bench'를 소개하고, 이를 통해 모델의 현재 한계와 개선 방향을 규명합니다.

핵심

1. 왜 이 연구가 필요할까요? (배경)

지금까지 인공지능 (AI) 이 차를 운전하는지 테스트할 때는 주로 "차선이 몇 개인지", "앞차까지 거리가 얼마나 되는지" 같은 단순한 사실만 물어봤습니다. 하지만 최신 AI(시각 - 언어 모델) 는 사람처럼 말도 잘하고 상황도 이해합니다.

문제는 이 AI 들이 운전할 때 필요한 '생각'과 '판단'을 제대로 하는지를 측정할 방법이 부족하다는 점입니다. 마치 "운전면허 시험장에서 차는 잘 몰지만, 갑자기 비가 오거나 낯선 나라에 가면 당황해서 사고를 내는" 운전자를 평가할 수 없었던 것과 같습니다.

2. 이 연구가 만든 것들 (핵심 내용)

이 연구팀은 두 가지 거대한 도구를 만들었습니다.

① ScenePilot-4K: "세계 여행 운전 기록" (데이터셋)

• 비유: 전 세계 63 개 나라, 1,210 개 도시에서 모은 3,847 시간 분량의 운전 영상입니다.
• 특징: 단순히 영상만 있는 게 아니라, AI 가 영상을 볼 때 **"날씨는?", "위험한가?", "누가 가장 위험한가?", "앞으로 어떻게 가야 하는가?"**에 대한 정답까지 모두 붙여놓았습니다.
• 의미: 마치 전 세계의 모든 도로 상황 (비, 눈, 좌측/우측 통행 등) 을 다 경험해 본 '베테랑 운전사'의 기록을 AI 에게 보여주고 학습시키는 것입니다.

② ScenePilot-Bench: "종합 운전 실력 시험지" (벤치마크)

이제 AI 들이 이 데이터를 바탕으로 얼마나 잘 운전하는지 평가하는 4 가지 영역의 시험지를 만들었습니다.

1. 상황 이해 (Scene Understanding): "지금 비가 오고 있고, 교차로에 위험한 트럭이 있네."라고 상황을 정확히 묘사할 수 있는가?
2. 공간 감각 (Spatial Perception): "내 차에서 오른쪽 앞차까지 거리가 5 미터야."라고 거리와 방향을 숫자로 정확히 말할 수 있는가? (여기서 많이 틀리면 사고가 납니다.)
3. 운동 계획 (Motion Planning): "앞차에 맞춰서 0.5 초 뒤에는 이렇게 움직여야 해."라고 미래의 경로를 그릴 수 있는가?
4. GPT 점수: AI 가 낸 답이 인간이 봤을 때 자연스럽고 논리적인가? (AI 가 만든 답을 또 다른 AI 가 채점합니다.)

3. 실험 결과: 누가 가장 잘했을까?

연구팀은 유명한 AI 모델들 (GPT-4, Gemini 등) 과 직접 만든 모델을 시험지에 풀어보게 했습니다.

• 일반적인 AI (상용 모델): "날씨가 맑고 도로가 넓네" 같은 대화는 잘하지만, "앞차까지 정확히 3.2 미터야" 같은 정밀한 거리 계산이나 운전 계획에서는 실수가 많았습니다. 마치 말은 잘하지만 운전은 서툰 '말썽꾸러기' 같습니다.
• 전문 운전 AI (기존 모델): 운전에 특화된 모델은 계획 수립은 좋았지만, 다른 나라의 도로 상황 (예: 한국에서 배운 AI 가 영국 도로에 나감) 에는 약했습니다.
• 새로운 모델 (ScenePilot): 이 연구팀이 만든 모델은 대화와 운전 실력, 그리고 낯선 환경 적응력까지 모두 고루 잘했습니다. 특히 중간 크기의 모델로도 최고의 점수를 받아, "데이터의 질이 좋으면 작은 모델도 대박을 낼 수 있다"는 것을 증명했습니다.

4. 가장 중요한 발견: "낯선 도시"에서의 테스트

이 시험지의 가장 큰 장점은 지리적 일반화를 테스트한다는 점입니다.

• 비유: 한국에서 운전하는 법을 배운 AI 를 미국 (우측 통행) 이나 일본 (좌측 통행) 도로에 데려갔을 때 어떻게 할까요?
• 결과: AI 는 "날씨가 어떻다" 같은 말은 잘했지만, "왼쪽으로 꺾어야 한다" 같은 구체적인 운전 명령은 헷갈려 했습니다. 이는 AI 가 단순히 영상을 보는 것을 넘어, 해당 나라의 교통 규칙과 문화를 이해하는 훈련이 더 필요하다는 것을 보여줍니다.

5. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"자율주행 AI 를 평가할 때는 단순히 '눈'이 좋은지 보는 게 아니라, '머리'와 '손'이 얼마나 안전한지, 그리고 낯선 곳에서도 잘 적응하는지"**를 종합적으로 봐야 한다고 말합니다.

마치 운전면허 시험이 단순히 차를 잘 몰고 정차하는 것뿐만 아니라, 비상 상황 대처와 다양한 도로 상황 적응력을 보는 것처럼 말이죠. 이 새로운 시험지 (ScenePilot-Bench) 는 앞으로 더 안전하고 똑똑한 자율주행차를 만드는 데 필수적인 나침반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 분야에서 비전 - 언어 모델 (VLM) 은 장면 이해, 위험 평가, 의사결정 보조 등 '공간적 신체화 지능 (Spatial Embodied Intelligence)'의 핵심 요소로 부상하고 있습니다. 그러나 기존 연구들은 다음과 같은 한계로 인해 VLM 의 실제 자율주행 적용 능력을 신뢰성 있게 평가하기 어렵습니다.

• 평가의 부재: 기존 벤치마크는 단순한 객체 인식이나 캡션 생성에 치중하거나, 제한된 데이터셋과 좁은 작업 범위 내에서만 평가하여 실제 주행 환경의 긴 꼬리 (long-tail) 문제와 기하학적 일관성을 충분히 테스트하지 못함.
• 할루시네이션 및 안전성: VLM 이 실제 물리적 제약이나 교통 규칙을 고려하지 않은 환각 (hallucination) 을 생성하거나, 위험한 행동을 예측할 수 있음.
• 도메인 이동 (Domain Shift) 대응 부족: 국가별 교통 규칙 (좌측/우측 통행), 도로 인프라, 문화적 차이를 반영한 평가 체계가 부재하여, 한 지역에서는 잘 작동하지만 다른 지역에서는 실패하는 경우가 많음.

2. 방법론 (Methodology)

이 논문은 ScenePilot-4K라는 대규모 데이터셋과 이를 기반으로 한 ScenePilot-Bench 벤치마크를 제안합니다.

가. ScenePilot-4K 데이터셋

• 규모 및 다양성: Bilibili 와 YouTube 에서 수집된 3,847 시간 분량의 1 인칭 (First-person) 주행 비디오로 구성됨. 63 개 국가/지역, 1,210 개 도시를 아우르며, 기존 데이터셋 대비 지리적 다양성이 압도적으로 큼.
• 다중 태스크 주석 (Multi-granularity Annotation): 단일 클립에 대해 다음 정보를 통합적으로 제공함:
  • 장면 설명 (날씨, 시간, 도로 유형, 교차로 여부 등)
  • 위험도 평가 (Risk Assessment)
  • 주요 참여자 식별 (차량, 보행자 등)
  • 자차 (Ego) 궤적 및 카메라 파라미터 (내부/외부 파라미터)
• 주석 파이프라인: Qwen2-VL-72B(장면 설명), YOLO11s(객체 탐지), VGGT(카메라 보정 및 궤적 추정) 등을 활용한 자동화된 고품질 주석 파이프라인을 구축함.

나. ScenePilot-Bench 벤치마크

VLM 의 능력을 4 가지 핵심 축으로 평가하는 오픈 - 루프 (Open-loop) 벤치마크를 구성함.

1. 장면 이해 (Scene Understanding):
   • SPICE: 생성된 장면 설명과 정답 간의 의미적 일관성 평가.
   • Risk-Class-Acc: 위험 수준 (저/중/고) 분류 정확도.
2. 공간 지각 (Spatial Perception):
   • 객체 분류 (Class-Acc): 교통 참여자 분류 정확도.
   • 공간 추론: 자차 및 객체 간 상대적 거리 (EMRDE, OMRDE) 와 각도 (EMRAE, OMRAE) 오차 측정.
3. 운동 계획 (Motion Planning):
   • 메타 액션 예측: 가속/감속, 방향 전환 등 고수준 행동 예측 정확도 (DCS-Acc).
   • 궤적 계획: 평균 변위 오차 (ADE) 및 최종 변위 오차 (FDE) 를 통해 물리적으로 실행 가능한 경로 생성 능력 평가.
4. GPT-Score: GPT-4o 를 활용하여 답변과 정답 간의 의미적 정렬 (Semantic Alignment) 을 점수화.

• 평가 전략: 모든 지표를 클립 (10 프레임) 단위로 집계하여 시간적 안정성을 확보하며, 오차 기반 지표는 안전성을 고려한 가중치 정규화 (High-precision reward, High-error penalty) 를 적용함.
• 강건성 평가: LOCO (Leave-One-Country-Out) 및 좌우 통행 적응 (Right-to-Left Adaptation) 평가를 통해 지리적/문화적 도메인 이동에 대한 일반화 능력을 검증함.

3. 주요 기여 (Key Contributions)

1. ScenePilot-4K 데이터셋 공개: 자율주행 VLM 훈련 및 평가를 위한 최대 규모의 1 인칭 주행 비디오 데이터셋 (3,847 시간, 2770 만 프레임) 이자, 지리적 다양성과 다중 태스크 주석 (위험, 궤적, 카메라 파라미터 등) 을 통합한 최초의 데이터셋.
2. ScenePilot-Bench 벤치마크 제안: 장면 이해, 공간 지각, 운동 계획, GPT 점수를 포괄하는 4 축 평가 체계와 안전성 인지 (Safety-aware) 메트릭을 도입하여 VLM 의 실제 주행 능력을 종합적으로 진단.
3. 강건성 및 일반화 프로토콜: 국가별 데이터 분리 (LOCO) 및 좌우 통행 시스템 간 적응 평가를 통해 모델의 도메인 이동에 대한 강건성을 정량화.
4. 실증적 분석: 다양한 상용 및 오픈소스 VLM 에 대한 벤치마킹을 통해 현재 모델들의 성능 한계 (특히 공간 지각 및 계획 부분) 와 개선 방향을 제시.

4. 실험 결과 (Results)

• 모델 비교:
  • 일반 목적 VLM (GPT-4o, Qwen 등): 장면 수준의 의미 이해 (SPICE) 는 우수하나, 자차 중심의 공간 지각 (거리/각도) 및 운동 계획 (궤적 생성) 에서 성능이 급격히 저하됨.
  • 도메인 특화 모델 (ReasonDrive-7B): 주행 특화 주석으로 미세 조정 (Fine-tuning) 시 운동 계획 성능이 크게 향상되지만, 전반적인 균형성은 부족함.
  • ScenePilot 모델 (Qwen 기반 미세 조정): ScenePilot-4K 데이터로 직접 미세 조정된 모델 (ScenePilot-2.5-3B-200k) 이 최종 점수 65.37로 모든 모델을 압도하며, 의미 이해와 공간/계획 능력 간의 균형을 가장 잘 달성함.
• 지리적 일반화:
  • 중국 데이터로만 학습된 모델이 유럽, 일본/한국, 미국 등 unseen 지역에서 테스트되었을 때, 장면 이해와 객체 분류는 높은 안정성을 보임.
  • 반면, 위험 평가와 운동 계획 (특히 메타 액션 예측) 은 지역별 교통 규칙과 도로 구조의 차이로 인해 성능이 저하됨. 이는 고수준 의사결정이 지역적 맥락에 민감함을 시사함.
  • 좌측 통행 (영국 등) 으로 적응 평가 시, 저수준 궤적 생성은 어느 정도 유지되나 고수준 행동 예측 (DCS-Acc) 에서 큰 성능 하락이 발생함.

5. 의의 및 결론 (Significance)

• 안전 중심 평가 체계: 단순한 객체 인식 정확도를 넘어, 자율주행의 핵심인 '위험 인식', '공간적 정확도', '물리적 실행 가능성'을 종합적으로 평가할 수 있는 표준을 제시함.
• 데이터의 중요성 증명: 일반적인 대규모 VLM 보다, 고품질의 도메인 특화 데이터 (ScenePilot-4K) 로 미세 조정된 모델이 실제 주행 시나리오에서 더 균형 잡히고 강력한 성능을 발휘함을 입증함.
• 향후 연구 방향: 지리적/문화적 차이를 고려한 규칙 인식 강화, 긴 꼬리 (Long-tail) 시나리오 및 고위험 상호작용 평가 강화, 오픈 - 루프 평가를 클로즈드 - 루프 시뮬레이션과 연계하는 등의 발전 방향을 제시함.

이 논문은 자율주행 분야에서 VLM 의 '공간적 신체화 지능'을 평가하고 발전시키기 위한 포괄적인 프레임워크를 제공하며, 안전하고 신뢰할 수 있는 자율주행 시스템 개발에 중요한 기여를 합니다.