HetroD: A High-Fidelity Drone Dataset and Benchmark for Autonomous Driving in Heterogeneous Traffic

이 논문은 보행자, 자전거, 오토바이 등 다양한 취약 도로 사용자 (VRU) 가 혼재하는 복잡한 교통 환경을 위한 고해상도 드론 기반 데이터셋 'HetroD'와 벤치마크를 제안하며, 기존 자율주행 모델이 이러한 비구조적이고 역동적인 VRU 의 행동을 예측하고 계획하는 데 어려움을 겪고 있음을 실증합니다.

핵심

1. 왜 이 연구가 필요한가요? (기존의 문제점)

지금까지 자율주행차 개발에 쓰인 데이터들은 대부분 '규칙적인 도로' 위주로 만들어졌습니다. 마치 정해진 레인 (차선) 을 지키며 질서 정연하게 달리는 자동차들만 보는 것과 비슷합니다.

하지만 실제 우리 동네 길, 특히 아시아 도시들은 어떨까요?

• 자동차 옆을 스치듯 지나가는 오토바이
• 차선 없이 횡단보도를 건너는 보행자
• 신호등 없이 서로 눈치 보며 길을 비켜주는 스쿠터들

이런 **'혼란스러운 교통 상황 (이질적 교통)'**은 기존 데이터에 거의 없었습니다. 마치 정해진 레인만 달리는 연습만 한 운전자가, 갑자기 오토바이와 보행자가 뒤섞인 시장통에 들어가서 당황하는 상황과 같습니다.

2. HetroD 는 무엇인가요? (새로운 솔루션)

연구팀은 이 문제를 해결하기 위해 드론을 하늘에 띄워 촬영했습니다.

• 드론의 시점: 지상의 카메라는 자동차나 사람 때문에 시야가 가려지지만, 드론은 하늘에서 내려다보듯 모든 것을 한눈에 볼 수 있습니다. (눈이 가려지지 않는 '전지적 참견 시점'과 비슷합니다.)
• 데이터의 양: 17.5 시간 분량의 초고화질 영상과, 6 만 5 천 개 이상의 이동 경로를 담았습니다.
• 특징: 이 데이터의 **70% 가 보행자나 오토바이 (약한 도로 이용자)**입니다. 기존 데이터들이 '자동차' 위주였다면, HetroD 는 **'사람과 오토바이가 어떻게 움직이는지'**에 집중했습니다.

비유하자면:
기존 데이터가 '정해진 코스를 달리는 마라톤 대회' 기록이라면, HetroD 는 **'사람과 자전거, 개, 강아지가 뒤섞여 뛰어다니는 광장'**의 모습을 4K 드론으로 찍어 놓은 것입니다.

3. 이 데이터로 무엇을 했나요? (시험 문제와 결과)

연구팀은 이 데이터를 바탕으로 자율주행 알고리즘들에게 **'시험'**을 치르게 했습니다.

A. "어디로 갈지 예측하기" (운동 예측)

자율주행차가 "앞으로 3 초 뒤 저 스쿠터가 어디로 갈까?"를 예측하는 능력입니다.

• 결과: 최신 기술들도 이 데이터에서는 큰 실수를 했습니다.
  • 이유: 기존에 자동차만 보며 훈련된 AI 는, 스쿠터가 차선을 무시하고 꺾거나 갑자기 방향을 틀 때 예측을 못 합니다. 마치 정해진 길만 아는 택시 기사가, 오토바이가 갑자기 차선을 넘나드는 모습을 보고 당황하는 것과 같습니다.

B. "어떻게 운전할지 결정하기" (운동 계획)

자율주행차가 "그 스쿠터를 피하려면 어떻게 핸들을 꺾어야 하지?"를 결정하는 능력입니다.

• 결과: 규칙에 기반한 기존 운전 프로그램들은 옆에서 다가오는 사람이나 오토바이를 잘 피하지 못했습니다.
  • 문제: 앞의 차만 피하는 데는 능숙하지만, **옆에서 다가오는 위험 (측면 충돌)**을 간과했습니다. 마치 앞만 보고 운전하는 운전자가, 옆에서 갑자기 튀어나온 자전거를 보지 못하고 부딪히는 상황입니다.

4. 이 연구의 핵심 메시지 (결론)

이 논문은 **"자율주행차가 진짜 세상 (복잡한 도시) 에서 안전하려면, 자동차만 보는 게 아니라 사람과 오토바이의 복잡한 움직임을 배워야 한다"**고 말합니다.

• 지금까지: "차선만 지키면 돼." (규칙 중심)
• 이제부터: "사람과 오토바이가 어떻게 생각할지, 어떻게 움직일지 예측해야 해." (상황 인식 중심)

요약: 한 문장으로 정리하면?

"기존 자율주행 기술은 '질서 정연한 도로'만 봐 왔지만, HetroD 는 드론으로 찍은 '복잡하고 혼란스러운 도시의 진짜 모습'을 보여줌으로써, 자율주행차가 사람과 오토바이와 공존하는 안전한 미래를 위해 무엇을 배워야 하는지 알려줍니다."

이 연구는 앞으로 자율주행차가 더 똑똑하고 안전하게, 우리 동네의 복잡한 길에서도 잘 달릴 수 있는 필수적인 첫걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템 개발의 핵심 난제 중 하나는 **이질적인 교통 환경 (Heterogeneous Traffic)**에서의 주행입니다. 특히 보행자, 자전거, 오토바이 등 **취약 도로 사용자 (VRU, Vulnerable Road Users)**가 차량과 복잡하게 상호작용하는 환경은 기존 데이터셋과 모델이 충분히 다루지 못합니다.

• 기존 데이터셋의 한계: 대부분의 공개 데이터셋 (NuScenes, Waymo 등) 은 차선 준수 (lane-disciplined) 가 명확한 차량 중심의 교통 상황을 주로 다룹니다. VRU 가 많거나, 차선 없이 자유롭게 이동하는 (lane-splitting, hook turn 등) 비구조화된 행동은 데이터에 부족합니다.
• 센서의 한계: 차량 탑재 센서 (On-board sensors) 는 시야각 (FOV) 제한과 가려짐 (occlusion) 으로 인해 VRU 의 전체적인 움직임과 상호작용을 파악하기 어렵습니다.
• 모델의 실패: 기존 예측 및 계획 모델은 이러한 복잡한 VRU 상호작용, 특히 측면 (lateral) 이동이나 비공식적인 양보 행동을 예측하거나 처리하는 데 실패합니다.

2. 방법론 (Methodology)

A. HetroD 데이터셋 구축

• 수집 방식: 대만 내 6 개의 다양한 도시 교통 환경 (신호등 교차로, 무신호 교차로, 혼잡한 직선 도로 등) 에서 **드론 (Drone)**을 활용해 수집했습니다. 드론은 전방위적이고 가려짐이 없는 전역 시야 (Global View) 를 제공합니다.
• 데이터 규모 및 품질:
  • 총 17.5 시간의 초고해상도 (5.4K) 비디오.
  • 65,400 개 이상의 고유 에이전트 궤적 (Trajectories) 포함.
  • VRU 비율: 전체 에이전트의 약 **70%**가 VRU(오토바이, 자전거, 보행자) 로 구성되어 있습니다.
  • 정밀도: 센티미터 수준의 정밀도를 가진 HD 맵 (Lanelet2, OpenDRIVE), 바운딩 박스, 신호등 상태가 포함됩니다.
• 특징: 후크 턴 (Hook turn), 차선 분할 (Lane splitting), 공격적인 추월, 무질서한 교차로 통과 등 기존 데이터셋에서는 드문 비구조화된 기동 (Unstructured maneuvers) 을 포착합니다.

B. 통합 개발 툴킷 (Unified Development Toolkit)

• 연구팀은 HetroD 데이터를 기존 자율주행 프레임워크 (ScenarioNet, GPUDrive, trajdata 등) 와 호환되도록 변환하는 툴킷을 개발했습니다. 이를 통해 연구자들은 예측, 계획, 시뮬레이션 작업을 위해 데이터 전처리를 최소화하고 바로 활용할 수 있습니다.

C. 벤치마크 및 평가 프로토콜

• 운동 예측 (Motion Forecasting): MTR, Wayformer 등 최신 모델들을 NuScenes, Waymo, SinD, HetroD 에서 학습시켜 HetroD 에서 테스트하는 **교차 도메인 평가 (Cross-domain Evaluation)**를 수행했습니다.
• 운동 계획 (Motion Planning): NuPlan 의 폐루프 (Closed-loop) 평가 프로토콜을 사용하여 IDM(규칙 기반) 과 PDM-Closed(강력한 계획기) 의 성능을 검증했습니다. VRU 와의 충돌 (특히 측면 충돌) 을 세부적으로 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 고충실도 이질적 교통 데이터셋: VRU 가 70% 를 차지하는 65,400 개 이상의 정밀 궤적과 HD 맵을 포함한 대규모 드론 기반 데이터셋을 공개했습니다.
2. 표준화된 벤치마크: 운동 예측, 계획, 시뮬레이션, 그리고 교차 도메인 일반화 평가를 위한 표준 프로토콜을 제시했습니다.
3. 기존 모델의 한계 규명: 최신 SOTA(최첨단) 모델들이 HetroD 와 같은 복잡한 환경에서 심각한 성능 저하를 보임을 실증했습니다.

4. 실험 결과 (Results)

A. 운동 예측 (Motion Prediction)

• 성능 저하: NuScenes 나 Waymo 에서 학습된 모델들은 HetroD 에서 성능이 급격히 떨어졌습니다 (Brier-FDE 지표 악화).
• 도메인 간 차이: 드론 뷰 (Drone-view) 데이터로 학습된 모델이 차량 탑재 센서 데이터로 학습된 모델보다 다른 드론 데이터셋으로의 일반화 성능이 더 좋았습니다. 이는 드론 데이터의 가려짐이 없는 전역 시야 덕분입니다.
• 오류 원인:
  • VRU 예측 실패: 오토바이 (Two-wheelers) 와 보행자의 측면 이동 및 비정형적인 행동을 예측하는 데 가장 큰 어려움을 겪었습니다.
  • 밀집 환경: 고밀도 다중 에이전트 상황에서 상호작용을 과소평가하거나 과도하게 예측하는 경향이 있었습니다.
  • 맵 민감도: 지도 (Map) 정보가 달라지면 예측 오차가 크게 증가했습니다 (MTR 모델의 경우 166% 증가).

B. 운동 계획 (Motion Planning)

• 충돌 증가: HetroD 환경에서 기존 계획기 (IDM, PDM-Closed) 의 충돌률이 NuPlan 환경 대비 크게 증가했습니다.
• 측면 충돌 (Lateral Collisions): 정면 충돌보다 VRU 와의 측면 충돌이 주된 실패 원인이었습니다. 이는 계획기들이 차선 중심의 주행에는 강하지만, 비구조화된 환경에서의 측면 상호작용을 고려하지 못하기 때문입니다.
• 실패 사례: 혼잡한 직선 도로 주행, 보호되지 않은 좌회전, 좁은 도로 협상, 우회전 시 VRU 와의 상호작용 등에서 계획기가 제대로 작동하지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 방향 전환: 이 논문은 자율주행 시스템이 단순히 차선 유지나 차량 간 상호작용을 넘어, VRU 가 주도하는 복잡하고 비구조화된 교통 환경에서도 안전해야 함을 강조합니다.
• 데이터의 중요성: 드론 기반의 전역 시야 데이터는 VRU 의 상호작용을 모델링하는 데 필수적이며, 기존 데이터셋의 편향을 해결할 수 있는 핵심 자원입니다.
• 미래 과제: 현재 SOTA 모델들은 이질적 교통 환경에서 여전히 취약합니다. 향후 연구는 VRU 의 행동을 더 정교하게 모델링하고, 측면 상호작용을 고려한 계획 알고리즘 개발에 집중해야 합니다.

요약하자면, HetroD 는 자율주행 기술이 실제 도시의 혼잡하고 예측 불가능한 VRU 중심 환경에서 어떻게 작동하는지 검증할 수 있는 새로운 기준 (Benchmark) 을 제시하며, 기존 모델들의 한계를 명확히 드러내고 향후 연구 방향을 제시했습니다.