Driving with A Thousand Faces: A Benchmark for Closed-Loop Personalized End-to-End Autonomous Driving

이 논문은 개인별 운전 스타일을 학습하고 평가할 수 있는 데이터 수집 시스템, 정량적 지표, 그리고 개인화된 보상 모델을 포함한 종합적인 오픈소스 플랫폼 'Person2Drive'를 제안하여 종단형 자율주행의 개인화 문제를 해결합니다.

핵심

🚗 1. 문제점: "평균적인 운전사"는 실재하지 않는다

지금까지의 자율주행 기술은 마치 **"모든 사람의 취향을 다 합쳐서 만든 평균적인 운전사"**를 훈련시켰습니다.

• 비유: 식당에서 모든 손님의 입맛을 고려해 '평균적인 맛'의 요리를 내는 것과 같습니다. 매운 것을 좋아하는 사람에게는 너무 싱겁고, 부드러운 것을 좋아하는 사람에게는 너무 자극적일 수 있죠.
• 현실: 사람마다 운전 스타일이 다릅니다. 어떤 이는 과속을 좋아하고, 어떤 이는 차선 변경을 아주 부드럽게 합니다. 하지만 기존 기술은 이런 '개성'을 무시하고 모두에게 똑같은 운전 방식을 적용했습니다.

🛠 2. 해결책: 'Person2Drive'라는 새로운 플랫폼

저자들은 이 문제를 해결하기 위해 Person2Drive라는 세 가지 핵심 도구를 만들었습니다.

① 데이터 수집: "가상 운전 교실"

실제 도로에서 30 명의 일반인을 모아 운전하게 하면 비용도 많이 들고 통제하기 어렵습니다. 그래서 CARLA라는 게임 엔진을 이용해 가상 현실 (VR) 운전 교실을 만들었습니다.

• 비유: 실제 도로가 아니라, 게임처럼 안전한 공간에서 30 명의 참가자가 다양한 상황 (교차로, 고속도로 등) 에서 운전을 하게 했습니다. 이때 스티어링 휠과 페달을 실제처럼 조작하게 하여, 게임 속이지만 진짜 사람의 운전 습관을 그대로 기록했습니다.
• 결과: 같은 사람도 상황에 따라 운전 스타일이 어떻게 변하는지, 사람마다 어떤 차이가 있는지 아주 세밀하게 담은 거대한 데이터베이스를 만들었습니다.

② 평가 기준: "운전 스타일 지문"

"이 운전이 잘했나?"를 판단하는 기준이 필요했습니다. 기존에는 단순히 사고가 났는지 여부만 봤지만, 이제는 **운전 스타일의 '지문'**을 분석합니다.

• 비유: 지문처럼 사람마다 고유한 패턴이 있다는 것입니다. 가속을 얼마나 부드럽게 하는지, 차선 변경을 얼마나 빠르게 하는지 등을 수치화하여 **'스타일 벡터 (Style Vector)'**라는 지문으로 만듭니다.
• 측정: 두 사람의 운전 데이터가 얼마나 비슷한지, 혹은 다른지를 수학적으로 계산하여 (MMDSS, KL 발산 등) "이 운전은 A 씨의 스타일과 90% 비슷하다"라고 정확히 말할 수 있게 되었습니다.

③ 학습 방법: "스타일 맞춤 튜닝"

이제 이 데이터를 이용해 자율주행 AI 를 개인에게 맞게 조정합니다.

• 비유: 기존에 훈련된 AI 는 '평균적인 운전사'입니다. 여기에 **개인별 운전 데이터 (스타일 지문)**를 주고 "너는 A 씨처럼 운전해"라고 가르치는 것입니다.
• 핵심: AI 의 기본 실력 (안전하게 운전하는 능력) 은 해치지 않으면서, 오직 운전하는 '느낌'과 '스타일'만 그 사람의 것으로 바꿉니다. 마치 같은 차를 타더라도, A 씨가 운전하면 A 씨의 스타일로, B 씨가 운전하면 B 씨의 스타일로 변하는 것입니다.

📊 3. 실험 결과: "안전하면서도 개성 있는 운전"

이 시스템을 테스트한 결과는 매우 훌륭했습니다.

• 성공: AI 가 특정 사람의 운전 스타일을 완벽하게 따라 할 수 있게 되었습니다. (예: 급제동을 좋아하는 사람이라면 AI 도 그렇게 운전합니다.)
• 안전: 스타일을 바꾼다고 해서 사고가 나거나 운전 실력이 떨어지지는 않았습니다. 오히려 운전 점수는 더 좋아지기도 했습니다.
• 의미: 이제 자율주행차는 "누군가를 위한 차"가 아니라, **"나를 위한 차"**가 될 수 있는 길이 열렸습니다.

💡 요약

이 논문은 **"자율주행차도 사람처럼 개성이 있어야 한다"**는 메시지를 전합니다.

1. 가상 교실에서 실제 사람의 다양한 운전 습관을 모았습니다.
2. 수학적 지문으로 운전 스타일을 정밀하게 측정했습니다.
3. 맞춤형 학습을 통해 AI 가 각자의 운전 스타일을 자연스럽게 따라 하게 만들었습니다.

앞으로 우리가 타게 될 자율주행차는 단순히 목적지까지 데려다주는 기계가 아니라, 내 운전 습관을 이해하고 맞춰주는 진정한 파트너가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 종단간 자율주행 (E2E-AD) 시스템은 대부분의 운전자를 하나의 평균적인 운전 스타일로 학습하여, 인간의 고유한 운전 습관, 인지 패턴, 성격 차이 등을 반영하지 못합니다. 진정한 개인화된 자율주행 (Personalized E2E-AD) 을 구현하기 위해서는 다음과 같은 세 가지 주요 과제가 존재합니다.

• 데이터 부족: 실제 운전자의 개별적인 스타일 (Individual-level) 이 레이블링된 대규모 폐루프 (Closed-loop) 데이터셋이 부재합니다. 기존 데이터셋은 시뮬레이션 위주이거나, 운전자가 아닌 에이전트 데이터에 의존하며, 개인별 스타일 변이를 포착하지 못합니다.
• 평가 지표 부재: 개별 운전 스타일을 정량적으로 측정하고 비교할 수 있는 표준화된 지표를缺乏합니다.
• 알고리즘 한계: 사용자의 궤적 데이터로부터 직접적인 스타일 표현 (Stylized representation) 을 학습하고, 이를 안전하면서도 개인화된 주행에 적용하는 통합된 종단간 프레임워크가 없습니다.

2. 제안 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 Person2Drive라는 종합적인 플랫폼과 벤치마크를 제안했습니다. 이는 데이터 수집, 평가, 적응 (Adaptation) 의 세 단계로 구성됩니다.

2.1. 개인별 운전 데이터 수집 (Personal Driving Data Collection)

• 시스템: CARLA 시뮬레이터를 기반으로 한 저비용, 확장 가능한 오픈소스 데이터 수집 시스템을 개발했습니다.
• 환경: 실제 운전 환경을 모사하기 위해 고정된 2D 내비게이션 맵, 후면 거울, Logitech G29 스티어링 휠 및 페달 세트를 사용하여 인간-인-루프 (Human-in-the-loop) 환경을 구축했습니다.
• 데이터셋 (Person2Drive): 30 명의 운전자가 동일한 1km 구간을 반복 주행하며 수집된 대규모 데이터셋입니다.
  • 특징: 다중 모달 센서 (LiDAR, 6 개 카메라, 5 개 레이더 등) 데이터와 운전자의 신원 (Identity) 레이블을 포함합니다.
  • 혁신: 기존 데이터셋과 달리, 동일한 운전자가 다양한 시나리오에서 여러 번 주행한 데이터를 포함하여 '개인 내 (Intra-driver)' 일관성과 '개인 간 (Inter-driver)' 스타일 차이를 정밀하게 분석할 수 있도록 설계되었습니다.

2.2. 운전 스타일 평가 (Driving Style Evaluation)

• 스타일 벡터 (Style Vectors): 차량 제어 파라미터와 운전 행동 데이터를 기반으로 10 가지 주요 스타일 지표를 추출합니다. 이는 중앙값 정규화 (Median Normalization) 와 분산 기반 판별력을 통해 개인 간 차이를 극대화하도록 설계되었습니다.
• 정량적 지표:
  • MMDSS (Maximum Mean Discrepancy Similarity Score): 분포 수준의 거리인 MMD 를 기반으로 한 유사도 점수 (0~1) 로, 운전 스타일의 일관성과 차이를 정량화합니다.
  • KL Divergence: 두 스타일 분포 간의 차이를 측정하는 보조 지표입니다.
  • 시나리오별 정규화: 서로 다른 도로 환경 (고속도로 vs 도시) 에 따른 스타일 편향을 보정하기 위해 시나리오별 정규화를 적용합니다.

2.3. 개인별 운전 스타일 적응 (Personal Driving Style Adaptation)

• 3 단계 학습 프레임워크:
  1. 기본 E2E 모델 학습: DiffusionDrive 를 기반으로 한 기본 주행 모델 학습.
  2. 스타일 모델링: 궤적 데이터를 입력받아 해당 운전자의 스타일 벡터를 예측하는 **학습 가능한 보상 모델 (Reward Model)**을 구축합니다.
  3. 개인 스타일 유도 미세 조정 (Personal Style-Guided Finetuning): 보상 모델을 활용하여, 기본 모델의 최종 예측 헤드 (Trajectory Planner) 만을 미세 조정합니다.
• 핵심 메커니즘: 예측된 궤적을 보상 모델을 통해 스타일 벡터로 변환한 후, 실제 운전자의 GT(Ground Truth) 스타일 벡터와 MSE 손실 함수로 정렬합니다. 이를 통해 주행 성능을 저하시키지 않으면서도 운전자의 고유한 스타일을 모델에 주입합니다.

3. 주요 기여 (Key Contributions)

1. Person2Drive 데이터셋 및 플랫폼: 개인별 스타일 분석을 위한 최초의 대규모 폐루프 종단간 데이터셋과 오픈소스 수집 시스템을 공개했습니다.
2. 정량적 평가 체계: MMDSS 와 KL 발산을 도입하여 운전 스타일의 유사성과 차이를 정량적으로 평가할 수 있는 표준을 제시했습니다.
3. 효율적 개인화 알고리즘: 전체 모델을 재학습하지 않고, 보상 모델을 통한 스타일 정렬 손실 (Alignment Loss) 만으로 안전하고 개인화된 주행이 가능한 경량 미세 조정 프레임워크 (PDSA) 를 제안했습니다.

4. 실험 결과 (Results)

• 스타일 평가 유효성: Person2Drive 데이터셋에서 개인 내 (Intra-person) MMDSS 는 0.9267 로 매우 높게 나타나 운전자의 일관성을 보였으며, 개인 간 (Inter-person) MMDSS 는 0.6545 로 낮아 스타일 구분이 명확함을 입증했습니다.
• 보상 모델 성능: 제안된 보상 모델이 실제 운전자의 스타일 벡터를 매우 정확하게 예측함을 확인했습니다 (MMDSS 차이 최소화).
• 적응 성능 (PDSA):
  • PDSA 를 적용한 모델은 기준 모델 (Benchmark) 대비 평균 MMDSS 가 0.6652 에서 0.6840 으로 향상되어 개인 스타일과의 일치도가 높아졌습니다.
  • 안전성 유지: 스타일 적응 후에도 주행 성공률 (Success Rate) 은 98.9% 에서 98.2% 로 거의 변하지 않았으며, 주행 점수 (Driving Score) 는 오히려 14.56 점 상승하여 안전성과 개인화가 동시에 달성됨을 증명했습니다.
  • 시각화: 변속, 차선 변경, 정차 후 추종 (Following) 등 구체적인 주행 동작에서 실제 운전자의 스타일을 잘 모방함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행이 단순히 '안전한' 주행을 넘어 '개인의 취향과 스타일을 반영한' 인간 중심의 시스템으로 발전해야 함을 강조합니다.

• 연구 기반 마련: 개인화된 E2E-AD 연구를 위한 최초의 통합 벤치마크와 데이터셋을 제공하여 재현 가능한 연구 환경을 조성했습니다.
• 실용적 솔루션: 기존 모델의 성능을 해치지 않으면서도 효율적으로 개인화를 구현할 수 있는 방법을 제시하여, 향후 신뢰할 수 있는 인간 중심 자율주행 시스템 개발의 토대가 됩니다.
• 향후 전망: 더 강력한 기본 주행 모델과 결합될 경우, 안전 오버라이드에 의존하지 않고 더욱 자유롭고 자연스러운 개인별 주행 스타일 표현이 가능해질 것으로 기대됩니다.

요약하자면, Person2Drive는 "천 가지 얼굴 (다양한 운전 스타일)"을 가진 인간 운전자의 행동을 데이터, 평가, 알고리즘 측면에서 체계적으로 다루어, 진정한 의미의 개인화된 자율주행 실현을 위한 중요한 이정표가 되는 연구입니다.