Risk-Aware World Model Predictive Control for Generalizable End-to-End Autonomous Driving

이 논문은 전문가 시연에 의존하지 않고 위험 인식 세계 모델을 통해 다양한 시나리오에서 안전하고 일반화 가능한 자율주행 결정을 내리는 통합 프레임워크인 RaWMPC 를 제안합니다.

핵심

이 논문은 **"자율주행차가 전문가의 운전 기록을 보지 않아도, 스스로 위험을 예측하고 안전하게 운전할 수 있을까?"**라는 질문에 대한 답을 제시합니다.

기존의 자율주행 기술은 마치 유치원생이 선생님의 시범을 따라 하는 것과 비슷했습니다. 전문가가 어떻게 운전하는지 수많은 데이터를 보여주고, 그걸 그대로 따라 하도록 학습시켰죠. 하지만 문제는, 선생님이 가르쳐주지 않은 생소한 상황 (예: 갑자기 튀어나온 동물, 이상한 날씨, 예외적인 도로 상황) 이 발생하면, 차는 당황해서 위험한 실수를 저지르기 쉽다는 점입니다.

이 논문은 이 문제를 해결하기 위해 **RaWMPC**라는 새로운 시스템을 제안합니다. 이를 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 기존 방식 vs 새로운 방식: "따라하기" vs "예측하기"

• 기존 방식 (모방 학습):

  • 비유: "선생님이 어떻게 운전하는지 영상으로 100 시간 동안 봤으니, 나도 똑같이 따라 할게!"
  • 문제점: 선생님이 겪지 않은 상황 (예: 비가 오는데 갑자기 차가 튀어나옴) 이면, "선생님은 이럴 때 어떻게 했지?"라고 답을 찾을 수 없어 당황합니다.

• 새로운 방식 (RaWMPC):

  • 비유: "선생님의 영상을 안 봐도 돼. 대신 **'만약 내가 이렇게 운전하면 어떻게 될까?'**를 머릿속으로 시뮬레이션해 보는 거야."
  • 핵심: 차는 스스로 여러 가지 운전 방법 (예: 급제동, 우회전, 정지 등) 을 상상하고, 각각의 결과가 어떻게 될지 미래를 예측한 뒤, 가장 안전한 방법을 선택합니다.

2. 핵심 기술 1: "위험한 경험을 아예 의도적으로 만들어보는 훈련"

이 시스템의 가장 독특한 점은 위험한 상황을 피하지 않고, 오히려 적극적으로 경험해본다는 것입니다.

• 비유: "비행기 조종사가 훈련할 때, 고장 나거나 추락할까 봐 무서워서 훈련을 안 하면 안 되죠. 그래서 안전한 시뮬레이터 안에서 일부러 고장 나거나 추락하는 상황을 만들어보며 '아, 이렇게 하면 추락하구나!'라고 배우는 거예요."
• 원리: RaWMPC 는 초기에는 안전하고 위험한 모든 운전 행동을 무작위로 시도해 봅니다. 그중에서 위험한 결과 (충돌, 도로 이탈 등) 를 가져오는 행동을 의도적으로 많이 경험하게 하여, "이런 행동은 절대 하면 안 된다"는 것을 스스로 깨닫게 합니다. 이를 통해 전문가의 데이터가 없어도, 위험한 상황을 미리 예측하고 피할 수 있는 능력을 키웁니다.

3. 핵심 기술 2: "스스로를 평가하는 코치 (자기 평가 증류)"

미래를 예측하는 능력 (세계 모델) 을 키운 후, 실제 운전할 때 매번 복잡한 계산을 하는 건 너무 느립니다. 그래서 더 빠른 '운전 제안자'를 만듭니다.

• 비유: "위험을 예측할 줄 아는 **고수 코치 (세계 모델)**가 있습니다. 이 코치는 수많은 운전 시나리오를 보고 "이건 위험해, 저건 안전해"라고 점수를 매깁니다. 이제 이 코치가 **초보 운전사 (실제 제어기)**에게 "이런 행동은 안전해, 저건 위험해"라고 가르쳐주는 거죠.
• 효과: 초보 운전사는 코치의 가르침을 받아, 전문가의 영상을 보지 않아도 스스로 안전한 운전 방법을 찾아낼 수 있게 됩니다.

4. 실제 성과: "비 오는 날의 시험"

연구진은 이 시스템이 비가 오는 날처럼 훈련할 때 보지 못했던 상황에서도 얼마나 잘 작동하는지 테스트했습니다.

• 결과: 기존 방식들은 비가 오면 앞차나 보행자를 제대로 못 보고 사고를 냈지만, RaWMPC 는 **"비가 오면 시야가 안 좋으니 더 조심해서 천천히 가자"**라고 스스로 판단하여 사고를 막았습니다.
• 이유: 단순히 "선생님이 그랬다"를 외운 게 아니라, **"위험한 상황을 미리 상상하고 피하는 법"**을 배웠기 때문입니다.

---

요약: 이 논문이 왜 중요한가요?

지금까지 자율주행차는 전문가의 운전 기록 (데이터) 에 너무 의존했습니다. 하지만 세상은 너무 다양해서 모든 상황을 기록할 수 없습니다.

이 논문은 **"데이터가 없어도, 스스로 위험을 예측하고 피할 수 있는 지능"**을 개발했습니다. 마치 스스로 사고를 경험하며 배우는 아이처럼, 위험한 상황을 미리 상상하고 안전한 길을 선택하는 시스템을 만든 것입니다. 이는 앞으로 자율주행차가 더 복잡한 현실 세계에서 안전하게 달릴 수 있는 중요한 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 시뮬레이션 학습 (Imitation Learning, IL) 과 대규모 주행 데이터의 발전으로 종단간 자율 주행 (E2E-AD) 이 크게 진전되었습니다. 그러나 기존 IL 기반 방법론들은 전문가 (Expert) 의 주행 행동을 모방하는 데 초점을 맞추고 있어 다음과 같은 근본적인 한계를 가집니다.

• 일반화 부족 (Generalization Dilemma): 전문가 시연 데이터에 포함되지 않은 희귀하거나 보이지 않는 장미꼬리 (Long-tail) 시나리오 (예: 갑작스러운 장애물, 비정상적인 교통 상황) 에 직면했을 때, 모델은 사전 경험이 없어 안전하지 않은 결정을 내리기 쉽습니다.
• 안전성 보장 부재: "전문가처럼 운전한다"는 목표는 위험한 상황을 피하는 능동적인 학습보다는 기존 행동 패턴의 복제에 그칩니다.
• 해석 가능성 부족: 단일 행동을 출력할 뿐, 대안 행동들의 결과를 명시적으로 평가하여 위험을 회피하는 과정을 보여주지 못합니다.

이에 저자들은 **"전문가 행동 감독 없이도 E2E-AD 시스템이 위험한 행동을 학습하고 능동적으로 회피할 수 있는가?"**라는 질문을 던지며, 전문가 시연 데이터에 의존하지 않는 새로운 프레임워크를 제안합니다.

2. 제안 방법론: RaWMPC (Methodology)

저자는 **위험 인식 세계 모델 예측 제어 (Risk-aware World Model Predictive Control, RaWMPC)**라는 통합 프레임워크를 제안합니다. 이 방법은 전문가 시연 없이도 환경 상호작용을 통해 위험을 학습하고, 예측된 결과를 기반으로 안전한 행동을 선택합니다.

2.1 핵심 구성 요소

1. 위험 인식 세계 모델 (Risk-aware World Model):

   • 현재 관측 상태와 여러 후보 행동 (Candidate Actions) 을 입력받아 미래 상태 (시맨틱 분할, 교통 이벤트, 차량 상태 등) 를 예측합니다.
   • 의도적 위험 노출 전략: 모델이 위험한 상황 (충돌, 오프로드 등) 을 예측할 수 있도록, 학습 과정에서 안전하고 목표 지향적인 행동뿐만 아니라 **고위험 행동 (Bad rollouts)**을 의도적으로 수집하여 세계 모델을 훈련시킵니다. 이를 통해 재앙적인 결과가 예측 가능하고 회피 가능하도록 만듭니다.

2. 예측 제어 (Predictive Control):

   • 학습된 세계 모델을 사용하여 여러 후보 행동 시퀀스의 미래 결과를 시뮬레이션 (Rollout) 합니다.
   • 각 행동의 진행 상황 (Target Progress) 과 위험도 (충돌, 오프로드, 신호 위반 등) 를 기반으로 **비용 함수 (Cost Function)**를 계산합니다.
   • 예측된 비용이 가장 낮은 (위험이 가장 적은) 행동을 선택합니다. 이는 단일 행동 모방이 아닌, 명시적인 위험 평가를 통한 의사결정입니다.

3. 자기 평가 증류 (Self-Evaluation Distillation):

   • 테스트 시간 (Test-time) 에 세계 모델을 직접 실행하는 것은 계산 비용이 높습니다. 이를 해결하기 위해, 잘 훈련된 세계 모델을 "자기 평가자 (Self-evaluator)"로 활용합니다.
   • 세계 모델이 평가한 안전/위험 행동 라벨을 사용하여 생성형 행동 제안 네트워크 (Generative Action Proposal Network, cVAE 기반) 를 훈련합니다.
   • 대조 학습 (Contrastive Learning): 낮은 비용 (안전) 행동은 양 (+) 샘플로, 높은 비용 (위험) 행동은 음 (-) 샘플로 사용하여 제안 네트워크가 위험한 행동을 생성하지 않도록 학습시킵니다.

2.2 학습 파이프라인

• 오프라인 웜업 (Optional): 소량의 로그된 주행 데이터로 세계 모델의 기본 상태 예측 능력을 초기화합니다. (전문가 행동 모방이 아닌 상태 전이 학습).
• 온라인 상호작용 학습: 시뮬레이터 (CARLA 등) 에서 위험 인식 샘플링 전략 (랜덤, 고비용/위험 행동, 저비용/안전 행동) 을 통해 모델을 정제합니다.
• 증류: 훈련된 세계 모델의 지식을 경량화된 행동 제안 네트워크로 전달하여 실시간 추론 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 전문가 제로 (Zero-Expert) 프레임워크: RaWMPC 는 전문가 행동 레이블 없이도 환경 상호작용만으로 위험을 학습하고 예측 제어하는 최초의 E2E-AD 프레임워크 중 하나입니다.
2. 위험 인식 상호작용 학습 전략: 전문가 데이터 없이도 세계 모델이 희귀하고 치명적인 사고 상황을 예측할 수 있도록 고위험 행동을 의도적으로 탐색하는 학습 전략을 고안했습니다.
3. 자기 평가 증류 기법: 전문가 데이터 없이도 세계 모델의 위험 회피 능력을 생성형 정책 네트워크로 증류하여, 테스트 시 효율적이고 안전한 후보 행동을 생성합니다.
4. 해석 가능성 및 신뢰성 향상: 단일 행동 추정이 아닌, 여러 행동의 미래 결과를 명시적으로 비교하고 평가하는 과정을 통해 의사결정의 투명성과 신뢰성을 높였습니다.

4. 실험 결과 (Results)

Bench2Drive (CARLA 시뮬레이터) 와 NAVSIM (실제 데이터 기반) 벤치마크에서 기존 최첨단 (SOTA) 방법들과 비교 평가되었습니다.

• 성능 우위:

  • Bench2Drive: RaWMPC (웜업 포함) 는 Driving Score (DS) 88.31, **성공률 (SR) 70.48%**를 기록하여 기존 IL 및 RL 기반 방법 (HiP-AD, SimLingo 등) 을 모두 능가했습니다.
  • NAVSIM: PDMS 점수 91.3으로 모든 학습 기반 방법 중 최고 성능을 달성했습니다.
  • 웜업 없이도 우수: 전문가 데이터 없이 처음부터 학습한 경우 (w/o Warm-up) 에도 기존 SOTA 방법들보다 우수한 성능을 보였습니다 (Bench2Drive DS 87.34).

• 도메인 적응성 (Generalization under Domain Shift):

  • 날씨 변화 실험: 맑은 날 (Sunny) 데이터로만 학습하고 비 오는 날 (Rainy) 에 테스트한 결과, 기존 시뮬레이션 학습 (IL) 방법들은 성능이 급격히 떨어졌으나, RaWMPC 는 가장 높은 DS 와 SR을 유지하며 뛰어난 일반화 능력을 입증했습니다.
  • 이는 RaWMPC 가 특정 환경의 외관 (Appearance) 에 의존하기보다, 위험 회피라는 보편적인 원칙을 학습했기 때문입니다.

• Ablation Study:

  • 예측 제어 (Predictive Control) 와 위험 인식 샘플링 전략이 성능 향상에 결정적임을 확인했습니다.
  • 시맨틱 가이드 (Semantic Guidance) 가 없는 경우 위험 예측 정확도가 떨어져 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 주행 분야에서 "전문가 행동의 단순 모방"에서 "위험 인식 및 예측 기반의 능동적 제어"로의 패러다임 전환을 제시합니다.

• 안전성: 희귀하고 위험한 시나리오 (Long-tail cases) 에서도 전문가 데이터가 없더라도 안전 margins 을 유지하며 운전할 수 있는 능력을 입증했습니다.
• 실용성: 고비용인 실제 세계의 전문가 주행 데이터 수집에 대한 의존도를 크게 낮출 수 있으며, 시뮬레이션 기반 학습을 통해 실제 배포 (Sim-to-Real) 가능성을 높였습니다.
• 해석 가능성: "왜 이 행동을 선택했는가?"에 대해 미래 시나리오와 위험 평가를 통해 명확한 근거를 제시함으로써, 자율 주행 시스템의 신뢰성을 높이는 데 기여합니다.

결론적으로 RaWMPC 는 데이터 효율성과 안전성, 그리고 일반화 능력을 동시에 만족시키는 차세대 종단간 자율 주행 솔루션으로 평가됩니다.