CarPLAN: Context-Adaptive and Robust Planning with Dynamic Scene Awareness for Autonomous Driving

이 논문은 자율주행의 모방 학습 기반 계획 성능을 향상시키기 위해 미래 변위 예측을 통한 공간 인식 강화와 다양한 주행 상황에 적응하는 다중 전문가 디코더를 도입한 'CarPLAN' 프레임워크를 제안하고, nuPlan 및 Waymax 벤치마크에서 최첨단 성능을 입증합니다.

핵심

🚗 CarPLAN: 상황 파악이 뛰어난 '초능력 운전 기사'

기존의 자율주행 프로그램들은 단순히 "사람이 어떻게 운전했는지"를 복사해서 배우는 경우가 많았습니다. 하지만 문제는, 사람이 실수해서 위험한 길로 들어가는 것을 그대로 따라 하면 안 된다는 점입니다.

CarPLAN 은 단순히 길을 따라가는 게 아니라, **"지금 내 차와 주변 차, 보행자, 도로 경계선 사이의 거리가 어떻게 변할지"**를 미리 상상하고 판단하는 능력을 키웠습니다.

1. 핵심 기술 1: "주변과의 거리 감각"을 키우는 훈련 (DPE)

비유: "친구와의 거리를 재는 눈"

기존 프로그램은 "앞차가 어디로 갈지"만 예측했습니다. 하지만 CarPLAN 은 **"내 차와 앞차, 그리고 길가 보도블록 사이의 거리가 1 초 뒤, 2 초 뒤에 어떻게 변할지"**를 미리 계산하도록 훈련시켰습니다.

• 어떻게 작동할까요?
  훈련할 때, AI 는 "내 차가 앞으로 3 초 뒤에는 옆 차와 얼마나 멀어질까?"라는 질문을 스스로에게 던집니다. 이걸 통해 AI 는 단순히 차를 따라가는 게 아니라, **주변 환경과의 '관계'와 '간격'**을 이해하게 됩니다.
• 효과:
  마치 운전할 때 "저 차가 너무 가까우니까 살짝 피해야지"라고 직관적으로 느끼는 것처럼, AI 도 주변 사물과의 거리를 정밀하게 계산해 충돌을 미리 막아냅니다. (이 훈련은 실제 운전 중에는 사라지고, AI 의 '직관'만 남습니다.)

2. 핵심 기술 2: 상황에 맞는 '전문가 팀'이 운전대를 잡는다 (MoE)

비유: "상황별 맞춤 전문가 팀"

기존의 자율주행 프로그램은 단 하나의 두뇌로 모든 상황을 처리하려 했습니다. 하지만 "비 오는 날의 고속도로"와 "사람이 붐비는 학교 앞"은 완전히 다른 운전 전략이 필요합니다. 하나의 두뇌로 모든 걸 다 잘할 수는 없죠.

CarPLAN 은 **여러 명의 전문가 (Expert)**로 구성된 팀을 꾸렸습니다.

• 전문가 1: 빗길 운전 전문가
• 전문가 2: 복잡한 교차로 전문가
• 전문가 3: 보행자가 많은 시내 주행 전문가

**'라우터 (Router)'**라는 관리자가 현재 상황을 보고, **"지금 상황엔 전문가 2 번이 가장 잘할 것 같아!"**라고 바로 팀을 바꿉니다.

• 효과:
  복잡한 상황에서도 가장 적합한 전문가가 운전대를 잡기 때문에, 평소에는 부드럽게, 위험한 상황에서는 날카롭게 대처할 수 있습니다.

---

🏆 왜 이 기술이 중요한가요? (실제 성과)

이 기술은 세계적인 자율주행 평가 대회인 **'nuPlan'**과 **'Waymax'**에서 기존 최고 기술들보다 훨씬 좋은 성적을 냈습니다.

1. 안전성 UP: 다른 차나 보행자와의 거리를 정확히 계산해서 충돌을 훨씬 잘 피합니다.
2. 유연성 UP: 예상치 못한 복잡한 상황 (예: 갑자기 튀어나온 보행자, 급정거하는 앞차) 에서도 당황하지 않고 상황에 맞는 결정을 내립니다.
3. 실시간성: 전문가 팀을 돌리는 방식이지만, 컴퓨터가 처리하는 속도가 매우 빨라 실시간 운전에도 전혀 지장이 없습니다.

💡 한 줄 요약

CarPLAN은 단순히 "사람이 운전한 길을 따라가는" 로봇이 아니라, "주변과의 거리를 미리 계산하고, 상황에 따라 가장 적합한 전문가를 불러와 운전하는" 똑똑한 자율주행 시스템입니다. 마치 경험 많은 베테랑 운전 기사처럼, 상황마다 유연하게 대처하며 우리를 안전하게 목적지까지 데려다주는 기술이라고 보시면 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

자율주행 차량 (AV) 의 안전한 주행은 복잡하고 역동적인 교통 환경에서의 견고한 운동 계획 (Motion Planning) 에 달려 있습니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 시뮬레이션과 실제의 괴리: 기존의 모방 학습 (Imitation Learning, IL) 기반 계획기는 단순히 인간 전문가의 궤적 (Ground Truth) 과 예측 궤적 간의 거리 (Imitation Loss) 를 최소화하는 데 집중합니다. 그러나 이는 충돌 회피나 도로 경계 준수와 같은 실제 안전 요구사항과 항상 일치하지 않습니다. (예: L1 손실은 낮지만 차선을 이탈하거나 충돌하는 궤적 생성)
• 맥락 이해의 부족: 많은 기존 IL 기반 계획기는 주변 객체 (차량, 보행자 등) 의 독립적인 미래 위치 예측에만 의존하며, AV 와 주변 환경 요소 간의 상대적 공간 관계 (Relational Spacing) 를 충분히 모델링하지 못합니다.
• 단일 정책의 한계: 하나의 고정된 정책 네트워크를 사용하여 모든 주행 상황을 처리하려 하기 때문에, 다양한 교통 상황 (예: 복잡한 교차로, 갑작스러운 보행자 출현 등) 에 따라 적응적인 의사결정을 내리기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 CarPLAN을 제안하며, 이는 주행 맥락 (Context) 을 정교하게 이해하고 다양한 상황에 적응적으로 계획할 수 있는 새로운 IL 기반 프레임워크입니다. CarPLAN 은 크게 두 가지 핵심 모듈로 구성됩니다.

A. Displacement-Aware Predictive Encoder (DPE)

• 목적: AV 와 주변 환경 요소 간의 상대적 거리 (Relative Spacing) 에 대한 공간 인식 능력을 향상시킵니다.
• 작동 원리:
  • 현재 시점의 AV 와 주변 객체 (동적 객체 및 정적 맵 요소) 간의 미래 변위 벡터 (Future Displacement Vectors) 를 예측하도록 훈련됩니다.
  • Displacement-Aware Predictive Loss: 예측된 변위 벡터와 실제 변위 벡터 간의 오차를 최소화하는 자기지도 학습 (Self-supervised) 손실 함수를 추가합니다. 이는 모델이 궤적 생성 시 다른 객체와의 상대적 거리를 고려하도록 유도합니다.
  • 특징: 이 예측 과정은 학습 단계 (Training) 에서만 수행되며, 추론 (Inference) 단계에서는 활성화되지 않아 추가적인 연산 부하를 발생시키지 않습니다.

B. Context-Adaptive Multi-Expert Decoder (CMD)

• 목적: 다양한 주행 맥락에 적응적으로 대응하기 위해 전문가 혼합 (Mixture of Experts, MoE) 프레임워크를 도입합니다.
• 작동 원리:
  • Scene-Aware Router: 현재 장면의 구조 (Displacement-Aware Features) 와 궤적 쿼리 (Trajectory Query) 를 분석하여, 가장 적합한 Top-K 개의 Routed Experts를 동적으로 선택합니다.
  • Scene-Specific Experts:
    • Routed Experts: 특정 시나리오에 특화된 네트워크로, 현재 상황에 맞는 전략을 수립합니다.
    • Shared Experts: 모든 상황에 공통적으로 적용되는 일반적인 주행 패턴을 학습합니다.
  • 적응적 계획: Router 가 선택한 전문가들과 공유 전문가들의 출력을 결합하여, 현재 상황에 최적화된 다중 모드 (Multi-modal) 미래 궤적을 생성합니다.

3. 주요 기여 (Key Contributions)

1. DPE (Displacement-Aware Predictive Encoder) 도입: AV 와 주변 객체 간의 미래 변위 벡터를 예측하는 자기지도 학습 목표를 통해, 모델이 주행 중 상대적 거리를 명시적으로 인식하도록 하여 안전성을 높였습니다.
2. CMD (Context-Adaptive Multi-Expert Decoder) 설계: MoE 아키텍처를 활용하여 다양한 교통 상황 (예: 고속도로 주행, 복잡한 도시 교차로 등) 에 맞춰 동적으로 전문가 네트워크를 선택함으로써, 단일 정책의 한계를 극복하고 적응적 의사결정을 가능하게 했습니다.
3. SOTA 성능 달성: nuPlan 및 Waymax 벤치마크에서 기존 최첨단 (State-of-the-Art) 방법론들을 압도하는 성능을 기록했습니다.

4. 실험 결과 (Results)

연구진은 nuPlan 및 Waymax 벤치마크를 통해 CarPLAN 을 평가했습니다.

• nuPlan 벤치마크:
  • Val14: CLS-NR(비반응형) 91.4 점, CLS-R(반응형) 84.6 점으로 기존 최상위 모델 (Diffusion-Planner, BeTopNet 등) 을 능가했습니다.
  • Test14-Hard: 복잡하고 어려운 시나리오에서도 78.9 점 (CLS-NR) 을 기록하며 강력한 견고성 (Robustness) 을 입증했습니다.
  • ABLATION Study: DPE 와 CMD 를 모두 적용했을 때 베이스라인 대비 CLS-NR 점수가 3.1 포인트 향상되었으며, 충돌 회피 (Colli) 와 주행 가능 영역 준수 (DAC) 지표에서도 큰 개선을 보였습니다.
• Waymax 벤치마크:
  • 다른 데이터셋에서도 일관된 성능 향상을 보이며, 모델의 일반화 능력 (Generalization) 이 뛰어남을 입증했습니다.
• 효율성:
  • DPE 는 추론 시 비활성화되므로, MoE 구조로 인한 추가 연산량 (FLOPs) 이 약 1.08G 수준으로 제한적이며, 약 15 FPS 의 실시간 추론이 가능합니다.

5. 의의 및 결론 (Significance)

CarPLAN 은 자율주행 운동 계획 분야에서 맥락 이해 (Context Understanding) 와 적응적 계획 (Adaptive Planning) 의 중요성을 강조합니다.

• 안전성 강화: 단순히 인간 궤적을 모방하는 것을 넘어, 주변 환경과의 상대적 관계를 예측하고 이를 계획에 반영함으로써 충돌 위험을 줄이고 안전 마진을 확보합니다.
• 유연한 대응: MoE 구조를 통해 다양한 주행 시나리오에 맞춰 최적의 전문가 네트워크를 선택함으로써, 복잡한 도시 환경에서도 인간과 유사한 유연하고 안전한 주행 결정을 내릴 수 있습니다.
• 미래 전망: 현재 연구는 완벽한 인식 (Perfect Perception) 을 가정하고 있으나, 향후 인식 모듈과 결합된 엔드 - 투 - 엔드 (End-to-End) 자율주행 시스템으로 확장하고, AV 의 행동에 따른 미래 공간 관계의 변화를 예측하는 액션 조건부 월드 모델로 발전시킬 계획입니다.

요약하자면, CarPLAN 은 상대적 거리 예측 (DPE) 과 상황 적응형 전문가 네트워크 (CMD) 를 결합하여, 기존 모방 학습 기반 계획기의 한계를 극복하고 안전하고 견고한 자율주행 계획을 실현한 획기적인 연구입니다.