LAP: Fast LAtent Diffusion Planner for Autonomous Driving

이 논문은 VAE 기반의 잠재 공간에서 고수준 의도와 저수준 운동학을 분리하고 단일 디노이징 단계를 통해 추론 속도를 최대 10 배 향상시키면서도 nuPlan 벤치마크에서 학습 기반 계획 방법 중 최상의 폐루프 성능을 달성하는 'LAP(LAtent Planner)' 프레임워크를 제안합니다.

핵심

LAP: 자율주행차를 위한 '스마트한 미래 예측기'

이 논문은 자율주행차가 복잡한 도로에서 어떻게 더 빠르고 똑똑하게 길을 찾을 수 있는지에 대한 새로운 방법, **LAP(LAtent Planner)**를 소개합니다.

기존의 방식이 가진 두 가지 큰 문제점을 해결하기 위해 고안된 이 기술은 **"빠른 속도"**와 **"다양한 상황 대처 능력"**을 동시에 잡았습니다.

---

1. 기존 방식의 문제점: "너무 많은 잡음과 느린 계산"

기존의 자율주행 AI들은 미래의 경로를 예측할 때 두 가지 큰 고민이 있었습니다.

• 문제 1: 너무 많은 세부사항에 집중함 (저수준 운동학의 함정)

  • 비유: 마치 새로운 집을 설계할 때, 벽돌 하나하나의 질감이나 시멘트 혼합 비율까지 계산하느라, 전체적인 집의 구조나 디자인을 생각할 시간이 없는 상황입니다.
  • AI가 도로 위의 모든 점 (좌표) 을 하나하나 예측하려다 보니, "차량이 어떻게 움직이는지"라는 물리 법칙 같은 기본 사항에 에너지를 다 써버리고, "앞차에 끼어들어야 할지, 멈춰야 할지" 같은 중요한 전략적 판단을 놓치게 됩니다.

• 문제 2: 계산이 너무 느림 (반복적인 샘플링)

  • 비유: 그림을 그릴 때, 완벽한 그림을 그리기 위해 100 번이나 수정을 거치는 화가처럼, AI 가 경로를 결정하기 위해 수많은 시뮬레이션을 반복해야 했습니다. 이는 자율주행차가 실시간으로 결정을 내리기에는 너무 느립니다.

---

2. LAP 의 해결책: "요약본으로 생각하기"

LAP 는 이 문제를 해결하기 위해 **'잠재 공간 (Latent Space)'**이라는 개념을 도입했습니다.

🧠 핵심 아이디어: "요약본 (Latent) 으로 생각하기"

• 비유: 복잡한 소설 원고 (원시 데이터) 를 읽느라 시간을 다 보내는 대신, **핵심 줄거리만 담은 요약본 (잠재 공간)**을 만들어서 이야기를 이해하는 것과 같습니다.
• LAP 는 먼저 **VAE(변분 오토인코더)**라는 도구를 사용해, 복잡한 도로 상황과 차량의 움직임을 **'전략적 요약본'**으로 압축합니다.
  • 이 요약본에는 "앞차에 끼어들기", "우회전하기", "멈추기" 같은 **고차원적인 의도 (Intent)**만 남고, 불필요한 세부 좌표는 제거됩니다.
• AI 는 이제 이 간결한 요약본 위에서 계획을 세우기 때문에, 물리 법칙 같은 기본 사항을 다시 계산할 필요 없이 전략과 의사결정에만 집중할 수 있습니다.

⚡ 속도 향상: "한 번에 완성하기"

• 비유: 기존 방식이 100 번의 수정을 거친 뒤 그림을 완성했다면, LAP 는 단 1~2 번의 붓질로 거의 완벽한 그림을 그려냅니다.
• 요약본 (잠재 공간) 이 깔끔하고 정제되어 있기 때문에, AI 는 복잡한 반복 계산 없이도 순간적으로 최적의 경로를 생성할 수 있습니다. 이로 인해 기존 기술보다 최대 10 배 빠른 속도를 달성했습니다.

---

3. LAP 의 추가적인 기술: "선생님과 학생의 멘토링"

LAP 는 단순히 요약본만 사용하는 것이 아니라, 정교한 학습 방법도 함께 도입했습니다.

• 세밀한 특징 정렬 (Feature Alignment):
  • 비유: **유능한 선생님 (기존의 정교한 AI)**이 학생 (LAP) 을 가르칠 때, 학생이 중간 단계에서 실수하지 않도록 정답의 핵심 포인트를 알려주는 것입니다.
  • LAP 는 학습 과정에서 '선생님 AI'가 도로 상황과 차량의 상호작용을 어떻게 이해하는지 그 중간 과정의 특징을 따라 배웁니다. 이를 통해 AI 는 추상적인 요약본만으로는 놓칠 수 있는 **도로의 미세한 규칙 (차선, 보행자 등)**까지 정확히 이해하게 됩니다.

---

4. 요약: 왜 LAP 가 중요한가요?

1. 똑똑한 판단: 복잡한 도로 상황에서도 "무엇을 할지 (전략)"에 집중하여, **다양한 상황 (다중 모드)**을 유연하게 처리합니다. (예: 끼어들기 vs 멈추기 등 여러 선택지를 동시에 고려)
2. 초고속 반응: 불필요한 계산을 줄여 실시간으로 결정을 내릴 수 있게 되었습니다.
3. 안전성: 실제 도로 시뮬레이션 (nuPlan) 에서 기존 최고의 기술들보다 더 높은 점수를 받으며, 인간 운전수 못지않은 성능을 보여줍니다.

결론적으로, LAP 는 자율주행차가 "세부 사항에 매몰되지 않고, 핵심 전략을 빠르게 파악하여 즉각적으로 행동할 수 있도록" 도와주는 혁신적인 기술입니다. 마치 복잡한 미로에서 길을 찾을 때, 지도의 모든 골목길까지 외우지 않고 핵심 지점만 기억하는 현명한 나침반을 손에 넣은 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

자율주행 분야에서 확산 모델 (Diffusion Models) 은 인간의 운전 행동을 모델링하는 데 탁월한 능력을 보여주지만, 기존 접근 방식에는 두 가지 주요 한계가 존재합니다.

1. 높은 지연 시간 (High Latency): 확산 모델의 반복적인 샘플링 과정 (iterative sampling) 으로 인해 실시간 계획 (planning) 에 필요한 낮은 지연 시간을 달성하기 어렵습니다.
2. 의미론적 불일치 및 비효율성 (Semantic Misalignment & Inefficiency): 기존 방법들은 원시 궤적 포인트 (raw trajectory waypoints) 를 직접 모델링합니다. 이는 모델이 고수준의 전략적 의사결정 (다중 모드 행동, 경로 선택 등) 에 집중해야 할 자원을 저수준의 운동학 (kinematics, 연속성, 속도 제한 등) 을 학습하는 데 낭비하게 만듭니다. 즉, 고차원의 픽셀 공간 (원시 궧적) 에서 작업함으로써 모델의 용량이 불필요한 물리 법칙 재구성에 소모되고, 복잡한 운전 전략의 다중 모드 (multi-modal) 특성을 포착하는 데 방해가 됩니다.

2. 제안 방법론 (Methodology: LAP)

저자들은 이러한 한계를 해결하기 위해 잠재 확산 계획기 (LAtent Planner, LAP) 를 제안합니다. LAP 은 VAE(변분 오토인코더) 로 학습된 잠재 공간 (latent space) 에서 계획을 수행하여 고수준 의도와 저수준 운동학을 분리합니다.

핵심 구성 요소:

1. 잠재 공간에서의 계획 (Planning in Latent Space):

   • Trajectory VAE: 궤적을 저차원의 잠재 벡터 (latent vector) 로 인코딩하고 다시 디코딩하는 VAE 를 설계합니다. 이 잠재 공간은 궤적의 전략적 본질 (고수준 의미) 을 포착하면서 운동학적 세부 사항은 추상화합니다.
   • 잠재 확산 모델: 학습된 잠재 공간 내에서 조건부 확산 모델을 훈련합니다. 이는 원시 궤적이 아닌 잠재 벡터 $z_0$를 복원하는 과정으로, 고수준 운전 정책의 다중 모드 분포를 효율적으로 모델링합니다.

2. 세밀한 특징 정렬 (Fine-grained Feature Alignment):

   • 문제: 고수준 의미 계획 공간과 저수준 벡터화된 장면 컨텍스트 (도로, 장애물 등) 간의 표현적 격차 (representation gap) 로 인해 기하학적 기반이 약화될 수 있습니다.
   • 해결: 픽셀 수준의 확산 모델 (Teacher, 기존 Diffusion Planner) 의 중간 특징 (intermediate features) 을 "가이드"로 사용하여, 잠재 계획기 (Student) 의 중간 특징과 정렬 (alignment) 하는 손실 함수를 도입합니다. 이를 통해 추상적인 의미 계획과 저수준 물리적 제약 사이의 상호작용을 강화하고, 계획의 견고성을 높입니다.

3. 초기 상태 주입 (Initial State Injection):

   • 주변 차량의 초기 운동 상태를 명시적으로 조건으로 주입하여, 모델이 수렴하는 것을 안정화하고 예측의 시작점을 명확히 합니다.

4. 내비게이션 가이드 증강 (Navigation Guidance Augmentation):

   • Classifier-free Guidance (CFG) 기법을 활용하여, 내비게이션 정보를 드롭아웃 (dropout) 하여 학습함으로써 모델이 내비게이션 명령에 더 충실하게 반응하도록 유도합니다. 이는 반응적 상황에서의 인과적 혼란 (causal confusion) 을 완화합니다.

5. 고속 추론 (Fast Inference):

   • 잠재 공간의 컴팩트함과 매끄러움을 활용하여, 단 하나의 디노이징 단계 (one single denoising step) 또는 매우 적은 단계 (2 단계) 만으로도 고품질 계획을 생성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 잠재 확산 프레임워크: 고수준 전략적 의미와 저수준 운동학적 실행을 분리하는 잠재 확산 프레임워크를 제안하여 성능과 계산 효율성을 동시에 개선했습니다.
2. 전용 궤적 VAE: 고충실도 (high-fidelity) 이면서 운동학적으로 가능한 재구성을 보장하는 컴팩트하고 의미적으로 풍부한 잠재 공간을 학습하는 VAE 를 설계했습니다.
3. 새로운 특징 정렬 기법: 고수준 의미 계획 공간과 저수준 벡터화된 장면 인식 간의 격차를 해소하기 위한 세밀한 중간 특징 정렬 방법을 도입했습니다.
4. SOTA 성능 달성: nuPlan 벤치마크에서 학습 기반 계획 방법 중 최고 수준의 폐루프 (closed-loop) 성능을 달성하면서도, 기존 SOTA 대비 최대 10 배 빠른 추론 속도를 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 대규모 nuPlan 벤치마크 (1,300 시간의 실제 주행 로그 기반) 를 사용했습니다.
• 성능 (Closed-loop Performance):
  • Test14-hard와 같은 까다로운 시나리오에서 기존 학습 기반 방법 (Diffusion Planner, PLUTO 등) 을 능가하는 성능을 기록했습니다.
  • 후처리 (refinement) 를 적용 시, 규칙 기반 및 하이브리드 방법 (PDM 등) 과 비교해도 동등하거나 더 나은 성능을 보였으며, 인간 운전사 (Log-Replay) 보다 우수한 결과를 얻기도 했습니다.
• 추론 속도 (Inference Speed):
  • 기존 Diffusion Planner 가 200ms 이상 소요되는 반면, LAP 은 약 18~21ms로 약 10 배의 속도 향상을 달성했습니다.
  • 이는 잠재 공간에서의 빠른 샘플링 (few-step sampling) 덕분입니다.
• 다중 모드성 (Multi-modality):
  • 잠재 공간 계획은 다양한 운전 전략 (예: 다양한 회전 반경, 속도) 을 포착하는 데 더 효과적임을 시각화 및 정량적 지표 (APD, FPD) 를 통해 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 계획 분야에서 확산 모델의 효율성과 표현력을 동시에 해결한 중요한 사례입니다.

• 효율성 혁신: 확산 모델의 계산 비용이 큰 단점 (반복적 샘플링) 을 잠재 공간과 빠른 샘플링 기법을 통해 극복하여, 실시간 자율주행 시스템에 적용 가능한 속도를 확보했습니다.
• 표현력 강화: 원시 궤적 대신 잠재 공간에서 계획함으로써 모델이 불필요한 운동학 학습을 피하고, 복잡한 교통 상황에서의 다양한 전략적 의사결정 (multi-modal strategies) 에 집중할 수 있게 했습니다.
• 실용성: 높은 성능과 빠른 속도를 동시에 달성함으로써, 실제 자율주행 차량의 폐루프 계획 시스템에 학습 기반 확산 모델을 도입하는 데 있어 새로운 기준 (State-of-the-Art) 을 제시했습니다.

요약하자면, LAP는 "잠재 공간에서의 계획"과 "세밀한 특징 정렬"을 통해 자율주행 계획의 속도 (10 배 향상) 와 지능 (다중 모드 전략 포착) 을 모두 획기적으로 개선한 프레임워크입니다.