기술 요약: HyPlan - 불확실성 하의 안전한 자율 주행을 위한 하이브리드 학습 보조 플래닝

1. 문제 정의

본 논문은 불완전 관측 가능한 교통 환경에서 운행하는 자율 자동차(AV)를 위한 충돌 없는 내비게이션(Collision-Free Navigation, CFN) 문제를 다룹니다. 목표는 외부 에이전트(보행자, 자전거 이용자, 다른 차량)와의 충돌을 피하면서 목표 지점에 도달하는 시간을 최소화하는 것입니다.

이 문제는 **부분 관측 가능한 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)**으로 모델링됩니다. 주요 특징은 다음과 같습니다:

• 상태 공간 (State Space, $S$): 에고 카(ego-car)의 전체 상태와 $n$개 외부 에이전트의 부분 상태로 구성됩니다. 에고 카의 상태는 완전히 관측 가능하지만, 외부 에이전트는 부분적으로만 관측 가능합니다(가려지지 않은 경우 위치만 관측 가능).
• 행동 (Actions, $A$): 조향각(steering angle)과 이산적인 가속 선택(가속, 감속, 유지)으로 구성된 제어 입력입니다.
• 제약 조건: 환경은 에이전트의 의도 및 폐쇄(occlusion)에 관한 불확실성을 포함합니다.
• 격차(The Gap): 기존 방법론들은 트레이드오프 문제에 직면해 있습니다. 순수 딥러닝(DL) 방식은 빠르지만 안전 보장이 부족합니다. 명시적인 온라인 POMDP 플래너(예: IS-DESPOT)는 안전성과 증명 가능성을 제공하지만, 실행 시간이 길어 딥러닝 베이스라인과 비교했을 때 실시간 제어에 부적합합니다.

2. 방법론: HyPlan

HyPlan은 명시적 플래닝의 안전성과 딥러닝의 속도 사이의 간극을 메우기 위해 설계된 하이브리드 학습 보조 온라인 POMDP 플래너입니다. 이는 네 가지 핵심 구성 요소로 통합됩니다:

A. 시스템 아키텍처

HyPlan은 각 장면 관측에 대해 다음 루프로 작동합니다:

1. 다중 에이전트 행동 예측: MABP AutoBots 모델을 사용하여 외부 에이전트의 궤적을 예측합니다.
2. 경로 계획 (Path Planning): 예측된 에이전트 경로가 포함된 코스트맵(costmap)을 사용하여 에고 카를 위한 안전한 경로를 생성하는 가중치 적용 Hybrid A* 플래너를 사용합니다. 이를 통해 조향각을 결정합니다.
3. 속도 계획 (Velocity Planning - 핵심 혁신): 강화된 온라인 POMDP 플래너인 IS-DESPOT*가 최적의 가속도를 결정합니다.

B. IS-DESPOT* 플래너

IS-DESPOT*는 표준 IS-DESPOT 플래너의 확장판입니다. 그 참신함은 딥 강화 학습(DRL) 구성 요인에 의해 탐색 트리(search tree)가 유도되는 방식에 있습니다:

• NavPPO (학습기): 근사 정책 최적화(PPO) 기반의 신경망이 크리틱(critic) 역할을 합니다. 이는 플래너를 가이드하기 위해 믿음 상태(belief states)의 가치(휴리스틱 상한값)를 추정합니다.
• NavPPO의 입력값:
  • 에고 카의 코스트맵, 예측된 에이전트 경로, 차량의 계획된 경로가 결합된 "의도 이미지($I$)"
  • 비시각적 상태 특징 (이전 보상, 마지막 행동, 현재 속도)
  • 시간적 맥락을 유지하기 위한 LSTM 은닉 상태(hidden states)
• 학습: NavPPO는 IS-DESPOT* 플래너의 정책을 모방(모방 학습)하는 동시에 상태 가치를 추정하도록 학습됩니다. 이는 정책 모방과 가치 추정 정확도의 균형을 맞추는 PPO 기반 손실 함수를 사용합니다.

C. 신뢰도 기반 수직 프루닝 (Confidence-Based Vertical Pruning)

실행 시간을 줄이기 위해, HyPlan은 배포 단계에서 수직 프루닝(vertical pruning) 메커니즘을 도입합니다:

• 불확실성 추정: NavPPO는 여러 번의 확률적 순방향 패스(Monte Carlo dropout 사용)를 수행하여 믿음 상태 가치 추정에 대한 평균($\mu$)과 분산($\sigma^2$)을 생성합니다.
• 교정 (Calibration): 시스템은 CRUDE를 사용하여 이러한 추정치를 교정함으로써, 신뢰 수준이 신뢰할 수 있도록 하고 허위 양성(false positives)을 줄입니다.
• 프루닝 로직: 플래너는 신뢰도 가중 휴리스틱 하한값을 계산합니다: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$, 여기서 $\phi$는 분산에서 유도된 신뢰도입니다.
  • 플래너가 높은 가치 추정치와 높은 신뢰도를 가진 믿음 상태에 도달하면, 계획 시도(planning trial)를 조기에 종료합니다 (수직 프루닝).
  • 이를 통해 결과가 예측 가능한 익숙한 믿음 공간 영역을 과도하게 탐색하는 것을 방지하여, 안전성을 해치지 않으면서 의사결정 속도를 크게 높입니다.

3. 주요 기여

1. HyPlan 프레임워크: 다중 에이전트 예측, 명시적 경로 계획, DRL 가이드 POMDP 플래닝을 결합한 새로운 하이브리드 아키텍처를 제시했습니다.
2. IS-DESPOT 알고리즘:* 휴리스틱 가치 추정치와 신뢰도 지표를 제공하기 위해 PPO 기반 학습기(NavPPO)를 활용하는 근사 온라인 POMDP 플래너입니다.
3. 수직 프루닝 전략: 학습기의 가치 추정 신뢰도에 따라 탐색 트리를 동적으로 프루닝하는 메커즘으로, 명시적 플래닝의 안전성을 유지하면서 실행 시간을 획기적으로 단축합니다.
4. 교정 메커니즘: DRL 학습기의 신뢰도 추정치를 교정하기 위해 CRUDE를 통합하여, 프루닝 결정이 과도하게 낙관적인 예측에 근거하지 않고 안전하게 이루어지도록 합니다.

4. 실험 결과

저자들은 보행자 횡단이 포함된 23,000개의 결정적 교통 시나리오 데이터셋인 CARLA-CTS2 벤치마크에서 HyPlan을 평가했습니다.

성능 지표

• 안전성 (Safety): HyPlan은 테스트된 모든 방법(순수 DL, 순수 명시적 플래닝, 기타 하이브리드 접근 방식 포함) 중 가장 높은 안전 지수를 달성했습니다. 가장 낮은 충돌률(12.36%)과 근접 사고율(8.04%)을 기록했습니다.
• 실행 시간 (Execution Time): HyPlan은 다른 명시적 및 하이브리드 POMDP 플래너(예: IS-DESPOTp, LEADER, HyLEAP)보다 현저히 빨랐습니다 (최대 40% 감소). 그러나 순수 딥러닝 베이스라인(NavPPO, NavA2C)보다는 3~4배 느렸습니다.
• 플래닝 효율성 (Planning Efficiency): HyPlan은 대안 플래너들에 비해 더 적은 계획 시도, 얕은 탐색 깊이, 그리고 더 적은 믿음 노드 평가를 필요로 했습니다.
• 트레이드오프:
  • 순수 DL 방식(NavPPO)은 가장 빨랐지만 안전 기록이 가장 나빴습니다.
  • 순수 명시적 플래너는 가장 느렸습니다.
  • HyPlan은 안전을 우선시하면서도 명시적 플래닝의 속도를 크게 개선하여 최적의 트레이드오프를 제공했습니다.

절제 연구 (Ablation Study)

• 수직 프루닝이 없는 경우: 시스템이 가장 안전했지만 실행 시간이 가장 길었습니다.
• 신뢰도 교정이 없는 경우: 시스템이 가장 빨랐지만, 과도하게 낙관적인 프루닝으로 인해 안전성이 가장 낮았습니다.
• 전체 HyPlan: 모든 구성 요소의 결합이 안전성과 실행 시간 사이의 최적의 균형을 제공했습니다.

5. 의의 및 주장

본 논문은 HyPlan이 자율 주행에서의 딥러닝과 명시적 플래닝 사이의 성능 격차를 성공적으로 해결했다고 주장합니다.

• 안전 우선: 하이브리드 방식이 결정적인 보행자 시나리오에서 순수 딥러닝 및 순수 명시적 플래닝 베이스라인보다 더 안전하게 주행할 수 있음을 입증했습니다.
• 효율성: 학습 보조 프루닝이 명시적 플래닝의 안전 보장을 희생하지 않으면서도 온라인 POMDP 플래닝을 실시간 애플리케이션에 적용 가능하게 하여 실행 시간을 크게 줄일 수 있음을 증명했습니다.
• 제한된 범위: 저자들은 HyPlan이 다른 명시적 플래너보다는 빠르지만, 아직 순수 딥러닝 방식과의 속도 격차를 완전히 좁히지는 못했음을 인정합니다. 또한 현재의 평가는 CARLA-CTS2 벤치마크에 국한되어 있으며, 향후 nuPlan과 같은 더 넓은 시나리오로의 확장을 계획하고 있다고 언급했습니다.

이 연구는 전통적인 온라인 POMDP와 관련된 과도한 계산 비용 문제를 겪지 않으면서도, 불확실성 하에서 증명 가능한 정확성을 갖는 행동 플래닝을 향한 단계로 제시됩니다.