Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

논문 요약: Hamilton-Jacobi 도달 가능성 및 강화 학습을 활용한 자전거와의 안전한 상호작용

1. 문제 정의 (Problem Formulation)

• 배경: 자율주행 차량이 도로에서 자전거와 상호작용할 때, 기존 알고리즘은 지나치게 보수적 (cautious) 이어서 비효율적인 주행 (과도한 정지 또는 지연) 을 초래하거나, 반대로 인간 운전자는 공격적인 기동을 통해 안전성을 위협합니다.
• 핵심 과제: 자율주행 차량이 자전거를 추월하거나 교차로에서 상호작용할 때, **안전성 (Safety)**과 최적성 (Optimality, 시간 효율성) 사이의 균형을 맞추는 궤적 생성 문제입니다.
• 모델링: 이 문제는 자율주행 차량 (제어 입력 $u$) 과 자전거 (교란 입력 $d$) 가 관여하는 **이중 에이전트 제로섬 미분 게임 (Dual-agent zero-sum differential game)**으로 정의됩니다. 목표는 안전성과 소요 시간을 모두 반영하는 목적 함수 $V$를 최대화하는 궤적을 찾는 것입니다.

2. 제안된 방법론 (Methodology)

이 논문은 Hamilton-Jacobi (HJ) 도달 가능성 분석과 **심층 Q-러닝 (Deep Q-Learning, DQN)**을 통합한 하이브리드 프레임워크를 제안합니다.

• A. 안전성 분석을 위한 HJ 도달 가능성 (Reachability Analysis):

  • 충돌 집합 ($C_0$): 자전거와 차량이 충돌하는 상태 집합을 정의합니다.
  • 역방향 도달 집합 (Backward Reachable Set, $B$): 충돌 집합으로 이어질 수 있는 잠재적 위험 상태의 집합을 계산합니다. 이는 시간 의존적 Hamilton-Jacobi-Bellman (HJB) 편미분 방정식의 점해 (viscosity solution) 의 영수준 하위 집합 (zero sub-level set) 으로 구해집니다.
  • 가치 함수 (Value Function): 각 상태의 안전성을 정량화하는 지표로 사용됩니다. $v(s) > 0$이면 안전, $v(s) \le 0$이면 충돌이 불가피한 위험 상태로 분류됩니다.

• B. 자전거의 반응 모델링 (Disturbance Input Modeling):

  • 기존 연구는 자전거의 교란 입력을 단순 가속도로만 가정했으나, 이 논문은 **자전거의 '불편함 (Comfort)'과 '심리적 반응'**을 모델링합니다.
  • 오토인코더 (Auto-encoder) 활용: 안전 상태와 위험 상태 데이터를 학습하여 자전거의 반응을 학습합니다.
    • 안전 상태 데이터로 오토인코더를 훈련 (인코딩).
    • 전체 데이터 (안전 + 위험) 를 디코더에 입력하여 재구성 오차 (Reconstruction Error) 를 계산.
    • 재구성 오차가 높으면 해당 상태를 '위험 (자전거가 위협을 느낌)'으로 분류하여 교란 입력 $d$를 조정합니다. 이는 자전거가 차량의 상태 (거리, 속도 등) 에 따라 어떻게 반응하는지 반영합니다.

• C. 강화 학습을 통한 최적 궤적 탐색 (Navigation via DQN):

  • HJ 분석만으로는 지나치게 보수적인 행동을 유도할 수 있으므로, 이를 **심층 Q-네트워크 (DQN)**와 결합합니다.
  • 보상 함수 (Reward Signal): HJ 가치 함수를 구조화된 보상 신호로 사용하여, 에이전트가 안전성을 유지하면서도 목표 지점에 빠르게 도달하도록 학습시킵니다.
  • 학습 과정: 경험 재생 (Experience Replay) 과 Adam 최적화기를 사용하여 Q-value 를 수렴시킬 때까지 학습합니다.

3. 주요 기여 (Key Contributions)

1. 다중 에이전트 시스템 확장: Fisac et al. (2019) 의 단일 에이전트 접근법을 자전거와 차량이 상호작용하는 2 에이전트 시스템으로 확장했습니다.
2. 자전거의 편안함 정량화: 자전거의 불편함 (Comfort level) 을 정량적으로 정의하고, 이를 교란 입력 모델링에 반영하여 인간 중심의 상호작용을 구현했습니다.
3. 안전성과 시간 효율성의 균형: HJ 도달 가능성으로 안전성을 보장하고 DQN 으로 시간 최적성을 달성하여, 기존 방법보다 더 빠르고 안전한 추월 기동을 가능하게 했습니다.
4. 정량적 안전성 지표: 합리적인 속도와 거리로 자전거를 추월할 수 있는 능력을 정량적으로 평가하는 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: Safety Pilot Michigan Database (340 만 마일의 주행 데이터, 약 40,539 개의 자전거 이벤트) 를 사용했습니다.
• 비교 대상: 인간 운전자의 실제 주행 데이터 (Ground Truth) 와 Fisac et al. (2019) 의 기존 알고리즘과 비교했습니다.
• 주요 성과:
  • 안전성: 제안된 프레임워크는 인간 운전자와 Fisac '19 알고리즘 모두보다 **안전 계수 (Safety Factor)**가 더 높고, **위험 상태 (Unsafe States)**에 진입한 비율이 가장 낮았습니다 (31.6%).
  • 효율성: 인간 운전자의 주행 시간 (253 초) 보다 평균적으로 더 빠르며 (233 초), Fisac '19 알고리즘 (199 초) 보다는 약간 느리지만, 이는 자전거의 심리적 반응을 고려하여 불필요한 위험을 피하기 위한 타협으로 해석됩니다.
  • 시각화: HJ 가치 함수를 시각화한 결과, 제안된 방법은 자전거가 위협을 느낄 수 있는 근접 저속 구간을 더 잘 포착하여 안전 영역을 확장하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 안전한 자율주행의 새로운 패러다임: 단순한 충돌 회피를 넘어, 보행자나 자전거와 같은 취약 도로 사용자 (VRU) 의 심리적 반응과 편안함을 고려한 상호작용 알고리즘의 중요성을 입증했습니다.
• 하이브리드 접근법의 유효성: 수학적 엄밀성을 가진 HJ 도달 가능성과 유연한 최적화가 가능한 강화 학습을 결합함으로써, 안전성 보장과 주행 효율성이라는 상충되는 목표를 동시에 달성할 수 있음을 보여주었습니다.
• 미래 전망: 현재 2 에이전트 시스템으로 검증된 이 접근법을 다중 에이전트 시스템 (Multi-agent systems) 으로 확장하여 복잡한 도시 환경에서의 자율주행 기술 발전에 기여할 것으로 기대됩니다.

이 논문은 자율주행 차량이 자전거와 상호작용할 때 "안전하지만 지나치게 느린" 혹은 "빠르지만 위험한" 극단적인 행동을 탈피하여, 인간 중심적이고 최적화된 주행을 가능하게 하는 기술적 토대를 마련했다는 점에서 의의가 큽니다.