Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

기술 요약: 매개변수화된 딥 Q-네트워크(Parametrized Deep Q-network)에 기반한 통합 자동 차로 변경 및 차량 추종 제어

문제 정의
현재의 자율주행 차량 제어 방식은 차로 변경과 차량 추종을 독립적인 과업으로 취급하는 경우가 많다. MOBIL(Minimizing Overall Braking Decelerations Induced by Lane Changes)과 IDM(Intelligent Driver Model)을 결합한 기존의 규칙 기반 모델은 사전 정의된 규칙과 명시적인 궤적 근사에 의존한다. 이러한 방식은 동적이고 확률적인 교통 상황을 처리하는 데 어려움이 있으며, 특히 차로 변경 결정이 주변 차량과의 복잡한 상호작용(예: 허용 가능한 간격을 활용하기 위한 속도 조절)에 의존할 때 더욱 그러하다. 또한, 기존의 강화 학습(RL) 접근 방식은 이러한 하위 과업들을 별도로 다루거나, 연속적인 액션(예: 가속도)을 이산화하여 통합을 시도하는데, 이는 액션 공간의 자연스러운 구조를 상실시키고 효율성을 저하시킬 수 있다. 핵심 과제는 차로 변경 결정은 이산적(discrete)인 반면, 가속 및 궤적 실행은 연속적(continuous)인 하이브리드 액션 공간을 관리하는 것이다.

방법론
본 연구는 **매개변수화된 딥 Q-네트워크(P-DQN)**를 활용하여 커넥티드 자율주행 차량(CAV)을 위한 통합 제어 프레임워크를 제안한다. 이 알고리즘은 연속 변수를 이산화하지 않고도 하이브리드 이산-연속 액션 공간에서 직접 작동하도록 설계되었다.

• 상태 공간(State Space): 시스템 상태($S_t$)는 다음 두 가지 구성 요소로 이루어진다:
  1. 차량 상호작용($S^1_t$): 현재 및 인접 차로에 있는 전방 및 후방 차량 4대의 상대적 횡방향/종방향 위치와 속도를 포함한다.
  2. 도로 맥락($S^2_t$): 에고 차량(ego vehicle)의 도로 경계 및 이상적인 차로 중심선으로부터의 거리, 그리고 현재 차로와 이상적인 차로 간의 차로 인덱스 차이를 포함한다.
• 액션 공간(Action Space): 본 프레임워크는 하이브리드 액션 공간 $A_t = [A^h_t, A^l_t]^T$를 채택한다:
  • 상위 수준 이산 액션($k_t$): 차로 변경 결정을 결정한다 (0: 좌측 이동, 1: 유지, 2: 우측 이동).
  • 하위 수준 연속 액션($A^l_t$): 횡방향($a_{x,0}$) 및 종방향($a_{y,0}$) 가속도를 제어한다. 연속 액션의 범위는 이산 결정에 의해 매개변수화된다 (예: 좌측 차로 변경을 위해 횡가속도는 음수 값으로 제한됨).
• 보상 함수(Reward Function): 총 보상($R_{total}$)은 안전, 효율성, 편안함의 균형을 맞추기 위해 설계된 다섯 가지 구성 요소의 가중 합이다:
  1. 안전(Safety): 로그 펜널티 함수를 사용하여 주변 차량 및 도로 경계와의 근접성을 처벌한다.
  2. 차량 추종(Car-Following): 선행 차량과의 원하는 시간 간격을 유지하도록 장려한다.
  3. 차로 유지(Lane-Keeping): 차로 변경을 하지 않을 때 차로 중심선으로부터의 이탈에 대해 처벌한다.
  4. 차로 변경(Lane-Changing): "이상적인 차로"(인접 차로 선행 차량의 속도에 의해 결정됨)와의 정렬에 대해 보상을 준다.
• 알고리즘: P-DQN은 액션-가치 함수 $Q(S, k, A_l)$를 추정하기 위한 크리틱(critic) 네트워크와 주어진 이산 액션 $k$에 대한 최적의 연속 매개변수 $A_l$을 출력하는 액터(actor) 네트워크를 활용한다. 네트워크는 최소제곱 손실 함수와 확률적 경사 하강법을 사용하여 누적 보상을 최대화하도록 학습된다.

주요 기여

1. 통합 제어 프레임워크: 본 연구는 차로 변경과 차량 추종을 고립된 하위 과업이 아닌 상호 의존적인 프로세스로 취급하여, 이를 동시에 관리하는 통합 제어 전략을 제시한다.
2. 하이브리드 액션 공간 구현: 연속적인 액션을 이산화할 때 발생하는 한계를 피하기 위해, CAV 제어의 특수한 과제인 하이브리드 액션 공간을 처리하기 위한 P-DQN을 구현하였다.
3. 다목적 최적화: 충돌 회피, 차량 추종, 차로 유지, 차로 변경 효율성이라는 네 가지 하위 목표를 단일 학습 정책에 성공적으로 통합하였다.

결과
주변 차량의 정속 주행 및 동적 주행을 포함하여 다양한 복잡성을 가진 네 가지 시나리오에 대해 수치 실험이 수행되었다.

• 수렴성: P-Dм 알고리즘은 2,000에서 3,000 에피소드 내에 수렴을 달달성하였다.
• 행동 성능: 즉각적인 간격 제약으로 인해 차로 변경을 거부할 수 있는 전통적인 방식(예: MOBIL)과 달리, P-DQN은 간격을 생성하거나 활용하기 위해 종방향 속도를 조절(가속 또는 감속)하는 법을 학습하여 성공적인 차로 변경을 가능하게 했다. 에이전트는 기동 중 전방 및 후방 차량으로부터 안전한 거리를 유지하였으며 차로 중심선을 준수하였다.
• 비교 분석: 베이스라인인 MOBIL+IDM 모델과 비교했을 때:
  • 안전성: P-DQN은 현저히 낮은 역 시간-충돌(Inverse Time-to-Collision, Inverse-TTC) 값(예: 시나리오 1에서 0.075 대 0.214)을 나타내어 충돌 위험이 더 낮음을 입증했다.
  • 편안함: P-DQN은 가속도 크기에 기반한 주행 불편도 지표에서 MOBIL+IDM 베이스라인(1.596 ~ 3.712)보다 훨씬 낮은 값(0.599 ~ 1.260)을 달성하였다.

의의 및 주장
본 논문은 제안된 P-DQN 프레임워크가 차로 변경과 차량 추종 행동을 효과적으로 통합함으로써 개별 제어 전략 및 규칙 기반 모델의 한계를 해결한다고 주장한다. 하이브리드 액션 공간을 활용함으로써, 이 모델은 CAV가 실제 인간의 운전 행동을 모방하여 속도 조정을 통해 안전한 차로 변경을 용이하게 하는 협응된 결정을 내릴 수 있도록 한다. 본 연구는 이러한 통합적 접근 방식이 엄격하게 정의된 규칙에 의존하지 않고도 복잡한 교통 상황에 더 적응 가능한 솔루션을 제공하며, 기존의 MOBIL 및 IDM 조합에 비해 주행 안전성과 편안함 측면에서 우수한 성능을 낸다는 결론을 내린다.