기술 요약: 심층 강화 학습을 통한 커넥티드, 자율 주행 및 인간 운전 차량의 플래투닝(Platooning)

1. 문제 정의

기존의 차량 플래투닝 전략은 주로 커넥티드 자율 주행 차량(CAV) 또는 커넥티드 인간 운전 차량(CHV)으로만 구성된 동질적 환경을 대상으로 설계되었습니다. 이러한 접근 방식은 일반적으로 비커넥티드 차량인 자율 주행 차량(AV)이나 인간 운전 차량(HV)을 배제하며, 이로 인해 현재 및 가까운 미래의 혼합 교통 상황을 정확하게 반영하지 못한다는 한계가 있습니다.

최근의 "하이브리드" 전략들은 CAV를 정보 중계기로 활용하여 비커넥티드 차량을 플래툰에 포함시키려는 시도를 하고 있으나, 규제되지 않은 HV/AV의 통합이 급격한 플래툰 확장을 유발할 수 있다는 치명적인 결함을 가지고 있습니다. 이러한 통제되지 않은 성장은 교통 흐름 내의 교란 전파 위험을 증폭시켜, 교통 처리량 극대화와 흐름 안정성 유지 사이의 본질적인 충돌을 악화시킵니다. 또한, 동질적 차량 군집을 위해 설계된 기존의 최대 플래툰 길이 제약은 이러한 새로운 이질적 시나리오에서는 불충분합니다. 핵심 과제는 비커넥티드 차량의 유연한 포함을 허용하면서도, 교통 용량과 흐름 안정성 및 안전 사이의 균형을 동적으로 조절할 수 있는 제어 전략을 개발하는 것입니다.

2. 방법론

본 연구는 부분 관측 가능 마르코프 결정 과정(POMDP) 프레임워크 내에서 작동하도록 설계된 심층 강화 학습(DRL) 기반 하이브리드 플래투닝 제어 전략을 제안합니다.

2.1. 하이브리드 플래투닝 패턴

저자들은 비커니티드 차량(HV/AV)이 조건부로 플래툰에 합류할 수 있도록 하는 "하이브리드 플래투닝 패턴"(Scheme PS2)을 도입합니다.

• 메커니즘: CAV는 온보드 멀티 센서 인지(LiDAR, 레이더, 카메라)를 사용하여 인접한 비커넥티드 차량의 상태를 감지합니다. 이 정보는 차량 간 통신(V2X)을 통해 다른 커넥티드 구성원들에게 브로드캐스트되어, 비커니드 차량의 상태를 플래툰 내에서 관측 가능한 상태로 만듭니다.
• 제약 조건: 플래툰의 무결성을 보장하기 위해, HV/AV는 플래툰 리더나 테일 차량(tail vehicle) 역할을 수행하는 것이 금지됩니다. 모든 차량의 상태가 커넥티드 구성원들에게 관측될 수 있는 경우에만 플래툰이 형성될 수 있습니다. 이는 플래툰 내 연속적인 비커넥티드 차량의 최대 수를 2대(예: CAV–HV–HV–CAV)로 제한합니다.
• 비교: 이는 CHV/CAV만이 플래툰을 형성하고 비커넥티드 차량은 제외되는 Scheme PS1과 대조됩니다.

2.2. DRL 프레임워크

제어 전략은 근사 정책 최적화(PPO) 알고리즘을 사용하는 중앙 집중식 학습 및 분산 실행(CTDE) 아키텍처를 채택합니다.

• 상태 공간(State Space): 상태 표현은 에고 차량의 역학(차량 유형, 플래툰 위치, 시간 차간 거리)과 주변 환경 상태(전방 및 후방 2대의 차량 유형 및 위치)를 포함하는 다중 모드 데이터를 통합합니다. 이 설계는 차원의 저주에 빠지지 않으면서 국부적인 토폴로지를 포착합니다.
• 행동 공간(Action Space): 이산적 행동에는 플래툰 합류, 플래툰 이탈, 또는 독립 주행 유지가 포함됩니다.
• 보상 함수(Reward Function): 세 가지 구성 요소를 균형 있게 맞추기 위해 다목적 보상 함수가 공식화되었습니다:
  1. 교통 효율성 ($r_{capacity}$): 베이스라인 대비 차로 용량 증가율을 기준으로 합니다.
  2. 교통 안정성 ($r_{stability}$): car-following 모델의 도함수로부터 유도된 하이브리드 교통 흐름 안정성 판별식($G_h$)의 개선도를 기준으로 합니다.
  3. 패널티 ($r_{penalty}$): 에이전트가 과도한 안정성을 위해 효율성을 희생하는 것을 방지하기 위해, 차로 용량이 베이스라인보다 현저히 낮아질 경우 적용되는 제약 패널티입니다.
• 학습: 정책 네트워크는 용량과 안정성 사이의 트레이드오프를 최적화하기 위해 플래툰 구조(크기 및 분포)를 동적으로 조정하는 법을 학습합니다.

3. 주요 기여

• 하이브리드 플래투닝 패턴: 본 논문은 엄격한 커넥티드 함대의 확장성 한계를 해결하기 위해, CAV 매개 정보 전파를 통해 비커넥티드 차량을 플래툰에 통합하는 실행 가능한 메커니즘을 정의합니다.
• DRL 기반 제어 전략: 고정된 형성 규칙을 넘어선 새로운 DRL 전략을 개발했습니다. 정적인 플래툰 구성을 가정하는 대신, 이 전략은 실시간으로 플래툰 구조를 동적으로 최적화하여 처리량과 안정성 사이의 트레이드오프를 관리하는 법을 학습합니다.
• 다층적 상태 표현: 차량 역학, 플래투닝 토폴로지, 교통 흐름 상태를 단일 상태 표현으로 통합하여, 에이전트가 글로벌 안정성 목표를 고려하면서도 국부적 관측에 기반해 분산된 결정을 내릴 수 있도록 합니다.
• 포괄적 평가: 제안된 방식은 일반화 능력, 교통 흐름 안정성, 안전성 및 환경적 영향의 네 가지 차원에서 전통적인 커넥티드 플래투닝(PS1) 및 규제되지 않은 하이브리드 플래투닝(PS2)과 엄격하게 비교 평가되었습니다.

4. 실험 결과

다양한 CAV 침투율($P_{CAV}$) 하에서 1,000대의 차량을 대상으로 단일 차로 도로에서 수치 시뮬레이션을 수행하였습니다.

• 학습 성능: DRL 전략은 성공적으로 수렴하였으며, 베이스라인 하이브리드 전략(PS2) 대비 교통 안정성 판별식($G_h$)에서 27.9%의 개선을 달성했습니다. 이는 최대 플래툰 길이를 28.3% 감소(약 24대로)시키고 총 플래툰 수를 19.3% 증가시켜 교통 밀도를 효과적으로 분산함으로써 달성되었습니다.
• 일반화: 이 전략은 $P_{CAV}$ 값이 0.1에서 0.5 사이인 구간에서 견고한 일반화 능력을 보여주었습니다. $P_{CAV} > 0.1$일 때, DRL 전략은 PS1 및 PS2 모두와 비교하여 안정성 판별식을 51.08% 개선했습니다. 높은 침투율에서 플래툰 크기가 기하급급적으로 증가하는 고정 전략과 달리, DRL 전략은 평균 플래툰 길이를 약 35대로 유지했습니다.
• 교란 전파: 선두 차량의 감속 교란이 발생하는 시나리오에서, DRL 전략은 속도 진동을 크게 억제했습니다. 낮은 CAV 침투율($P_{CAV}=0.1$) 조건에서 기존 플래투닝(PS1) 대비 피크 평균 충돌 시간 역수(TTCI)를 52.95% 감소시켰습니다.
• 안전 및 효율성: 이 전략은 PS1과 비교하여 피크 속도 표준 편차를 최대 38.60%까지 감소시켰습니다. 환경적 영향 측면에서, 낮은 CAV 침투율 하에서 DRL 전략은 베이스라인 대비 피크 평균 연료 소비량을 1.90%, CO2 배출량을 1.2% 이상, 그리고 NOx 배출량을 최대 **7.1%**까지 감소시켰습니다.

5. 의의 및 주장

저자들은 제안된 DRL 기반 접근 방식이 혼합 교통 환경에서 처리량과 안정성 사이의 갈등을 효과적으로 해결한다고 주장합니다. 경직된 형성 규칙을 따르는 대신 플래투닝 구조를 동적으로 최적화함으로써, 이 전략은 속도 교란 전파를 억제하고 혼합 교통 흐름의 안전성을 향상시킵니다.

본 연구는 전통적인 하이브리드 전략(PS2)이 대규모의 규제되지 않은 플래툰을 허용하여 용량을 극대화하지만 안정성을 해치는 반면, DRL 전략은 피크 용량의 미미한 감소(학습 시 PS2 대비 약 4.6%)를 수용하는 대신 상당한 안정성과 안전성 이득을 얻는 "비선형적 평형"을 달성한다고 강조합니다. 본 논문은 이 접근 방식이 비커넥티드 차량이 여전히 빈번하게 존재하는 혼합 교통의 전환기에 강력한 솔루션을 제공한다고 결론지으며, 향후 연구에서 다차로 상호작용, 통신 실패 및 동적 플래툰 분할 문제를 다룰 것을 제안합니다.