DRL-Based Ramp Metering at Freeway Bottlenecks: Performance Evaluation and AV Penetration Threshold for Control Phase-Out

기술 요약: 고속도로 병목 구간에서의 DRL 기반 램프 미터링

문제 정의
고속도로의 운영 효율성은 상류 구간의 인프라 제약(구체적으로 속도 제한이 설정된 교량 구간)과 하류 구간의 온램프 합류 난류가 상호작용하는 복합 병목 현상으로 인해 빈번하게 저해됩니다. PI-ALINEA와 같은 기존의 피드백 기반 램프 미터링 제어기는 국지적이고 반응적인 측정치에 의존하며, 이러한 복합적인 조건에서 발생하는 복잡하고 연쇄적인 충격파를 관리하는 데 어려움을 겪는 경우가 많습니다. 또한, 기존의 심층 강화 학습(DRL) 접근 방식은 일반적으로 단일 구성 요소 아키텍처(예: 표준 DQN 또는 PPO)를 사용하며, 수동으로 하이퍼파라미터를 튜닝해야 하는 보상 함수에 의존합니다. 자율주행차(AV)의 시장 침투율이 증가함에 따라 중앙 집중식 램프 미터링의 운영 필요성이 어떻게 변화하는지, 즉 분산된 AV의 행동이 언제 중앙 집중식 제어를 불필요하게 만드는지에 대한 이해에는 여전히 중요한 격차가 존재합니다.

방법론
본 연구는 SUMO의 미시적 교통 시뮬레이션을 통해 평가된 새로운 교통 관리 프레임워크를 제안합니다.

• 네트워크 구성: 시뮬레이션은 가변 속도 제한(40, 50, 60, 70 km/h)이 적용된 60m 교량 구간과 하류 온램프 합류 구역을 포함하는 9.1km의 고속도로 구간을 모델링합니다.
• 제안된 제어기 (Rainbow DRL): 저자들은 여섯 가지 가치 기반 학습 발전 사항을 하나의 프레임워크로 통합한 Rainbow 아키텍처를 기반으로 한 램프 미터링 에이전트를 개발했습니다:
  1. Double Q-learning (과대평가 편향 완화).
  2. Dueling network architecture (상태 가치와 행동 이득 추정의 분리).
  3. Prioritized experience replay (오차가 큰 전이 샘플링).
  4. Multi-step bootstrapping (보상 전파 가속화).
  5. NoisyNet exploration (네트워크 파라미터에 확률성 삽입).
  6. Categorical distributional reinforcement learning (C51) (스칼라 값 대신 수익 분포 모델링).
  • 상태 공간 (State Space): 7개의 주간선 구간과 1개의 램프 구간의 정규화된 밀도 및 유출량, 그리고 정규화된 램프 대기 행렬 길이와 이전 행동을 포함하는 18차원 벡터.
  • 행동 공간 (Action Space): 163에서 1800 veh/h 사이의 이산적 램프 미터링 속도.
  • 보상 함수: Papageorgiou의 거시적 속도-밀도 관계를 사용하여 구축되었습니다. 보상은 임계 속도($v_{cr}$)를 기준으로 이진(binary) 처리됩니다: 평균 속도가 $v_{cr}$보다 낮으면 -1 (혼잡), $v_{cr}$보다 높으면 정규화된 램프 대기 행렬 길이에 따른 함수 (자유 흐름). 이는 속도와 대기 행렬 지표 간의 수동 가중치 조절 필요성을 제거합니다.
• 혼합 교통 모델링: 인간 운전자 차량(HDV)과 AV는 지능형 운전자 모델(IDM)을 사용하여 모델링됩니다. AV는 Waymo 및 OpenACC 데이터셋을 기반으로 더 짧은 차간 거리(0.60초 vs 1.22초)와 더 빠른 반응 시간을 갖도록 보정되었습니다.
• 실험 설계: 본 연구는 Rainbow 제어기를 D3QN, PI-ALINEA, 고정 시간 제어, 그리고 제어 없음(no-control) 시나리오를 포함한 4가지 베이스라인과 비교 평가합니다. 시뮬레이션은 교량 속도 제한과 AV 시장 침투율(MPR)을 0%에서 100%까지 변화시키며 수행됩니다.

주요 기여

1. 통합 Rainbow 프레임워크: 본 연구는 완전 통합된 Rainbow 가치-분포 학습자를 복합 교량 및 램프 미터링 문제에 적용한 첫 사례입니다. 연구는 "교량 적응형 다단계 호라이즌(bridge-adaptive multi-step horizon)"이 핵심적인 민감도임을 식별하였으며, 최적의 $n$-step 호라이즌이 교량의 심각도에 따라 체계적으로 변한다는 것(예: 40 km/h의 경우 $n=5$, 60 km/h의 경우 $n=20$)을 입증했습니다.
2. 자동화된 보상 설계: Papageorgiou의 임계 속도 임계값을 사용한 보상 설계는 주간선 통과량과 램프 대기 행렬 사이의 가중치 계수를 수동으로 튜닝해야 하는 번거로움을 제거했습니다.
3. AV 침투율 임계값 분석: 본 연구는 인프라 제약, AV 침투율, 램프 미터링 간의 상호작作用을 체계적으로 평가하여, 중앙 집중식 제어가 필수적인 시점과 불필요해지는 시점의 구체적인 교통 구성 영역을 식별했습니다.

결과

• 인간 운전자 조건에서의 성능: 순수 HDV 시나리오(0% MPR)에서 제안된 Rainbow 제어기는 모든 베이스라인을 일관되게 능가합니다. Rainbow는 우수한 네트워크 속도 회복, 낮은 연료 소비, 그리고 현저히 나은 대기 행렬 관리를 달성했습니다. 예를 들어, 가장 제한적인 40 km/h 교량 제한 조건에서 Rainbow는 평균 램프 대기 행렬을 9.90m로 유지한 반면, PI-ALINEA는 60.08m, 고정 시간 제어는 125.15m를 기록했습니다. 다단계 및 분포 학습 메커니즘 덕분에 Rainbow는 D3QN 베이스라인에 비해 지연된 혼잡 효과를 더 잘 예측할 수 있었습니다.
• AV 침투율의 영향: AV 침투율이 증가함에 따라 중앙 집중식 미터링의 필요성은 감소합니다.
  • 0% MPR에서는 심각한 연쇄 충격파가 제어 없이 구간을 마비시킵니다.
  • 40% MPR에서는 분산된 AV의 car-following 행동이 합류 난류를 흡수하고 후방 전파되는 충격파를 감쇄시켜, 미터링 없이도 심각한 혼잡을 거의 제거합니다.
  • 100% MPR에서는 복합 병목 현상이 완전히 해소됩니다. 40 km/h 교량 제약 조건 하에서 네트워크는 자유 흐름 상태에 가깝게 운영되며, 속도는 65.49 km/h(0% MPR)에서 83.94 km/h(100% MPR)로 상승합니다.
• 환경적 트레이드오프: 0%에서 40% MPR로의 전환은 정지 및 출발(stop-and-go) 혼잡을 제거함으로써 연료 소비를 극적으로 줄이지만, MPR이 60% 및 100%로 더 높아지면 연료 소비가 미세하게 증가합니다. 이는 차량들이 공기 저항을 극복하기 위해 더 높은 연속 속도를 유지함으로써, 변동성이 큰 저속 주행보다 더 많은 엔진 출력을 요구하기 때문인 것으로 분석됩니다.

의의 및 주장
본 논문은 제안된 Rainbow DRL 제어기를 인간 운전자 중심 및 초기 혼합 교통 네트워크를 위한 핵심적인 단기 솔루션으로 제시하며, 전통적인 제어기가 실패하는 영역에서 강력한 성능을 제공함을 보여줍니다. 결정적으로, 본 연구는 중앙 집중식 램프 미터링을 단계적으로 폐지할 수 있는 AV 침투율 영역을 규명했습니다. 연구 결과는 고속도로 인프라 관리를 위한 전환 로드맵을 제시합니다. 즉, 인간 운전자가 지배적일 때는 네트워크를 연쇄 충격파로부터 보호하기 위해 능동적인 DRL 제어가 필수적이지만, AV 침투율이 약 40% 수준에 도달하면 AV의 분산되고 높은 반응성이 네트워크 안정성을 유지하기에 충분하므로 중앙 집중식 미터링은 점진적으로 불필요해집니다. 이는 향후 램프 미터링 인프라에 대한 장기적 투자 결정을 위한 데이터 기반의 근거를 제공합니다.