DRL-Based Ramp Metering at Freeway Bottlenecks: Performance Evaluation and AV Penetration Threshold for Control Phase-Out

技术摘要：基于深度强化学习（DRL）的高速公路瓶颈处匝道控制

问题陈述
高速公路的运行效率经常受到复合型瓶颈的影响，即上游基础设施约束（特别是限速桥梁路段）与下游匝道汇入湍流之间的相互作用。传统的基于反馈的匝道控制算法（如 PI-ALINEA）依赖于局部、反应性的测量，往往难以应对由这些复合条件产生的复杂的级联冲击波。此外，现有的用于匝道控制的深度强化学习（DRL）方法通常采用单一组件架构（例如标准的 DQN 或 PPO），并且依赖于需要手动调整超参数的奖励函数。一个关键的空白在于：随着自动驾驶车辆（AV）市场渗透率的提高，集中式匝道控制的运营必要性如何演变，特别是当去中心化的自动驾驶行为可能使集中式控制变得多余时。

研究方法
本研究提出了一种新型交通管理框架，并通过 SUMO 微观交通仿真进行评估。

• 网络配置： 仿真模型模拟了一个 9.1 公里的高速公路走廊，其中包含一个 60 米长的桥梁路段，该路段具有可变限速（40、50、60 和 70 km/h）以及下游匝道汇入区域。
• 提出的控制器（Rainbow DRL）： 作者开发了一个基于 Rainbow 架构的匝道控制智能体，该架构统一了六种基于价值的学习改进方案：
  1. 双重 Q 学习（Double Q-learning，以减轻过估计偏差）。
  2. 决斗网络架构（Dueling network architecture，分离状态价值与动作优势估计）。
  3. 优先经验回放（Prioritized experience replay，采样高误差转换）。
  4. 多步自举（Multi-step bootstrapping，加速奖励传播）。
  5. 噪声网络探索（NoisyNet exploration，在网络参数中嵌入随机性）。
  6. 分类分布强化学习（Categorical distributional reinforcement learning / C51，对回报分布而非标量值进行建模）。
  • 状态空间： 一个 18 维向量，包括 7 个主线路段和 1 个匝道路段的归一化密度与流量，以及归一化的匝道排队长度和前一次动作。
  • 动作空间： 离散的匝道控制速率，范围从 163 到 1800 veh/h。
  • 奖励函数： 基于 Papageorgiou 宏观速度-密度关系构建。奖励是二元的：如果平均速度低于临界速度 ($v_{cr}$)，则为 -1（拥堵）；如果高于 $v_{cr}$，则为归一化匝道排队长度的函数（自由流）。这消除了在速度和排队指标之间进行手动权重分配的需求。
• 混合交通建模： 人类驾驶车辆（HDV）和自动驾驶车辆（AV）均使用智能驾驶模型（IDM）进行建模。AV 的校准参数基于 Waymo 和 OpenACC 数据集，具有更短的时间车头间距（0.60 秒 vs 1.22 秒）和更快的响应时间。
• 实验设计： 研究将 Rainbow 控制器与四个基准方案进行对比：D3QN（Dueling Double DQN）、PI-ALINEA、定时控制以及无控制场景。通过改变桥梁限速和自动驾驶车辆市场渗透率（MPR，从 0% 到 100%）进行仿真。

核心贡献

1. 统一的 Rainbow 框架： 这是首次将完全集成的 Rainbow 价值分布学习器应用于复合型桥梁与匝道控制问题。研究确定了“桥梁自适应多步时界（bridge-adaptive multi-step horizon）”是一个关键敏感因素，证明了最优的 $n$-步时界随桥梁严重程度系统性变化（例如，对于 40 km/h 桥梁，$n=5$；对于 60 km/h 桥梁，$n=20$）。
2. 自动化奖励设计： 使用 Papageorgiou 临界速度阈值进行奖励构建，消除了对速度与排队长度之间权重系数进行特定案例手动调优的依赖。
3. AV 渗透率阈值分析： 研究系统地评估了基础设施约束、AV 渗透率与匝道控制之间的相互作用，识别了集中式控制是必不可少的还是多余的特定交通组成形态。

结果

• 人类驾驶条件下表现： 在纯 HDV 场景（0% MPR）下，所提 Rainbow 控制器始终优于所有基准方案。它实现了更优的网络速度恢复、更低的燃料消耗以及显著更好的排队管理。例如，在最严格的 40 km/h 桥梁限速下，Rainbow 维持的平均匝道排队长度为 9.90 m，而 PI-ALINEA 为 60.08 m，定时控制为 125.15 m。相比于 D3QN 基准，多步学习和分布学习机制使 Rainbow 能够更好地预判延迟的拥堵效应。
• AV 渗透率的影响： 随着 AV 渗透率的增加，对集中式控制的需求逐渐减小。
  • 在 0% MPR 时，严重的级联冲击波会导致走廊瘫痪，即使有控制也难以缓解。
  • 在 40% MPR 时，去中心化的 AV 跟车行为吸收了汇入处的湍流并抑制了向后传播的冲击波，即使没有匝道控制，也能基本消除严重拥堵。
  • 在 100% MPR 时，复合瓶颈被完全消除；在 40 km/h 桥梁约束下，网络运行在接近自由流的状态，速度从 65.49 km/h (0% MPR) 上升至 83.94 km/h (100% MPR)。
• 环境权衡： 虽然从 0% 到 40% MPR 的转变通过消除走停（stop-and-go）拥堵大幅降低了燃料消耗，但进一步提高 MPR（至 60% 和 100%）会导致燃料消耗略有增加。这是由于车辆为了克服空气阻力而保持较高的持续速度，相比于波动的低速行驶，需要更多的发动机功率。

意义与主张
本文将所提出的 Rainbow DRL 控制器定位为人类驾驶及早期混合交通网络的关键近期解决方案，在传统控制器失效的情况下提供了稳健的表现。至关重要的是，本研究刻画了集中式匝道控制可以逐步退出的 AV 渗透率区间。研究结果为高速公路基础设施管理提供了一份转型路线图：在人类驾驶员占主导地位时，主动的 DRL 控制对于保护网络免受级联冲击波影响至关重要；但随着 AV 渗透率达到中等水平（约 40%），AV 的去中心化和高响应特性足以维持网络稳定性，从而使集中式控制逐渐变得多余。这为未来匝道控制基础设施的长期投资决策提供了数据支持。