Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

技术摘要：基于参数化深度 Q 网络（P-DQN）的集成自动化跟车与换道控制

问题陈述
目前的自动化车辆控制方法通常将换道和跟车视为独立的任务。传统的基于规则的模型，例如最小化换道引起的整体减速（MOBIL）结合智能驾驶员模型（IDM），依赖于预定义的规则和显式的轨迹近似。这些方法难以处理交通的动态性和随机性，特别是当换道决策取决于与周围车辆的复杂交互时（例如，通过调整速度来利用可接受的间隙）。此外，现有的强化学习（RL）方法通常分别处理这些子任务，或者试图通过对连续动作（如加速度）进行离散化来整合它们，这可能导致连续动作空间自然结构的丢失并降低效率。核心挑战在于管理一个混合动作空间，其中换道决策是离散的，而加速度和轨迹执行是连续的。

方法论
本研究提出了一种利用**参数化深度 Q 网络（P-DQN）**的联网自动驾驶车辆（CAV）集成控制框架。该算法旨在直接作用于混合离散-连续动作空间，而无需对连续变量进行离散化。

• 状态空间： 系统状态 ($S_t$) 由两部分组成：
  1. 车辆交互 ($S^1_t$)： 包括当前车道及相邻车道中四辆周围车辆（前车与后车）的相对横向/纵向位置和速度。
  2. 道路上下文 ($S^2_t$)： 包括本车距道路边界、理想车道中心线的距离，以及当前车道与理想车道之间的车道索引差。
• 动作空间： 该框架采用混合动作空间 $A_t = [A^h_t, A^l_t]^T$：
  • 高层离散动作 ($k_t$)： 决定换道决策（0：左转，1：保持，2：右转）。
  • 低层连续动作 ($A^l_t$)： 控制横向（$a_{x,0}$）和纵向（$a_{y,0}$）加速度。连续动作的范围由离散决策进行参数化（例如，对于左转换道，横向加速度被限制为负值）。
• 奖励函数： 总奖励 ($R_{total}$) 是五个组件的加权和，旨在平衡安全性、效率和舒适性：
  1. 安全性： 使用对数惩罚函数，针对与周围车辆及道路边界的接近程度进行惩罚。
  2. 跟车： 鼓励与前车保持期望的时间间距。
  3. 车道保持： 在未换道时，针对偏离车道中心线的行为进行惩罚。
  4. 换道： 奖励与“理想车道”（由相邻车道前车速度决定）的一致性。
• 算法： P-DQN 利用评论家网络（Critic Network）估计动作价值函数 $Q(S, k, A_l)$，并利用演员网络（Actor Network）为给定的离散动作 $k$ 输出最优连续参数 $A_l$。网络通过使用最小二乘损失函数和随机梯度下降进行训练，以最大化累积奖励。

核心贡献

1. 集成控制框架： 本研究提出了一个统一的控制策略，同时管理换道和跟车，将其视为相互依存的过程而非孤立的子任务。
2. 混合动作空间实现： 本文实现了 P-DQN 以处理 CAV 控制中混合动作空间的特定挑战，避免了离散化连续动作带来的局限性。
3. 多目标优化： 该框架成功地将四个子目标——碰撞规避、跟车、车道保持和换道效率——整合到一个单一的学习策略中。

结果
数值实验在四种不同复杂度的场景下进行，包括周围车辆恒定速度和动态速度的情况。

• 收敛性： P-DQN 算法在 2,000 到 3,000 个训练回合内实现了收敛。
• 行为表现： 与可能会因即时间隙约束而拒绝换道的传统方法（如 MOBIL）不同，P-DQN 学会了通过调整纵向速度（加速或减速）来创造或利用间隙，从而实现成功的换道。智能体在操作过程中能够与前车及后车保持安全距离，并遵循车道中心线。
• 对比分析： 与基准 MOBIL+IDM 模型相比：
  • 安全性： P-DQN 展示了显著更低的**逆碰撞时间（Inverse-TTC）**值（例如，场景 1 中为 0.075 vs. 0.214），表明碰撞风险更低。
  • 舒适性： P-DQN 实现了显著更低的驾驶不适度指标（基于加速度量级），其值在 0.599 到 1.260 之间，而 MOBIL+IDM 基准模型的值在 1.596 到 3.712 之间。

意义与主张
本文声称，所提出的 P-DQN 框架通过有效整合换道和跟车行为，解决了分离控制策略和基于规则模型的局限性。通过利用混合动作空间，该模型使 CAV 能够做出协调的决策，即通过速度调整来促进安全的换道，模拟了真实的驾驶行为。研究结论指出，与成熟的 MOBIL 和 IDM 组合相比，这种集成方法在驾驶安全性和舒适性方面提供了更优越的表现，为复杂的交通场景提供了一种更具适应性的解决方案，而不依赖于僵化的预定义规则。