⚡ electrical engineering

Human-Centric Traffic Signal Control for Equity: A Multi-Agent Action Branching Deep Reinforcement Learning Approach

本文提出了 MA2B-DDQN，一种以人为本的多智能体深度强化学习框架，该框架利用动作分支架构来分解交通信号控制并优化出行者层面的公平性，在墨尔本多种城市场景下证明了其能显著减少延迟个体数量。

原作者： Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaocai Zhang, Neema Nassir, Lok Sang Chan, Milad Haghani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，繁忙的城市街道就像一个巨大的、复杂的舞池。现在的交通信号灯就像一位播放着僵化、预录曲目的 DJ。它们根据定时器切换，而不顾及舞池里是人山人海还是空无一人。这经常导致混乱：汽车在等待，而空荡荡的车道却处于闲置状态，行人也被困在路边。

你分享的论文介绍了一位更聪明的 DJ，名叫 MA2B-DDQN。这位 DJ 不再遵循固定的计时器，而是实时倾听现场情况，并根据实际到场的人员及其等待时间来决定音乐（即交通信号）。

以下是这个新系统运作方式的拆解，使用了简单的类比：

1. 目标：对每个人都公平，而不只是对汽车

大多数交通系统就像一场只有 VIP（汽车）才能获得关注的派对。如果一辆车被卡住了，灯就会变。如果行人正在等待，他们往往会被忽视。

这个新系统就像一位公平的派对主人。它统计所有人：车里的人、公交车里的人、骑自行车的人以及步行的人。如果一辆载有 50 人的公交车在等待，系统会将此视为比一辆只有一名驾驶员的汽车更大的“延迟”。目标不仅仅是让汽车快速移动；而是要确保总等待人数尽可能低。

2. 问题：选择太多

控制交通信号灯很难，因为要同时做出太多的决策。

旧方法： 想象一下尝试同时控制 3 个不同的交叉路口。对于每个交叉路口，你都必须决定：“应该是红灯还是绿灯？”以及“绿灯应该持续多久？”如果你试图同时做出所有这些决定，就像是在玩魔方时还要同时玩杂耍。计算机会被压垮并出错。

3. 解决方案：“分支”策略

作者发明了一个巧妙的技巧，叫做动作分支（Action Branching）。把它想象成一个将军及其副官。

全局动作（将军）： 有一位“将军”负责决定下一个两个阶段的总时长（例如，“接下来的两个灯光阶段总共持续 60 秒”）。这是一个适用于所有人的单一重大决策。
局部动作（副官）： 一旦将军设定了总时长，“副官”（位于每个特定交叉路口的智能体）就会决定如何分配这段时间。例如，交叉路口 A 可能获得 40 秒给汽车和 20 秒给行人，而交叉路口 B 则获得 30 秒和 30 秒。

通过将决策拆分为“整个街区的时间有多长？”和“我们如何分配这段时间？”，系统不再感到不堪重负。它使复杂的数学变得易于处理，从而让 AI 学习得更快，并做出更好的决策。

4. 训练：通过试错学习

该系统使用了一种叫做**深度强化学习（Deep Reinforcement Learning）**的方法。想象一个学生正在学习玩电子游戏。

起初，学生（AI）进行随机移动。
如果他们陷入交通拥堵，他们会得到一个“负分”（惩罚）。
如果他们保持交通顺畅，他们会得到一个“正分”（奖励）。
通过数千次的尝试，学生学会了避免惩罚的最佳动作。

在这篇论文中，“分数”是基于人类延迟计算的。如果一个人（无论是车里的人还是步行的人）等待时间过长，AI 会受到严厉的惩罚。

5. 结果：更平稳的旅程

研究人员在澳大利亚墨尔本的七种不同的交通场景中测试了这种新的“将军与副官”系统。这些场景涵盖了从安静的非高峰时段到高峰时段、学校上下学时间，甚至接近拥堵的状态。

他们将新系统与以下对象进行了对比：

固定定时器： 那些永不改变的传统信号灯。
其他 AI 系统： 其他不使用“分支”技巧或不关注公平性的智能交通系统。

研究结果：

获胜者： MA2B-DDQN（新系统）始终拥有最低的总人类延迟。它比任何其他方法都能更快地让更多的人通过交叉路口。
稳定性： 它也最为可靠。虽然其他 AI 系统有时会出现巨大的交通拥堵峰值（就像过山车一样），但这个系统能保持交通流的稳定和平顺。
“双倍”提升： 研究人员发现，添加特定的“双 Q 网络（Double Q-Network）”功能（一种自我检查数学计算的方法）使系统表现得更好，与类似系统相比，它减少了错误并将性能提高了高达 16%。

总结

这篇论文提出了一种控制交通信号灯的新方法，该方法将每一位旅行者——无论是开车、坐公交还是步行——都视为同等重要。通过将控制多个交叉路口的复杂任务分解为“将军”（设定总时间）和“副官”（分配时间），该系统能够更高效地管理交通。其结果是为道路上的每一个人提供了更公平、更平顺、更少挫败感的通勤体验。

技术摘要：面向公平性的以人为本交通信号控制

问题陈述
协调多模态走廊中的交通信号面临着重大挑战。现有的多智能体深度强化学习（DRL）方法主要以车辆为中心，往往忽略了行人、骑行者和公交乘客。此外，这些方法在处理多交叉口协调中固有的高维离散动作空间时表现挣扎。传统的自适应系统（如 SCATS、SCOOT）通常需要人工调优，且无法充分兼顾非机动用户。核心问题在于缺乏一种可扩展的、以人为本的框架，该框架能够显式地优化出行者层面的公平性（即所有运输模式之间的公平），同时有效管理多智能体环境中的离散动作空间复杂度。

方法论：MA2B-DDQN
作者提出了 MA2B-DDQN（多智能体动作分支双重深度 Q 网络），这是一种专为中等规模走廊网络设计的协作式多智能体 DRL 框架。该方法由五个关键组件构成：

环境与状态表示：
- 仿真利用 PTV VISSIM 对澳大利亚墨尔本的一个真实走廊进行建模，该走廊具有混合交通特征（汽车、公交车、行人）。
- 状态向量 $S_t$ 结合了三个要素：交通状况（车道单元内的车辆占用率、速度、加速度及乘客人数）、行人信息（各区域等待人数）以及当前信号相位（独热编码）。
动作分支架构：
- 为了解决离散多智能体空间中的“维度灾难”，动作空间被分解为 $n+1$ 个维度（其中 $n$ 为交叉口数量）。
- 局部动作（ $n$ 个维度）： 每个智能体独立决定两个后续相位之间的绿灯时间分配比例（ $p_{i,1}$ ）。
- 全局动作（1 个维度）： 单个全局动作决定整个走廊内即将到来的两个相位的总时长（ $C$ ）。
- 这种分解使得模型能够比标准的联合动作 DRL 更高效地处理离散决策（相位选择和时长）。
以人为中心的奖励机制：
- 不同于基于车辆排队长度或吞吐量的传统奖励，该奖励函数惩罚的是总延迟人数。
- 它汇总了行人、车辆乘员和公交乘客的延迟。当车速低于阈值（5 km/h）或行人于过街区等待时，即触发延迟。
- 奖励公式化为 $r_t = -(w_{veh} \sum N^{veh}_{i,t} + w_{ped} \sum N^{ped}_{j,t})$ ，其优先级是减少受影响的出行者人数，而非仅仅是车辆流量。
网络架构：
- 模型采用 Double DQN (DDQN) 框架以减轻 Q 值高估问题。
- 网络使用共享特征提取器（带有 ReLU 和层归一化的两个全连接层），并接入 $n+1$ 个并行输出头（每个动作维度一个）。
- 通过对各分支 Q 值的 $\arg\max$ 来选择动作。
学习算法：
- 系统使用集中式训练、分布式执行（CTDE）。智能体在训练期间共享全局信息以更新策略，但在执行动作时进行局部执行。
- 损失函数是所有 $n+1$ 个动作维度的平均损失，并使用 Adam 优化器进行优化。

核心贡献

以人为中心的公平性： 研究引入了一种前瞻性的 TSC 方法，将所有交通网络参与者（私家车乘员、公共交通乘客、骑行者和行人）平等对待，显式地优化减少延迟人数。
协作式多智能体框架： 作者提出了一个框架，通过共享信息自适应地确定全局动作（总相位时长），同时通过单个智能体优化局部信号配时（绿灯分配）。
用于多智能体 DRL 的动作分支： 这是首次将动作分支架构应用于多智能体 TSC。它通过分解控制问题，有效地处理了离散动作空间和多智能体设置，从而降低了联合决策的复杂度。

实验结果
该模型在墨尔本的 七个现实交通场景 下进行了评估，涵盖了从非高峰期、高峰时段到学校时段及接近饱和状态的各种情况。它与九种基准模型进行了对比，包括固定时间信号（Webster 公式、绿波控制）以及各种 DRL 模型（MADQN、MADDQN、MADDPG、CMRM、MASAC、MAA2C、MA2B-DQN）。

性能： MA2B-DDQN 在所有场景下均实现了最低的总个体延迟（AID）和人均延迟（PCD）。
- 在场景 1（非高峰期）中，与最佳固定信号基准相比，AID 降低了 36.75%；与最佳 DRL 基准（MAA2C）相比，降低了 11.94%。
- 在场景 2（高峰期）中，其性能比次优的 DRL 模型提高了 11.73%。
- 在场景 4（下午学校时段）中，相比 MASAC 实现了 35.24% 的提升。
鲁棒性： 该模型在重复试验中的性能指标标准差最低，表明与显示出高方差的 MADDPG 等基准模型相比，具有极高的稳定性。
消融实验：
- 移除动作分支机制会导致性能显著下降（例如在场景 1 中 AID 增加了 16.09%），证实了其在学习效率方面的关键作用。
- 引入 Double DQN (DDQN) 架构后，性能较标准 DQN 提升了 2.93% 至 16.40%（取决于具体场景），验证了其对高估问题的缓解作用。
权衡： 虽然 MA2B-DDQN 在整体公平性和车辆流量方面表现出色，但某些基准模型（如 CMRM、MASAC）偶尔会在以牺牲显著更高的车辆延迟为代价的情况下，实现更低的行人特定延迟（APDS/AWTP）。MA2B-DDQN 在各模式之间保持了更平衡的优化。

意义与主张
论文声称 MA2B-DDQN 为多模态交通信号控制提供了一个可扩展、鲁棒的解决方案，并明确解决了公平性问题。其意义在于：

实现了从以车辆为中心的优化向个体层面公平性的范式转变，确保所有道路使用者无论其出行模式如何都能获得公平的通行权。
证明了动作分支是处理多智能体环境下高维离散动作空间的有效且可行的策略，其表现优于传统的固定时间控制和其他最先进的 DRL 方法。
提供了一个可在多种城市条件下进行适配的实用框架，并在具有现实多模态交通数据的真实走廊上得到了验证。

作者总结道，虽然 DRL 通常优于固定时间方法，但要实现复杂多模态网络中的高效率与高公平性，必须结合动作分支、DDQN 以及以人为中心的奖励机制。他们指出，在接近饱和的状态下，物理车道容量成为了限制因素，但其方法仍能保持相对于基准模型的卓越性能。