技术摘要：一种用于异构路网交通信号控制的基于图的控制接口

问题陈述

交通信号控制面临着一个根本性的泛化挑战：动作空间本质上是局部且异构的。三臂路口、标准的四臂路口以及具有保护性转弯的复杂路口，其相位数量和相位的不同语义含义各不相同。因此，固定的神经网络输出头（例如“相位 2”）在不同的路网之间缺乏可复用的语义。标准方法通过将动作空间填充至统一大小来改变张量维度，但这并未建立共享的语义；而现有的学习方法往往难以将交通流的评分与路口特定动作空间的构建解耦。

方法论

本文提出了一种控制接口，该接口严格地将学习到的交通流评分与确定性的局部动作空间构建分离开来。

1. 控制对象与表示

• 交通流 (Movements)： 定义为从一个进入的道路走廊到另一个出去的道路走廊的合法受控路径（包括直行和转弯）。
• 车道组 (LaneGroups)： 当无信号控制的延续路径是明确时，连续的有向道路段被归为一组 LaneGroups。由于队列和速度动态的不同，相对方向保持独立。
• 相位 (Phases)： 相位是一组可以同时接收绿灯信号的兼容交通流集合。控制器选择每个路口的一个相位，而不是控制单个灯具。

2. 图神经网络 (GNN) 架构

系统采用了一个共享的、有类型的图神经网络，运行在包含 LaneGroup 节点和 Movement 节点的城市级图上。

• 消息传递： 该架构使用四种有向关系进行有类型消息传递：$L_{in} \to M$，$L_{out} \to M$，$M \to L_{in}$ 以及 $M \to L_{out}$。
• 聚合： 利用有类型均值聚合（而非注意力机制）来生成嵌入。
• 评分： 在两个消息传递块之后，一个多层感知器 (MLP) 将最终的交通流嵌入 ($h^{(2)}_m$) 映射为单个标量分数 ($s_m$)。
• 参数共享： 参数形状仅取决于特征和隐藏层维度，使其独立于图的大小或动作的数量。

3. 确定性动作空间构建

该接口强制执行一个“窄边界”，即学习过程止于交通流评分，而由确定性代码处理剩余部分：

• 关联矩阵 ($A_j$)： 对于每个路口 $j$，一个预先计算的、确定性的关联矩阵将交通流分数映射到相位逻辑值 (logits)。矩阵 $A_j \in \{0, 1\}^{|P_j| \times |M_j|}$ 指示哪些交通流由哪些相位启用。
• 相位逻辑值 (Phase Logits)： 相位 $p$ 的逻辑值计算为其启用的交通流分数之和：$\ell_{j,p} = \sum_{m \in M_j} A_{j,p,m} s_m$。
• 离线构建： 相位基于 SUMO 冲突数据，通过 Bron–Kerbosch 枚举算法寻找最大兼容交通流集合进行离线生成。
• 在线执行： 在运行时，可用性掩码强制执行最小绿灯时间，并通过类别采样根据逻辑值选择相位。

4. 训练协议

• 算法： 使用近端策略优化 (PPO) 来优化完整的策略。
• 奖励函数： 每个路口分配一个局部的、无量纲的奖励，结合了进度（速度归一化密度）、放行（车辆离开）、制动（减速）和拥堵（速度亏损）等项。
• 执行： 策略在可变规模的状态图上运行。为了进行批处理，具有匹配局部维度的路口会被分组，从而避免了填充到统一的通用图大小。

核心贡献

1. 结构解耦： 主要贡献在于该架构接口，它将用于交通流评分的可复用、共享 GNN 与路口特定的动作空间构建分离。这使得系统能够处理可变的图规模和可变的动作数量，而无需重新训练或更改网络拓扑。
2. 可行性评估： 本文提供了该接口在异构路网（包括未见过的合成网格几何结构和五个不同的城市图：卡尔斯鲁厄、曼海姆、斯图加特、海德堡、弗赖堡）中执行的可行性证据。
3. 透明边界： 不同于以往的工作（如 TransferLight）学习复杂的层次结构或相位语义，本方法维持了一个透明的边界，其中相位成员关系和定时是确定性的，而学习到的 Actor 仅输出每个交通流的标量。

实验结果

评估针对三个研究问题 (RQs) 展开：

• RQ1 (合成族内的迁移)： 在未见过的网格尺寸（如 $6 \times 6$）和由同一合成生成器生成的长宽比上，采样学习到的策略在吞吐量和完成率方面均优于 Max-Pressure 基准线（在 0.6、0.7、0.8 的所有需求水平下）。
• RQ2 (分布偏移)： 当信号覆盖率降低（50% 和 25%）时，在全覆盖下训练的策略与 Max-Pressure 相比表现出显著的性能下降。这表明尽管架构在结构上仍可执行，但对信号覆盖率的变化存在分布偏移敏感性。
• RQ3 (城市可行性)： 单个训练好的策略实例被执行在五个异构城市图中。结果褒贬不一：
  • 卡尔斯鲁厄与斯图加特： 学习到的策略在吞吐量和完成率方面优于所有非学习基准（Max-Pressure、Queue、Fixed Time）。
  • 曼海姆： 表现落后于 Queue 基准。
  • 海德堡： 表现与 Fixed Time 相似。
  • 弗赖堡： 实现了比 Fixed Time 更高的吞吐量和完成率，但以更高的等待密度为代价。
  • 注： 斯图加特是唯一的真正泛化测试（无训练 Rollout），而其他城市则展示了在异构训练域中的执行能力。

重要性与声明

论文明确将其贡献界定为可行性证据，而非向任意路网进行通用迁移的保证。

• 范围适度： 作者指出，结果并未建立在任意路网上的通用迁移能力。评估被限制在特定的合成及城市模拟家族内。
• 结构性 vs. 经验性： 论文区分了结构属性（通过构造证明其在可变图上执行的能力）与经验稳健性（显示出对信号覆盖率变化等分布偏移的敏感性）。
• 实现侧重： 本工作评估的是一种实现方式和架构接口，而非提出一种新的强化学习算法。它强调，虽然该接口支持可变维度，但学习到的性能并不会随控制器分布或底层网络拓扑的变化而保持不变。

总之，本文证明了基于图的接口可以成功地将学习到的交通流评分与局部的信号逻辑解耦，从而实现在多样且未见的网络几何结构上的执行。然而，它也揭示了结构上的可执行性并不自动确保在分布偏移或不同异构城市环境下具有稳健的性能，除非进行进一步的调优或适配。