Dual-Interaction-Aware Cooperative Control Strategy for Alleviating Mixed Traffic Congestion

本文提出了一种面向混合交通瓶颈场景的双交互感知协同控制策略（DIACC），通过结合多智能体强化学习框架下的去中心化交互自适应决策、集中式交互增强评估器及软最小值奖励设计，有效提升了网联自动驾驶车辆在复杂人机混行环境下的交通效率与适应性。

要点

这篇文章介绍了一种名为 DIACC 的新策略，旨在解决一个非常现实的问题：当“自动驾驶汽车”（CAV）和“人类驾驶汽车”（HDV）混在一起开车时，如何避免堵车和事故？

想象一下，你正开车在一个繁忙的路口，前面车道突然变窄了（就像高速公路施工导致车道减少）。这时候，如果全是人类司机，大家都会争抢车道，谁也不让谁，结果就是堵成一团，甚至发生剐蹭。但如果引入自动驾驶汽车，它们本可以像“超级交警”一样互相配合，疏通交通。

问题在于： 人类司机开车风格千奇百怪（有的急躁、有的慢吞吞、有的喜欢突然变道），而且自动驾驶汽车很难预测人类下一秒会做什么。现有的自动驾驶算法要么太死板，要么在复杂的人类车流中“学不会”怎么合作。

这篇论文提出的 DIACC 策略，就像给自动驾驶汽车装上了一套**“双重视觉 + 超级大脑 + 智能教练”**的组合拳，让它们能更聪明地应对这种混乱局面。

以下是用通俗语言对论文核心内容的解读：

1. 核心痛点：人类太“随性”，机器太“困惑”

在混合交通中，自动驾驶汽车面临两个难题：

• 分不清对象： 它不知道旁边那辆车是“队友”（也是自动驾驶的，可以商量）还是“路人”（人类司机，只能观察猜测）。
• 顾此失彼： 现有的算法往往只盯着自己眼前的车（局部视角），忽略了整个路口的拥堵情况（全局视角），导致虽然自己开得顺了，但整体交通还是堵。

2. DIACC 的三大“超能力”

第一招：双重视觉（D-IADM 模块）——“分清队友和路人”

• 比喻： 想象你在打篮球。面对队友，你可以直接喊话配合（“我传给你，你快跑！”）；面对对手，你只能观察他的动作来预判（“他好像要突破，我得防守”）。
• 做法： 以前的算法把所有人都当成一样的对手。DIACC 给自动驾驶汽车装了两套“眼睛”：
  • 一套专门看队友（其他自动驾驶车）：不仅看它们在哪，还知道它们上一秒打算做什么，从而进行默契配合。
  • 另一套专门看路人（人类车）：只根据它们的历史轨迹来猜测意图，保持安全距离。
• 效果： 这样自动驾驶汽车就能更精准地判断：该跟谁“商量”变道，该给谁“让路”。

第二招：超级大脑（C-IEC 模块）——“上帝视角”

• 比喻： 想象下棋。普通的棋手只看自己这一步怎么走（局部）；而“超级大脑”能看到整个棋盘的局势（全局），知道这一步走完后，对手会怎么反应，整个局面会怎么演变。
• 做法： 在训练过程中，有一个“裁判”（Critic）不仅看每个车怎么开，还通过全局交互图，分析所有车之间的互动如何影响整个路口的通畅度。
• 效果： 这个“裁判”会告诉每辆车：“虽然你变道现在很爽，但会导致后面三辆车堵死，所以别变！”它指导车辆为了整体效率做出更优的决策，特别是在车流量极大的时候，效果最明显。

第三招：智能教练（奖励机制 + 安全修正）——“专挑难题练，安全不妥协”

• 比喻： 就像学生做题。如果老师只给简单的题练，学生遇到难题就懵了。DIACC 的“智能教练”会专门挑那些最难的互动场景（比如大家挤在一起抢道）进行重点训练。
  • 温度退火（Temperature Annealing）： 刚开始训练时，像“广撒网”一样尝试各种方法；随着训练深入，逐渐把注意力集中在那些最容易出错、最混乱的场景上，让学生（算法）在困难中快速成长。
  • 安全修正（PSAR）： 这是一个“安全网”。如果算法想出的动作太激进（比如离前车太近），这个模块会像老司机的本能一样，瞬间把动作修正回来（比如强制刹车或取消变道），防止撞车。
• 效果： 训练速度更快，而且学会的策略非常稳健，即使在没见过的复杂路况下也能安全通过。

3. 实验结果：真的有用吗？

研究人员在电脑模拟的“瓶颈路段”（车道突然减少的地方）进行了测试，对比了纯人类驾驶、普通自动驾驶和 DIACC 策略。

• 通行效率更高： 在车道减少 50% 的极端情况下，DIACC 让车流速度提升了约 55%，而普通方法提升很少。
• 更安全： 在测试中，DIACC 几乎消除了所有可能导致碰撞的“安全关键事件”（Safety-Critical Events），而普通方法在车多时事故率会飙升。
• 适应性强： 即使把训练好的模型放到没见过的地图、不同数量的车辆、不同性格的人类司机（有的急躁、有的保守）中，它依然表现优异。

总结

这篇论文就像是为自动驾驶汽车设计了一套**“高情商”的社交法则**：

1. 认得清谁是队友，谁是路人；
2. 看得远，不仅顾自己，还顾大局；
3. 练得精，专门攻克最难的堵车场景，同时时刻系好“安全带”。

这项技术让自动驾驶汽车在人类司机依然占大多数的未来交通中，不仅能“独善其身”，更能“兼济天下”，真正缓解拥堵，让出行更安全、更顺畅。

技术摘要

这是一份关于论文《Dual-Interaction-Aware Cooperative Control Strategy for Alleviating Mixed Traffic Congestion》（缓解混合交通拥堵的双交互感知协同控制策略）的详细技术总结。

1. 研究背景与问题 (Problem)

随着智能交通系统（ITS）的发展，网联自动驾驶车辆（CAVs）有望通过协同策略显著缓解交通拥堵。然而，在可预见的未来，CAVs 将与人工驾驶车辆（HDVs）长期共存，形成混合交通流。

• 核心挑战：
  • 行为的不确定性与多样性：HDVs 的驾驶风格各异且不可预测，给 CAVs 的协同控制带来了巨大挑战。
  • 交互建模困难：现有的多智能体强化学习（MARL）方法通常将车辆交互视为同质化或仅关注局部观测，难以区分CAV-CAV 的协同交互（具有共享决策信息）与CAV-HDV 的观测交互（仅依赖历史轨迹）。
  • 局部与全局的脱节：现有的去中心化 MARL 框架往往局限于局部交互感知，缺乏对全局交通动态（如瓶颈处的整体拥堵演化）的深刻理解，导致无法制定最优的全局协同策略。
  • 训练难点：在混合交通的瓶颈场景（如车道合并、车道减少）中，交互密集且复杂，标准奖励机制容易让智能体忽略高难度的交互场景，导致训练收敛慢或策略次优。

2. 方法论 (Methodology)

本文提出了一种**双交互感知协同控制（DIACC）**策略，基于多智能体强化学习（MARL）框架（具体采用 MAPPO 算法），通过三个核心模块增强 CAVs 在混合交通瓶颈场景下的协同能力。

A. 核心框架：MAPPO (CTDE)

采用集中训练、分散执行（CTDE）架构。每个 CAV 作为智能体（Actor）根据局部观测做出决策，而中央评论家（Critic）利用全局信息进行价值评估，指导策略更新。

B. 关键模块设计

1. 去中心化交互自适应决策模块 (D-IADM)

   • 目的：增强 Actor 对局部交互的感知能力，区分不同类型的车辆交互。
   • 机制：
     • 轨迹感知交互编码器 (TAIE)：利用两个独立的图注意力网络（Graph Attention Networks）。
       • 一个网络处理 CAV-HDV 交互：仅基于历史轨迹观测，捕捉 HDV 的不可预测性。
       • 另一个网络处理 CAV-CAV 交互：除了轨迹外，还融合了上一时刻的决策反馈（$a_{t-1}$），利用 CAV 间的通信共享信息。
     • GRU 与融合层：结合时间依赖性和上下文信息，生成综合观测嵌入。
   • 作用：使 CAV 能更准确地理解周围车辆的意图，区分“可协同的 CAV"和“需观测的 HDV"。

2. 集中式交互增强评论家 (C-IEC)

   • 目的：增强 Critic 对全局交通动态的理解，提供更准确的价值估计。
   • 机制：
     • 集成交通动态表示 (ITDR)：构建全局车辆交互图，利用交叉注意力机制 (Cross-Attention)。
     • 将“全局交通特征”（如车道统计、道路结构）作为 Query，将“全局交互特征”作为 Key 和 Value。
     • 捕捉车辆交互如何影响交通流的演化（例如，某个 CAV 的让行如何缓解下游拥堵）。
   • 作用：为 Actor 提供基于系统级视角的反馈，引导其学习不仅利于自身、更利于全局交通效率的协同策略。

3. 基于软最小值聚合与温度退火的奖励机制

   • 目的：解决训练过程中智能体倾向于简单场景，而忽略高难度交互场景的问题。
   • 机制：
     • Softmin 聚合：在计算局部奖励时，使用 Softmin 函数加权。奖励较低（表现较差）的智能体获得更高的权重，迫使训练关注困难案例。
     • 温度退火 (Temperature Annealing)：温度参数 $\tau$ 随训练进程从大变小。初期 $\tau$ 大，进行广泛探索；后期 $\tau$ 小，集中优化最困难的交互场景。
   • 作用：实现课程学习（Curriculum Learning）效果，提升策略在复杂场景下的鲁棒性。

4. 主动安全动作修正 (PSAR)

   • 目的：作为轻量级安全层，加速训练收敛并防止危险探索。
   • 机制：基于规则（如 TTC 时间碰撞指数、车间距离）对 Actor 输出的动作进行微调。如果检测到变道或加速会导致碰撞风险，则强制取消变道或减速。
   • 作用：将修正后的动作反馈给 Actor 作为“动作记忆”，帮助其学习安全边界。

3. 主要贡献 (Key Contributions)

1. 提出了 D-IADM 模块：首次明确区分并分别建模 CAV-CAV 协同交互与 CAV-HDV 观测交互，显著提升了 Actor 在混合交通中的适应性和决策稳定性。
2. 设计了 C-IEC 模块：通过 ITDR 和交叉注意力机制，使 Critic 能够量化车辆交互对全局交通动态的影响，提供了比传统 MAPPO 更准确的价值估计，特别是在高密度场景下优势明显。
3. 创新了奖励设计：引入带有温度退火的 Softmin 聚合奖励机制，有效引导训练资源聚焦于交互密集和困难场景，解决了传统方法在瓶颈场景下收敛慢、策略次优的问题。
4. 实验验证：在 SUMO 仿真平台中，DIACC 在多种混合交通瓶颈场景（25% 和 50% 车道缩减）下，相比规则基线（IDM+LC2013）、纯 MAPPO 及消融模型，均表现出显著的性能提升。

4. 实验结果 (Results)

实验在包含不同 CAV 渗透率（0.2-0.4）、不同车辆总数（20-40 辆）及不同 HDV 驾驶风格分布的混合交通瓶颈场景中进行。

• 训练性能：
  • DIACC 收敛速度最快，最终碰撞率最低，全局奖励最高。
  • 消融实验表明，C-IEC 模块显著降低了后期训练阶段的碰撞率；PSAR 模块有效减少了训练早期的不稳定探索。
  • 温度退火策略（$\tau$ 从 2 降至 0.05）比固定温度策略表现更好，平衡了探索与利用。
• 测试性能 (零样本泛化)：
  • 安全性：在 25% 车道缩减场景的所有零样本测试中，DIACC 将安全关键事件（SCEs，如碰撞、紧急制动）的概率降至 0%。
  • 效率：在 50% 车道缩减的高压场景下，DIACC 的平均速度比纯 HDV 场景提升约 55-76%，比纯 MAPPO 基线提升约 10-20%。
  • 鲁棒性：在车辆密度增加（N=30, N=40）和不同驾驶风格分布下，DIACC 始终保持着最高的中位速度和最稳定的速度分布（速度波动最小）。
• 对比分析：
  • 仅包含 D-IADM 的模型（MAPPO-IADM）在简单场景下效率尚可，但在高密度场景下安全性显著下降，证明了 C-IEC 对全局协同指导的必要性。

5. 意义与价值 (Significance)

• 理论创新：打破了传统 MARL 在混合交通中将交互视为同质化的局限，提出了“双交互感知”的新范式，为理解异构交通流中的协同机制提供了新视角。
• 实际应用价值：该策略能有效缓解混合交通瓶颈处的拥堵，显著提升通行效率，同时将事故风险降至最低，为未来 CAV 在大规模混合交通环境中的落地提供了可行的控制方案。
• 泛化能力：通过零样本测试证明，该策略具有良好的泛化性，能够适应未见过的道路配置和交通组成，降低了部署成本。
• 未来方向：为后续研究轻量化轨迹预测、更大规模交通系统的扩展以及跨场景统一控制框架奠定了基础。

总结：本文提出的 DIACC 策略通过精细化的交互感知（D-IADM）、全局价值引导（C-IEC）和针对性的奖励机制，成功解决了混合交通瓶颈场景下 CAV 协同控制的难题，实现了安全性与通行效率的双重提升。