💻 computer science

PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

本文介绍了PALCAS，这是一种面向自动驾驶车辆的优先级感知智能变道建议系统，该系统采用具有新颖奖励函数的多智能体联邦强化学习，以在强制性和自主性变道场景中优化安全性、效率及目的地紧迫性。

原作者： Yassine Ibork, Nhat Ha Nguyen, Myounggyu Won, Lokesh Das

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yassine Ibork, Nhat Ha Nguyen, Myounggyu Won, Lokesh Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一条繁忙的高速公路，就像一个巨大而混乱的舞池。每个人都试图向前移动，但有些舞者需要尽快离开舞池，而另一些人则只是在悠闲地巡游。如果每个人都在最后一刻试图插队，或者没有人知道旁边的人打算做什么，结果就会是交通堵塞，甚至更糟——发生碰撞。

本文介绍了PALCAS，这是一个智能系统，旨在教导自动驾驶汽车（自驾驶车辆）如何安全、高效地共同“起舞”。其工作原理可分解为以下简单概念：

1. 问题：太多的“独舞”舞者

目前，大多数自动驾驶汽车系统就像“独舞”舞者。它们只观察周围紧邻的车辆。

问题所在：如果一辆车需要在 500 米后驶离高速公路，“独舞”系统可能会等待太久才变道至右侧车道，导致突然且危险的急转。反之，一辆直行车辆可能会过早变道至右侧车道，从而阻碍其他车辆的出口。
风险：这种缺乏协调会导致事故、交通堵塞以及错过出口。

2. 解决方案：一个“联邦”舞蹈团队

PALCAS 通过一种称为联邦强化学习的方法来解决这一问题。这就像一群地方舞蹈教练（称为RSU或路侧单元）管理着高速公路的小段区域。

本地训练：每位教练根据其在特定区域内观察到的情况，教导该区域内的车辆如何“起舞”。
分享“秘诀”（而不分享隐私）：教练们不会将所有车辆的视频画面发送给中央“老板”（这既缓慢又存在隐私风险），而是仅将“学到的经验”（即决策背后的数学原理）发送给中央服务器。
全球课程：中央服务器将这些经验混合在一起，形成一本“大师舞蹈手册”，然后将其发送回所有教练。
结果：每位教练都会随着时间的推移变得更聪明。他们能从高速公路其他区域的交通模式中汲取经验，而无需查看其他司机的隐私数据。

3. “优先级”规则：谁先走？

PALCAS 最独特的部分是其感知优先级系统。它不会一视同仁地对待每辆车，而是根据目的地进行判断。

“急需出口”的车辆：如果一辆车接近其出口，系统会赋予其高优先级。它会温和地引导该车提前变道至最右侧车道，以便其能平稳驶离，而不会切断其他车辆。
“长途跋涉”的车辆：如果一辆车需要在高速公路上行驶很远，系统会指示其停留在快车道（左侧车道），暂时不要变道至右侧。
类比：想象一场音乐会，有人需要提前离场。PALCAS 就像一位引座员，它告诉提前离场的人现在就移向过道，同时告诉留下来欣赏安可曲的人留在座位上。这防止了门口发生拥挤踩踏。

4. “奖励”机制：它们如何学习

车辆通过奖励和惩罚机制进行学习，这类似于训练宠物或玩电子游戏：

效率奖励：保持交通快速流动可获得积分。
安全奖励：与其他车辆保持安全距离（遵循严格的“安全气泡”规则）可获得积分。
舒适奖励：平稳驾驶可获得积分。避免急刹车或突然加速。
优先级奖励：这是“独家秘方”。在完美时机变道至出口车道可获得巨额奖励。如果等待过久，将受到惩罚；如果过早变道并阻塞出口车道，同样会受到惩罚。
死锁惩罚：如果一辆车卡在汇入高速公路的匝道（入口匝道）上，它将受到惩罚，以鼓励其尽快汇入。

5. 结果：更顺畅的旅程

研究人员在计算机模拟的繁忙高速公路上测试了该系统，该公路拥有许多入口和出口匝道。他们将 PALCAS 与另外两种方法进行了比较：

集中式：一个巨大的大脑控制所有车辆（如果连接中断，则缓慢且风险高）。
隔离式：高速公路的每一段单独学习（没有团队协作）。

PALCAS 在几乎所有指标上都胜出：

交通更快：与隔离式方法相比，车辆平均行驶速度提高了约 7%。
更安全：它显著减少了碰撞（与隔离式方法相比减少了近 76%）。
更舒适：车辆的加速和刹车更加平稳，就像人类谨慎驾驶，而不是机器人猛地转动方向盘。
更好的出口：车辆成功到达出口而未被卡住或错过的可能性大大增加。

总结

PALCAS 就像一位聪明的交通指挥家，它利用一群地方教练来教导自动驾驶汽车如何协调配合。通过分享“学到的经验”而非隐私数据，并根据车辆目的地进行优先级排序，它创造了一条让车辆如流水般顺畅通行、而非像碰碰车般相互碰撞的高速公路。它让道路对每个人来说都更安全、更快速、更舒适。

以下是论文《PALCAS：一种基于联邦强化学习的自动驾驶车辆优先级感知智能变道 advisory 系统》的详细技术总结。

1. 问题陈述

城市高速公路上的变道，尤其是那些拥有频繁进出匝道的路段，是一项涉及车辆横向与纵向控制协调的复杂决策任务。现有方法面临诸多挑战：

安全与效率：不恰当的变道导致了超过 10% 的高速公路事故和 10% 的交通拥堵。由于感知错误，人类驾驶员往往无法做出关键决策。
现有 AI 的局限性：
- 单智能体系统：通常仅关注自车的效率，忽视了全局交通协调。
- 集中式多智能体系统（MARL）：虽然改善了协调性，但存在数据隐私风险、高计算开销，且在大型异构网络中缺乏可扩展性。
- 联邦学习（FL）的差距：现有的自动驾驶联邦学习应用主要集中在底层运动控制（如碰撞避免），而非平衡强制性变道与自主性变道的集成式高层多智能体变道决策。

2. 方法论：PALCAS 框架

作者提出了PALCAS，这是一个基于**联邦多智能体强化学习（Fed-MARL）**框架构建的优先级感知变道 advisory 系统。

系统架构

基础设施：高速公路被划分为多个簇，每个簇由路侧单元（RSU）管理。RSU 作为智能体，协调其覆盖范围内的网联自动驾驶车辆（CAV）。
通信：
- V2X（车联万物）：CAV 与其本地 RSU 通信。
- I2I（基础设施对基础设施）：RSU 之间相互通信以共享全局交通统计数据。
- 联邦学习：RSU 利用本地数据训练本地模型，并定期将参数上传至中央服务器进行聚合（FedAvg），随后下载更新后的全局模型。这在保护数据隐私的同时实现了知识共享。

数学表述

问题类型：该系统被表述为去中心化部分可观测马尔可夫决策过程（Dec-POMDP）。
算法：系统利用参数化深度 Q 网络（PDQN）来处理混合动作空间：
- 离散动作：向左变道、向右变道或保持车道。
- 连续动作：加速或减速指令。
状态空间：采用分层表示进行融合：
- 微观：自车状态（位置、速度、加速度）及周围车辆状态。
- 宏观：簇级交通密度和平均速度。
- 全局：通过 I2I 通信共享的汇总交通统计数据。

奖励函数设计

核心创新在于一种优先级引导的奖励函数（ $R_k$ ），旨在平衡安全、效率、舒适度和目的地紧迫性：
$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$

效率奖励（ $r_e$ ）：鼓励保持接近限速的速度并优化簇级流量。
安全奖励（ $r_s$ ）：基于**责任敏感安全（RSS）**模型，计算最小安全纵向和横向距离以防止碰撞。
舒适度奖励（ $r_c$ ）：对超过舒适阈值（ $1.47 m/s^2$ ）的加速/减速进行惩罚。
优先级引导的变道奖励（ $r_{lc}$ ）：这是新颖组件。它根据以下因素动态加权变道决策：
- 紧迫性（ $u_t$ ）：即将到达出口的车辆如果不在正确车道上，将受到负奖励，该值通过“距出口时间”与“变道所需时间”的对比计算得出。
- 阶段惩罚（ $p_{stage}$ ）：阻止车辆过早占用出口车道，从而为直行交通保留快速车道。
死锁惩罚（ $r_d$ ）：防止匝道车辆在加速车道末端陷入停滞。

3. 主要贡献

首创框架：PALCAS 是首个利用联邦学习范式解决大规模协同决策中强制性变道与自主性变道联合问题的研究。
分层状态表示：将微观车辆数据与宏观簇级及全局交通信息相结合，增强了情境感知能力。
优先级引导的奖励机制：统一了机动可行性和目的地紧迫性，使系统能够根据车辆距出口的远近及当前交通状况动态优先处理车辆。
可扩展的隐私保护架构：展示了一种联邦方法，使智能体能够在不共享原始数据的情况下从未见场景中泛化，适用于异构交通环境。

4. 仿真结果

该系统使用SUMO（交通仿真）和Eclipse MOSAIC（V2X 通信）在 2.4 公里、5 车道的高速公路场景中进行评估。与以下基准进行了比较：

基准 1：集中式 MARL（单个智能体控制所有车辆）。
基准 2：无联邦学习的去中心化 MARL（无知识共享）。

关键性能指标（在 60% CAV 渗透率下）：

交通效率：PALCAS 实现了最高的平均速度（30.03 m/s），比基准 1 高出3.12%，比基准 2 高出6.86%。
安全性（碰撞率）：与基准 1 相比，PALCAS 将碰撞率降低了19.67%；与基准 2 相比降低了75.5%。
驾驶舒适度：加速度轨迹显著更平滑，保持在 $[-1, 1] m/s^2$ 范围内，而基准方案在 $[-4.5, 2.6] m/s^2$ 之间波动。
目的地成功率（DSR）：在 60% 渗透率下，PALCAS 将 DSR 比基准 1 提高了132.94%，比基准 2 提高了113.9%，有效防止了错过出口。
汇入成功率（MSR）：PALCAS 实现了超过 93% 的成功率，与基准方案相当，尽管基准 2 因其短视（短期）局部优化而在 MSR 上略胜一筹。

消融研究：
移除优先级引导的奖励组件导致性能急剧下降，证实了其在协调复杂多车机动和防止拥堵方面的关键作用。

5. 意义

现实世界适用性：该系统解决了拥有频繁匝道的城市高速公路的具体挑战，而当前的集中式或单智能体系统在此类场景中往往难以应对。
隐私与可扩展性：通过使用联邦学习，PALCAS 为部署协同自动驾驶系统提供了一条可行路径，既不会损害数据隐私，也不需要巨大的集中式计算能力。
安全与效率的平衡：优先级感知奖励函数成功解决了保持交通流畅（留在快速车道）与确保车辆到达目的地（移至出口车道）之间的权衡，显著减少了拥堵和事故。
实时可行性：90% 的决策推理时间测量值低于 100 毫秒，表明该系统适合实时部署。

总之，PALCAS 证明了将联邦学习与优先级感知强化学习相结合，能够构建一个稳健、可扩展且安全的下一代自动驾驶变道管理框架。