💻 computer science

Learning High-Level Decision Making with an Interaction-Aware Attention-Based Network in Autonomous Driving

本文提出了 DecisionPerceiver，一种受 Perceiver IO 启发、具备交互感知能力的注意力机制网络，它将动态智能体特征投影到固定大小的潜空间中，旨在为复杂且充满博弈的自动驾驶场景实现可扩展、高性能的决策制定。

原作者： Marcelo Contreras, Willi Poh, Christoph Stiller, Ehsan Hashemi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Marcelo Contreras, Willi Poh, Christoph Stiller, Ehsan Hashemi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名自动驾驶汽车的船长，但你没有方向盘，取而代之的是一个超级聪明的大脑，需要决定：“我是该加速？是该变道？还是该等待？”棘手的部分在于，你周围的交通状况非常混乱。有时只有两辆车，有时则有二十辆，而且它们的行驶速度各不相同。

长期以来，AI研究人员一直试图通过一种“DeepSet”方法来解决这个问题。这就像一位老师要求教室里的每个学生大声喊出自己的名字，然后老师只是通过计算所有名字的平均值来做出决定。这种方法很简单，可以处理任何数量的学生，但它有点笨拙。它会错过学生之间发生的具体对话。如果后排的孩子正在对着前排的孩子大喊大叫，老师听到的只是“噪音”，从而错过了其中的“戏份”。该论文指出，对于像交叉路口这样需要车辆进行“协商”谁先走的复杂情况，仅仅对所有信息取平均值是不够的。

另一方面，是“注意力（Attention）”模型。这些模型就像一位超级专注的侦探，同时观察每一辆车和它们之间的每一次互动。这对于理解复杂的动态关系非常有效，但也很累人。如果增加哪怕几辆车，侦探的大脑就需要做多得多的工作——其增长速度之快，会让系统变得缓慢且笨重。这就像试图同时阅读图书馆里的每一本书；如果图书馆的规模增加一倍，你的阅读时间就会增加到原来的四倍。对于一辆需要即时反应的真实汽车来说，这太慢了。

于是，出现了这篇论文提出的新想法：DecisionPerceiver。

作者构建了一个系统，它扮演着一个天才翻译官的角色。与其尝试直接监听每一辆车（这太慢了），或者仅仅对所有车辆取平均值（这太蠢了），该系统将周围所有的交通流量投影到一个特殊的、固定大小的“秘密语言”或**潜空间（latent space）**中。想象一下，这辆车拥有一本固定页数的神奇笔记本（假设是4页）。无论外面是5辆车还是20辆车，汽车都能迅速将最重要的互动情况总结在这4页纸上。

这是一个游戏规则的改变者，因为：

它保留了“戏份”： 它仍然能理解车辆之间是如何互动的，不像“取平均值”的方法那样。
它保持了高效： 因为笔记本的大小始终如一，所以即使交通变得拥挤，汽车也不会变慢。这位“侦探”不需要读更多的书，他们只需要更新那4页纸即可。

论文还为汽车的“动作菜单”提出了一个聪明的改进。他们不再只使用“左转”或“加速”这种粗犷、笨重的按钮，而是增加了像“向左转半圈”或“稍微加速”这样精细、精准的按钮。这就像是在对比：一个是只能进行大幅度、顿挫式移动的视频游戏角色，另一个则是可以平滑滑行的角色。这使得汽车的运动更加平滑，减轻了实际控制转向轮的底层控制系统的压力。

他们发现了什么？
研究人员在计算机模拟（一个虚拟世界，而非真实的道路）中，针对三种不同的场景测试了该系统：高速公路、复杂的交叉路口以及环岛。

在高速公路上： 新系统学会了快速行驶并比其他方法更快地完成超车。在训练初期，它就达到了 28.5 m s⁻¹ 的稳定速度，而其他方法需要更长的时间才能追赶上来。
在交叉路口： 这是“协商”至关重要的时刻。新系统表现最快，平均速度为 8.243 m s⁻¹，比专门的 LFFDS 方法快了约 15.4%。它学会了如何在不发生碰撞的情况下穿梭于车流之中。
在环岛中： 这里的交通相对简单。新系统的原始速度（约 9.951 m s⁻¹）虽然比某些旧方法稍慢，但它要安全得多。它的碰撞或卡死（提前终止）率比其他方法低了 5 倍。

论文还检查了该系统处理人群的能力。研究人员将系统需要观察的车辆数量从5辆增加到了20辆。虽然由于交通变得更加密集和难以操控，汽车的速度确实有所下降（下降了 15%–30%），但系统并未崩溃。它能够稳定运行，证明了它可以实现规模化扩展而不会瘫痪。

简而言之，作者提出，通过使用这种用于总结交通互动的“翻译官”笔记本，并为汽车提供更精准的按键，我们可以构建出既能处理复杂交通，又能实现实时反应的自动驾驶策略。这是一个充满前景的进步，但请记住，目前所有这些结果都来自模拟实验，尚未进行现实世界的驾驶测试。

技术摘要：用于自动驾驶高层决策的 DecisionPerceiver

问题陈述

基于学习的可靠高层决策（特别是针对换道和速度控制）在自动驾驶领域面临两个主要挑战：

可变输入维度： 现实世界的交通场景涉及动态变化的周围智能体数量，这要求神经策略能够处理非固定大小的输入，且对输入顺序不敏感（置换不变性）。
交互建模与可扩展性的权衡： 现有方法难以在显式的交通交互建模与计算效率之间取得平衡。
- DeepSets 及其变体通过共享编码器和置换不变聚合（如池化）来处理可变输入，但存在“特征塌陷”问题，即丢失了对于像交叉口这类需要密集协商场景至关重要的显式智能体间交互细节。
- 基于注意力的方法（如 Transformer）能有效捕捉全局依赖关系和交互，但其计算和内存复杂度相对于输入规模呈二次方增长，限制了实时部署。此外，它们对特征表示粒度的控制能力有限。

方法论

本文提出了 DecisionPerceiver，一种基于注意力的交互感知架构，旨在将动态智能体特征投影到固定大小的潜空间中。该系统使用强化学习（RL）框架进行训练。

1. 架构：DecisionPerceiver

受 Perceiver IO 的启发，该网络实现了计算成本与输入规模的解耦：

输入编码： 通过多层感知机（MLP）和层归一化（Layer Normalization）对动态智能体状态进行编码，生成键（Keys, $K$ ）和值（Values, $V$ ）。自车状态被视为静态输入。
潜空间瓶颈（Latent Bottleneck）： 网络并不直接对所有智能体进行注意力计算，而是使用一组潜标记查询（Latent Token Queries, $Q$ ）将这些特征投影到固定大小的潜空间（ $z \in \mathbb{R}^{N \times D}$ ）中。
注意力机制： 在潜查询与编码后的智能体特征之间进行多头注意力计算。这使得模型可以通过增加潜查询的数量（ $N$ ）来调节特征粒度，同时将复杂度限制在潜维度而非智能体数量上。
融合与输出： 生成的交互感知潜表示通过额外的 MLP 与自车状态进行融合。随后，独立的网络头分别回归价值函数（ $V_\theta$ ）和策略（ $\pi_\theta$ ）。
无池化操作： 与 DeepSets 不同，该模型未使用任何置换不变的塌陷算子（如池化），从而保留了学习智能体间交互的能力。

2. 训练框架

算法： 策略在 Actor-Critic 框架下使用 近端策略优化（PPO） 进行优化。
目标函数： 损失函数结合了用于策略的裁剪代理目标、用于价值函数的平方误差损失以及用于鼓励探索的熵正则化项。
环境： 在 highway-env 模拟器中针对三种场景进行训练和评估：高速公路（超车）、交叉口（无保护左转）和环岛（汇入/驶出）。

3. 精细化离散动作集

为了减轻底层横向和纵向控制器的负担，标准的离散动作集通过更精细的离散化进行了扩展：

标准动作（如“左转”）被拆分为中间层级（如“半左转”、“全左转”）。
这产生了一个包含九个离散元动作（Meta-actions）的新增动作空间（ $A_{new}$ ）。
这种精细化旨在通过提供中间参考值来改善轨迹跟踪，减少控制量，并创建一个具有更低梯度方差的更紧凑的搜索空间。

核心贡献

DecisionPerceiver 架构： 一种新型的行为规划架构，将动态规模的输入映射到紧凑的潜空间中。这实现了可扩展的交互建模，同时避免了标准注意力机制带来的二次方复杂度增长。
精细动作离散化： 引入了带有中间横向和速度参考的扩展离散动作集。这提升了底层控制性能和规划器推理的稳定性，且未牺牲实时处理能力。

实验结果

所提方法与最先进的基准模型进行了对比测试：DeepSet、LFFDS（DeepSet 的变体）以及 Ego-attention。

性能指标

高速公路场景： DecisionPerformer 实现了最高的平均速度（29.25 m/s），比 DeepSet 高约 6.2%，比 LFFDS 高约 4.2%。它表现出快速收敛的特性，在 $1 \times 10^5$ 步时即可达到稳态性能，而 Ego-attention 则需要 $5 \times 10^5$ 步。
交叉口场景： DecisionPerceiver 达到了最高的平均速度（8.243 m/s），相比于表现次优的基准模型 LFFDS 有 15.4% 的相对增益。虽然 Ego-attention 实现了略高的奖励值和更低的早期终止率，但 DecisionPerceiver 保持了更具侵略性的高速策略。
环岛场景： DecisionPerceiver 的速度为 9.951 m/s。虽然其速度略低于 DeepSet 和 LFFDS（分别低约 5% 和 1%），但其早期终止率显著降低（接近于零，而其他模型约为 5%），且奖励得分更高，表明其策略更加安全。

消融研究

动作离散化： 在高速公路场景中，与原始动作集相比，更精细的离散化带来了累积奖励的稳步增长和更高的平均速度，这归功于降低了底层控制器的反应时间和碰撞可能性。
可扩展性： 随着可观测车辆数量从 5 辆增加到 20 辆，模型保持了稳定且具有竞争力的性能。虽然由于交通密度增加和碰撞风险上升导致平均速度下降了 15–30%，但该架构并未出现灾难性的性能退化，证明了其在密集交通中的可扩展性。

重要性与主张

论文声称 DecisionPerceiver 为高层行为规划提供了一个平衡的解决方案，其理由如下：

实现可扩展的交互建模： 通过将交互投影到固定的潜空间中，模型能够捕捉复杂的交通依赖关系，同时避免了全注意力机制带来的计算限制。
提高控制效率： 更精细的动作离散化弥合了高层规划与底层执行之间的差距，减少了控制量并改善了轨迹跟踪。
展示鲁棒性： 该方法在多种运行条件下始终优于或匹配最先进的基于集合及基于注意力的基准模型，在需要密集协商的场景（交叉口）和高速超车（高速公路）中表现尤为突出。

作者得出结论，该方法在复杂的交通环境中提供了卓越的性能，与现有方法相比，具有更好的可扩展性和表示灵活性。