💻 computer science

Test-Time Trajectory Optimization for Autonomous Driving

TOAD 是一种即插即用的测试时轨迹优化方法，它利用交叉熵方法来搜索并最大化学习到的轨迹级奖励，在无需重新训练的情况下显著提升了现有端到端自动驾驶规划器的性能。

原作者： Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yihong Xu, Eloi Zablocki, Yuan Yin, Elias Ramzi, Ellington Kirby, Alexandre Boulch, Matthieu Cord

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一辆自动驾驶汽车如何在繁忙的城市中行驶。在目前的“尖端”方法中，汽车的大脑运作起来就像一位匆忙的招聘经理。

以下是旧系统的工作方式：

简历池： 汽车的神经网络快速生成一个固定的列表，例如 100 条它可能采取的驾驶路径（轨迹）。
面试官： 一个单独的“评分器”程序查看这 100 条路径，并根据安全性和舒适度选出最佳路径。
问题所在： 如果最初的 100 条路径很糟糕（例如，它们全都涉及撞墙），那么“面试官”被迫只能从这些选项中选出一个“没那么坏”的。系统被困在了一组糟糕的选择中，无论面试官有多优秀也无济于事。

新思路：TOAD（测试时轨迹优化）

由 Valeo.ai 团队合作完成这项研究的作者们引入了一种新方法——TOAD。TOAD 不再只是从一堆简历中挑选最好的那一个，而是让面试官能够在现场去寻找更好的候选人。

你可以这样理解：

旧方法： 你向朋友寻求 10 个食谱创意，然后从中选出一个最好的进行烹饪。如果你的朋友只会做焦掉的面包片，那你最后只能吃焦面包片。
TOAD 方法： 你先向朋友寻求 10 个创意作为起步。然后，你拿走那个“最好的创意”，并开始对其进行微调——在这里加一撮盐，那里调低一点火力，同时不断品尝以观察味道是否变好。你不断精炼这个食谱，直到找到一道朋友原本从未想到的美味佳肴。

TOAD 如何运作（“交叉熵”搜索）

论文使用了一个数学工具——交叉熵方法 (Cross-Entropy Method, CEM)。以下是类比：

热启动 (Warm Start)： TOAD 采用汽车最初建议的“最佳”路径，并将其作为起点（锚点）。
搜索循环：
- 想象汽车正站在一片大雾弥漫的田野里。它在当前位置周围画了一个圆圈。
- 它在那个圆圈附近生成许多新的路径（采样）。
- 它将这些新路径输入到它的“评分器”（品尝者）中进行评估。
- 它保留得分最高的排名前几位的路径（“精英”路径）。
- 它将圆圈稍微缩小，并将其中心对准这些精英路径，然后重复此过程。
结果： 在几次快速循环（在毫秒级内完成）之后，汽车找到了一条比它原始列表中任何路径都更平滑、更安全的路径。

核心要素：“泛化型”评分器

论文提出了一个至关重要的发现：并非所有的面试官都能胜任这份工作。

糟糕的面试官： 一些评分器仅被训练用于对一组特定的、预先写好的路径进行排序。如果你让它们评价一条它们从未见过的新路径，它们会感到困惑并给出错误的建议。在 TOAD 中使用这类评分器实际上会让汽车开得更差。
优秀的面试官： 论文发现，他们需要一种特定类型的评分器（来自名为 DrivoR 的系统），这种评分器被训练用于判断任何路径，而不仅仅是固定列表中的路径。这种“泛化型”评分器就像一位真正的专家，能够品尝一道新菜肴并立即判断其优劣，即使是他们从未见过的食谱。

实验结果

团队在六个不同的自动驾驶系统中，利用真实世界的驾驶模拟环境（NAVSIM 和 HUGSIM）对 TOAD 进行了测试。

即插即用： 他们无需重新训练汽车。他们只需将 TOAD 连接到现有的系统中即可。
巨大提升： 对于较弱的驾驶系统，TOAD 显著提升了它们的性能（提升高达 43%）。
达到尖端水平： 即使对于最强大的现有系统（DrivoR），TOAD 也榨取出了额外的性能，使其几乎达到了一个拥有“特权信息”（例如能精确知道每辆车位置）的“理想化”系统的水平。
安全性： 在闭环测试（即汽车在模拟器中实际行驶）中，汽车变得更加安全和舒适，尽管它们有时会变得稍微谨慎一些（为了规避风险而开得慢一些）。

总结

论文认为，自动驾驶的瓶颈不在于“评分器”（裁判），而在于汽车生成的候选列表。通过使用一种智能搜索算法（TOAD）来实时精炼这些候选方案，并配合一个擅长评估新想法的裁判，自动驾驶汽车可以在无需从头开始重新训练的情况下，找到更好、更安全的路径。

简而言之： TOAD 将“从固定列表中选出最好的”系统，转变为“不断改进直至完美”的系统，且这一切都是在汽车行驶过程中实时完成的。

技术摘要：自动驾驶测试时轨迹优化 (TOAD)

1. 问题陈述

端到端 (E2E) 自动驾驶规划器通常遵循“生成并选择”的范式：它们产生一组有限的候选轨迹（通过预计算的词表或即时生成），并使用学习到的评分器对这些轨迹进行排序，最后返回得分最高的选项。

作者指出该流程中的一个关键瓶颈：评分器仅在生成之后应用，无法影响候选集的构成。 如果初始提案集是次优的（例如，所有候选轨迹都存在安全或效率问题），那么无论评分器的质量如何，规划器都只能被迫返回“糟糕集合中的最佳选择”。目前的各种方法仅将评分器视为一种排序机制，用于处理固定的集合，却忽略了将其作为目标函数来主动搜索更优轨迹的机会。

此外，论文强调了许多现有评分器中隐藏的弱点：那些针对固定词表进行训练的评分器，在面对其训练分布之外的轨迹时往往表现不佳。当将这些评分器用作搜索的奖励函数时，会导致“奖励作弊 (reward hacking)" 或性能下降，因为它们在处理新颖的、自由解码的轨迹时是不准确的。

2. 方法论：TOAD

作者提出了 TOAD（自动驾驶测试时优化），这是一个即插即用的程序，它将冻结的端到端评分器重新定义为一个学习到的奖励函数，并在推理阶段对轨迹空间进行搜索。

核心算法：交叉熵方法 (CEM)

TOAD 将一个冻结的基础规划器封装在一个基于交叉熵方法 (CEM) 的推理循环中：

热启动与置信区域 (Warm-Start & Trust Region)： 搜索使用基础规划器所选的轨迹 ( $\tau_{base}$ ) 及其候选集进行初始化。这使得搜索被限制在围绕规划器提案的“置信区域”内，确保搜索过程保持在评分器可靠的分布范围内。
控制空间搜索： TOAD 不是直接在位姿空间中采样（这会产生动力学不可行的轨迹），而是在控制空间中采样。通过逆运动学自行车模型，将轨迹映射为纵向加速度 ( $a_t$ ) 和偏航率 ( $\omega_t$ ) 的序列。这确保了所有采样的轨迹都是平滑且符合运动学的。
目标函数： CEM 最大化一个复合目标 $J(u)$ $J (u)$ ：
$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$
- $S$ (评分器)： 来自冻结规划器的学习奖励。
- $C_{anchor}$ ： 一个正则项，惩罚对基础规划器锚点轨迹的偏差，以维持置信区域。
- $C_{comf}$ ： 一个闭式舒适度正则项（惩罚加速度、加加速度等），为学习到的评分器可能估计得较为粗糙的信号提供补充。
迭代优化： 在每次迭代中，从高斯分布中采样 $M$ 个控制序列，将其展开为轨迹，进行评分，并将前 $E$ 个“精英”序列用于重新拟合高斯参数 ( $\mu, \sigma$ )。
最终选择： 在 $K$ 次迭代后，将由收敛后的均值诱导出的轨迹与原始基础提案进行比较。选择其中具有更高最终得分（包含舒适度惩罚）的一个。

关键设计选择：评分器

一个关键发现是，并非所有的评分器都适用于 TOAD。

固定词表评分器： 仅针对预计算轨迹进行排序训练的评分器（如 Hydra-MDP, GTRS）在用作搜索奖励时表现很差。它们在特定词表之外的轨迹上性能大幅下降。
解耦评分器： TOAD 需要能够评估自由解码轨迹的评分器（如 DrivoR 的评分器）。这种评分器在提案分布之外仍能保持准确，从而使其成为有效的 CEM 循环奖励函数。

3. 核心贡献

重构评分器： 作者提出将端到端轨迹评分器不仅视为固定集合的排序工具，而且视为能够引导搜索最优轨迹的学习奖励函数。
TOAD 框架： 一种测试时搜索算法，可以即插即用地应用于任何现有的基础规划器，无需重新训练。它利用 CEM 在控制空间中优化轨迹，并以规划器的提案作为热启动。
识别评分器局限性： 本研究揭示了标准的排序评估无法体现评分器泛化能力不足的问题。TOAD 表明，成功的测试时优化需要一个能够超越其训练提案进行泛化的评分器，而这正是固定词表方法所缺乏的特性。
即插即用的性能提升： TOAD 在多个基准测试中，对六种不同的基础规划器（包括基于词表和即时生成的规划器）均实现了性能提升，且计算开销极小，无需更新模型。

4. 实验结果

该方法在 NAVSIM-v1、NAVSIM-v2 以及闭环模拟器 HUGSIM 上进行了评估。

NAVISM-v2 (新的 SOTA)：
- 将 TOAD 应用于 DrivoR 后，达到了 56.3 EPDMS，这是一个新的最先进结果，几乎接近使用了真值感知的 PDM-Closed 基准线 (56.6)。
- 在所有规划器上都观察到了显著的增益。例如，iPad 提升了 +43.6%（从 34.7 提升至 49.8 EPDMS），而 DrivoR 提升了 +3.1%。
- 搜索有效地压缩了弱规划器与强规划器之间的性能差距，其中较弱的规划器获益最多。
NAVSIM-v1：
- 观察到了持续的改进，DrivoR + TOAD 达到了 94.7 PDMS，仅比人类驾驶员基准线 (94.8) 低 0.1 点。
HUGSIM (闭环)：
- TOAD 在逼真的场景中提高了安全性指标（无碰撞、可行驶区域、碰撞时间）和舒适度。
- 虽然路径完成率 (RC) 有时会下降（表明驾驶行为变得更加谨慎），但整体驾驶得分 (HDS) 有所提高，特别是在 nuScenes 和 KITTI360 数据集上。
消融实验：
- 搜索 vs. 重排序： 仅仅使用评分器对基础规划器的提案进行重排序，结果并不一致（有时反而损害性能）。收益专门来自于搜索过程发现了原始集合之外的新轨迹。
- 评分器的必要性： 使用非泛化评分器（如 GTRS）作为奖励会导致性能跌破基准线，这证实了需要一个解耦且具备泛化能力的评分器。
- 控制空间： 在控制空间进行优化优于直接在轨迹空间进行采样。
计算成本：
- 开销极小。搜索每样本仅增加 1.9 ms 到 20.4 ms（取决于迭代次数 $K$ ）。
- 当评分器作为基础规划器的一部分时（共享感知骨干网络），成本几乎可以忽略不计。当评分器是外部模块时，成本主要由冗余的感知骨干网络 (~100 ms) 决定，但搜索过程本身非常轻量。

5. 重要性与主张

本文声称，当前端到端规划的主要瓶颈通常是候选集，而非评分器。通过将评分器视为可优化的奖励函数，TOAD 解锁了此前规划器无法触及的性能。

作者强调，TOAD 是一种轻量级、即插即用的改进，不需要重新训练。其成功取决于是否存在一个具备泛化能力的评分器。这项工作为未来的规划器设计指明了一个清晰的方向：构建与轨迹生成器解耦、并被训练用于评估自由解码轨迹的评分器。这将使得强大的测试时搜索可以“免费”获得，从而在不改变生成网络架构的情况下，显著提升安全性与舒适度。

论文总结道，虽然 TOAD 目前依赖于基础规划器进行初始化，但如果拥有足够准确且泛化能力强的评分器，未来甚至可以实现从零开始的搜索，从而可能不再需要基础生成器。然而，这仍是一个取决于评分器容量扩展的未来研究方向。