🤖 AI

Scaling Curriculum Learning For Autonomous Driving

本文介绍了 CL4AD，这是首个针对批量自动驾驶模拟器的课程学习框架，该框架能够基于效用函数自适应地优先处理训练场景，与标准的领域随机化和启发式方法相比，在实现 99% 成功率的同时速度提升了 77%，并具有显著更高的样本效率。

原作者： Cevahir Koprulu, David Paz, Feng Tao, Yuliang Guo, Xinyu Huang, Ufuk Topcu, Liu Ren

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Cevahir Koprulu, David Paz, Feng Tao, Yuliang Guo, Xinyu Huang, Ufuk Topcu, Liu Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

教计算机开车并不像教孩子骑自行车。孩子通过尝试、跌倒并重新站起来来学习，逐渐理解道路的感觉。然而，计算机是通过处理海量数据来学习的，通常是在一个数字世界中，它可以在短短几天内经历数百万年的驾驶过程。这个过程依赖于一种被称为“强化学习”的方法，即人工智能尝试不同的动作并接收反馈：到达目的地安全抵达会获得奖励，而发生碰撞则会受到惩ksi（惩罚）。为了使这种学习更有效，研究人员使用模拟器，这些模拟器可以同时运行数千个驾驶场景，为人工智能创建一个用于研究的海量交通情况库。目标是创建一个能够处理现实街道中不可预测的混乱情况（从繁忙的交叉路口到突然的变道）的驾驶智能体，且无需人类指导。

多年来，训练这些智能体的标准方法是一种称为“领域随机化”的方法。想象一位老师将学生扔进每一种可能的交通状况中——从空旷的高速公路到拥堵的市中心——进行随机测试，希望仅仅依靠数量最终能达到精通。虽然这种方法有效，但非常浪费。计算机花费大量时间在那些要么太简单以至于无法教授新知识，要么太难以至于当前版本的人工智能无法取得进展的场景上。这就像一名学生在花费数小时练习已经掌握的数学题，却忽略了那些他刚刚开始理解的题目。这种低效意味着，即使拥有强大的计算机，训练过程也比实际需要的时间更长，并且需要比实际必要更多的量更多的数据才能达到高水平的技能。

一组研究人员现在引入了一种名为 CL4AD 的新方法，它改变了这些数字驾驶课程的组织方式。该系统不再随机向人工智能投放场景，而是扮演着“智能课程设计者”的角色。它不断评估哪些交通状况对人工智能当前的水平最有帮助，并优先考虑这些特定的场景。系统会观察人工智能在给定情况下的表现，并询问：这是否太容易了？这是否太难了？或者这是否正适合学习？通过将训练时间集中在“恰到好处”的场景上——即那些既具有足够的挑战性以教授新知识，又不至于难到让人工智能放弃的场景——研究人员发现他们可以显著加快学习进程。

研究人员使用一个名为 GPUDRIVE 的强大模拟器测试了这个想法，该模拟器可以在专用计算机芯片上同时运行数千个驾驶场景。他们使用旧的随机方法训练了一个人工智能智能体，并将其与新的课程方法进行了对比。结果令人震惊。使用课程训练的人工智能在导航交通场景时，比随机训练的智能体提前十亿步达到了 99% 的成功率。就现实世界的时间而言，这意味着训练速度提高了 77%。课程方法也被证明优于其他组织训练的尝试，例如基于交通密度或车辆速度等简单规则手动选择场景。新系统始终优于这些手动方法，能够自主找到通往精通的最有效路径。

其中一个最有趣的发现是系统如何决定向人工智能展示哪些场景。研究人员设计该系统使用不同的“效用函数”，这些函数本质上是衡量一个场景价值的方式。有些函数关注人工智能距离最佳驾驶行为有多近，有些则衡量人工智能在不发生碰撞的情况下成功到达目标的频率。第三种类型的函数则衡量人工智能的驾驶看起来与人类驾驶员相比有多真实。研究发现，这些不同的衡量标准往往指向不同类型的交通状况。例如，专注于到达目标的系统倾向于优先考虑车辆较少的场景，而关注当前表现与完美表现之间差距的系统则侧于处理更密集、更复杂的交通。这表明不存在单一的“最佳”组织训练的方式；不同的目标需要不同类型的练习。

研究人员还调查了提高人工智能驾驶水平是否也意味着它会驾驶得更像人类。他们发现，这两者实际上是两个不同的目标。人工智能可以被训练得完美到达目的地并避免所有碰撞，但其驾驶方式对于人类乘客来说可能仍然感觉不自然或不舒服。课程方法帮助人工智能更快地实现了目标，但它并没有自动让驾驶风格变得更真实。为了同时实现高水平性能和类人行为，研究人员指出，奖励系统本身需要改变，以专门鼓励真实的驾驶习惯，而不仅仅是成功的结局。

即使研究人员限制了用于训练的计算机算力，课程方法仍然显示出了其价值。在一次使用更小、更弱计算机的测试中，使用课程训练的智能体仍比随机方法快 67% 达到了高成功率。这表明效率的提升不仅仅是拥有大规模计算资源的产物，而是智能组织学习过程带来的根本性益处。该系统的运作方式是将人工智能保持在一种持续且富有成效的挑战状态中，确保每一刻的训练都有助于进步。

研究还揭示了学习过程是如何随时间演变的。随着人工智能变得越来越好，系统会自动转向新的、更困难的场景。它不会卡在同样的问题上，也不会过快地跳到最难的任务中。相反，它创造了一个“移动的学习前沿”，不断调整难度以匹配人工智能不断增长的技能。这一动态过程使系统能够处理现实世界驾驶数据的复杂性，包括数十万种不同的交通情况。通过实时适应人工智能的进度，课程确保了训练的效率和有效性，即使在数据规模增长时也是如此。

最终，这项工作证明了我们如何组织训练数据与数据本身同样重要。通过从随机采样转向智能、自适应的课程，研究人员可以更快、以更少的资源来训练自动驾驶智能体。这些发现为开发更安全、更可靠的自动驾驶汽车提供了一条清晰的路径，表明快速学习的关键不仅在于做得更多，还在于在正确的时间做正确的事。研究人员已向公众开放了他们的系统，允许更广泛的科学界基于此方法进行构建，并继续完善机器如何学习在世界上航行。

技术摘要：面向自动驾驶的课程学习扩展 (CL4AD)

问题陈述

近期，自动驾驶（AD）领域的批量模拟器（如 GPUDRIVE）取得了进展，能够以空前的规模训练强化学习（RL）智能体，在数天内处理跨越数千个场景的数十亿次交互。然而，这些系统的样本效率仍然是一个瓶颈。标准的训练范式——领域随机化（Domain Randomization, DR）——采用均匀采样交通场景的方法。这种方法效率低下，因为它浪费了计算资源在那些要么过于简单（无法提供学习信号），要么过于困难（超出当前策略能力范围）的场景上。虽然**课程学习（Curriculum Learning, CL）**在其他大规模强化学习领域通过自适应地优先处理能最大化策略改进的任务而展现出了潜力，但将其集成到利用真实世界数据集的高吞吐量、批量化自动驾驶模拟器中的研究尚未得到探索。

方法论：CL4AD

作者引入了 CL4AD（面向自动驾驶的课程学习），这是首个将自动化课程学习集成到批量化自动驾驶模拟器中的框架。该方法将场景选择建模为一个**无监督环境设计（Unsupervised Environment Design, UED）**问题。

核心架构

CL4AD 基于**优先层级回放（Prioritized Level Replay, PLR）**构建，并针对批量化自动驾驶模拟器的特定约束进行了适配：

异步回合管理： 与回合长度统一的标准 UED 不同，自动驾驶场景具有不同的时长和终止条件。CL4AD 跟踪所有并发世界中的智能体，并在特定场景中的所有智能体终止后异步计算效用得分。
采样机制： 系统维护一个包含高分场景的重放缓冲区 $B$ 。在每个采样间隔，它决定是采样一个来自训练集 $\Theta_{train}$ 的新场景，还是重放来自 $B$ 的场景。重放概率由平衡效用（基于得分）与陈旧度（自上次采样以来的时间）的分布来控制：
$P_{replay}(\theta_i|B, U, l) = (1 - \rho) \cdot P_{utility}(\theta_i|B, U) + \rho \cdot P_{staleness}(\theta_i|B, l)$
效用函数： CL4AD 使用三类效用函数来评估场景，以确定哪些场景处于“学习前沿”：
- 基于遗憾（Regret-based）： 估计当前策略与最优策略之间的差距。变体包括 AMGAE（平均广义优势估计幅度）、PVL（正值损失）和 MaxMC（最大蒙特卡洛）。
- 基于成功（Success-based）： 测量成功率的方差。论文引入了 Learnability-Hard ( $U_{Learn-hard}$ )，这是一种新型的成功准则，要求智能体必须在没有碰撞或偏离道路的情况下到达目标，从而解决了安全至上的问题。
- 基于现实性（Realism-based）： 新型函数用于衡量 RL 智能体行为与记录的人类轨迹之间的差异。这些函数包括目标条件平均距离误差 ( $U_{GC-ADE}$ ) 和动作平均绝对误差 ( $U_{Act-MAE}$ )。

核心贡献

首次将 CL 集成到批量化自动驾驶中： CL4AD 成功地将 UED 方法扩展到了处理数百个并发场景和数十亿步交互的 GPU 加速自博弈（self-play）模拟器中。
新型效用函数： 论文提出了 $U_{Learn-hard}$ 以平衡鲁棒性与安全性，以及基于现实性的效用函数（ $U_{GC-ADE}$ , $U_{Act-MAE}$ ）来评估行为的合理性。
大规模实证研究： 在 GPUDRIVE 上使用 Waymo Open Motion Dataset (WOMD) 进行的广泛实验，涵盖三种规模（1,000；10,000 和 80,000 个场景）。
学习动态分析： 研究调查了优先场景如何演化、效用函数与性能之间的相关性，以及多智能体自博弈对学习前沿的影响。
从业者指南： 作者得出了在批量化模拟器中扩展 CL 的特定超参数建议，例如使用全尺寸重放缓冲区和更高的得分温度。

实验结果

实验在 GPUDRIVE 模拟器上使用自博弈 PPO 进行。

加速训练： CL4AD 显著优于领域随机化（DR）。在 1,000 场景设置下，CL4AD 比 DR 早一十亿步达到了 99% 的成功率，将实际训练时间缩短了 77%。
样本效率： 在计算资源有限（较小的 GPU 显存）的情况下，CL4AD 比 DR 提高了 67% 的样本效率。
与启发式方法的比较： 在大多数设置中，CL4AD 优于启发式课程（例如，按车辆数量或速度进行优先级排序）。在最大规模（80,000 个场景）下，一种启发式方法与 CL4AD 持平，但其他方法并未带来优势。
现实性 vs. 性能： 研究发现，虽然 CL 加速了任务性能（目标达成），但除非修改奖励函数本身，否则它并不会本质上提高行为的现实性（如舒适度、车道保持）。基于现实性的效用函数加速了训练，但与性能指标并不相关，它们更多是作为难度的代理指标，而非直接的现实性优化器。
多智能体效应： 作者观察到，多智能体自博弈创造了一个“持久的学习前沿”。随着策略的改进，它会为同一场景中的其他智能体创造新的冲突，从而保持场景的高效用。这种效应随规模扩大而放大，需要更高的得分温度以防止课程过度集中在少数几个场景上。

重要性与主张

论文声称 CL4AD 证明了课程学习可以扩展到高吞吐量、高多样性的批量化自动驾驶模拟器环境中。通过将场景选择建模为 UED 问题，该方法超越了静态或启发式的调度，实现了自适应的优先级排序。

作者也谦虚地指出，虽然 CL4AD 加速了鲁棒策略的学习，但它并未解决奖励最优性与类人现实性之间的对齐问题；后者需要显式的奖励工程。此外，目前的实现依赖于预定义的真实世界数据集（WOMD）和 PLR 变体。未来的工作建议探索生成式场景变异（如 ACCEL）或教师策略（如 PAIRED），以在日志数据的限制之外增加场景多样性。

总之，CL4AD 提供了一个可扩展的框架，通过减少数十亿次的交互，降低了训练自动驾驶策略的计算成本，为更高效、更鲁棒的自动驾驶智能体提供了路径。