💻 computer science

Scaling Self-Play for End-to-End Driving

本文介绍了 Gigapixel，这是一种高吞吐量模拟器，能够支持基于像素观测的端到端自动驾驶大规模自博弈训练，该模拟器结合自博弈 DAgger 蒸馏与感知适配技术，在无需人类轨迹监督的情况下实现了具有竞争力的现实世界性能。

原作者： Luke Rowe, Roger Girgis, Rodrigue de Schaetzen, Daphne Cornelisse, Alaap Grandhi, Felix Heide, Eugene Vinitsky, Christopher Pal, Liam Paull

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Luke Rowe, Roger Girgis, Rodrigue de Schaetzen, Daphne Cornelisse, Alaap Grandhi, Felix Heide, Eugene Vinitsky, Christopher Pal, Liam Paull

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教导一辆自动驾驶汽车。传统的方法就像是给一名学员驾驶员展示数千小时完美人类驾驶的视频资料。你会说：“完全模仿这个人的动作。”这被称为行为克隆（Behavior Cloning）。

问题在于：如果学员驾驶员遇到了视频中从未出现过的场景——比如一场奇怪的交通拥堵或一个突发的绕行路段——他们就会陷入僵局或发生碰撞。因为他们只是一直在“看”，从未进行过“练习”，所以他们从未学会如何从错误中恢复。

这篇论文提出了一种新方法：自我博弈（Self-Play）。与其仅仅观察人类，汽车通过与自己的副本进行一场大规模、高速的“国际象棋”比赛来学习。

以下是作者如何实现这一目标的，分为几个简单的概念：

1. 在现实世界中“玩游戏”的问题

要通过“玩游戏”来学习，你需要一个模拟器（一款电子游戏）。但大多数驾驶模拟器要么：

太简单： 它们向汽车展示的是带有箭头和点的地图（矢量数据）。这很快，但现实中的自动驾驶汽车需要通过“像素”（来自摄像头的图像）来工作。
太慢： 它们看起来非常逼真（像电影一样），但运行速度极慢，以至于汽车需要花费数年时间才能学到任何东西。

2. 解决方案：“Gigapixel”（快速、方块化的游戏）

作者构建了一个新的模拟器，名为 Gigapixel。

类比： 想象一款像《我的世界》（Minecraft）或《罗布乐思》（Roblox）那样的视频游戏。汽车只是一个个方块，道路是平坦的条带，树木是简单的形状。它看起来不像真实的摄影照片，而更像是一个示意图。
为什么有效： 因为图形非常简单，计算机可以在单个显卡上同时运行 50,000 辆车。它极其迅速。
神奇之处： 尽管这个世界看起来像个方块化的玩具，但道路的“规则”（交通灯、车道、其他车辆）被完整保留了下来。汽车利用其“摄像头之眼”（像素）而非仅仅依靠地图，来学习如何在这一方块世界中导航。

3. “教师-学生”技巧（Self-Play DAgger）

这里有一个难点：即使有了快速的模拟器，仅靠“试错法”（强化学习）来教导一个复杂的 AI 驾驶也太昂贵了。它需要进行数十亿次的尝试才能变好。

因此，他们使用了一个教师-学生系统：

教师（矢量专家）： 一个简单的、快速的 AI，它使用“地图和箭头”视图来玩游戏。它玩了数百万场游戏，犯错，并从错误中学习，最终成为了大师级驾驶员。因为它在闭环中进行，所以它了解每一个动作带来的“后果”。
学生（像素驾驶员）： 这是一个复杂的 AI，它需要看到真实的摄像机图像。它无法通过自己玩游戏来学习（因为太慢了，无法从零开始学习）。
教学过程： 教师进行游戏，学生进行观察。学生在方块化世界中驾驶汽车的同时，尝试模仿教师的动作。如果学生犯了错，教师会立即进行纠正。
结果： 学生吸收了教师数百万场游戏的“智慧”，但由于它是在模仿一位大师而非盲目猜测，所以学习速度要快得多。

4. 弥合差距（Sim-to-Real，从模拟到现实）

现在学生成为了大师级驾驶员，但它仅在那个“方块化”的视频游戏中如此。我们如何让它驾驶真实的汽车？

类比： 想象学生是一名演员，他完美地背下了剧本，但舞台灯光从“方块蓝”变成了“写实的日落”。演员不需要重新学习台词，他只需要调整眼睛去适应新的光线。
解决方法： 作者将学生的“大脑”（规划部分）保持冻结状态。他们只微调了“眼睛”（感知部分），使其能将真实的摄像机照片转化为方块化游戏大脑能够理解的语言。

5. 结果

当他们测试这种新方法时：

在方块化游戏中： 汽车的表现优于以往任何依赖模仿人类驾驶轨迹的方法。
在现实世界中： 当他们在真实世界的基准测试（HUGSIM 和 NAVSIM-v2）中进行测试时，汽车表现出了极强的竞争力，尽管在主要训练阶段，它从未见过哪怕一段人类驾驶的轨迹。它是纯粹通过与自己博弈而学会驾驶的。

总结

这篇论文表明，与其仅仅模仿人类驾驶员（这会产生脆弱的机器人），我们可以通过让自动驾驶汽车在快速、简化的游戏中进行自我博弈，来训练其鲁棒性。通过使用“教师”来引导“学生”，他们使这一过程变得高效，足以应对复杂的现实世界摄像头。其结果是，这种驾驶方式已经通过在训练中“预演”了数百万种奇怪的场景，从而学会了如何应对突发状况。

技术摘要：扩展端到端驾驶的自我博弈（Self-Play）

问题陈述

端到端自动驾驶模型目前主要由基于离线人类演示数据集的行为克隆（Behavior Cloning, BC）所主导。虽然这种范式在模型容量方面具有可扩展性，但存在结构性局限：

状态覆盖范围有限： 离线日志提供的状态分布较为狭窄，导致策略在遇到非典型人类驾驶场景时表现脆弱。
协变量偏移（Covariate Shift）： 由于训练过程中缺乏闭环交互，模型在部署期间会遇到由于无法处理未曾训练过的状态而导致的复合误差。
现有自我博弈方法的兼容性问题： 先前的模拟器自我博弈方法虽展现出潜力，但通常依赖于向量化的鸟瞰图（BEV）观测。这与必须直接处理原始传感器输入（像素）的现代端到端策略不兼容。此外，在端到端模型规模下，直接从像素进行强化学习（RL）由于大规模视觉骨干网络前向和反向传播的高昂计算成本，其样本效率极低。

方法论

本文提出了一个三阶段框架来克服这些局限性：Gigapixel（高吞吐量模拟器）、Self-Play DAgger（样本高效训练算法）以及 Sim-to-Real 感知适配。

1. Gigapixel 模拟器

为了实现直接从像素进行可扩展的自我博弈，作者引入了 Gigapixel——一种高吞吐量的批处理驾驶模拟器。

架构： 它扩展了 PufferDrive 模拟器并集成了 Madrona 渲染引擎，支持光栅化和光线追踪。
表示形式： 该模拟器并非采用照片级真实的传感器模拟，而是渲染了一个简化的“包围盒世界（bounding-box world）”。代理（Agents）、静态障碍物和交通灯均由几何原语（长方体、平面、球体）表示。
性能： 这种抽象方式在保留了关键场景几何结构和交互保真度的同时，在单张 NVIDIA A100 GPU 上实现了 50,000 个智能体步长/秒（SPS） 的吞吐量，并随 GPU 数量近乎线性地扩展。这一吞吐量比 HUGSIM 或 RAP 等照片级真实的模拟器高出数个数量级，从而能够生成海量的在策略（on-policy）经验。

2. Self-Play DAgger 训练

考虑到直接在像素空间进行强化学习对于大型端到端模型而言样本效率过低，作者提出了 Self-Play DAgger。该方法将强化学习训练与基于像素的策略解耦：

向量化教师（Vectorized Teacher）： 一个轻量级的、拥有特权信息的教师策略（ $\pi_{teacher}$ ），通过在抽象模拟器中使用向量化 BEV 观测进行自我博弈强化学习进行训练。该教师学习鲁棒的闭环行为，且查询成本极低。
基于像素的学生（Pixel-Based Student）： 一个基于像素的学生策略（ $\pi_{student}$ ），通过在策略蒸馏（on-policy distillation）进行训练。学生控制场景中的所有智能体（多智能体自我博弈），并且仅观测渲染后的像素图像。
蒸馏过程： 在训练期间，学生在模拟器中进行轨迹展开（rollout）。随后，教师在从相同状态出发的并行分叉环境中进行展开，以生成轨迹目标（ $\tau$ ）。学生被训练去匹配这些目标。
优势： 这保留了闭环自我博弈的优势（学习动作的后果并生成多样化的多智能体交互），同时大幅降低了相比于直接进行像素空间强化学习的样本复杂度。它还允许学生直接输出轨迹，从而匹配标准端到端规划器的格式。

3. Sim-to-Real 感知适配

为了弥合 Gigapixel 抽象渲染与真实世界传感器数据之间的差距，作者采用了轻量级的适配策略：

仅感知微调（Perception-Only Fine-tuning）： 编码了通过自我博弈学到的闭环行为的规划头（ $f_{\theta_{plan}}$ ）被冻结。仅对感知骨干网络（ $f_{\theta_{per}}$ ）进行微调。
目标： 利用成对的观测数据（真实图像及其对应的 Gigapixel 渲染图），训练学生将真实图像映射到与模拟图像相同的潜在表示空间中。这是通过规划损失（planning loss）和感知特征匹配损失（perceptual feature-matching loss）来实现的。

核心贡献

自我博弈作为一种可扩展的替代方案： 本文确立了自我博弈作为训练端到端驾驶模型的一种可行且可扩展的替代方案，解决了行为克隆的结构性脆弱问题。
Self-Play DAgger： 一种样本高效的训练范式，通过将具有特权的强化学习教师蒸馏到基于像素的学生中，实现了可扩展的闭环学习，而无需承受直接进行像素空间强化学习的高昂代价。
Gigapixel： 一种高吞吐量的透视渲染模拟器，通过渲染简化的包围盒世界而非照片级真实的场景，实现了大规模的像素级自我博弈（50k SPS）。
轻量级 Sim-to-Real 迁移： 展示了在自我博弈阶段无需人类轨迹监督的情况下，通过仅适配感知模块即可将鲁棒的驾驶行为迁移至真实世界传感器。

实验结果

作者在 HUGSIM（闭环、照片级真实）和 NAVSIM-v2（伪闭环）基准测试上评估了其方法。

HUGSIM 性能： 经过自我博弈训练的 Gigapixel-DrivoR 在 HUGSIM 基准测试中达到了最先进水平（SOTA），在没有任何人类轨迹监督的情况下，在平均路径完成率（RC）和 HD-Score 上均优于所有基线模型。具体而言，它比行为克隆的 DrivoR 基线提高了 2.8 点 HD-Score，比基于回归的 DrivoR-Reg 基线提高了 12.5 点。
NAVSIM-v2 性能： 模型在 NAVSIM-v2 的 navhard 切分集上取得了具有竞争力的表现。值得注意的是，自我博弈模型在 第 2 阶段（从扰动的自车位姿中恢复）表现出显著增益，这可以作为闭环鲁棒性的指标。Gigapixel-DrivoR 比其行为克隆对应模型在第 2 阶段的 EPDMS 得分提高了 4.1 点。
缩放法则（Scaling Laws）： 实验表明，性能随训练经验的增加而一致提升。增加 Gigapixel 中的智能体步长会带来政策性能的比例增长，其中 Self-Play DAgger 显著优于行为克隆和单智能体 DAgger。
定性分析： 可视化结果显示，经过自我博弈训练的策略能够成功处理行为克隆策略无法应对的安全关键场景（例如：减速的前车、从路缘漂移中恢复），而后者往往会导致碰撞或驶离道路。

重要性与主张

本文声称确立了自我博弈是训练端到端驾驶模型的一种实用且可扩展的策略。通过结合高吞效能模拟器与样本高效的蒸馏算法，作者证明了可以直接从像素学习鲁棒的闭环驾驶行为，而无需依赖于离线人类数据的局限性。

这项工作表明，可以通过合成经验生成来克服行为克隆的结构性局限——特别是对长尾交互的脆弱性和复合误差。作者强调，其方法在核心自我博弈训练阶段无需人类轨迹监督即可在严格基准测试中取得竞争性结果，为通过合成数据实现持续改进开辟了路径。

承认的局限性：
作者指出，Gigapixel 的抽象表示无法捕捉细粒度的线索，如碎片、天气或复杂的照明。此外，教师-学生的不对称性（特权向量化观测 vs. 像素观测）仍是一个理论上的局限，尽管结果表明学生可以成功推断必要的动作。最后，目前的 Sim-to-Real 适配需要成对数据，当仅有原始传感器日志可用时，这种方式可能不够直接。