💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR 引入了一种用于端到端自动驾驶的可扩展闭环强化学习框架，该框架通过异构仿真流水线，在预训练的视觉-语言-动作模型之上训练残差路点策略，通过克服传统模仿学习的分布偏移限制，在挑战性基准测试中实现了最先进的性能。

原作者： Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一辆自动驾驶汽车。很长一段时间以来，教导它的最佳方式是模仿学习（Imitation Learning）。这就像一名学生司机坐在由完美专家驾驶的汽车后座上。学生只是在模仿专家的行为。如果专家向左转，学生也向左转。

问题在于？这只适用于“闭卷”考试。如果学生看到了专家从未展示过的场景，或者学生犯了一个微小的错误，他们就会感到困惑。在现实世界（或复杂的模拟环境）中，一个微小的错误就可能导致碰撞，而学生不知道如何恢复，因为他们被教导的只是去复制，而不是去“思考”或“适应”。

最近，研究人员开始使用视觉-语言-动作（Vision-Language-Action, VLA）模型。这些模型像是超级聪明的驾驶教练，能够同时“看到”道路、“读懂”交通标志并“说出”驾驶指令。但即使是这些聪明的教练，大多也是通过“复制专家”的方法进行训练的，这使得它们在遇到问题时显得很脆弱。

于是，CLEAR 出现了。

核心理念：“残差”教练

该论文的作者构建了一个名为 CLEAR 的系统来解决这个问题。他们不仅仅是让 AI 复制，而是教会 AI 成为一名纠正学员的教练。

预训练的“学员”： 首先，他们采用一个非常聪明的 VLA 模型（学员），并利用海量的专家驾驶数据来教授它基础知识。这个学员擅长预测一个大致路径，就像 GPS 说：“500 英尺后左转。”
“教练”（强化学习/RL）： 然后，他们引入了强化学习（RL）。想象一位教练站在学员身边。学员做出一个预测（“基础路径”），然后教练说：“实际上，再向左多转一点点，以避开那个坑洼。”
- AI 并不需要从零开始重新学习如何驾驶（这会消耗巨大的计算资源）。
- 相反，它学习的是一种残差策略（residual policy）。这就像是在学习“一个好的计划”与“一个完美的计划”之间的差异。它只学习为了修正学员错误所需的那些细小的“修正量”。

“异构流水线”：解决交通拥堵问题

训练这些 AI 教练对数据有着极高的需求。你需要运行数百万次的驾驶模拟来教导它们。

这里存在一个瓶颈：

模拟器（道路）： 运行一个真实的驾驶模拟器（如 CARLA）非常消耗计算机图形性能。这就像是在运行一款高端电子游戏。
学习者（大脑）： AI 模型也非常庞大，需要强大的图形处理器（GPU）来进行思考。

如果你尝试在同一台电脑上同时运行模拟器和大脑，它们会争夺图形显卡。这就像试图在同一个狭小的健身房里同时进行一场马拉松和一场重型举重比赛；一切都会变慢甚至崩溃。

CLEAR 的解决方案： 他们构建了一个异构流水线（heterogeneous pipeline）。

他们将**模拟器（道路）**放在一组较旧、较便宜的计算机上。
他们将 AI 大脑（学习者） 放在另一组超强大的计算机集群上。
他们通过数字隧道（SSH）将两者连接起来。

这就像拥有一个由远程赛车场（模拟器）组成的车队，向中央总部（大脑）发送数据。赛车场不需要很高级，只要能运行即可。大脑可以获得它所需的所有数据，而不会被图形渲染所拖累。这使得他们能够同时运行 64 个模拟过程，并在 1 亿个样本上进行训练。

结果：从“失败”到“获胜”

论文在一些极具挑战性的驾驶测试（如 “longest6” 和 “Bench21Drive” 基准测试）中测试了这个系统。

使用 CLEAR 之前： 之前的各种方法，即使是那些聪明的模型，在这些困难路段上的失败率几乎是 100%。它们会发生碰撞或陷入困境，因为它们无法从微小的错误中恢复。
使用 CLEAR 之后： 系统学会了自我纠错。它不再仅仅是遵循剧本，而是学会了绕过障碍物并处理复杂的交通状况。
- 在一个基准测试中，成功率从 0%（完全失败）跃升至 25%。
- 在另一个基准测试中，它取得了有史以来最高的评分，在驾驶效率和安全性方面超越了所有以往的方法。

总结

可以将 CLEAR 理解为：将一名聪明但刻板的学生司机，交给一位超级聪明的教练，这位教练学会了在学生开始偏离航线时，通过轻微的引导将其带回正轨；同时构建了一个大规模的分布式训练设施，以便他们在计算机崩溃之前，能够进行数百万英里的练习。其结果是，产生了一个在应对混乱、不可预测的现实道路方面表现得显著更出色的自动驾驶系统。

技术摘要：CLEAR —— 面向端到端自动驾驶的大规模闭环强化学习

问题陈述

端到端自动驾驶（E2E-AD）旨在将原始传感器数据直接映射为驾驶动作。近期，视觉-语言-动作（VLA）模型已成为一种极具前景的范式，它在单一策略中集成了视觉感知、语言理解和动作预测。然而，现有的基于 VLA 的方法主要依赖于模仿学习（IL）。虽然模仿学习在数据规模化方面表现良好，但它面临着一个关键的**分布偏移（distribution shift）**问题，即开环训练（从记录的专家轨迹中学习）与闭环推理（智能体的自身动作会影响未来状态）之间的差异。这种偏移往往导致在复杂、动态场景中的性能下降和失效。

此外，在大规模应用强化学习（RL）于视觉策略时面临着显著的工程障碍。强化学习是数据饥渴型的，需要数千个并行仿真环境。在实践中，在同一硬件上运行仿真器（如 CARLA）和 VLA 学习器会产生资源竞争（特别是 GPU 显存和渲染不稳定性），这限制了并行环境的数量，从而阻碍了有效的训练。

方法论：CLEAR 系统

作者提出了 CLEAR，一个旨在实现 VLA 策略大规模闭环 RL 微调的系统。该方法由三个核心部分组成：

1. 两阶段训练框架

第一阶段：开环预训练： 系统首先使用基于 InternVL3-1B 的 VLA 模型，在大型专家轨迹数据集（约 310 万个样本）上进行模仿学习预训练。这建立了“路点先验（waypoint prior）”，使模型具备基础驾驶能力和鲁棒的感知能力。
第二阶段：闭环 RL 微调： CLEAR 并非从零开始训练或直接输出底层控制量，而是学习一个残差路点策略（residual waypoint policy）。
- 预训练的 VLA 生成基础路径和速度路点。
- RL 智能体（通过近端策略优化算法 PPO 进行优化）学习预测对这些基础路点的残差修正（ $\Delta y, \Delta v$ ）。
- 最终的路点指令是基础规划与残差之和，并被限制在安全范围内。
- 一个确定性控制器随后将这些路点映射为低层车辆控制（转向、油门、刹车）。至关重要的是，该控制器被视为环境动力学的一部分，这意味着在 RL 更新过程中没有梯度流经它。

2. 异构微调流水线

为了克服扩展瓶颈，CLEAR 采用了异构流水线，将仿真环境与学习智能体解耦：

计算分离： CARLA 仿真器在独立的宿主机上启动（使用较旧一代或消费级 GPU，如 Tesla V100），而 VLA 学习器则在高性能集群（如 NVIDIA H100）上运行。
通信： 通过安全外壳协议（SSH）隧道实现服务器（仿真器）与客户端（学习器）之间的通信。
影响： 这种架构消除了资源竞争，允许系统同时启动 64 个并行 CARLA 环境。这使得在 1 亿个样本上进行训练并使用大批量大小（总批次：16,384；小批次：4,096）成为可能，这对于数据饥渴型 RL 算法的收敛至关重要。

3. 奖励函数

RL 目标是通过最大化基于**路径完成度（Route Completion, RC）**的期望折扣回报来实现的。奖励函数包括：

针对偏差的软惩罚因子。
针对碰撞、红灯违规或停止标志违规的硬惩罚（终止回合）。

核心贡献

用于 VLA 的闭环 RL： CLEAR 是第一个有效实现大规模闭环 RL 微调用于 VLA 驱动端到端自动驾驶的系统，超越了纯模仿学习的局限性。
残差路点策略： 通过在预训练路点先验的基础上学习修正，而非直接学习底层控制，该方法有效地利用了预训练 VLA 中蕴含的知识，同时提高了在闭环设置下的鲁棒性。
可扩展的异构基础设施： 所提出的流水线解决了 GPU 资源竞争问题，实现了部署海量并行仿真器（64+）并在 1 亿个样本上进行训练，作者认为这是实现最先进性能的关键因素。

实验结果

CLEAR 在三个具有挑战性的基准测试中进行了评估：

CARLA longest6 v2： 该基准测试具有长路径和复杂的安全性关键场景。
- 先前的算法（包括大规模 IL 和早期的 IL+RL 尝试）实现了 0% 的成功率（SR），即未能完成任何路径。
- CLEAR (InternVL3-1B) 实现了 25.00% 的成功率 (SR) 和 47.24% 的路径完成度 (RC)，显著优于所有基准方法。
Bench2Drive： 一个包含 220 个不同安全性关键场景的基准测试。
- CLEAR 在所有对比的方法（包括其他 VLA 和基于 Transformer 的方法）中取得了最高的驾驶得分 (86.8)、成功率 (69.5%) 和效率。
nuScenes： 一个真实世界数据集。
- CLEAR 在零样本（zero-shot）设置下进行了评估（未在 nuScenes 数据上进行训练）。它实现了最佳平均 L2 误差 (0.49m)，且碰撞率与专门针对 nuScenes 训练的模型相比也具有竞争力，展示了强大的泛化能力。

意义与局限性

论文声称 CLEAR 为驾驶仿真器中的 VLA 策略树立了新的标杆，证明了大规模强化学习对于弥合开环训练与闭环性能之间差距的重要性。这项工作强调，仅仅通过模仿学习扩大数据规模是不够的；闭环优化对于处理分布偏移是必要的。

作者承认了以下几点局限性和未来研究方向：

Sim2Real 迁移： 目前的成功是在仿真环境中实现的；将技术部署到现实世界需要研究 Sim2Real 迁移技术。
扩展限制： 当前的扩展受限于并行 CARLA 实例的数量。改进 CARLA 的 GPU 渲染栈可以实现更大规模的扩展。
奖励设计： 当前的奖励函数与指标的全局最优解对齐。为缺乏明确全局最优解的指标设计有效的奖励仍然是一个开放的研究课题。