🤖 AI

REAP: Reinforcement-Learning End-to-End Autonomous Parking with Gaussian Splatting Simulator for Real2Sim2Real Transfer

本文提出了一种基于强化学习的端到端自动泊车系统 REAP，该系统利用软演员 - 评论家算法、行为克隆以及三维高斯泼溅模拟器，实现了高效训练与成功的“现实 - 仿真 - 现实”迁移，尤其在狭窄机械停车位等极端场景中表现卓越。

原作者： Changze Li, Zhe Chen, Shaoyu Chen, Lisen Mu, Yijian Li, Yuelong Yu, Qian Zhang, Qing Su, Ming Yang, Tong Qin

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Changze Li, Zhe Chen, Shaoyu Chen, Lisen Mu, Yijian Li, Yuelong Yu, Qian Zhang, Qing Su, Ming Yang, Tong Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下教一辆汽车自动泊车。通常，我们教汽车泊车有两种方式：要么向它们展示成千上万段人类泊车的视频（模仿学习），要么给它们一套严格的规则，比如“左转，然后直行”（基于规则的规划）。

但这两种方法都有缺陷。展示视频成本高昂，而且汽车可能只是学会“平均”这些动作，一旦情况稍有不同就会感到困惑。严格的规则在棘手的地方往往会失效，比如一个微小的机械停车位，汽车两侧仅剩几厘米的空间。

本文介绍了REAP，一种利用强化学习教汽车泊车的新方法。这就像训练一只狗：你不是给它看其他狗的视频，而是让汽车尝试、失败，如果撞到东西就受到“电击”（惩罚），如果完美泊车就得到“奖励”（奖励）。经过数百万次尝试，汽车就能学会自己找到最佳的泊车方式。

以下是他们如何实现这一点的分解，分为几个简单的概念：

1. “魔法镜子”模拟器（Real2Sim2Real）

在电子游戏中训练汽车的最大问题在于，当你把它放到现实世界中时，它会失败，因为游戏看起来太假了。汽车在游戏中看到的是光滑、完美的墙壁，但在现实中，墙壁是凹凸不平且脏兮兮的。

作者构建了一个使用3D 高斯泼溅（3D Gaussian Splatting）的特殊模拟器。

类比：想象你用手持扫描仪拍摄真实停车库的照片。他们不是用积木（像乐高）搭建一个虚假的 3D 模型，而是将实际照片转化为数百万个微小的发光点云，可以从任何角度进行观察。
重要性：这创建了一个与现实世界几乎一模一样的“数字孪生”。他们称之为Real2Sim。他们在这一超逼真的数字世界中训练汽车，由于它看起来如此真实，汽车可以直接驶入真实的停车场（Sim2Real），而无需重新学习任何内容。

2. “聪明学生”与“严格老师”（非对称学习）

训练汽车泊车很难，因为它必须基于模糊的摄像头图像来猜测正在发生什么。

学生（执行器）：这是汽车的大脑。它只能看到摄像头看到的内容（“学生”视角）。它必须弄清楚如何转向以及以多快的速度行驶。
老师（评论家）：这是给学生打分的部分。在模拟器中，老师拥有“X 光视力”。它不仅仅看到摄像头图像，还能看到墙壁和车辆所在位置的完美、清晰的地图。
类比：想象一个学生在黑暗的房间里参加考试（汽车），而一位拿着手电筒并拥有完美地图的老师（模拟器）从上方观察。老师确切知道障碍物在哪里，并告诉学生：“你离墙壁越来越近了，慢点！”这帮助学生比盲目猜测学习得快得多。

3. “安全网”奖励

在强化学习中，你必须告诉计算机什么样的动作是“好”的。

问题：如果你只说“不要撞墙”，汽车可能会学会非常靠近墙壁行驶，仅仅勉强避开，这很危险。
解决方案：他们创建了一种软性预测碰撞惩罚。
- 类比：他们不是在汽车撞毁时才惩罚它，而是在它过于接近撞毁时进行惩罚。这就像电子游戏中，如果你靠近悬崖边缘就会扣分，而不仅仅是当你掉下去时才扣分。这教会汽车在自身周围留出良好的安全缓冲区。

4. “作弊条”（行为克隆）

在最初阶段，汽车一无所知。如果你让它随机探索，它可能在学会任何东西之前就会撞毁一百万次。

解决方案：他们让汽车起初可以“作弊”。他们有一个简单的基于规则的计算机程序，知道如何泊车。汽车复制该程序的移动（行为克隆）以开始学习。随着汽车变得更好，他们逐渐停止让它作弊，迫使它依赖自己的强化学习大脑。

结果：它真的有效吗？

团队在真实停车场的真实汽车上测试了这一点。

标准车位：效果很好，在模拟中成功泊车约 83%，在现实世界中为 65–85%。
“不可能”的车位：真正的测试是机械停车位。这些是微小的狭窄盒子，两侧有金属墙，汽车两侧仅留有约 10 厘米（4 英寸）的空间。
- 旧的基于规则的方法在这里完全失败。
- REAP 在现实世界中成功在这些狭窄车位泊车约**55%**的时间。

总结

该论文声称，通过使用现实世界的超逼真“数字孪生”（3D 高斯泼溅）以及一种结合“老师”与“学生”的聪明训练方法，他们教会了一辆汽车在极端困难、狭窄的空间中自动泊车，而传统方法在这些地方会失效。他们成功地将汽车从计算机模拟转移到了真实车辆上，而无需重新训练。

技术摘要：REAP——基于高斯泼溅模拟器的强化学习端到端自动泊车

1. 问题陈述

自动泊车仍然是一个重大挑战，特别是在机械停车位和死胡同空间等极端场景中。传统的多阶段方法（感知 $\to$ 规划 $\to$ 控制）存在误差累积问题，且当缺乏先验地图或实时感知不准确时往往失效。虽然端到端方法提供了联合优化的可能，但它们面临独特的障碍：

模仿学习： 需要大量高质量的专家数据，这些数据生产成本高昂，且常导致“平均行为”，即模型无法有效执行多样化或复杂的机动操作。
强化学习（RL）： 虽然具有可扩展性，但标准强化学习存在探索效率低下和“仿真到现实”（Sim2Real）差距的问题。在模拟器中训练的模型，由于视觉保真度和物理动力学的差异，在部署到现实世界时往往失效。
模拟器局限性： 现有的高保真模拟器（例如使用神经辐射场 NeRF 或传统 CAD 资产的模拟器）通常缺乏轮式机器人所需的视觉真实感或物理精度，或者依赖于不可扩展的手工建模。

2. 方法论

作者提出了 REAP（强化学习端到端自动泊车），这是一个基于视觉的系统，能够直接从环视摄像头图像中预测车辆动作。该框架集成了三个核心组件：

A. 带有鸟瞰图（BEV）辅助任务的端到端网络

系统利用统一的鸟瞰图（BEV）表示。环视图像被转换为 BEV 特征，目标停车位则表示为 BEV 热力图。

架构： 网络包含一个执行器（规划器）和一个评论家。
辅助任务： 为了增强特征表示，网络与三个辅助感知任务进行联合训练：
1. 占用（OCC）： 预测几何占用情况以避开障碍物。
2. 停车位检测（PSD）： 识别可用车位。
3. 目标预测： 结合 PSD 与用户选择的目标，确保稳定的车位定位。
建模： 停车位使用二维高斯分布进行建模，以保持相邻空间的可分离性，并使用非对称门控函数区分可通行的停车方向。

B. 非对称混合强化学习策略

为了解决纯强化学习的低效性和模仿学习对数据的依赖，REAP 采用了一种动态混合策略：

行为克隆（BC）： 在探索过程中，系统查询基于规则的规划器（Reed-Shepp 曲线）以生成专家动作。这些动作通过行为克隆被蒸馏到执行器网络中，无需预先收集的数据集即可提供即时且与状态匹配的指导。
非对称训练： 执行器从原始环视图像中学习（模拟现实世界的约束），而评论家则使用仅在仿真中可用的“特权”信息（无伪影的 BEV 地图）进行训练。这稳定了价值估计并降低了计算成本。
软演员 - 评论家（SAC）： 该算法使用 SAC 来最大化动作价值和策略熵，从而鼓励探索。
经验回放缓冲区： 使用两个缓冲区：一个用于所有经验的主缓冲区，以及一个专门用于无碰撞成功的“成功经验”缓冲区，从而提高困难场景中稀有正样本的利用率。

C. 奖励设计与安全机制

奖励函数（ $R_{total}$ ）结合了稀疏奖励和稠密奖励：

稀疏奖励： 包括成功、超时、越界以及一种新颖的停车锚点奖励。当车辆达到基于规则的规划器可以生成可行轨迹的状态时，授予锚点奖励，从而加速长视野任务的收敛。
稠密奖励与安全：
- 预测碰撞奖励（ $R_{PC}$ ）： 根据碰撞长度与总轨迹长度的比率对动作进行惩罚，使智能体能够在碰撞发生前区分严重和轻微的潜在碰撞。
- 软碰撞奖励（ $R_{SC}$ ）： 使用截断的有符号距离场（TSDF）对使车辆过于靠近障碍物的动作进行惩罚，即使未发生硬性碰撞，也能鼓励保持安全余量。

D. 基于 3D 高斯泼溅（3DGS）的 Real2Sim2Real 模拟器

为了弥合仿真到现实的差距，作者构建了一个闭环模拟器：

Real2Sim： 使用手持激光雷达和摄像头捕获真实世界场景。利用 3D 高斯泼溅（3DGS）重建环境，提供照片级真实的渲染和尺度准确的几何结构，无需手工 CAD 建模。
Sim2Real： 模拟器结合了领域随机化（光照、相机内参/外参）以及带有双层车辆模型的2.5D 高程图。这允许准确模拟坡度、减速带以及机械停车位的特定间隙约束（车辆必须越过低矮障碍物）。

3. 主要贡献

REAP 算法： 一种基于视觉的端到端泊车算法，显著提升了极端场景下的性能。它将行为克隆用于高效初始化，并结合非对称强化学习以实现鲁棒的策略学习。
基于 3DGS 的模拟器： 一个利用 3D 高斯泼溅创建高保真视觉和物理仿真的 Real2Sim2Real 流程。这使得仿真训练的模型能够直接迁移到真实车辆上，有效缩小了领域差距。
软预测碰撞惩罚： 一种新颖的安全机制，结合了预测性碰撞评估和软距离场惩罚，以降低碰撞率并鼓励保持安全余量。
现实世界部署： 在物理车辆平台上成功部署，证明了端到端强化学习泊车在极窄机械车位（2.1 米宽度，约 10 厘米间隙）中的可行性。

4. 实验结果

作者在五个场景中评估了 REAP：四个标准停车场（地下和地面）以及一个高度受限的机械停车位。

性能指标：
- 标准车位： REAP-SAC 在仿真中实现了 83.5% 的泊车成功率（PSR），在现实世界测试中实现了 65–85%。
- 机械车位： 在最具有挑战性的场景（2.1 米宽度）中，REAP-SAC 在仿真中实现了 70.0% 的 PSR，在现实世界测试中实现了 55.0%，平均泊车时间为 89 秒。
对比：
- REAP 在成功率和避障方面均优于基于规则的规划器（后者在复杂机动中经常失败）以及其他强化学习/模仿学习基线（PPO、SAC、HOPE、ParkingE2E）。
- 消融研究： 移除 3DGS 模拟器（替换为 CAD 或基于网格的模拟器）导致现实世界 PSR 急剧下降（从 70% 降至 0% 或 45%），证实了视觉保真度的关键作用。移除辅助任务或混合训练策略也会显著降低性能。
仿真到现实差距： 仿真结果与现实世界结果之间的紧密相关性（例如机械车位中 70% 对 55%）验证了 Real2Sim2Real 流程的有效性。

5. 意义与主张

本文主张 REAP 代表了自动泊车领域的重大进步，具体体现在：

解决极端场景： 它是首批成功在极窄机械车位中导航和泊车的端到端强化学习方法之一，而传统方法在此类任务中往往失效。
高效的 Real2Sim2Real 迁移： 通过利用 3DGS，作者证明了高保真视觉仿真可以通过最低的数据收集成本（手持扫描）实现，且无需手工建模，从而使在仿真中训练的模型能够直接泛化到现实世界。
安全与效率： 软预测碰撞惩罚与非对称强化学习训练的集成，解决了基于视觉的强化学习中固有的安全和探索效率挑战。

作者承认的局限性：

平滑度： 微调提高了成功率，但可能会增加换挡次数，略微降低运动平滑度。
训练依赖： 当前流程仍依赖基于规则的规划器监督，以维持早期训练的稳定性并定义锚点奖励。
泛化能力： 目前的验证仅限于结构化环境；泛化到未见过的户外环境或高度动态的障碍物需要进一步研究。
计算： 在边缘设备上部署端到端模型引入了计算开销，且当前的安全设计提供的是经验性而非形式化的保证。