🤖 AI

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

本文提出了一种结合了软行动者-评论家算法（Soft Actor-Critic）与动态任务生成的自步课程强化学习框架，旨在通过在物理精确的仿真环境中高效训练自主智能体，实现稳定且快速的超级摩托车竞赛，其性能优于标准的 SAC 方法。

原作者： Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一个蹒跚学步的幼儿骑自行车。如果你直接把他们扔到繁忙的高速公路上并说：“出发！”他们很可能会立刻摔倒。但如果你先让他们在安静的车道上练习，然后转移到平坦的公园，最后再引入缓坡，他们会学得快得多。

这篇论文是关于如何教一个计算机“幼儿”（AI智能体）在名为 VRider SBK 的赛车游戏模拟器中驾驶一辆高速超级摩托车。研究人员发现，传统的 AI 教学方法在处理摩托车时效果不佳，因此他们发明了一种更聪明的、循序渐进的训练方法。

以下是使用简单类比对他们工作的拆解：

1. 重大挑战：两轮 vs 四轮

大多数 AI 赛车研究都集中在汽车上。汽车就像重型卡车；它们很稳定。即使转弯太快，汽车可能会稍微打滑，但通常能保持直立。

摩托车则不同。它们就像走钢丝的人。

平衡是关键： 为了转弯，骑手必须倾斜。如果倾斜不够，会向外摔倒；如果倾斜过度，会向内摔倒。
AI 的挣扎： 计算机不仅要学习如何转向和加油门，还要学习如何在极端角度下不断保持车辆平衡。如果 AI 搞砸了平衡，摩托车就会侧翻——这是汽车不会遇到的问题。

2. 解决方案：“循序渐进”的教练

研究人员使用了一种标准的 AI 训练器，称为 SAC（Soft Actor-Critic）。你可以把 SAC 想象成一位严厉的教练，直接把学生扔进深水区。

他们将 SAC 与一种新方法 SPDL（Self-Paced Deep Reinforcement Learning，自适应深度强化学习）相结合。你可以把 SPDL 想象成一位聪明且具有适应能力的教练，他会观察学生并实时调整难度：

开始阶段： 教练告诉 AI：“只需沿着赛道的中间行驶。现在还不用担心速度。”这是“简单模式”。
进阶阶段： 随着 AI 越来越擅长保持直立，教练会慢慢移动目标点。“好了，现在尝试遵循‘理想赛线’（最快的路径）。”
结束阶段： 最终，教练说：“现在沿着那条完美的赛线，尽可能快地行驶。”

论文声称这种“自适应步调”的方法比标准方法效果好得多。AI 学会了更快的驾驶速度，摔倒次数更少，且训练完成得更快。

3. AI 如何“观察”赛道

为了让 AI 理解摩托车，研究人员给了它一个特殊的“仪表盘”信息（状态空间）：

身体感知： 它知道自己的速度、倾斜程度以及轮胎的抓地力（摩擦力）情况。
记忆力： 至关重要的一点是，它能记住最近的倾斜历史。就像人类骑手在摔车前能感觉到车辆的晃动一样，AI 利用这些历史记录来防止自己产生过度的震荡。
地图： 它能看到前方赛道的 60 个点，就像俯瞰道路以预判弯道即将到来一样。

4. “计分卡”（奖励机制）

在 AI 训练中，计算机会对好的行为获得分数（奖励），对坏的行为失去分数。研究人员为摩托车设计了一个非常具体的计分卡：

正面： 沿着赛道向前移动。
负面： 驶离赛道、撞墙或过度晃动。
“倾斜”惩罚： 他们特别惩罚了 AI 在倾斜时左右摆动（振荡）的行为。这迫使 AI 学习平滑、受控的转弯，而不是剧烈的动作。

5. 结果：发生了什么？

研究人员在著名的巴塞罗那赛道及其他赛道上进行了测试。

“标准”AI（仅使用 SAC）： 在训练初期，它甚至无法完成一圈。它不停地碰撞并摔倒。
“自适应步调”AI（使用 SPDL）： 它能在不摔倒的情况下完成圈数。在训练结束时，它每圈比标准 AI 快了 0.57 秒。
“迁移”测试： 他们将一个在杜卡迪（Ducati）摩托车上训练出的 AI 转移到了川崎（Kawasaki）、本田（Honda）和雅马哈（Yamaha）上，而没有进行重新训练。
- 结果： 它奏效了！AI 能够相当不错地驾驶这些新车型，证明它学到的是平衡摩托车的通用技能，而不仅仅是驾驶某一种特定型号。
- 例外： 它在面对宝马（BMW）时表现有些吃力，该车被描述为“激进且难以驾驭”，这表明有些车确实更难学习。

6. 还缺少什么？

作者诚实地说明了局限性。

“速度 vs 精准度”问题： 有时 AI 会因为太想追求速度而在进入弯道时过快，导致冲出弯道（见论文图 4）。它优先考虑速度，而非采取完美的赛线。
一次只能训练一个赛道： 目前，他们为每个赛道分别训练一个 AI。他们希望最终能训练出一个可以应对任何首次见到的赛道的通用 AI。

总结

这篇论文展示了首次成功尝试通过“循序渐进”的学习方法，在模拟器中教会 AI 驾驶摩托车。通过让 AI 从简单的路径开始并逐渐增加难度，他们成功创造出了一个既能保持直立、学得更快，甚至能在不同摩托车型号之间切换的驾驶员。这是迈向自主摩托车赛车的重要一步，尽管 AI 在高速过弯时仍需学习如何更加精准。

技术摘要：用于自主超级摩托车模拟赛车的自步式课程强化学习

问题陈述

自主赛车在深度强化学习（RL）领域已取得了显著里程碑，特别是在使用《极限竞速：GT赛车》等高保真模拟器进行四轮车辆驾驶方面。然而，由于物理和动力学挑战的本质不同，摩托车赛车在强化学习文献中仍处于很大程度上未被探索的状态。与汽车不同，赛车需要智能体主动管理倾角（lean angle），以抵消转弯时的离心力。无法控制该角度会导致失去平衡并摔车——这是一种在四轮车辆中不存在的失效模式。此外，赛车拥有更高的功率重量比，使其承受更激进的制动和加速动力学。核心挑战在于训练一个能够同时处理转向、油门/制动控制，以及处理维持两轮稳定性所需的复杂平衡的智能体。

方法论

作者提出了一个基于 VRider SBK 的框架，该框架是一个基于 Unity 的物理精确模拟器，具有真实的超级摩托车世界锦标赛赛道和摩托车模型。该系统集成了软行动者-评论家算法（Soft Actor-Critic, SAC）与自步式深度强化学习（Self-Paced Deep Reinforcement Learning, SPDL）。

1. 状态与动作空间

状态空间： 观测向量结合了本体感受特征和全局特征，并归一化至 $[-1, 1]$ $[- 1, 1]$ 。
- 本体感受： 线速度/角速度、当前/前一时刻的转向角和倾角、倾角历史 ( $\theta$ )、轮胎滑移率以及之前的控制动作。引入倾角历史对于预测和抑制振荡行为至关重要。
- 全局： 通过 Catmull-Rom 样条插值采样得到的当前轨迹（中心线和赛道边界）上 60 个等间距的 3D 航点，提供了一个随速度自适应的前瞻机制。
动作空间： 两个 $[-1, 1]$ $[- 1, 1]$ 之间的连续动作：
1. 转向（这也驱动了摩托车的倾角）。
2. 一个组合的油门/制动信号（两者互斥）。

2. 奖励设计

奖励函数是稠密且多组件的，旨在最小化单圈时间并惩罚不稳定性。它包括：

进度： 沿轨迹的位移，如果摩托车后退或偏离路线，则取负值。
惩罚： 越界时间、碰撞墙壁（基于动能）以及针对步骤间转向、倾斜和角速度大幅变化的特定稳定性惩罚。
历史惩罚： 基于 Sigmoid 函数对累积的角度变化量进行惩罚，以抑制转向和倾斜中的振荡行为。
失效条件： 如果摩托车摔车、撞墙或超过惩罚计时器，则重置回合（Episode）。

3. 自步式课程 (SPDL)

系统并非采用手动课程设计，而是使用 SPDL 根据智能体的表现动态生成任务。难度由智能体必须遵循的轨迹定义：

上下文变量：
- $c_1$ ：距离中轴轨迹的距离。
- $c_2$ ：距离理想赛车线的距离。
- $c_3$ ：最大速度限制。
机制： 算法维护一个上下文分布 $p(c|\nu)$ ，并在最大化奖励与收敛至目标分布（全速下的理想线）之间优化权衡。KL 散度约束防止了难度的剧烈跳变。当智能体超过性能阈值 $\delta$ 时，课程会自动从简单的中轴轨迹向理想赛车线偏移。

核心贡献

针对两轮车辆的 RL 架构： 量身定制的状态空间，包括倾角历史和专门设计用于处理摩托车特有不稳定性的（摔车、振荡）奖励信号。
自动化课程集成： 首次将 SPDL 与 Unity ML-Agents 集成应用于摩托车赛车，实现了无需人工干预的动态自动任务生成。
基准建立： 初步实验结果建立了首个自主摩托车赛车的 RL 基准，证明了其在训练效率和稳定性方面优于标准的 SAC。

实验结果

实验在 巴塞罗那（Barcelona） 赛道（主要）进行，并推广到了 克雷莫纳（Cremona） 和 菲利普岛（Phillip Island），使用了 杜卡迪 Panigale V4 R 以及其他四种摩托车模型。

训练效率： 在第 1150 次迭代时，标准的 SAC 智能体未能完成单圈，反复失控。SPDL 智能体完成了所有圈数，且零摔车，平均时间为 1:32.85。到第 1900 次迭代时，SPDL 达到了 1:30.75 的单圈时间，优于经过训练的 SAC 基准（1:31.32）0.57 秒。
稳定性： 与 SAC 相比，SPDL 智能体的摔车和偏离赛道的次数显著减少。
赛道泛化性： 使用 SPDL 训练的智能体成功完成了克雷莫纳和菲利普岛的圈数，且零摔车、零碰撞，展示了跨不同赛道几何形状的鲁棒性。
车型泛化性： 在杜卡迪 Panigale V4 R 上训练的策略可以迁移到其他车型（川崎、本田、雅马哈、宝马）而无需重新训练。
- 川崎 Ninja ZX-10RR 展示了最佳迁移效果，在巴塞罗那赛道仅落后杜卡迪 0.87 秒。
- 本田和雅马哈车型在菲利普岛甚至表现得比杜卡迪更好，得益于对特定弯道的更好处理。
- 宝马 M1000 RR 在菲利升级表现挣扎，未能完成单圈，凸显了迁移到更激进、更难驾驭的车型时的难度。

重要性与局限性

本文声称建立了首个自主摩托车赛车的 RL 基准，证明了将 SAC 与自步式课程学习相结合，对于处理两轮车辆的独特动力学是非常有效的。该框架成功地在多种赛道和摩托车模型之间进行了泛化，表明学习到的策略捕捉的是通用的控制先验，而非仅仅是特定车型的动力学。

然而，作者也谦虚地指出了目前的局限性：

轨迹精度： 智能体倾向于优先考虑速度而非精度，偶尔会出现过弯过冲的情况（如定性结果所示）。
单赛道训练： 目前是为每个赛道训练一个独立的智能体；未来的工作旨在实现多赛道泛化。
感知能力： 系统目前依赖于基于向量的输入；未来的迭代可以引入基于视觉的输入和非对称的 Actor-Critic 架构，以提高样本效率和真实感。

这项工作为竞争性自主超级摩托车赛车奠定了基础，未来的研究方向包括在竞争性比赛环境（而非仅仅是计时赛模式）中进行测试。