🤖 machine learning

Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

本文提出了一种强化学习方法，该方法通过课程学习和解释性分析验证，成功使虚拟 Whipple 自行车模型仅通过转向角输出，即可在 2m/s 至 7m/s 的速度范围内同时实现复杂路径跟随并保持横向稳定性。

原作者： Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Sebastian Weyrer, Peter Manzl, A. L. Schwab, Johannes Gerstmayr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个蹒跚学步的孩子骑自行车。你不会只告诉他们“直走”。你必须教他们如何保持平衡、如何如何在转弯时倾斜，以及如何转向而不摔倒。现在，想象一下你不是在教一个人类小孩，而是在用一种叫做**强化学习（Reinforcement Learning, RL）**的方法，教一个计算机程序和一辆虚拟自行车。

这篇论文本质上讲述了研究人员如何教会一个数字“智能体”（一个聪明的计算机程序）完美地驾驶一辆虚拟自行车——在跟随蜿蜒路径的同时保持平衡，且无需任何辅助轮或物理帮助。

以下是他们旅程的拆解，使用了日常类比：

1. 虚拟测试赛道

研究人员并没有在车库里使用真实的自行车。他们在计算机内部构建了一辆虚拟自行车。这不仅仅是一个卡通形象；它是一个高度精确的物理模型（被称为“Whipple模型”），其行为方式与真实的自行车完全一致。

挑战： 真实的自行车很难驾驭。如果速度太慢，它们会倒下；如果速度太快，它们会变得摇晃。它们还有一个奇特的特性：为了向左转，你实际上需要先向右微调转向（这被称为“反向转向”或“对向转向”）。
目标： 计算机智能体必须同时完成两件事：保持直立（稳定）和跟随地面上的特定路线（路径跟随）。它只能控制车把。它不能推动自行车，也不能改变速度；速度是由一位隐形的“骑行者”设定的。

2. 老师：强化学习

把智能体想象成一名学生，而计算机模拟器则是它的严师。

游戏规则： 智能体尝试骑行。
计分卡（奖励）： 每当自行车保持在路径附近且没有倒下时，智能体就会获得分数（即“奖励”）。如果它摔倒或偏离轨道太远，它就会得到零分，并且游戏重新开始。
学习过程： 智能体会尝试数百万次。起初，它经常摔车。但慢慢地，它开始意识到：“噢，当我向左倾斜时，我需要向右转向才能保持直立，”或者“当路径弯曲时，我需要看向前方。”它是通过试错来学习的，而不是通过被告知物理规则。

3. 秘诀：“课程学习”

如果你试图让一个蹒跚学步的孩子直接在陡峭、蜿蜒的山路上练习骑车，他们一定会失败。你应该从平坦、笔直的过道开始教起。
研究人员使用了一种叫做**课程学习（Curriculum Learning）**的策略。这就像是一款难度随等级提升的视频游戏：

第1级： 智能体从一条中等速度、容易保持直立的直线路径开始。
第2级： 随着智能体变得熟练，老师会引入曲线和速度变化。
第3级： 智能体面临最艰巨的挑战：极低的速度（此时自行车非常不稳定）和急转弯。
通过从易到难，逐渐增加难度，智能体学会了处理各种速度范围（从 2 m/s 到 7 m/s）和复杂的路径，如绕桩和全圆环路径。

4. 结果：大师级骑手

经过数百万次的虚拟骑行（大约耗时 55 小时的模拟时间）后，智能体成为了专家。

测试： 他们将训练好的智能体放在一个“基准路径”上——这是一个包含圆圈、之字形和换道动作的复杂赛道。
结果： 智能体保持了自行车的直立，并以惊人的精度跟随路径。自行车与预定路径之间的平均距离小于 9 厘米（大约是一个手掌的宽度）。
速度： 无论自行车移动得慢还是快，它都能完美运行。

5. 智能体真的“理解”了物理学吗？

研究人员不只是想要一个能工作的“黑箱”；他们想知道它是如何工作的。他们使用了一个名为 SHAP 的工具（它就像是 AI 决策的 X 光机）来观察智能体在关注什么。

发现： 智能体学到了人类使用的完全相同的物理技巧！
- 反向转向： 智能体学会了通过向相反方向微调转向来启动转弯。
- 向摔倒方向倾斜： 当自行车开始倾斜时，智能体学会了向摔倒的方向转向以挽救平衡，就像真正的骑手那样。
- 向前看： 智能体最关注的是前方几米处的路径，而不仅仅是轮子接触地面的位置。

核心结论

这篇论文证明了计算机程序可以从零开始学习骑自行车——在平衡车身的同时，引导它穿过复杂的赛道，且无需预设的物理方程或人类帮助。它通过试错学习到了自行车的“感觉”，最终成为了一名大师级骑手，能够比许多传统的计算机控制器更好地处理速度变化和复杂的转弯。

研究人员总结道，这种方法是有效的，但他们指出，对于现实世界的机器人自行车，他们需要改进模型以应对颠簸的路面，并研究如何通过“视觉”（如使用摄像头）来感知路径，而不是将路径预加载到计算机中。

技术摘要：基于强化学习的自行车模型路径跟随与稳定控制

问题陈述
由于自行车的运动具有速度依赖性的横向稳定性以及非最小相位行为（需要向非预期倾斜的方向转向以维持平衡），控制自行车的运动是一项复杂的任务。虽然传统的控制工程方法已被广泛用于自行车的稳定控制和路径跟随，但利用机器学习（特别是强化学习，RL）来处理这些机械系统的兴趣正在日益增长。文献中存在一个显著空白：以往将强化学习应用于自行车模型的做法，通常要么专注于专门化稳定（通常使用缺乏拖曳力或带有平衡辅助装置的简化模型），要么专注于路径跟随（通常忽略横向稳定）。此外，现有的研究尚未充分证明，在无法控制前进速度的情况下，一个强化学习智能体是否能够在标准自行车模型（具有正向拖曳力）上，在广泛的速度范围内诱导产生一种速度依赖性的稳定策略，并同时完成路径跟随任务。

方法论
作者提出了一个强化学习框架，其中智能体控制一个虚拟的 Whipple 自行车模型——这是一个衡量自行车动力学的基准模型，其特征是具有正向拖曳力，且仅在特定速度范围（4.3–6 m/s）内具有自稳定性。该自行车被建模为一个由四个刚体（后轮、前轮、后车身、车把）组成的多元体系统，且没有外部稳定辅助装置（如惯性轮）。

控制机制： 智能体完全通过预测设定转向角 ( $\delta_{set}$ ) 来发挥作用。该角度通过一个作用于后车身与前叉之间的 PD 控制器转化为转向扭矩。智能体无法改变前进速度，而前进速度被随机设定在 2 m/s 到 7 m/s 之间，这模拟了骑行者控制速度而智能体负责转向的场景。
状态表示： 状态向量包括自行车的最小坐标（位置、偏航角、横滚角、转向角以及相关的角速度）和路径预览信息。路径预览由指向未来路径点的横向距离向量表示。作者研究了两种状态形式：一种直接使用偏航角，另一种使用单位向量表示以避免不连续性。
奖励函数： 奖励是两个组成部分的线性组合：
1. 路径跟随 ( $\rho_y$ )： 奖励智能体使后轮接触点保持在路径附近。
2. 稳定控制 ( $\rho_\phi$ )： 奖励智能体保持较低的横滚角。
  作者分析了不同的奖励公式，包括线性与指数型距离惩罚，以及路径跟随与稳定控制之间的权重变化。
训练策略： 采用了课程学习 (Curriculum Learning, CL) 来管理任务的复杂性。训练过程分为四个阶段，其中前进速度、路径曲率（圆弧元素的半径）以及路径复杂度（多项式段的长度和宽度）的初始化区间会逐渐扩大。这使得智能体能够首先在恒定且稳定的速度下学习基础稳定控制，然后再应对多变的速度和复杂的路径。
算法： 使用了用于离策深度强化学习的 Soft Actor-Critic (SAC) 算法。

核心贡献

同步路径跟随与稳定控制： 本研究首次证明，强化学习智能体可以在没有平衡辅助装置的情况下，仅依靠转向输入，在 Whipple 自行车模型上成功实现路径跟随和横向稳定。
速度依赖型策略： 研究调查并证实了强化学习方法可以诱导产生一种速度依赖型策略，该策略能够在广泛的速度范围（2 m/s 至 7 m/s）内稳定自行车，涵盖了不稳定的低速区和自稳定的中速区。
课程学习的应用： 研究表明，课程学习对于训练智能体处理日益增加的速度变化和任意路径（包括全圆、蛇形绕桩和车道变换）的复杂性至关重要。
可解释性： 作者利用 SHapley Additive exPlanations (SHAP) 来分析训练好的智能体的决策过程，将学习到的策略与已知的自行车动力学物理机制联系起来。

结果

学习性能： 与使用恒定预览距离或等权重分配稳定奖励等替代方案相比，所提出的设置（使用速度缩放的预览距离和路径跟随的线性奖励）所需的学习步数更少（ $< 2 \times 10^6$ ）。研究发现，若将稳定奖励 ( $\rho_\phi$ ) 与路径跟随进行等权重分配，会干扰学习进度。
部署性能： 使用所提设置训练的智能体在测试的速度范围（2–7 m/s）内成功稳定了自行车并完成了路径跟随。
- 在随机生成的路径上，525 次模拟骑行（跨越 5 次运行和 5 种设置）全部成功，未发生摔倒。
- 在复杂的基准路径（全圆、蛇形绕桩、车道变换）上，表现最好的智能体在 7 m/s 时达到的最大平均偏离路径距离为 0.09 m（轴距的 9%），在最低速度 2 m/s 时最大平均偏离距离为 0.19 m。
- 部分个体智能体在最低速度（2 m/s）下，针对特定的基准路段（全圆和剧烈车道变换）出现了失败，但这在训练课程中属于统计学上的极少数情况。
机制分析： SHAP 值分析显示，智能体学习到了基本的控制机制：
- 反向转向 (Counter-steering)： 智能体能够正确预测出与期望转弯方向相反的转向角，以启动倾斜。
- 向倾斜方向转向 (Steering into the fall)： 一旦发生倾斜，智能体会向倾斜方向转向以维持平衡，这体现了横滚角 ( $\phi$ ) 和预览点 ( $t_P$ ) 与转向动作之间的相关性。

意义与主张
本文声称，强化学习是自行车动力学领域替代传统控制工程的一种可行方案，能够处理系统非线性和速度依赖的特性，而无需对控制律进行显式建模。这项工作通过展示智能体如何纯粹通过与模拟环境的交互来学习基本的自行车控制物理机制（反向转向和倾斜），弥合了机器学习与自行车动力学研究之间的鸿沟。

作者谦虚地指出，虽然虚拟环境在许多情况下允许完美的路径跟随，但基准路径包含了一些即使对于真实的自行车来说也具有挑战性的几何特征（如剧烈的车道变换）。尽管智能体无法直接控制前进速度，但仍能在上述复杂路径及广泛的速度范围内成功导航，这凸显了强化学习在速度作为外部约束的机器人系统中的实际应用潜力。文章总结道，未来的工作应侧重于完善自行车模型以实现从仿真到现实 (Sim-to-Real) 的迁移，并开发在现实场景中获取路径预览信息的方法（例如通过摄像头）。