⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

本文提出了一种基于 PPO 强化学习的纯 Pursuit 控制方法，通过在线联合优化前视距离与转向增益，在无需针对特定地图重新调参的情况下，显著提升了自动驾驶赛车在仿真与实车测试中的圈速、跟踪精度及转向平滑度，其性能优于传统固定参数、速度调度及仅优化前视距离的变体。

原作者： Mohamed Elgouhary, Amr S. El-Wakeel

发布于 2026-02-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohamed Elgouhary, Amr S. El-Wakeel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让自动驾驶赛车跑得更稳、更快的故事。

想象一下，你正在开一辆赛车，但你的“大脑”（控制系统）有一个非常古老但好用的导航规则，叫作“纯追踪”（Pure Pursuit）。这个规则很简单：“看着前方某一点，把车开过去。”

但是，这个老规则有个大毛病：它太“死板”了。

如果你把“看前方”的距离设得太短，车在直道上会像喝醉了一样左右摇摆（太敏感）。
如果你把距离设得太长，车在过急弯时就会像个大笨象，转不过去，直接冲出去（太迟钝）。
而且，以前人们只能靠经验手动调整这个距离，换个赛道就得重新调，非常麻烦。

这篇论文的作者想出了一个绝妙的主意：与其手动调参数，不如教一个“人工智能教练”（强化学习算法）来实时决定怎么调。

1. 核心比喻：老司机 vs. 新手导航

传统的“纯追踪”控制器：就像一个新手司机。他手里拿着一个固定的指南针，不管前面是直路还是急弯，他都死死盯着前方 10 米的一个点。在直道上他可能开得很稳，但一进弯道，因为盯着的点太远了，他根本转不过去，直接撞墙。
作者提出的新方法（RL-PP）：给这个新手司机配了一位经验丰富的老教练（AI 策略）。
- 这位教练手里有两个遥控器：
  1. 看多远（Lookahead, $L_d$ ）：告诉司机“现在路直，看远点（比如 4 米）”；“现在弯急，看近点（比如 0.5 米）”。
  2. 打多狠（Steering Gain, $g$ ）：告诉司机“现在路直，方向盘稍微动一点点”；“现在弯急，方向盘要猛打一点”。
- 这位教练不是瞎指挥，他通过PPO（一种高级的强化学习算法），在虚拟的赛车模拟器里“练”了成千上万次。他学会了根据车速和前方道路的弯曲程度，瞬间做出最佳判断。

2. 他们是怎么训练的？（模拟赛车手）

作者没有直接拿真车去撞墙，而是用了F1TENTH（一种小型的自动驾驶赛车平台）在电脑里模拟训练。

训练过程：AI 教练在虚拟赛道上不断试错。如果它让车跑得快且稳，就给它奖励；如果车撞墙或跑偏，就给它惩罚。
关键创新：以前的 AI 可能只教它“看多远”，但这篇论文教它同时控制“看多远”和“打多狠”。这就好比不仅教司机看路，还教他如何精准地控制方向盘的力度。
结果：训练好的 AI 教练，不需要重新学习，直接就能在从未见过的赛道上（比如从霍根海姆赛道换到蒙特利尔赛道）表现出色。这就是所谓的“零样本泛化”（Zero-shot transfer）。

3. 实验结果：真的比传统方法好吗？

作者做了大量的对比实验，把他们的 AI 赛车手和几种传统选手放在一起跑：

固定参数选手：不管路况如何，永远盯着前方 1.5 米。结果：要么晃得厉害，要么转不过弯。
简单规则选手：根据车速自动调整看多远（比如速度快就看远点）。结果：比固定的好，但还是不够灵活。
MPC 选手（模型预测控制）：这是一种非常复杂、计算量巨大的数学方法，通常被认为是“学霸”选手。结果：在模拟和真车上，我们的 AI 赛车手竟然比这位“学霸”跑得还快，而且更稳！
我们的 AI 选手（RL-PP）：
- 圈速最快：在模拟赛道和真车上，它跑完一圈的时间最短。
- 最稳：它的轨迹最平滑，没有那种忽左忽右的抖动。
- 最聪明：它能根据弯道自动调整策略。在直道上，它把视线放远，保持高速；在急弯处，它把视线拉近，并加大方向盘力度，精准过弯。

4. 为什么这很重要？（通俗总结）

这篇论文的核心价值在于：它没有推翻旧规则，而是给旧规则装上了“智慧大脑”。

保留优点：纯追踪算法本身很简单、计算快、容易理解（就像老司机的直觉）。
弥补缺点：通过 AI 实时调整两个关键参数，解决了它“死板”的问题。
实际应用：这套系统已经成功在真实的微型赛车上跑通了。这意味着未来，我们不需要为每一条新赛道去请工程师手动调参数，AI 自己就能学会怎么跑。

一句话总结：
这就好比给一辆只有“定速巡航”功能的旧车，装上了一个能根据路况自动调节“视线距离”和“方向盘力度”的超级副驾。这个副驾经过海量训练，不仅开得比老手快，还比那些算得精疲力竭的超级计算机（MPC）更稳、更聪明。

论文技术总结：基于 PPO 的纯追踪（Pure Pursuit）联合前视距离与转向增益控制学习

1. 研究背景与问题 (Problem)

纯追踪（Pure Pursuit, PP） 是自动驾驶赛车中广泛使用的路径跟踪算法，因其计算高效且几何逻辑清晰而备受青睐。然而，PP 的性能高度依赖于关键参数的选择，主要是前视距离（Lookahead Distance, $L_d$ ）和转向增益（Steering Gain, $g$ ）。

现有局限性：
- 参数敏感性： $L_d$ 过小会导致直线震荡，过大则导致弯道转向不足； $g$ 过大引入噪声，过小则收敛缓慢。
- 规则式调参的不足：传统的基于速度或曲率的线性调度规则（Rule-based schedules）通常基于固定函数形式，难以在不同赛道、速度分布或平台上泛化，往往需要针对每个赛道重新调整参数。
- 替代方案的代价：模型预测控制（MPC）虽然性能优异，但建模复杂、在线计算成本高，且难以在资源受限平台上实时运行。

核心问题：如何在保持纯追踪算法几何逻辑简单性和可解释性的前提下，实现参数（ $L_d$ 和 $g$ ）的在线自适应调整，以应对复杂多变的赛道环境，并实现从仿真到实车的零样本（Zero-shot）迁移。

2. 方法论 (Methodology)

本文提出了一种强化学习（RL）与几何控制相结合的混合框架，利用近端策略优化（PPO）算法在线联合调整 $L_d$ 和 $g$ 。

2.1 系统架构

基础控制器：保留经典的纯追踪几何转向律 $\gamma = g \cdot \frac{2y'}{L_d^2}$ 。
RL 策略网络：
- 输入（状态 $s_t$ ）：包含当前车速 $v_t$ 以及沿参考轨迹的曲率特征（近、中、远三个点的曲率 $\kappa_0, \kappa_1, \kappa_2$ 及其差值 $\Delta\kappa$ ）。
- 输出（动作 $a_t$ ）：一个二维连续向量，包含下一时刻的前视距离 $L_{t+1}$ 和转向增益 $g_{t+1}$ 。
- 平滑处理：输出动作经过一阶指数平滑（First-order smoother）后发布，避免控制指令突变。
安全机制：若 RL 指令超时或失效，系统自动回退到基于线性的“教师”规则（Linear Teacher），确保安全性。

2.2 训练设置

算法：Proximal Policy Optimization (PPO)。
环境：F1TENTH Gym 仿真环境，使用最小曲率（Minimum-curvature）优化生成的参考轨迹。
训练策略：
- 在霍根海姆（Hockenheim）赛道训练，并将参考速度曲线统一缩放 +30% 以增加难度，迫使策略学习速度与曲率的耦合关系，而非过拟合特定速度。
- 奖励函数设计：综合考虑速度奖励、与教师目标的偏差惩罚、动作平滑度、弯道提前调整奖励、碰撞惩罚及进度奖励。
部署：基于 ROS 2 架构，策略通过 ROS Topic 发布 $L_d$ 和 $g$ ，PP 控制器直接消费这些参数进行转向计算。

2.3 关键创新点：联合控制

不同于以往仅调整前视距离的研究，本文同时学习 $L_d$ 和 $g$ 。

$L_d$ 决定了目标点的位置（预览几何）。
$g$ 决定了在目标点固定后，转向指令的幅度（曲率缩放）。
两者非冗余： $L_d$ 改变目标点， $g$ 改变转向力度。联合调整能更灵活地平衡响应速度与平滑度。

3. 主要贡献 (Key Contributions)

RL-PP 框架：提出了一种在保持 PP 几何控制简单性和可解释性的同时，通过 RL 在线自适应调整 $L_d$ 和 $g$ 的框架。
实用的训练方案：设计了一套包含奖励函数、超参数调整（如 Optuna 选择学习率）和稳定性技术（KL 约束、梯度裁剪）的训练流程，实现了平滑且准确的路径跟踪。
全面的评估：
- 在仿真和实车（F1TENTH 平台）上进行了测试。
- 对比了固定参数 PP、速度调度 PP、仅学习 $L_d$ 的 RL-PP 以及运动学 MPC 跟踪器。
- 验证了零样本泛化能力：在霍根海姆训练的策略，直接应用于蒙特利尔（Montreal）和亚斯码头（Yas Marina）赛道，无需微调。
可解释性分析：可视化展示了策略如何根据赛道曲率和速度动态调整参数，证明了其学习到了合理的控制逻辑（如弯道减小 $L_d$ ，直道增大 $L_d$ ）。

4. 实验结果 (Results)

4.1 仿真结果（蒙特利尔与亚斯码头赛道）

圈速表现：联合调整 $(L_d, g)$ $(L_{d}, g)$ 的 RL-PP 策略在两个未见过的赛道上均取得了最短的平均圈速。
- 蒙特利尔赛道：平均圈速 32.85 秒（+16% 速度倍率），优于仅调整 $L_d$ 的变体（33.23 秒）和线性自适应 PP（34.25 秒）。
- 亚斯码头赛道：平均圈速 45.10 秒（+17.2% 速度倍率），同样优于其他所有基线。
稳定性：RL-PP 策略的圈速标准差极小，表现出极高的稳定性。
对比 MPC：在相同的参考轨迹和约束下，RL-PP 的圈速显著优于运动学 MPC 跟踪器（MPC 在蒙特利尔赛道圈速为 48.06 秒）。

4.2 实车验证（F1TENTH 平台）

测试条件：在物理赛车上测试，速度限制在 6 m/s 以确保安全。
性能：联合 RL-PP 策略再次取得最佳平均圈速（9.46 秒），且轨迹跟踪平滑，横向误差小。
安全性：在整个评估过程中，安全“教师”回退机制从未被触发，证明 RL 策略在实车上的可靠性。
Sim-to-Real：无需针对实车进行参数微调，直接部署即取得了优于固定参数和线性自适应方法的效果。

5. 意义与结论 (Significance & Conclusion)

理论意义：证明了深度强化学习可以作为几何控制器的“智能调参器”，在保留经典算法可解释性和低计算成本优势的同时，显著提升其在复杂动态环境中的适应性和鲁棒性。
工程价值：
- 提供了一种无需针对每个赛道重新调参的通用解决方案，降低了自动驾驶赛车系统的部署成本。
- 实现了从仿真到实车的无缝迁移（Sim-to-Real），验证了该方法在资源受限平台上的可行性。
- 相比计算昂贵的 MPC，该方案在保持高性能的同时，极大地降低了计算负担。
局限性：性能依赖于高质量的全局参考轨迹和定位系统；在极端动力学（如严重打滑）场景下可能表现下降，这是未来工作的方向。

总结：该论文成功地将强化学习引入经典的纯追踪控制中，通过联合优化前视距离和转向增益，实现了比传统规则方法和 MPC 更优的赛道表现，为自动驾驶路径跟踪提供了一种高效、可解释且具备强泛化能力的新范式。