💻 computer science

Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation

该论文提出了一种结合强化学习、LiDAR 与深度相机数据融合（通过 UKF）及对手位姿估计的自主超车轨迹优化方法，并在仿真与实车实验中验证了其在赛车场景下的有效性与高精度。

原作者： Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**如何让自动驾驶小车在赛道上“聪明地超车”**的故事。想象一下，你正在玩一个赛车游戏，但这次你不仅要开得稳，还要在对手面前漂亮地超车，而且不能撞车。

为了做到这一点，作者们给小车装上了“超级大脑”和“火眼金睛”。我们可以把这项技术拆解成三个部分来理解：

1. 给小车装上“火眼金睛”：传感器融合 (Sensor Fusion)

在赛道上，小车需要知道对手在哪里、跑得多快、朝哪个方向跑。这就好比你在拥挤的集市里想超过前面的人，你既要用眼睛看，又要用耳朵听，甚至要预判对方的动作。

激光雷达 (LiDAR)：就像小车的“夜视仪”或“回声定位”。它能发射激光，通过反射知道周围物体的距离和形状。但它有个小缺点：如果前面有两个物体，它有时候分不清哪个是对手，哪个是路边的障碍物。
深度相机 (Depth Camera) + YOLO：这就像小车的“高清摄像头”加上“识图软件”。它不仅能看到物体，还能通过 AI 识别出“哦，那是另一辆赛车！”（就像你一眼认出那是你的好朋友）。
UKF (无迹卡尔曼滤波)：这是小车的“超级大脑”里的融合器。
- 想象一下，激光雷达说：“对手在左边 5 米。”
- 摄像头说：“对手在左前方，距离大概 4.8 米。”
- 如果只信其中一个，可能会出错。UKF 就像一个经验丰富的老教练，它把这两个信息结合起来，取个“最佳平均值”，并不断修正，最终得出一个非常精准的位置。
- 结果：小车不仅能知道对手在哪，还能算出对手下一秒可能去哪，而且误差非常小（只有几厘米）。

2. 给小车装上“赛车直觉”：强化学习 (Reinforcement Learning)

有了眼睛，小车还需要学会怎么开车。作者没有教小车死记硬背怎么开，而是用了一种叫强化学习 (RL) 的方法，这就像训练一只聪明的狗或者教小孩骑自行车。

试错与奖励：
- 如果小车开得太慢，它得不到奖励。
- 如果小车撞车了，它会受到“惩罚”（扣分）。
- 如果小车成功超过了对手，或者跑在了理想的赛道线上，它就会得到“奖励”（加分）。
PPO 算法：这是训练的具体方法。小车在虚拟的电脑模拟器里，成千上万次地练习超车。它一开始可能笨手笨脚，撞得稀里哗啦，但随着练习次数增加，它慢慢学会了：“哦，原来在对手左边加速，然后切回内线，这样超车最安全也最快。”
多智能体环境：最酷的是，训练时对手也是由 AI 控制的。这意味着小车是在和另一个“聪明鬼”比赛，而不是在空荡荡的赛道上跑。这让小车学会了真正的博弈：不仅要快，还要预判对手的意图。

3. 从“模拟世界”到“真实世界”的跨越

很多研究只停留在电脑模拟里，但这篇论文把小车真的造出来了（基于 F1TENTH 平台，一种小型的自动驾驶赛车），并在真实的赛道上进行了测试。

挑战：现实世界比电脑模拟要乱得多。有光线变化、地面打滑、传感器有延迟。
成果：
- 小车成功地在真实赛道上完成了超车，没有撞车。
- 虽然轨迹有点小抖动（就像新手骑车偶尔会左右晃一下），但整体策略是成功的。
- 它证明了这套“眼睛 + 大脑”的组合，真的能处理复杂的对抗性驾驶。

总结：这到底意味着什么？

这就好比给自动驾驶汽车装上了F1 赛车手的反应速度和老司机的预判能力。

以前，自动驾驶可能只会“躲避障碍物”（像走路避开路人）。但这篇论文让车学会了“主动超车”（像赛车手在弯道超车）。它通过融合多种传感器来精准锁定对手，再通过强化学习在无数次模拟中练就了超车绝技。

未来的愿景：
虽然现在的车在复杂路况下还有点“抖动”，速度也不够快，但这就像赛车手刚拿到驾照一样。随着硬件升级和算法优化，未来的自动驾驶汽车不仅能安全地把你送到目的地，还能在交通拥堵时，像 F1 赛车手一样，优雅、安全且高效地超越前车。

基于强化学习与对手位姿估计的自主超车轨迹优化技术总结

1. 研究背景与问题定义

问题背景：
自主赛车（Autonomous Racing）是测试自动驾驶算法和超车策略的极具挑战性的领域。在对抗性环境中以动态极限行驶，要求车辆具备先进的控制与感知能力。传统的避障算法通常将对手视为静态障碍物，这限制了超车效率并增加了碰撞风险。

核心问题：
如何在多智能体（Multi-agent）的赛车环境中，实现安全且高效的自主超车？这需要解决两个关键子问题：

对手位姿估计：如何实时、准确地估计动态对手车辆的位置和姿态，而非将其视为静态物体。
轨迹优化：如何利用强化学习（RL）在考虑对手动态行为的基础上，规划出最优的超车轨迹。

2. 方法论 (Methodology)

该研究提出了一种结合传感器融合与深度强化学习的完整框架，并在 F1TENTH 平台上进行了验证。

2.1 硬件平台与传感器配置

平台：基于 F1TENTH 的缩比赛车平台。
计算单元：NVIDIA Jetson Xavier NX。
传感器：
- 2D LiDAR (Hokuyo)：用于扫描周围环境，提供距离和角度信息。
- 深度相机 (Intel RealSense D435)：结合 RGB 图像与深度数据。

2.2 对手位姿估计 (Opponent Pose Estimation)

为了获得鲁棒的对手位姿估计，系统采用了无迹卡尔曼滤波 (UKF) 进行多传感器数据融合：

LiDAR 处理：使用聚类算法和矩形拟合从 2D 扫描数据中提取潜在对手车辆的 2D 位置 $(x, y)$ 。利用上一时刻的 UKF 估计值来筛选最可能的对手簇，防止误检。
深度相机处理：
- 利用 YOLOv8 目标检测模型（在自定义数据集上微调）检测对手车辆的边界框。
- 通过边界框高度与距离的倒数关系（ $distance = \frac{a}{bbox\_height + b} + c$ ）估算距离。
- 利用边界框中心像素计算相对偏航角（Yaw），并结合深度数据提取距离。
- 注：偏航角未直接估计，而是通过 Ackermann 转向模型根据车辆运动方向推导。
数据融合 (UKF)：
- 状态向量定义为 $[x, y, v_x, v_y]$ ，采用恒定速度模型。
- 针对 LiDAR 和相机不同的数据格式及发布频率，定义了两种测量模型。
- UKF 在每次传感器更新时进行迭代，输出平滑且连续的位姿估计，频率可达 10Hz。

2.3 强化学习算法 (Reinforcement Learning)

采用 多智能体强化学习 (MARL) 框架，具体算法为 近端策略优化 (PPO)：

网络架构：全连接前馈网络，包含两个 256 个神经元的隐藏层（ReLU 激活），输入层大小为 162，输出层大小为 2（转向角和线速度）。
输入空间 (Observation)：
- 包含智能体自身的 LiDAR 数据（每 10 个点采样一次，共 108 点）、里程计数据、未来 10 个航点。
- 包含对手的里程计数据、未来航点及相对位姿。
- 所有数据均在局部参考系下定义，以提高泛化能力。
动作空间 (Action)：连续的转向角（ $\pm 0.34$ rad）和线速度（$0 - 3$ m/s）。
奖励函数设计：由七个加权分量组成，旨在平衡速度与安全性：
1. 速度奖励：当前线速度。
2. 进度奖励：沿赛车线的推进程度。
3. 超车奖励：当智能体在对手前方时奖励 +1，反之 -1（近距离时线性插值）。
4. 赛车线惩罚：偏离预设最优赛车线的距离。
5. 航向惩罚：偏离赛车线角度的误差。
6. 碰撞惩罚：发生碰撞时的巨大负奖励。
7. 平滑度惩罚：相邻时间步转向角的变化量。

3. 实验结果 (Results)

3.1 位姿估计精度

通过与 Optitrack 动作捕捉系统获取的真实地面真值（Ground Truth）对比，UKF 融合算法表现优异：

均方根误差 (RMSE)：
- X 轴方向：0.0816 m
- Y 轴方向：0.0531 m
对比分析：UKF 在 Y 轴方向的表现优于单一传感器，在 X 轴方向略逊于 LiDAR 但优于深度相机。融合方案的优势在于：LiDAR 提供宽视野，相机提供目标识别（确认哪个 LiDAR 簇是对手），两者结合消除了单一传感器在远距离或遮挡下的跟踪丢失问题。
频率：融合后的输出频率为 10Hz，满足了连续轨迹优化的需求。

3.2 超车性能

仿真与实车：算法在 F1TENTH Gym 仿真环境和真实物理平台上均成功验证。
实车测试：在真实走廊赛道（宽度与训练赛道相似）中，智能体在多次运行中成功完成了超车动作，且未发生碰撞。
轨迹特征：实车轨迹存在一定振荡，这是由于真实环境中的噪声和延迟放大了仿真中的波动，但整体超车逻辑有效。
局限性：由于训练基于大宽度固定赛道，智能体在极小宽度或不同形状的闭环赛道上泛化能力有限，但在条件相似的场景下表现良好。

4. 主要贡献 (Key Contributions)

多传感器融合的位姿估计：提出了一种基于 UKF 融合 2D LiDAR 和深度相机（YOLOv8）数据的方案，专门用于赛车场景下的动态对手位姿估计，显著提高了跟踪的鲁棒性。
基于对手位姿的 RL 超车策略：将估计出的对手动态位姿直接作为强化学习的输入，使智能体能够预测对手轨迹并规划超车，而非简单的避障。
实车验证：在真实的 F1TENTH 平台上部署并验证了该算法，填补了当前大多数赛车 RL 算法仅停留在仿真阶段的空白。
奖励函数设计：设计了包含超车奖励、赛车线约束和平滑度惩罚的综合奖励函数，有效引导智能体学习最优超车策略。

5. 意义与未来展望 (Significance & Future Work)

学术意义：证明了在高度随机和对抗性的赛车环境中，结合精确的感知（传感器融合）与决策（RL）可以实现复杂的动态超车任务。
实际应用：为自动驾驶在复杂交通流中的超车行为提供了可参考的架构，特别是如何处理动态对手而非静态障碍物。
未来工作：
- 改进轨迹平滑度，减少实车运行中的振荡。
- 提高位姿估计的更新频率（目前受限于传感器更新率），以应对更高速度场景。
- 增强算法在不同赛道形状和宽度下的泛化能力。

总结：该论文成功展示了一套从感知到决策的完整闭环系统，利用传感器融合解决“对手在哪里”的问题，利用强化学习解决“如何安全超车”的问题，并在真实硬件上取得了成功，是自主赛车领域的重要进展。