🤖 machine learning

Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

本文提出了一种结合哈密顿 - 雅可比可达性分析与深度 Q 学习的框架，通过引入基于安全性的结构化奖励信号及建模骑行者潜在响应，使自动驾驶车辆能够在保障安全的同时实现高效的与骑行者交互。

原作者： Aarati Andrea Noronha, Jean Oh

发布于 2026-02-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Aarati Andrea Noronha, Jean Oh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣且重要的话题：如何让自动驾驶汽车在遇到自行车时，既能保证绝对安全，又不会像个“胆小鬼”一样磨磨蹭蹭。

想象一下，你开车在路上，旁边有个骑自行车的人。

太谨慎的自动驾驶：就像个过度保护的老奶奶，看到自行车就立刻减速，甚至停下来，生怕碰着人家，结果导致后面堵车，效率极低。
太激进的自动驾驶：就像个鲁莽的赛车手，贴着自行车呼啸而过，虽然快，但把骑车人吓得半死，甚至可能出事。

这篇论文的目标，就是教自动驾驶汽车学会**“有分寸的自信”**。

核心故事：两个“超级大脑”的联手

作者给自动驾驶汽车装上了两个“超级大脑”，让它们分工合作：

1. 第一个大脑：汉密尔顿 - 雅可比（HJ）“安全雷达”

它的作用：这是一个绝对理性的安全卫士。它的工作是计算：“如果我现在做这个动作，未来会不会撞上自行车？”
它的缺点：它太谨慎了。为了 100% 保证不撞车，它可能会建议汽车永远停在原地，或者绕一大圈。这就好比为了绝对安全，你决定永远不出门。
论文的创新：以前的“安全雷达”只把自行车当成一个会乱动的障碍物。但这篇论文给雷达加了一个新功能：它开始理解自行车的“心情”。
- 比喻：以前的雷达觉得“只要没碰到就是安全的”。现在的雷达知道：“虽然没碰到，但我离骑车人太近了，他肯定吓坏了，觉得不安全，所以我得退后一点。”它通过一种叫“自编码器”的 AI 技术，学会了模仿骑车人的心理反应。

2. 第二个大脑：强化学习（Deep Q-Learning）“老司机”

它的作用：这是一个追求效率的决策者。它通过不断试错（就像玩游戏一样），学习如何在保证安全的前提下，用最少的時間到达目的地。
它的缺点：如果只靠它，它可能会为了快而冒险，忽略潜在的危险。

3. 完美的结合：给“老司机”戴上“安全眼罩”

这篇论文最厉害的地方，就是把这两个大脑融合在了一起：

把“安全雷达”计算出的安全分数，直接变成了“老司机”的奖励信号。
比喻：想象你在玩一个赛车游戏。
- 以前的玩法：只要不撞墙，跑得越快分越高。
- 现在的玩法：游戏里有一个隐形的“安全力场”。如果你离自行车太近（哪怕没撞上），你的分数就会大幅扣减；如果你保持了一个让人舒服的“安全距离”，分数才会高。
- 于是，这个“老司机”为了拿高分，就会自动学会：既要快，又要保持一个让骑车人感到舒适的距离。

他们是怎么做的？（实验过程）

收集数据：他们用了密歇根州的一个真实驾驶数据库，里面有成千上万个真实的“汽车遇到自行车”的场景。
训练模型：
- 先用“安全雷达”算出哪些状态是绝对危险的（比如肯定会撞）。
- 再用 AI 模拟骑车人的心理：如果汽车离得太近，骑车人会感到恐惧（即使没撞上）。
- 把这些“恐惧数据”喂给“老司机”，让它学会避开这些让人不舒服的状态。
模拟测试：他们在电脑里模拟了 60 种不同的场景，让他们的算法、传统的算法（Fisac 2019）和真人司机进行比赛。

结果怎么样？

安全性：他们的算法比真人司机和旧算法都更安全。它进入“危险区域”的次数最少。
效率：虽然比旧算法稍微慢了一点点（因为旧算法太不顾骑车人感受了），但比真人司机快，而且最重要的是，它没有发生任何碰撞。
人性化：这是最大的亮点。他们的算法不仅能算出“会不会撞”，还能算出“骑车人舒不舒服”。它懂得在骑车人感到威胁时，主动保持距离。

总结

这篇论文就像是在教自动驾驶汽车学会**“情商”**。

以前的自动驾驶只知道“物理距离”（离得远不远），现在的自动驾驶学会了“心理距离”（骑车人怕不怕）。通过把死板的安全计算和灵活的学习算法结合起来，它找到了一条完美的中间路线：既不像机器人一样呆板，也不像鲁莽的司机一样危险，而是像一个经验丰富、懂礼貌的“老司机”一样，安全、流畅地穿过自行车群。

这对于未来我们在路上看到自动驾驶汽车时，不再感到紧张或困惑，具有非常重要的意义。

这是一份关于论文《Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning》（利用哈密顿 - 雅可比可达性分析和强化学习与自行车手安全交互）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：
现有的自动驾驶算法在与自行车手交互时存在两个极端问题：

过于保守： 许多导航算法为了绝对安全，往往采取极度谨慎的策略，导致通行效率低下，无法在合理时间内到达目标。
缺乏量化保障： 现有算法难以量化交互过程中的“安全性”，且缺乏对最优性（时间效率）和完备性的保证。
人类行为的不确定性： 自行车手的运动具有随机、缓慢且不可预测的特点，且会对周围车辆产生心理上的“舒适度”反应（即感到威胁时可能会做出非理性的避让或加速）。

问题 formulation：
本文旨在解决一个双智能体（Dual-agent）的最优控制问题。目标是在给定起点和终点的情况下，生成一条车辆轨迹 $\epsilon$ ，以最大化一个反映安全性和时间效率的目标函数 $V$ 。

控制输入 ( $u$ )： 自动驾驶车辆（Ego vehicle）。
干扰输入 ( $d$ )： 自行车手（被视为干扰源）。
目标： 在保持合理距离和速度的前提下，以最短时间通过自行车手，同时避免碰撞。

2. 方法论 (Methodology)

本文提出了一种结合哈密顿 - 雅可比（HJ）可达性分析与**深度 Q 学习（Deep Q-Learning, DQN）**的混合框架。

A. 安全性量化：HJ 可达性分析

利用 HJ 可达性分析来定义安全边界，将问题建模为零和微分博弈（Zero-sum differential game）。

碰撞集 ( $C_0$ )： 定义车辆与自行车手发生碰撞的状态集合。
反向可达集 ( $B$ )： 从碰撞集反向推导，计算出一组“潜在不安全状态”。如果系统进入该集合，无论采取何种控制策略，最终都可能导致碰撞。
值函数 ( $V$ )： 求解时间依赖的哈密顿 - 雅可比 - 贝尔曼（HJB）偏微分方程。该值函数量化了每个状态距离碰撞的“安全程度”：
- $V(s) > 0$ ：安全状态（存在控制策略可避免碰撞）。
- $V(s) \le 0$ ：危险状态（碰撞不可避免）。
鲁棒安全集 ( $R$ )： 即 $B \cup C$ 的补集，代表绝对安全区域。

B. 核心创新：建模自行车手的舒适度（干扰输入建模）

传统方法通常将自行车手视为简单的物理干扰，忽略了其心理反应。本文提出了一种新颖的干扰输入建模方法：

自动编码器（Auto-encoder）： 利用来自“安全”和“危险”状态的标注数据训练自动编码器。
- 训练数据： 基于 HJ 值函数将状态标记为安全（ $V>0$ ）或危险（ $V \le 0$ ）。
- 机制： 仅使用安全状态训练编码器学习正常模式。在重构阶段，输入包含安全与危险状态的数据。
- 分类： 如果重构误差高，判定为危险状态（异常）；反之则为安全状态。
映射关系： 该模型学习自行车手对车辆状态（纵向距离、速度差、横向距离、加速度）的潜在响应。这使得干扰输入 $d$ 不再是随机的，而是反映了自行车手的舒适度水平和行为适应。

C. 导航决策：深度 Q 学习 (DQN)

HJ 分析虽然保证了安全性，但往往导致算法过于保守（为了绝对安全而停滞）。为了解决这一问题，引入 DQN 进行优化：

奖励函数设计： 将 HJ 计算出的值函数（安全度量）作为结构化奖励信号嵌入到强化学习的奖励函数中。
目标： DQN 在确保安全（通过 HJ 值函数约束）的前提下，最大化累积奖励（即最小化到达目标的时间）。
训练过程： 使用经验回放（Experience Replay）和 Adam 优化器，通过梯度下降最小化预测 Q 值与目标 Q 值之间的均方误差，直到收敛。

3. 主要贡献 (Key Contributions)

双智能体扩展： 将 Fisac 等人（2019）提出的单智能体 HJ-RL 框架扩展到了双智能体系统（车辆 + 自行车手），解决了更复杂的交互场景。
舒适度量化建模： 首次提出利用自动编码器将自行车手的舒适度/心理反应建模为干扰输入函数，使算法能感知并适应自行车手的潜在威胁感。
安全与效率的平衡： 提出了一种导航算法，既能提供严格的安全保证（通过 HJ 可达性），又能实现时间最优的轨迹规划（通过 DQN），解决了传统方法过于保守的问题。
安全性的有效量化： 定义了在合理速度和距离下超越自行车手的安全指标，并成功在仿真和真实数据中进行了验证。

4. 实验结果 (Results)

实验设置：

数据集： 使用密歇根安全驾驶员（Safety Pilot Michigan, SPMD）数据库，包含约 40,539 个自行车事件。
对比对象： 人类驾驶员行为（Ground Truth）和 Fisac et al. (2019) 的单智能体算法。
评估指标： 不安全状态比例、安全因子（HJ 值函数平均值）、总耗时、碰撞次数、目标到达率。

关键发现：

安全性提升： 本文框架在安全性上优于人类驾驶员和 Fisac '19 算法。
- 不安全状态比例： 本文框架为 31.6%，低于 Fisac '19 (36.8%) 和人类驾驶员 (39.0%)。
- 安全因子： 本文框架为 -2.01（数值越高/越接近 0 越安全），优于 Fisac '19 (-2.18) 和人类 (-2.31)。
效率权衡：
- 相比人类驾驶员，本文框架耗时更短（233 秒 vs 253 秒）。
- 相比 Fisac '19 算法，耗时略长（233 秒 vs 199 秒）。
- 原因分析： Fisac '19 算法虽然更快，但未能反映自行车手的舒适度，导致其轨迹在自行车手看来可能更具威胁性（即“不安全”的快）。本文框架为了兼顾自行车手的心理舒适度，牺牲了少量时间，换取了更高的交互质量。
可视化验证： 轨迹可视化显示，本文算法生成的路径在长度上更优，且能更平滑地处理近距离交互，避免了人类驾驶员的激进或 Fisac 算法的过度保守。

5. 意义与结论 (Significance & Conclusion)

理论意义： 成功证明了将 HJ 可达性分析（提供形式化安全保证）与深度强化学习（提供最优策略搜索）相结合，可以有效解决多智能体交互中的安全与效率权衡问题。
实际应用价值： 提出的“舒适度感知”干扰建模方法，为自动驾驶车辆理解人类（特别是弱势道路使用者如自行车手）的非理性行为提供了新思路，有助于提升自动驾驶在混合交通流中的接受度和安全性。
未来展望： 作者计划将此方法扩展到更多智能体（Multi-agent）的导航系统中。

总结： 该论文通过引入基于自动编码器的自行车手舒适度建模，改进了传统的 HJ-RL 框架，使得自动驾驶车辆在超越自行车手时，既能保证数学上的安全边界，又能模拟人类驾驶员的社交交互直觉，实现了安全、高效且符合人类预期的导航行为。