⚡ electrical engineering

Knowledge-Data-Dual-Driven Reinforcement Learning for Autonomous Vehicle Control in Mixed Traffic

本文提出了一种知识-数据双驱动强化学习（KDDRL）框架，该框架通过综合意图感知轨迹，并将概率数据与物理约束进行融合，以实现异步多时间尺度优化，从而提升混合交通流中自动驾驶车辆控制的安全、效率与舒适度。

原作者： Jie Fang, Wei Zheng, Mengyun Xu, Eui-Jin Kim

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Jie Fang, Wei Zheng, Mengyun Xu, Eui-Jin Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人在繁忙的城市中驾驶汽车。这不仅仅是遵循地图，更像是在玩一场高速进行的国际象棋游戏，而其他的棋子则是真实的人，他们可能会突然变道、刹车或改变主意。这就是**自动驾驶汽车（AVs）的世界，在这个领域，计算机科学家试图制造出能够自主思考和反应的汽车。为了实现这一目标，他们经常使用一种叫做强化学习（RL）**的技术。把强化学习想象成训练一只狗：这只“电脑狗”尝试不同的动作，如果表现良好（比如保持在车道内），就会得到一个“奖励”（零食）；如果表现糟糕（比如发生碰撞），则会受到“惩罚”（训斥）。随着时间的推移，这只狗会学会通过做出最好的动作来获得最多的零食。然而，问题在于：真实的驾驶者是混乱且不可预测的。他们并不总是遵守规则，而且他们的意图是隐藏的。如果机器人汽车只观察“当下”正在发生的事情，那么当人类驾驶员突然切入时，它的反应可能会太慢。这篇论文解决了如何教这些机器人汽车在与人类共同行驶时，成为更聪明、更安全、更舒适的驾驶者的难题。

这项研究背后的研究人员——Jie Fang及其团队意识到，目前的机器人驾驶员面临着三个大难题。首先，它们往往过于被动；它们只是对所见之物做出反应，却无法猜测人类驾驶员下一步的“意图”。其次，它们难以应对“长尾”事件——即那些罕见但惊险的时刻，比如突然的切入，由于这些时刻发生得太稀少，导致机器人从未学会如何处理。第三，驾驶涉及两种发生速度完全不同的不同类型的动作：转向和变道（这种动作很少发生，且是一个重大决策）与加速或减速（这种动作持续发生，且需要平顺）。试图同时教机器人完成这两类任务，往往会让学习过程变得混乱。

为了解决这个问题，团队构建了一个名为**知识-数据双驱动强化学习（KDDRL）**的新系统。你可以把 KDDRL 想象成同时给了机器人汽车一个“水晶球”和一个“规则手册”。机器人不再仅仅盯着前方的车，而是使用一种特殊的 AI 工具（一种生成模型）来想象几种可能的未来。它会问：“如果那辆车继续直行，它会在哪里？如果它受惊并突然转向呢？”这让机器人从一个被动的观察者转变为一个主动的预测者。

仅仅靠猜测是不够的，机器人还需要保证安全。因此，该系统将这些猜测与硬性的物理规则（例如“不要撞到前车”）以及关于人类实际驾驶行为的真实世界数据相结合。这就像是一位睿智的驾驶教练（物理规则）坐在一位读过百万个驾驶故事的学生（数据）身边。教练确保学生不会尝试任何危险的行为，而故事则帮助学生理解，有时候人们的行为确实很古怪。

论文还解决了这个“双速度”问题。机器人使用了两个协同工作的不同大脑。一个运行速度极快的大脑（每 0.1 秒一次），负责处理跟随车辆时的平顺油门和刹车；另一个运行速度较慢的大脑（每 2 秒一次），负责处理像变道这样的重大决策。这两个大脑通过一种关于当前情况的“共同语言”进行交流，这样汽车就不会感到困惑。

研究人员在一个使用了德国高速公路真实驾驶数据的计算机模拟环境中测试了这个系统，以使交通状况看起来更加真实。他们发现，这种新方法 KDDRL 帮助机器人汽车比旧方法学得更快，且驾驶得更安全。在这些模拟中，机器人更擅长预测其他驾驶员的行为，能更有效地处理罕见的惊险情况，并保持行驶的平顺与舒适。作者指出，通过将预测人类意图的能力与严格的安全规则相结合，我们可以制造出能够应对混合交通中混乱且不可预测之现实的自动驾驶汽车。

技术摘要：面向混合交通中自动驾驶车辆控制的知识-数据双驱动强化学习

问题陈述
本文解决了自动驾驶车辆（AV）在混合交通环境（自动驾驶车辆与人类驾驶车辆/HDV 之间的交互）中决策面临的三项相互关联的挑战：

基于物理先验的局限性： 现有的物理启发式强化学习（RL）模型依赖于确定性的物理模型（如运动学方程、MOBIL），这些模型无法捕捉潜在的交互意图和多样化的驾驶行为。这限制了智能体对未来车辆演化进行主动推理的能力。
非平稳性与长尾事件： 周围车辆采取突发动作等安全关键场景会导致分布偏移。标准的强化学习在处理这些非平稳条件时表现不佳，导致稀有但关键的安全事件（长尾事件）探索不足。
混合动作空间的不稳定性： 自动驾驶车辆控制需要管理连续的跟车（纵向）和离散的换道（横向）动作。这两者在时间尺度上存在根本差异。强制将它们进行同步更新会导致训练不稳定，而简单的解耦则会隔离相互依赖的决策上下文。

方法论：KDDRL 框架
作者提出了**知识-数据双驱动强化学习（KDDRL）**框架，该框架实现了从被动“感知-反应”到主动“预测-推理”的转变。其架构由三个协同组件组成：

意图感知轨迹生成子模块：
- 该系统并非使用原始观测值，而是生成编码了交互意图的前车未来轨迹。
- 它采用了一种被称为 trajGAN 的条件生成对抗网络（cGAN）。
- 流程： 首先由智能驾驶模型（IDM）生成一个确定性的基于物理的先验轨迹。该轨迹作为 trajGAN 的条件序列（ $T_{CT}$ ），通过学习真实世界的数据分布，将其精炼为多个符合物理规律且具备意图感知的轨迹（ $T_{GT}$ ）。
- 输出： 提取特定未来时间步（第10步和第20步）的关键相对距离，从而在不导致状态维度爆炸的情况下提供结构化的预见性。
换道行为生成子模块：
- 该模块将数据驱动的洞察与物理约束相结合，以指导换道决策。
- 数据驱动组件： lcGAN 从真实世界数据集中学习经验性的换道模式，输出受交通状态和意图感知轨迹调节的概率分布（ $P_{lcGAN}$ ）。它利用 Focal Loss 来解决频繁的保持车道与稀有的换道动作之间的类别不平衡问题。
- 知识驱动组件： MOBIL 模型通过强制执行硬性安全距离约束，并基于效率和安全标准计算效用，提供物理先验（ $P_{MOBIL}$ ）。
- 融合： 嵌入层将 $P_{lcGAN}$ 和 $P_{MOBIL}$ 压缩为一个紧凑的共享先验分布（ $P_{lc}$ ），作为 RL 智能体的归纳偏置。
车辆控制模块（分层强化学习）：
- 该框架采用统一的预测-知识状态基准，整合了原始观测、意图感知轨迹以及融合后的换道先验。
- 异步多时间尺度优化：
  - 离散换道： 由一个 D3QN（Dueling Double Deep Q-Network）智能体处理，运行频率较低（2秒间隔）。它根据统一状态选择动作（左转、保持、右转）。
  - 连续跟车： 由一个 TD3（Twin Delayed Deep Deterministic Policy Gradient）智能体处理，运行频率较高（0.1秒间隔）。它输出连续的加速度指令。
- 两个智能体共享相同的状态表示，但异步进行更新，在保留相互信息的同时，解决了异构动作空间带来的训练稳定性问题。

核心贡献

改进的意图感知轨迹生成： 本文引入了一种基于 cGAN 的模型，该模型通过编码交互意图来合成多个符合物理规律的未来轨迹，将被动感知转化为主动预测状态。
知识-数据双驱动范式： 一种创新的训练方法，将基于概率的数据驱动洞察（来自 lcGAN）与具有可解释物理边界的物理模型（来自 MOBIL）在预测状态上进行融合。这在非平稳机制下稳定了策略优化，并提高了在稀有安全关键事件中的探索效率。
共享预测-知识状态基准： 一个耦合模块，将意图感知轨迹和物理约束压缩为共享嵌入。这使得连续动作和离散动作的异步优化成为可能，在解决混合动作空间不稳定性问题的同时，保持了协调控制。

结果
评估是在一个通过 HighD 数据集（真实的德国高速公路轨迹）校准并集成到 SUMO 交通模拟器中的仿真环境中进行的。研究将 KDDRL 框架与传统的基准方法进行了对比。结果表明，KDDRL：

有效处理了意图不确定性。
加速了训练收敛。
在安全性（减少碰撞）、效率（维持车速）和舒适度（减少加加速度/Jerk 及不必要的动作）方面均优于基准方法。

意义与主张
本文声称，KDDRL 通过解决混合交通中预测、安全约束和控制频率之间的结构性耦合，代表了一项重大进展。通过将范式从“被动感知-反应”转向“主动预测-推理”，该框架使自动驾驶车辆能够预判人类驾驶员的行为，而非仅仅是对其做出反应。作者断言，其统一的方法成功弥合了数据驱动的适应性与基于物理的安全保证之间的鸿沟，为复杂且随机的混合交通流决策问题提供了鲁棒的解决方案。

类似论文