🤖 机器学习

Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

本文提出了一种用于遮挡行人横道自主紧急制动的新型离线强化学习框架，该框架利用源自语义分割的自适应安全组件生成与人类对齐的奖励标签，从而有效地训练安全策略，并识别出人类标注者可能忽略的安全关键状态。

原作者： Vinal Asodia, Barkin Dagda, Yinglong He, Zhenhua Feng, Saber Fallah

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Vinal Asodia, Barkin Dagda, Yinglong He, Zhenhua Feng, Saber Fallah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人开车。通常情况下，你会把机器人放入视频游戏模拟器中，让它撞车一千次，从而教会它哪些行为是错误的。但现实世界是混乱的，机器人在游戏中学到的东西在驶入真实街道时往往会失效（这就是“模拟到现实”的差距，即 sim-to-real gap）。

因此，研究人员提出了一个疑问：“为什么不直接利用真实的汽车驾驶视频来教机器人呢，而不需要让它发生碰撞？”这被称为离线强化学习（Offline Reinforcement Learning）。但问题在于，现实世界的驾驶视频并没有附带一份“计分卡”。机器人不知道某个特定的瞬间是“好”（安全）还是“坏”（危险）。这就像是在看一部电影，却不知道哪些场景是高潮，哪些场景是乏味的。

这篇论文提出了一种新的方法来创建这种“计分卡”（称为奖励标注，Reward Labeling），专门针对一种棘手的场景：视线被遮挡的行人过街处（例如，一辆面包车挡住了可能突然出现的行人）。

以下是他们如何实现的，通过日常类比进行解释：

1. “智能眼”（语义分割）

机器人的摄像头看到的是一片模糊的像素。为了理解这些信息，研究人员给了机器人一只“智能眼”（一种计算机视觉模型）。

类比： 想象你看着拥挤的街道。普通人看到的是一团色彩的模糊。而“智能眼”就像一支荧光笔，能瞬间将所有的行人涂成红色，将斑马线涂成黄色，将汽车涂成蓝色。
重要性： 有了它，机器人不再是靠猜测，而是准确地知道危险物体的具体位置。

2. “自适应安全开关”

研究人员为机器人构建了一套特殊的规则手册。它有两种模式：效率模式（快速行驶以到达目的地）和安全模式（减速并停车）。

类比： 这就像是在机器人的大脑里安装了一个交通灯系统。
- 如果道路畅通，灯就是绿灯（效率模式）。机器人因为移动迅速而获得积分。
- 如果“智能眼”看到有人在路上，或者看到被面包车遮挡的斑马线，灯就会变成红灯（安全模式）。
- 切换机制： 机器人使用一个“风险计算器”。如果它看到行人、隐藏的过街处，或者突然消失的行人（可能躲在车后），它就会将开关拨向红色。当开关为红色时，机器人会因为速度过快而受到惩罚，并因为停车而获得奖励。

3. “聚光灯”（空间注意力）

即使有了“智能眼”，机器人也可能会被过多的信息淹没。

类比： 想象你在一个黑暗的房间里拿着手电筒。你不需要照亮整个房间，你只需要把光照在和你交谈的人身上。
运作方式： 研究人员教会了机器人使用“数字聚光灯”。它会将最亮的光聚焦在行人身上（最重要的），中等亮度的光聚焦在斑马线上，并将较暗的光聚焦在其他车辆上。这有助于机器人集中脑力处理真正重要的信息。

4. 结果：效果如何？

团队通过两种方式测试了这个系统：

在模拟器中（视频游戏）： 他们创建了一个场景，其中一辆面包车挡住了斑马线，行人会出其不意地跳出来。
- 胜出者： 使用他们这种“智能眼”计分卡训练的机器人，学会了安全停车并等待行人。它的表现远优于使用“笨拙”计分卡（仅对所有情况给零分）或由“黑盒”AI（靠猜测得分）训练的机器人。
- 缺陷： 当交通变得极其拥挤时，机器人有时会感到困惑，导致频繁停车或发生碰撞。这就像是一个在拥堵路段会紧张到发愣的司机。
在真实数据中（Audi 数据集）： 他们提取了真实的驾驶视频，并将机器人的“计分卡”与人类驾驶员的“计分卡”进行了对比。
- 惊喜之处： 机器人和人类在大多数方面达成了一致。然而，机器人捕捉到了一些人类错过的危险情况！例如，人类没有注意到躲在标志牌后面的行人，但机器人的“智能眼”看到了红色像素，并将此标记为危险。
- 瑕疵： 机器人也会犯错。有时它认为行人是安全的，但实际上对方正在过街，因为它没有完全理解“语境”（比如这个人正在往哪个方向走）。

核心结论

这篇论文展示了一种利用真实世界数据来教自动驾驶汽车的新方法，而无需让它们先发生碰撞。通过赋予汽车一只观察物体的“智能眼”和一个优先考虑停车而非速度的“安全开关”，他们创建了一个在复杂的遮挡过街场景中表现良好的训练系统。

然而，论文也承认：

它目前还不完美；在非常拥挤的交通中表现挣扎。
它有时会缺失理解危险情况所需的“人类细微差别”。
它需要在真实的道路上进行更多测试，以证明其驾驶安全性。

研究人员建议，在未来，他们可以给机器人更多的“眼睛”（侧面的摄像头）以及更好的“记忆力”来记住行人前一秒的位置，从而让它变得更加聪明。

技术摘要：基于人类对齐奖励标注的遮挡行人横穿场景下的离线强化学习

问题定义

本文解决了自动驾驶（AD）系统部署中的一个关键瓶颈：在现实世界数据集中，用于训练离线强化学习（Offline RL）的具有实际意义的奖励标签极度匮乏。虽然现实世界数据集（如 Waymo、nuScenes、A2D2）提供了丰富的高保真数据，但它们通常缺乏必要的奖励信号，无法让智能体区分理想行为与不良行为。现有解决方案通常依赖于仿真，但这面临“从仿真到现实”（sim-to-real）的差距问题；或者使用低维状态表示，这会忽略基于图像观测的感知丰富性。

研究的具体任务是车辆纵向控制，场景设定为遮挡行人横穿场景。在这种高风险环境下，自动驾驶汽车（AV）必须通过一个斑马线，其中行人可能被其他车辆遮挡（遮挡），并可能突然出现。挑战在于如何生成符合人类安全价值观（在潜在碰撞场景中优先考虑安全性而非效率）的奖励标签，且无需对每一帧进行直接的人工标注，从而使能够直接从静态数据集中训练基于感知的离线强化学习智能体。

方法论

所提出的方案引入了一种创新的奖励标注流水线，将无标签的自动驾驶数据集转化为可用于离线强化学习训练的数据。该方法由三个主要阶段组成：

语义分割与风险评估：
- 语义映射： 原始摄像头图像通过 ResNet18 UNet 模型处理，生成像素级的语义分割图。这些地图识别了 28 个类别，包括行人、车辆、斑马线和道路标记。
- 自适应安全组件 ( $c_t$ )： 系统分析语义图的特定层以计算自适应安全标志（ $c_t$ $c_{t}$ ）。该标志由三个风险因素决定：
  - 行人存在情况 ( $F_p$ )： 检测行人是在道路上还是在人行道上。
  - 斑马线遮挡情况 ( $F_c$ )： 评估斑马线是否被交通流量部分遮挡，从而产生不确定性。
  - 行人历史记录 ( $F_h$ )： 使用记忆库追踪出现后又消失的行人（表明存在遮挡），将其标记为中等风险。
- 决策逻辑： 这些因素被求和并通过缩放后的 Sigmoid 函数。如果生成的概率超过阈值（ $\psi = 0.75$ ），则将 $c_t$ 设为 1，激活安全奖励组件并停用效率组件。
奖励函数构建：
最终的奖励信号 ( $R_{final}$ ) 是基于 $c_t$ 进行动态切换的三个组件的加权和：
- 安全性 ( $g_{safe}$ )： 在行人附近惩罚高车速及碰撞。当 $c_t=1$ 时激活。
- 效率 ( $g_{efficient}$ )： 在没有即时碰撞风险时鼓励更高的速度。当 $c_t=0$ 时激活。
- 平滑性 ( $g_{smooth}$ )： 惩罚颠簸的加速度，始终处于激活状态。
- 传感器集成： 对于现实世界数据，通过结合语义分割的针孔相机模型推断与行人的距离，同时利用车辆 CAN 总线和 IMU 数据获取速度与加速度。
基于空间注意力的离线强化学习训练：
为了训练智能体，本文提出了一个利用语义图引导特征提取的基于感知的流水线：
- 特征提取： 摄像头图像通过 ResNet18 自动编码器生成潜在特征嵌入。
- 空间注意力： 隔离与任务相关的语义层，并将其用于对潜在特征应用空间注意力。这是通过加权交叉乘法实现的，其中行人特征获得最高权重 ( $\omega_{ped}=1.0$ )，其次是斑马线 ( $\omega_{cross}=0.75$ ) 和车辆 ( $\omega_{veh}=0.50$ )。该机制迫使智能体关注与碰撞规避相关的显著目标。

核心贡献

本文概述了三个主要贡献：

人类对齐的奖励标注： 一种为现有自动驾驶数据集生成奖励标签的新方法，使得无需重新收集数据即可进行端到端的离线强化学习。
自适应安全机制： 一种结合了源自语义分割图的自适应安全组件的奖励函数。这使得智能体能够根据实时风险因素（如行人位置和遮挡情况）动态地在安全性与效率之间进行权衡。
通过语义图实现空间注意力： 一种利用语义分割层为图像观测中的不同对象类别提供不同水平空间注意力的方法，通过聚焦于显著的场景元素来提升智能体的决策能力。

实验结果

该方法在两种设置下进行了评估：CARLA 仿真环境和现实世界 Audi 自动驾驶数据集 (A2D2) 的子集。

仿真 (CARLA)：
- 测试算法： 使用标注数据训练了 CQL、IQL 和 BPPO。
- 基准测试： 将提出的方法（“Gen”）与无标签数据共享 (UDS)（分配零奖励）以及视觉语言模型 (VLM) 方法进行了对比。
- 性能表现： IQL (Gen) 配置达到了最高的性能，在部分遮挡场景下的成功率达到 98-100%。提出的方法通常比 UDS 或 VLM 基准表现出更稳定、更可靠的行为。
- 局限性： 在高度拥堵、完全遮挡的场景中，性能有所下降，特别是对于 CQL 和 BPPO，这表明前视摄像头视角在密集交通中存在局限性。
现实世界 (A2D2)：
- 对比： 将生成的奖励标签与人类手动标注的结果进行了对比。
- 发现： 虽然整体奖励分布相似，但在特定的安全分类上存在中度差异。值得注意的是，该方法标记了一些人类标注员遗漏的不安全状态（例如，严重遮挡的行人）。反之，由于特定风险因素的局限性（例如，混淆道路标记与路面），该方法有时也未能识别出清晰可见的行人。

意义与主张

本文声称其主要意义在于弥合大规模、无标签的现实世界自动驾驶数据集与离线强化学习需求之间的鸿沟。通过自动化生成人类对齐的奖励标签，该方法使得训练基于感知的智能体成为可能，而无需承担高昂的人工标注成本或面临仿真的保真度问题。

作者强调，尽管该方法成功生成了有意义的奖励信号并提升了仿真中的策略性能，但它并非人类判断的完美替代品。A2D2 的结果表明，该方法可以检测到人类忽视的危险（由于其对语义图的系统化分析），但也缺乏人类驾驶员那种细致的上下文推理能力。论文总结道，这种方法为复杂场景下的离线强化学习提供了一个可行的起点，尽管未来的工作必须解决时间推理和多视角集成问题，以更稳健地处理密集交通环境。