Towards Driver Behavior Understanding: Weakly-Supervised Risk Perception in Driving Scenes

本文提出了名为 RAID 的大规模驾驶场景数据集及一种弱监督风险感知框架，通过建模驾驶员意图与响应关系来识别潜在风险源，并在 RAID 和 HDDS 数据集上显著提升了风险识别性能。

要点

这篇论文讲述的是如何让自动驾驶汽车变得更“聪明”，特别是让它们学会像人类司机一样感知危险。

想象一下，你正在开车，前面有个行人突然想过马路。人类司机是怎么判断“这很危险”的？不仅仅是因为“有人在那里”，而是因为：

1. 司机看到了行人。
2. 司机做出了反应（比如踩刹车或打方向盘）。
3. 司机还观察了行人的眼神（行人是在看车，还是在看手机？）。

这篇论文就是为了解决这三个问题，提出了一个名为 RAID 的新项目。

我们可以把这篇论文的核心内容拆解成三个部分，用生活中的比喻来解释：

1. 收集素材：建立“驾驶风险博物馆” (RAID 数据集)

以前的自动驾驶研究，就像是在看一本只有几页的漫画书，场景太单一，而且不知道行人到底在想什么。

• 以前的做法：就像只记录了“有人过马路”这个事实，但不知道行人是不是在看车，也不知道司机当时是急刹车还是慢慢减速。
• RAID 的做法：作者们收集了 4,691 个 真实的驾驶视频片段，建立了一个巨大的“驾驶风险博物馆”。
  • 不仅看人：他们不仅标记了行人、车辆在哪里，还专门标记了行人的脸和眼神（是在看车，还是在看别处？）。
  • 记录反应：他们记录了司机当时的每一个动作（是继续开，还是突然变道？）。
  • 比喻：这就像以前我们只教学生“看到红灯要停”，现在 RAID 给了学生一本厚厚的“真实路况日记”，里面详细记录了：当时红灯亮着，旁边有个老人在看手机（没看车），司机急刹车了；或者绿灯亮着，但有个小孩在看车（有眼神交流），司机就慢慢开过去了。

2. 教 AI 当侦探：弱监督风险识别 (核心算法)

有了数据，怎么教 AI 找出谁是“捣乱分子”（风险源）呢？

• 以前的难题：如果直接告诉 AI“那个穿红衣服的人是危险的”，这需要人工一个个标注，太累太慢，而且很难覆盖所有情况。
• RAID 的妙招（弱监督）：作者教 AI 玩一个"找不同"的游戏。
  • 逻辑是这样的：AI 会观察司机。如果司机突然踩刹车或打方向（这是“果”），AI 就要去倒推，是谁导致了这个动作（这是“因”）。
  • 比喻：想象你在看一场魔术表演。魔术师突然变出一只兔子（司机的反应）。你不需要知道魔术师用了什么手法，你只需要盯着那个最可能藏兔子的人（风险对象）。
  • 作者设计了一个“图神经网络”，就像把路上的所有车、人都连成一张网。AI 会试着把网里的某个人“遮住”（假装他不存在），然后看司机的反应会不会消失。如果遮住某人后，司机就不刹车了，那说明这个人就是风险源。

3. 眼神交流的重要性：行人注意力 (Pedestrian Attentiveness)

这是这篇论文最创新的地方。

• 以前的盲区：很多系统只认“人”，不认“眼神”。但在现实中，如果行人看着你的车（眼神交流），风险就降低了；如果行人戴着耳机看手机，风险就极高。
• RAID 的突破：他们不仅教 AI 认脸，还教 AI 判断行人在看哪里。
  • 比喻：这就好比过马路。
    • 情况 A：行人看着你，点了点头。你心里想：“哦，他知道我要过，我也知道他知道，我们可以安全通过。”（风险降低）。
    • 情况 B：行人低着头玩手机，完全没看你。你心里想：“天哪，他完全没注意到我，我得赶紧躲开！”（风险极高）。
  • 论文提出了一种方法，把“风险对象识别”和“行人眼神判断”结合起来。如果行人看着车，系统会自动给风险打分减分；如果行人没看，就加分。

4. 结果如何？

作者用这个新方法和新数据集去测试，发现效果非常好：

• 在现有的公开数据集上，他们的表现比之前的“最强大脑”（State-of-the-art）还要好 20% 到 23%。
• 这意味着，AI 现在能更准确地判断：“哦，那个穿黄衣服的人虽然站在路边，但他没看车，所以我得减速；而那个看我的行人，我可以稍微放心一点。”

总结

这篇论文就像是给自动驾驶汽车装上了一双会思考的眼睛和一颗会共情的大脑。

它不再只是冷冰冰地计算“距离”和“速度”，而是开始理解人类的行为逻辑和眼神交流。通过建立一个新的“风险博物馆”（RAID 数据集）和一套聪明的“侦探推理法”（弱监督学习），它让未来的自动驾驶汽车在复杂的城市交通中，能像老司机一样，敏锐地感知危险，做出更安全的决策。

一句话概括：这篇论文教 AI 不仅要看清“谁在路中间”，还要看懂“谁在看我”，从而更聪明地避免车祸。

技术摘要

这是一份关于论文《Towards Driver Behavior Understanding: Weakly-Supervised Risk Perception in Driving Scenes》（迈向驾驶员行为理解：驾驶场景中的弱监督风险感知）的详细技术总结。

1. 研究背景与问题定义 (Problem)

• 核心挑战：实现零碰撞移动是智能车辆系统的关键目标，这需要深入理解驾驶员的风险感知（Risk Perception）。风险感知是一个复杂的认知过程，不仅取决于驾驶员对外部刺激的自愿反应（如避让），还取决于周围道路使用者（如行人）对自车的关注度。
• 现有局限：
  • 定义偏差：传统智能系统常将风险定义为“碰撞概率”，但这未能完全捕捉驾驶员的主观风险感知。驾驶员往往通过行为反应（如偏离路径）来体现风险感知。
  • 数据缺失：现有的数据集（如 JAAD, PIE, HDDS 等）在场景多样性、风险情境分类、以及**行人注意力（Pedestrian Attentiveness）**的标注方面存在不足。特别是缺乏将行人头部/面部注意力与驾驶员决策直接关联的大规模自然驾驶数据。
  • 任务难点：在弱监督条件下（即没有显式的风险物体标注，只有驾驶员行为变化），如何准确识别导致驾驶员改变行为的“风险物体”是一个开放性问题。

2. 核心贡献 (Key Contributions)

1. RAID 数据集 (Risk Assessment In Driving scenes)：

   • 提出了一个大规模、专门针对驾驶员风险感知和情境风险评估的数据集。
   • 规模：包含 4,691 个标注视频片段。
   • 多维标注：涵盖驾驶员意图（左转/右转/直行）、道路拓扑、10 类风险情境（如横穿行人、阻挡车辆等）、驾驶员响应（继续/改变）以及行人注意力（包含面部和身体边界框）。
   • 独特性：是首个在自然驾驶场景中包含多样化风险情境、行人注意力及面部标注的大规模数据集。

2. 弱监督风险物体识别框架：

   • 提出了一种基于图卷积网络 (GCN) 的弱监督学习框架。
   • 核心思想：将风险物体识别建模为“因果关系”问题。通过分析驾驶员行为从“继续（Continue）”到“改变（Alter）”的变化，推断出导致该变化的因果物体（即风险源）。
   • 创新点：显式地建模了交通代理（Traffic Agents）之间的交互，并引入了驾驶员意图预测作为辅助监督信号。

3. 行人注意力与风险感知的联合分析：

   • 首次将行人注意力（通过面部和身体姿态判断）纳入风险感知模型。
   • 提出了基于面部的注意力检测方法，并构建了联合风险评分公式，量化行人注意力对降低风险感知的贡献。

3. 方法论 (Methodology)

A. 数据标注体系 (RAID Dataset)

• 四层表示：
  1. 驾驶员动作 (Driver Action)：意图（左转、右转、直行）。
  2. 道路拓扑 (Road Topology)：四向、三向、直行。
  3. 风险情境 (Risk Situation)：10 类风险源（如横穿行人、阻挡车辆等），标注了最具影响力的交通代理。
  4. 驾驶员响应 (Driver Response)：分为“继续”（无干扰）和“改变”（因风险源停止或偏离）。
• 行人注意力：在 695 个相关场景中，标注了全身和面部边界框，以及注意力状态（Looking, Not Looking, Not Sure）。

B. 风险物体识别模型 (Risk Object Identification)

• 两阶段框架：
  1. 特征提取与图构建：使用 Mask R-CNN 和 Deep SORT 检测并跟踪交通代理。构建时空图 $G_t$，节点为代理（包括自车），边表示代理间的关系（基于外观特征和存在性）。
  2. 图卷积网络 (GCN)：利用 GCN 推理代理间的关系，输出关系特征。
  3. 驾驶员动作预测 (辅助任务)：使用基于 ResNet-50 和 LSTM 的编码器 - 解码器结构，预测驾驶员未来的动作意图。这提供了比单纯行为分类更丰富的时序推理能力。
  4. 弱监督推理 (Partial Convolution)：
     • 训练时：模拟移除某个代理（Mask），观察模型预测的“继续”置信度变化。
     • 推理时：迭代地掩码（Mask）每个代理，导致“继续”置信度最高的那个被移除的代理，即被识别为风险物体（因为移除它后，驾驶员不再需要改变行为）。

C. 行人注意力检测与联合风险评估

• 注意力检测：改进现有的面部检测器，增加一个注意力预测头（Attention Head），多任务学习（分类 + 回归 + 注意力）。
• 联合风险评分：
  $$s_{risk} = s_{roi} + \frac{(1 - s_{look})}{2}$$
  其中 $s_{roi}$ 是风险物体识别分数，$s_{look}$ 是行人“注视”自车的概率。如果行人注视自车，风险分数降低。

4. 实验结果 (Results)

• 基准对比：
  • 在 HDDS 数据集上，该方法在风险物体识别任务上的平均准确率 (mAcc) 达到 40.41%，比之前的 SOTA 方法 (DROID, 32.83%) 提升了 7.58%。
  • 在 RAID 数据集上，该方法 mAcc 达到 19.28% (基础版) 和 22.10% (加入驾驶员动作模块后)，比 SOTA 提升了 20.6% 和 23.1%。
• 驾驶员行为预测：
  • 加入驾驶员动作预测模块后，驾驶员响应预测的 mAP 从 80.98% 提升至 86.88%。
  • 证明了建模驾驶员意图能有效辅助风险物体的识别。
• 行人注意力：
  • 面部 vs 身体：使用面部输入进行注意力分类的 mAP (83.76%) 显著优于仅使用身体姿态的方法 (62.10%)，证实了面部是更强的注意力线索。
  • 检测性能：在检测任务中，“不看 (Not Looking)"类别的 AP 较低，这主要是因为驾驶场景中行人面部较小且难以检测，反映了实际应用的挑战。

5. 意义与未来展望 (Significance)

• 理论意义：首次将风险感知建模为驾驶员响应与行人注意力之间的相互作用，推动了人机交互（HMI）和自动驾驶系统向更全面的“风险预期”发展。
• 实用价值：
  • 提供了更细粒度的风险理解，不仅知道“哪里有危险”，还能理解“为什么危险”（如行人是否注意到车）。
  • 弱监督方法减少了对昂贵逐帧风险标注的依赖，利用驾驶员行为作为自然标签。
• 局限性：
  • 在“阻挡车道”等特定场景下，由于驾驶员意图标签（直行）与实际避让行为（类似转弯）的视觉冲突，模型性能有所下降。
  • 交通信号灯和停止标志的识别效果较差，主要受限于检测和跟踪的不一致性。
• 未来工作：计划引入道路拓扑信息进一步优化性能，并深入研究行人注意力对风险感知的量化影响。

总结：该论文通过构建 RAID 数据集和提出弱监督图学习框架，显著提升了自动驾驶系统对驾驶员风险感知和行人意图的理解能力，为解决复杂交通场景下的安全交互问题提供了新的数据基础和技术路径。