想象一下，你正坐在自动驾驶汽车的后座上。车辆减速、转弯或停止，而你却对其原因感到困惑。为了让这项技术让人感到安全且值得信赖，它必须能够用人类乘客能够理解的语言，告诉你在看什么以及为什么要做出某种动作。这种清晰沟通的需求，是专注于让汽车中的人工智能具备“可解释性”这一新研究领域的核心。科学家们正试图教会机器不仅要会驾驶，还要能以符合人类驾驶员思维方式的方式，对自己的决策进行叙述。挑战在于理解计算机所计算的内容与人类在道路上实际注意到并预判的内容之间存在的差距。为了弥补这一差距，研究人员必须首先了解现实中的人类是如何解释自己在真实交通环境中的驾驶选择的。
澳大利亚的一个研究小组通过创建一个名为 NARRATE 的新型现实世界驾驶数据集合，在解决这一难题方面迈出了重要一步。该团队并没有依赖计算机模拟或询问人们在虚拟世界中可能会如何行动，而是记录了 35 名经验丰富的驾驶员和驾驶教练在布里斯班街道上行驶常规路线的过程。这些驾驶员所驾驶的车辆配备了摄像头、激光雷达和传感器，捕捉道路、车辆运动及周围环境的每一个细节。在驾驶过程中，研究人员要求他们实时解释自己的行为，然后在行程结束后，让他们观看刚刚发生的视频回放再次进行解释。这种双重方法既捕捉到了驾驶员在握着方向盘时快速、直觉性的想法，也捕捉到了他们在压力减轻后提供的更详细的反思。
最终生成的数据集包含 2050 个特定的驾驶事件，每个事件都配有驾驶员自身的语言，用以解释他们看到了什么、对当前情况的理解以及对未来可能发生情况的预判。研究人员使用一个框架对这些解释进行了组织，该框架将人类的意识分解为三个部分：注意到细节、理解该细节对当前驾驶的意义，以及预测未来可能发生的情况。例如，一名驾驶员可能会注意到交通灯变黄，理解到自己需要减速，并预判后方的车辆可能无法及时停车。通过将驾驶员的口头语言与这些意识层面进行标记，该团队创建了一张关于人类推理如何与物理世界相连的丰富图谱。
当研究人员测试计算机模型是否能从这些数据中学习时，他们发现机器非常擅长识别人类意识的基本结构。如果一个模型阅读了一段驾驶员的解释，它能够可靠地判断驾驶员是在单纯地注意到某物，还是在理解其含义，亦或是正在预判未来的风险。然而，研究也表明，当涉及到更精细的细节时，这项任务要困难得多。虽然计算机可以轻松识别像“跟随车辆”或“在红灯前停车”这样的宽泛类别，但仅凭文本很难区分 32 种特定类型的驾驶情境。同样，当被要求从头开始生成新的解释时，计算机模型生成的文本虽然语法正确，但往往缺乏人类驾驶员自然提供的具有特定语境且丰富的细微差别。
研究结果表明，虽然人工智能可以学习人类推理的骨架，但它仍然缺乏来自多年驾驶经验的那种深层的、直觉性的语境把握。该数据集显示，人类的解释不仅仅是对动作的描述；它们还融合了对环境的观察、对他人的解读以及对未来事件的预测。研究人员得出结论，为了让自动驾驶汽车真正与乘客沟通，它们需要超越简单的传感器数据，学会以镜像人类思维的方式进行推理。这个新数据集为这项工作提供了至关重要的基础，为观察那些最熟悉道路的驾驶员在现实世界中的思想与言语提供了一个罕见的视角。
技术摘要：NARRATE —— 一个用于以人为本解释的多模态真实世界澳大利亚驾驶数据集
问题陈述
随着自动驾驶汽车（AV）从受控环境向公共道路过渡，解释驾驶决策的能力对于安全性、信任感以及人机交互至关重要。虽然现有的驾驶数据集通常包含自然语言注释，但这些注释主要是由观察者编写的、事后的、基于模拟的，或者是从传感器数据中生成的，而非源自执行动作的驾驶员本身。这一差距留下了一个尚未解决的实证问题：经验丰富的驾驶员在真实的交通环境中如何自然地解释自己的决策，以及他们优先考虑哪些情境信息。此外，大多数大规模数据集缺乏地理多样性，未能考虑到特定领域的因素，如左侧行驶、澳大利亚交通规则和路标，而这些因素对于训练具备领域意识的解释模型至关重要。
方法论
作者介绍了 NARRATE（Naturalistic Action Reasoning and Real-World Awareness Through Explanations，即通过解释实现的自然主义动作推理与真实世界感知），这是一个在昆士兰州布里斯班收集的多模态数据集。
- 数据收集： 该数据集包含来自 35 名经验丰富的驾驶员（30 名非教练和 5 名持证教练）的 2,050 个标注事件。这些驾驶员驾驶着一辆配备了传感器阵列（4 个无损摄像头、LiDAR、GPS/INS/IMU、CAN 总线）的起亚 Niro SUV。
- 双时序协议： 为了捕捉即时显著性和反思性推理，通过两种方法收集了解释：
- 车内： 通过“出声思维”（think-aloud）协议或在安全操作后的研究人员提示，在驾驶过程中实时诱发解释。
- 驾驶后： 通过使用多视图回放控制面板的视频引导式半结构化访谈，允许驾驶员在事后对事件进行详细阐述。
- 标注框架：
- 情境意识 (SA)： 解释基于 Endsley 的三层框架在跨度级（span level）进行标注：L1 感知（注意到的信息）、L2 理解（驾驶相关性）以及 L3 预测（对未来状态/风险的预判）。
- 场景上下文： 事件被贴上涵盖六个高层类别（如交通合规、危险管理）和 32 个细粒度类别的场景上下文标签。
- 动作标签： 驾驶动作（如减速、变道）及非动作类别也被进行了标注。
- 基准测试： 本文建立了四个参与者不相交（participant-disjoint）的基准任务：SA 分类、场景上下文分类、驾驶动作分类以及解释生成。
核心贡献
- 以人为中心的数据集： 一个独特的资源，其驾驶解释由驾驶员本人产生，捕捉了即时性和反思性推理。
- 多模态对齐： 每个事件都与视觉（4 个摄像头）、LiDAR、定位和运动学流同步，并配有自由文本解释。
- 结构化标注： 数据集提供了跨度级的 SA 标注（感知、理解、预测）和多标签场景上下文标签，从而能够研究驾驶员如何表达其情境推理。
- 领域意识： 通过专注于澳大利亚驾驶（左侧行驶、特定的交通规则），该数据集解决了对领域特定解释模型的需求，这与美国或欧洲的数据集截然不同。
结果
本文在四个基准任务上评估了基线模型：
- 情境意识 (SA) 分类： 模型可以从驾驶员语言中学习 SA 结构。L1 和 L2 经常被表达且高度可预测（通常由于标签盛行率较高），而 L3（预测）提供了一个更具判别性的信号，其中 Transformer 模型（如 RoBERTa）的表现优于多数基线。
- 上下文分类： 高层上下文（6 个类别）可以从文本中部分恢复（RoBERTa 达到约 0.41 的 macro-F1）。然而，细粒度上下文识别（32 个类别）仍然是一个重大挑战，模型的 macro-F1 接近于零，这表明仅靠文本在没有更丰富的视觉或地图对齐的情况下，不足以实现详细的场景理解。
- 驾驶动作分类： 文本是动作预测中最强的单一模态（RoBERTa 准确率约为 0.73）。虽然运动学特征提供了有用的信号，但通过与冻结的视觉特征进行简单融合，并不能显著提高相对于文本本身的 macro-F1，这主要是由于类别不平衡造成的。
- 解释生成： 从结构化输入（动作、上下文、运动学）生成自然主义的驾驶解释仍然是一个开放性问题。经过微调的生成器（T5、GPT-2）优于检索基线，但绝对得分较低（例如 BLEU-4 约为 0.036），这反映了人类解释的多样性和简洁性，即对于单个事件存在多种有效的表述方式。
意义与主张
本文将 NARRATE 定位为并非解决所有自动驾驶挑战的方案，而是迈向以人为本且具备领域意识的解释模型的基础性一步。其主要意义在于将解释数据的来源从外部观察者转向驾驶员本身，并基于 Endsley 的情境意识框架。作者主张，该数据集使研究驾驶员如何在现实世界背景下感知、解释和预判驾驶情境成为可能。基准测试结果表明，虽然高层情境意识可以通过语言学习，但细粒度的上下文识别和自然主义的解释生成需要进一步的多模态集成，并且目前的基于文本的范式尚未解决这些问题。该数据集旨在作为开发符合人类推理模式的自动驾驶模型的测试平台。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。