KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving System

本文提出了 KnowVal 系统，通过融合开放世界感知与检索增强生成技术构建驾驶知识图谱，并结合基于人类偏好训练的价值模型，实现了具备视觉语言推理能力、符合伦理规范且显著降低碰撞率的自动驾驶规划。

要点

这篇论文介绍了一个名为 KnowVal 的自动驾驶新系统。为了让你更容易理解，我们可以把现在的自动驾驶比作一个“只会模仿的实习生”，而 KnowVal 则是一个“既有经验又有道德感的资深老司机”。

以下是用通俗语言和生动比喻对这篇论文的详细解读：

1. 核心痛点：现在的车为什么不够“聪明”？

目前的自动驾驶系统（就像论文里提到的 End-to-end 或 VLA 模型）主要靠死记硬背和模仿人类。

• 比喻：想象一个刚学开车的实习生，他只会照搬教练的操作。如果教练在雨天没减速，他也会跟着不减速；如果教练在隧道里违规超车，他也会跟着违规。
• 问题：这种“模仿学习”很难理解背后的逻辑（为什么要这么做？）和价值观（这样做对不对？）。遇到没见过的复杂情况（比如路边有积水但没行人，要不要减速？），它们就懵了。

2. KnowVal 的三大“超能力”

KnowVal 给自动驾驶装上了三个“外挂”，让它变得像人一样会思考、懂规矩、有良心。

第一招：眼观六路，耳听八方（视觉与语言的“双向奔赴”）

• 传统做法：眼睛看到什么就开什么，语言只是用来下指令的。
• KnowVal 的做法：它把“眼睛”（视觉感知）和“大脑”（语言推理）连在了一起。
• 比喻：
  • 普通车看到“水坑”只是识别出一个物体。
  • KnowVal 看到水坑，大脑会立刻问：“这水坑深吗？旁边有人吗？如果溅到路人怎么办？”
  • 如果大脑觉得“看不清水坑深度”，它会指挥眼睛：“嘿，再仔细看看那个水坑！”
  • 效果：感知和推理互相提醒，不再“瞎开”。

第二招：随身携带的“法律与道德百科全书”（知识图谱）

• 传统做法：遇到新情况，只能靠猜或者硬套规则。
• KnowVal 的做法：它建立了一个巨大的知识图谱，里面存满了交通法规、防御性驾驶原则（比如“雨天要减速”）、道德规范（比如“不能溅湿路人”）甚至老司机们的经验之谈。
• 比喻：
  • 这就好比司机开车时，副驾驶坐着一位博学的交警 + 道德老师。
  • 当车开到隧道里，这位“老师”会立刻提醒：“隧道内禁止超车，这是法律！”
  • 当车经过积水区，老师会说：“虽然没行人，但为了安全起见，还是慢点开，别溅水。”
  • 关键点：这个系统不是把知识压缩成模糊的总结，而是原封不动地引用法律条文和原则，确保不会“胡编乱造”（幻觉）。

第三招：心中的“道德天平”（价值模型）

• 传统做法：只要不撞车、不违章就算好。
• KnowVal 的做法：它会预测未来的几种开法，然后用“道德天平”给每种开法打分。
• 比喻：
  • 假设车面前有两条路：
    • 路线 A：快一点，但可能会吓到路边的老人。
    • 路线 B：慢一点，非常安全且礼貌。
  • 普通车可能选 A，因为快。
  • KnowVal 的“价值模型”会像法官一样，结合刚才查到的“尊老爱幼”和“防御性驾驶”知识，给路线 A 打低分（甚至负分），给路线 B 打高分。
  • 最终，它选择那条既安全又符合人类价值观的路。

3. 它是怎么工作的？（简单流程）

1. 看：车上的摄像头和雷达先观察周围（有没有人、有没有水坑、是不是在隧道）。
2. 查：把观察到的情况变成文字，去查那个“法律与道德百科全书”，找到相关的规则（比如“雨天过水坑要减速”）。
3. 想：大脑根据查到的规则，重新审视刚才看到的画面，确认有没有漏掉什么细节。
4. 判：规划出几条可能的路线，用“道德天平”给每条路线打分。
5. 开：选择分数最高（最安全、最合规、最有人情味）的那条路开过去。

4. 效果怎么样？

论文里的实验数据非常漂亮：

• 更安全：在真实的 nuScenes 数据集上，它的碰撞率是最低的。也就是说，它撞车的概率比现在的任何系统都低。
• 更聪明：在模拟测试（Bench2Drive）中，它的表现也是世界第一（State-of-the-Art）。
• 兼容性：它不需要把现有的自动驾驶系统全部推翻，而是像给手机装了一个“超级 APP"，可以无缝嵌入到现有的系统中。

总结

KnowVal 不仅仅是一个会开车的机器，它是一个懂法、懂理、有良心的司机。
它不再只是盲目模仿人类的操作，而是学会了理解为什么要这样做。它知道在雨天要减速不仅是因为路滑，更是为了尊重路人的感受；它知道在隧道里不超车不仅是因为规定，更是为了安全。

这就是自动驾驶从“模仿者”进化为“思考者”的关键一步。

技术摘要

KnowVal：一种知识增强与价值导向的自动驾驶系统技术总结

1. 研究背景与问题 (Problem)

现有的自动驾驶系统主要遵循两种范式：端到端（End-to-End）学习和视觉 - 语言 - 动作（VLA）模型。尽管这些方法在特定任务上表现优异，但在面对开放、动态且高度不确定的驾驶环境时，仍面临三大核心挑战：

1. 视觉 - 语言推理能力缺失：现有的端到端模型缺乏基于语言的推理能力，而 VLA 模型通常将推理限制在纯文本或思维链（Chain-of-Thought）中，无法让推理结果反过来指导感知模块（例如，发现信息缺失时主动调整感知焦点）。
2. 缺乏可解释的结构化知识库：现有方法主要依赖数据驱动的模仿学习，试图从有限的人类行为数据中推断复杂的决策逻辑，难以泛化。虽然部分方法引入手工规则或强化学习奖励，但覆盖场景狭窄。自动驾驶领域其实拥有丰富且权威的知识源（交通法规、防御性驾驶原则、道德规范），但未被有效利用。
3. 价值对齐与世界观的不足：现有的“世界模型”（World Model）仅能预测未来状态，缺乏对预测结果是否“可取”的价值判断机制。现有的价值评估多依赖数据拟合或硬编码规则，缺乏可解释性和泛化性，难以确保决策符合人类社会的价值观和道德规范。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 KnowVal，一个通过感知与知识检索的协同交互实现视觉 - 语言推理的自动驾驶系统。其核心架构包含三个主要模块：

2.1 感知与检索的协同推理 (Reasoning between Perception and Retrieval)

KnowVal 实现了感知模块与知识检索模块的双向引导：

• 检索引导的开放世界感知 (Retrieval-guided Open-world Perception)：
  • 专用感知：识别车辆、行人等常见语义类别。
  • 开放端 3D 感知：无需提示即可识别长尾物体（如消防车、积水）。
  • 抽象概念理解：判断场景属性（如“桥梁”、“隧道”、“夜间”、“雨天”）。
  • 机制：检索模块识别出当前感知缺失的关键元素，将其作为提示（Prompt）反馈给感知模块，引导其在下一帧进行针对性细化。
• 感知引导的知识检索 (Perception-guided Retrieval)：
  • 利用“感知语言化器”（Perception Verbalizer）将结构化的感知输出（3D 框、占用网格等）转化为自然语言查询。
  • 基于查询从知识图谱中检索相关的交通法规、道德原则和防御性驾驶经验。
  • 检索结果不仅用于决策，还能识别需要补充感知的元素，形成闭环。

2.2 驾驶知识图谱构建 (Knowledge Graph Construction)

• 数据源：整合交通法规、防御性驾驶教学视频、驾驶员访谈记录及道德指南。
• 构建流程：
  1. 知识森林构建：利用 LLM 提取关键原则，按场景和策略分类组织成章节。
  2. 实体链接与图谱化：利用 LLM 从文本中提取实体（如交通标志、道路用户、驾驶动作、路况），将独立的文本节点连接成具有语义关系的图结构。
  3. 忠实性保留：检索时直接返回原始文本条款（Native Nodes），避免 LLM 总结带来的幻觉和信息失真。

2.3 结合世界模型与价值模型的规划 (Planning with World Prediction and Value Model)

• 世界模型 (World Model)：扩展规划器以生成多样化的候选轨迹，并预测这些轨迹对应的未来状态。
• 价值模型 (Value Model)：
  • 基于检索到的知识条目，评估候选轨迹及其预测状态的“可取性”。
  • 架构采用 Transformer Encoder-MLP Decoder，输入为轨迹特征与知识条目的融合，输出为 [-1, 1] 的分数（-1 表示违规/危险，1 表示合规/安全）。
  • 评分策略：根据知识条目的相关性进行加权衰减聚合，生成最终轨迹得分。
• 决策：选择综合得分最高的轨迹作为最终输出。

2.4 人类偏好数据集构建

为了训练价值模型，作者构建了一个包含 16 万条“轨迹 - 知识”对的数据集，利用多模态大模型（Qwen-VL-Max）生成初步的合规性评分，并经人工审核修正，作为监督信号训练价值模型。

3. 关键贡献 (Key Contributions)

1. 提出 KnowVal 系统：首创通过感知与知识检索的协同交互实现视觉 - 语言推理的自动驾驶框架，使系统能主动利用外部知识指导感知和决策。
2. 构建综合驾驶知识图谱：建立了涵盖交通法规、防御性驾驶原则和道德规范的庞大知识图谱，并开发了高效的 LLM 检索机制，确保检索内容的忠实性和可解释性。
3. 设计价值对齐的规划器：集成了世界模型（预测未来）和价值模型（评估结果），并构建了人类偏好数据集进行训练，实现了可解释的、符合人类价值观的轨迹评估。
4. 卓越的实验性能：在保持与现有架构兼容的同时，显著提升了规划性能，在多个基准测试中达到 SOTA。

4. 实验结果 (Results)

实验在 nuScenes、Bench2Drive 和 NVISIM 三个基准上进行：

• nuScenes (开环评估)：
  • KnowVal 实现了最低的碰撞率（Collision Rate），优于所有现有的端到端和 VLA 方法。
  • 虽然 L2 误差（与人类轨迹的距离）略高，但这表明系统发现了比人类演示更安全或更高效的策略，而非规划质量下降。
• Bench2Drive (闭环评估)：
  • 在基于 VLA 的方法 SimLingo 基础上，KnowVal 将驾驶分数（Driving Score）提升了 3.35 分，成功率（Success Rate）提升了 1.76%，确立了新的 SOTA 性能。
• NVISIM (开环评估，含闭环指标)：
  • 在 DiffusionDrive 和 iPad 等先进方法上集成 KnowVal 模块后，PDMS 分数分别提升了 2.8 和 1.2，证明了其强大的兼容性和通用性。
• 定性分析：
  • 系统能够正确处理伦理和法规场景，例如：在积水路段减速以避免溅到行人（道德/防御性驾驶），以及在隧道内不跨越实线超车（交通法规）。这些行为在标准指标中可能无法体现，但体现了系统的智能与安全性。

5. 意义与总结 (Significance)

KnowVal 的工作标志着自动驾驶系统从单纯的“数据驱动模仿”向“知识增强与价值对齐”的重要转变。

• 可解释性：通过显式的知识检索和基于规则的评分，系统的决策过程变得透明且可追溯。
• 安全性与泛化性：利用权威的交通法规和道德规范作为先验知识，使系统在面对训练数据中未见的长尾场景（如极端天气、复杂伦理困境）时，仍能做出符合安全规范的决策。
• 架构兼容性：该方法不依赖于特定的底层架构，可以无缝集成到现有的端到端或模块化自动驾驶系统中，为未来构建更安全、更智能、更符合人类价值观的自动驾驶系统提供了新的范式。