🤖 machine learning

Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

本文提出了一种用于自主紧急制动的神经符号强化学习框架，该框架将场景上下文的向量语义表示与软一阶逻辑奖励函数相结合，以增强策略的鲁棒性并使决策过程符合人类的安全价值观。

原作者： Vinal Asodia, Iman Sharifi, Saber Fallah

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Vinal Asodia, Iman Sharifi, Saber Fallah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在教一辆自动驾驶汽车如何为行人刹车。旧的方法就像是通过向一个孩子展示一百万张原始照片来教他开车，并告诉他：“如果你看到红色，就停下；如果你看到蓝色，就前进。”问题在于，汽车看到的是数百万个像素点，而不是“行人”或“人行横道”。它难以理解场景中的“故事”，并且依赖于一个僵化的规则手册（奖励函数），这个手册不知道如何在安全性与准时到达目的地之间取得平衡。

这篇论文提出了一种新的教学方法，结合了高度有序的记忆与常识逻辑。以下是其工作原理的拆解：

1. “高度有序的记忆”（向量语义表示）

汽车的大脑不再仅仅观察模糊的照片，而是创建一个特殊的“场景心理快照”。

旧的方法： 它只看像素。
新的方法： 它将场景分解为角色及其关系的列表，就像剧本一样。它识别出：“有一个行人（角色 A）站在人行横道（位置 B）上。”
神奇之处： 它使用了一种名为**超维计算（Hyperdimensional Computing）**的技术。你可以把它想象成一个巨大的文件柜，其中的每个物体（行人、卡车、道路）都有自己独特的、高科技的身份卡。汽车不仅存储该 ID，还将其位置和外观打包成一个超级高效的“记忆向量”。
安全过滤器： 系统足够聪明，知道行人比卡车更脆弱。因此，它会给行人的身份卡设置一个更高的“音量”（权重），确保汽车会对弱势群体给予额外的关注。

2. “常识法官”（软一阶逻辑奖励）

在强化学习中，汽车通过获得好行为的积分（奖励）和失去坏行为的积分来学习。

旧的方法： 规则手册是僵化的。“如果撞到行人，-1000 分。如果开得快，+10 分。”这太简单了。如果你开得很快，但由于一辆停放的车辆遮挡而看不见行人怎么办？旧规则可能无法捕捉到这种情况。
新的方法： 论文引入了一个**软一阶逻辑（Soft First-Order Logic, SFOL）**法官。这个法官不再是僵化的规则手册，而是一位观察上下文的睿智法官。
- 法官根据“心理快照”提出问题：“是否有过人横道？是否清晰？是否有车辆遮挡了视线？是否遮挡了人行横道的视野？”
- 根据答案，法官决定汽车应该在多大程度上关注安全性 vs. 效率。
- 如果法官看到有人行横道上的行人，它会说：“现在安全性是 100% 重要的；效率并不重要。”
- 如果道路是空的，它会说：“安全性仍然很重要，但我们也应该快速到达目的地。”
- “软”的部分意味着法官不是二元的（是/否）；它理解不确定性。如果视线被遮挡，法官会说：“我不是 100% 确定，但我 80% 确定可能有一个行人，所以我们要保持谨慎。”

3. 训练场（实验）

研究人员在虚拟城市（CARLA 模拟器）中测试了这种方法，并设定了一个特定的、棘手的场景：隐藏的行人。

设置： 一辆车正在路上行驶。一辆大型面包车停在路边，遮挡了人行横道。一名行人从面包车后方走出来。
测试： 他们在轻度、中度和重度交通流量下进行了测试，行人有时完全被遮挡，有时则只是部分可见。

4. 结果：什么效果最好？

论文发现，“高度有序的记忆”和“常识法官”结合使用效果最好，但前提是必须以特定的方式进行组合：

只有记忆（没有逻辑）： 汽车过于激进且经常发生碰撞。它知道那里有什么，但不知道该如何反应。
只有逻辑（没有记忆）： 汽车在轻度交通中表现尚可，但在重度交通中会因为无法很好地“看见”细节而感到困惑并发生碰撞。
获胜者（记忆 + 逻辑 + 叠加）： 当他们将场景记忆与使用简单“加法”方法的逻辑推理相结合时，汽车变得最为稳健。它成功地为隐藏的行人刹车，避免了重度交通中的碰撞，同时也并未因过度保守而导致交通停滞。

核心结论

这篇论文表明，要让自动驾驶汽车更安全，我们不应仅仅喂给它们更多的照片。我们需要给它们一种理解场景（谁在哪里）的方式，以及一个灵活的大脑，以便在何时保持安全、何时追求效率之间做出决策。通过将结构化的道路记忆与基于逻辑的法官相结合，汽车学习如何做出更安全、更符合人类价值观的决策，即使在视线受阻的情况下也是如此。

技术摘要：利用向量语义表示与符号推理增强面向以人为中心的自动驾驶紧急制动强化学习

问题陈述

现有的基于摄像头的自动驾驶（AD）深度强化学习（DRL）方法面临两个主要局限性：

特征表示： 它们很少将高层场景上下文集成到特征表示中，而是依赖于原始图像或仅能突出显示区域而缺乏对物体关系（例如行人与人行横道的接近程度）进行显式语义理解的注意力机制。
奖励函数设计： 它们通常依赖于僵化的、固定的奖励函数（惩罚与激励的加权和）。这些函数无法捕捉复杂动态场景中竞争性人类价值观（安全性、效率、舒适度）之间的细微权衡。虽然存在自适应奖励函数，但它们通常使用“硬切换”模式在不同目标之间切换，导致行为具有脆弱性。

方法论

本文提出了一种神经符号流水线，结合了用于状态编码的向量语义表示（VSR）和用于奖励塑造的软一阶逻辑（SFOL）。

1. 向量语义表示 (VSR)

作者扩展了 VSR 框架，利用超维计算（HDC），特别是全息缩减表示（HRR），来编码静态和动态实体。

输入处理： 摄像机图像通过基于 ResNet18 的 UNet 进行处理，以生成语义分割图，并通过基于 ResNet18 的自编码器生成潜在特征嵌入。
实体编码： 每个动态实体 ( $E_i$ $E_{i}$ ) 被表示为一个结合了以下内容的超向量：
- 空间语义信息 (SSI)： 编码语义类别（如行人、车辆）、与邻居的空间关系（如“行人位于人行横道下方”）以及在网格内的形状/位置。这是通过绑定语义类别、方向和形状超向量构建的。
- 空间特征 (SF)： 由潜在特征通过语义图加权得到的空间注意力特征嵌入。
融合： 最终的 VSR 向量是所有实体超向量的加权和。至关重要的是，权重方案优先考虑弱势道路使用者（例如，在道路或人行横道上的行人比在人行道或车辆中的行人权重更高）。
集成： SSI 超向量与 SF 嵌入通过元素级加法 ( $\oplus$ ) 或乘法 ( $\otimes$ ) 进行融合，生成紧凑且上下文丰富的描述符，并输入给近端策略优化（PPO）智能体。

2. 软一阶逻辑 (SFOL) 奖励函数

为了解决固定奖励的僵化问题，作者使用 PyReason 集成了符号推理模块。

谓词提取： 从分割图和空间分析中提取语义和空间谓词（例如 Pedestrian(X)、OnCrosswalk(X)、Occludes(X,Y)）。不确定性通过分配 $[0, 1]$ 之间的软真值来处理。
规则库： 一组霍恩子句（Horn clauses）定义了关于安全性（例如，如果行人位于道路上或人行横道被遮挡，则优先考虑安全性）和效率（例如，如果车道畅通，则优先考虑速度）的规则。
动态权重： 系统推断这些规则的置信水平。这些置信度被用于动态计算基础奖励组件（安全性、效率和顺滑度）的权重 ( $\bar{w}_{saf}$ , $\bar{w}_{eff}$ )。这使得奖励函数能够根据驾驶场景的具体上下文来平衡人类价值观，而不是使用硬切换。

核心贡献

扩展 VSR： 使 VSR 能够编码动态实体，并采用强调弱势道路使用者的权重方案，同时结合空间注意力特征。
神经符号融合： 通过将符号超向量 (SSI) 与深度学习特征嵌入 (SF) 融合，创建了一个紧凑的场景描述符。
SFOL 奖励函数： 提出了一种利用符号推理动态平衡安全性、效率和舒适度的奖励函数，超越了固定的或硬切换的逻辑形式。

实验结果

该流水线在 CARLA 模拟器中进行了评估，测试场景为被遮挡的行人过街场景，并设置了不同的交通密度（低、中、高）和遮挡程度（部分、完全）。

VSR 集成：
- 仅 SSI： 表现较差，表明仅靠符号信息不足以进行策略学习。
- 仅 SF： 收敛迅速，但在高密度交通下性能显著下降，导致碰撞率上升。
- SSI $\oplus$ SF（元素级加法）： 实现了最稳健的性能，在所有密度下都实现了较高的成功率、较低的碰撞率和稳定的制动距离。其稳定性优于乘法变体 ( $\otimes$ )。
SFOL 奖励消融实验：
- 完整规则集 (CE & CS)： 在高密度场景下表现出最强的整体性能，且性能下降最少。
- 部分规则集： 移除微妙的安全性规则 (CE & PS) 会导致驾驶行为激进和反应延迟。移除微妙的效率规则 (PE & CS) 则会导致过度保守的行为和高超时率。
- 基准对比： 所提出的 SFOL 方法优于标准的风险因子自适应基准，特别是在高密度、有遮挡的场景中，基准方法表现出了脆弱性。

意义与主张

本文声称，将整体的神经符号表示和软推理集成到强化学习中，能够实现更具上下文感知能力和价值对齐的自动驾驶决策。

鲁棒性： 结合符号上下文 (VSR) 和空间特征，使智能体比仅依赖视觉特征或符号数据的方法能更好地处理复杂的遮挡场景。
人类对齐： SFOL 奖励函数成功地动态平衡了竞争性的人类价值观（安全性 vs 效率），避免了硬切换逻辑的脆弱性。
局限性： 作者谦虚地指出，没有任何配置达到了 100% 的成功率。他们认为在重度拥堵期间，推理过程中的不稳定（奖励权重的波动）是未来改进的一个领域，暗示需要引入时序符号信息或溯因推理来处理隐藏危险。