🤖 machine learning

Intrinsic Vicarious Conditioning for Deep Reinforcement Learning

本文介绍了内在替代性条件反射，这是一种受心理学文献启发的基于记忆的内在奖励机制，它使深度强化学习智能体能够在无法获取演示策略或奖励函数的情况下从演示中学习，从而在具有稀疏或非描述性终止条件的环境中促进低样本和持续学习。

原作者： Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Rodney A Sanchez, Ferat Sahin, Alex Ororbia, Jamison Heard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走在繁忙的人行道上。在传统的机器人学习中，机器人必须尝试行走、摔倒、被计算机评分“惩罚”、站起来，然后再次尝试。它必须通过试错来学习。但如果摔倒意味着机器人会永久损坏（即“单次生命”场景）呢？它无法承受通过撞毁来学习。

本文介绍了一种名为内在替代性条件反射（Intrinsic Vicarious Conditioning）的机器人学习新方法。机器人不再通过撞毁来学习，而是通过观察他人，并根据他人的遭遇产生一种“直觉反应”来学习。

以下是其工作原理，分解为简单的概念和类比：

核心理念：从朋友的错误中学习

想象一个孩子看着父母触摸滚烫的炉子。孩子并没有自己去摸炉子。相反，他们看到父母把手缩回，并听到一声痛苦的尖叫。孩子立刻学会了“烫炉子=坏”，而从未被烫伤过。

在强化学习（AI 通过为良好行为获得积分来学习）的世界中，这通常很难实现。大多数 AI 方法要求机器人看到专家所做的确切动作，或者了解专家评分背后的确切数学原理。这种新方法表示：“我们不需要专家的 playbook 或记分卡。我们只需要看到他们做了什么，并知道结果是好是坏。”

“替代性条件反射”的四个步骤

作者借用了心理学框架（人类如何通过观察来学习），并将其转化为包含四个步骤的计算机程序：

注意（眼睛）： 机器人观看一段“演示者”（另一个智能体）的短视频片段。它不需要知道演示者为什么移动；它只需要看到他们做了什么。
保持（记忆）： 机器人将这种行为的“快照”保存在其记忆库中。它还会记住结果的“判决”。结果是好的（正面）还是坏的（负面）？
- 类比： 想象机器人在日记中写道：“我看到一辆车撞上了墙。判决：坏。”
再现（镜子）： 当机器人尝试独自行走或驾驶时，它会不断将当前的动作与其记忆库进行核对。
- 类比： 机器人看着自己的路径问道：“这看起来像我之前看到的‘坏车’吗？”如果答案是“是”，它会触发内部警报。
强化（直觉）： 这是神奇的部分。如果机器人看到自己正在做与“坏车”类似的事情，它会给自己一个负向内部奖励（恐惧感）。如果它看到自己正在做与“好车”类似的事情，它会给自己一个正向内部奖励（兴奋感）。
- 这种内部感觉充当指南针，引导机器人远离危险或走向安全，即使主要游戏没有因为它避免撞毁而给予任何积分。

“抑制”门控（刹车）

本文引入了一种巧妙的安全开关，称为抑制阈值。

想象机器人的记忆是一个嘈杂的房间。如果机器人太敏感，它可能会认为每一步都看起来像“坏车”并僵住不动。
“阈值”就像一个音量旋钮。只有当机器人非常确定（高置信度）其当前动作与坏记忆匹配时，它才会接收到“恐惧信号”。这防止了机器人因误报而瘫痪。

他们是如何测试的

研究人员在两个类似视频游戏的环境中测试了这种方法：

人行道（回避）：
- 设置： 一个机器人走在人行道上。如果它踏出边缘，它会立即死亡，得零分（没有警告，没有分数）。
- 问题： 如果没有帮助，机器人只是随机游荡并掉下去，因为它直到为时已晚才收到“惩罚”信号。
- 结果： 通过观察几个人掉下去的例子，机器人学会了在靠近边缘时感到“恐惧”。即使游戏从未告诉它“不要掉下去”，它在人行道上停留的时间也大大延长了。
赛车（接近与回避）：
- 设置： 一辆车在赛道上行驶。游戏根据在道路上快速行驶并击中每一块地砖来给予积分。
- 转折： 游戏鼓励鲁莽驾驶（快速击中地砖），但赛道两侧有草地。如果你撞到草地，就会撞毁。
- 结果：
  - 当展示一位“好司机”保持在中间车道时，机器人学会了保守驾驶。它开得较慢，击中的地砖较少（获得的比赛积分较少），但它存活的时间比那些试图通过鲁莽行为获胜的机器人长了三倍。
  - 当展示一位“坏司机”撞到草地时，机器人学会了避开草地。

为什么这很重要

大多数 AI 学习就像一个学生必须失败 1000 次考试才能掌握材料。这种方法就像一个学生看着朋友失败一次考试，然后立即学会。

该论文声称，这是迈向**“单次生命学习”**的一大步。在现实世界中，机器人（或自动驾驶汽车）往往无法承受撞毁并从中学习。它们需要通过观察他人的少数几次观察来学习，利用内部的“直觉”来保持安全，而无需了解专家司机思考的复杂数学原理。

简而言之： 这篇论文教导机器人通过观察他人来培养对危险和安全的“第六感”，使它们能够在危险环境中生存，而无需先撞毁。

技术摘要：深度强化学习中的内在替代性条件反射

问题陈述

强化学习（RL）通过奖励塑形和示范学习（LfD）方法取得了显著进展。然而，这些方法存在一个关键的局限性：它们通常要求访问专家示范者的内部表征、动作级轨迹或其奖励函数的知识。这种依赖性在以稀疏外部奖励和灾难性终止条件（例如智能体死亡）为特征的环境中会变得 problematic，因为这些条件不提供任何反馈信号。在这种“单次生命”场景中，生物智能体通过观察他人而非直接体验来学习避免危险和追求理想状态，这一过程被称为替代性条件反射（vicarious conditioning）。当前的 RL 方法难以在不依赖示范者策略或奖励函数的情况下模拟这种能力，迫使智能体依赖代价高昂的自我探索或庞大的数据集。

方法论

作者提出了**替代性条件反射（VC）**作为一种内在奖励机制，允许智能体从少量观察到的示范中学习，而无需访问示范者的策略（ $\pi_d$ ）或奖励函数（ $r_d$ ）。该方法基于班杜拉（Bandura）的 observational learning 四步模型：注意、保持、再现和强化。

1. 问题形式化

环境被建模为部分可观测马尔可夫决策过程（POMDP）。智能体接收复合奖励 $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$ ，其中 $r_{ext}$ 是稀疏的环境奖励， $r_{vic}$ 是内在替代性奖励。
智能体观察示范者轨迹 $\tau = (o^d_1, \dots, o^d_T, v_\tau)$ ，其中 $v_\tau \in \mathbb{R}$ 是传达的价值，表示结果的效价（正向代表趋近，负向代表回避）和强度。关键在于，智能体无法看到示范者的动作或内部状态。

2. 实施的四个步骤

作者使用**孪生记忆增强神经网络（MANN）**架构来实现这些步骤。

注意：一个共享的控制器编码器（CE），实现为孪生长短期记忆（LSTM）网络，将观察序列（来自示范者和智能体）映射为固定维度的嵌入（ $e_\tau$ 和 $e_t$ ）。这确保了行为相似的序列产生可比的嵌入，无论它们源自示范者还是智能体。
保持：智能体将示范者的嵌入与传达的价值一起存储。替代性价值 $V^{vic}$ 通过从结果效用进行反向折扣计算得出，并由信任系数 $k$ 调节。这些嵌入和价值通过基于内容的寻址（最近最少使用访问）写入外部记忆矩阵 $M_t$ 。MANN 通过交叉熵损失进行训练，以分类存储轨迹的效价（正向/负向）。
再现：智能体通过将其当前行为嵌入（ $e_t$ $e_{t}$ ）与存储的记忆进行比较来生成内在奖励。泛化核计算当前状态与存储记忆之间的相似度（余弦相似度）。分类层为每个行为类输出置信度分数（ $p_t$ $p_{t}$ ）。内在奖励 $r_{vic}$ $r_{v i c}$ 由这些分数聚合而成，并通过抑制阈值（ $\theta_{thr}$ $θ_{t h r}$ ）进行门控，以防止低置信度匹配触发奖励。
- 负向条件反射：如果智能体的状态类似于存储的“回避”轨迹，它会收到负向内在奖励。
- 正向条件反射：如果智能体的状态类似于存储的“趋近”轨迹，它会收到正向内在奖励。
强化：内在奖励与外部奖励相结合。智能体优化策略以最大化该复合信号的预期回报。如果出现矛盾，外部奖励最终将占据主导地位，确保策略对于特定环境仍然是最优的。

主要贡献

通用形式化：本文提供了替代性条件反射的形式化 RL 框架，明确将注意、保持、再现和强化的生物步骤映射到神经网络组件。
孪生记忆增强架构：作者设计了一种孪生 MANN，实现了少样本学习。通过在示范者和智能体之间共享编码器，系统确保相似的行为产生相似的嵌入，使智能体能够基于少量存储的示范来识别并对自己经验做出反应。
效价特异性机制：该方法引入了针对负向（回避）和正向（趋近）条件反射的不同机制，使智能体能够仅基于传达的结果价值来学习避免什么和追求什么。

实验结果

该方法在两个环境中进行了评估：MiniWorld Sidewalk（测试负向条件反射/回避）和Box2D CarRacing（测试正向条件反射/趋近及复合条件反射）。

MiniWorld Sidewalk：在一个具有非描述性终止条件（死亡不产生奖励）的环境中，标准 PPO 达到了约 117 步。具有最优阈值（ $\theta_{thr} = 0.60$ ）的 VC 方法显著优于基线，达到了142.16 步（复合奖励）和139.96 步（仅内在奖励）。结果表明，VC 成功阻止了智能体进入危险状态（人行道边界），而无需为死亡提供明确的奖励信号。
CarRacing：
- 正向 VC：智能体学会了保持在中间车道（示范行为），其回合长度几乎是基础 PPO 的三倍（88.45 步对比 33.27 步）。虽然这导致了较低的外部奖励（由于保守驾驶而非激进的格子访问），但复合奖励显著更高。
- 负向 VC：当应用于趋近任务（避免赛道边界）时，负向条件反射的表现不如基线，证实了该方法对效价的敏感性；当任务需要趋近时，回避信号是有害的。
- 复合 VC：结合正向和负向信号显示出混合结果，在严格阈值下方差较高，表明需要仔细校准效价信号。

意义与主张

作者声称，这项工作弥合了生物学习能力与当前 RL 局限性之间的差距。通过使智能体能够从少量观察到的示范中学习，而无需访问策略、大型数据集或奖励函数，替代性条件反射为单次生命学习和持续学习提供了一种认知上合理的替代方案。

本文强调，这种范式特别适用于广阔、部分可观测且危险的现实世界环境，在这些环境中，灾难性失败无法通过直接试错来学习。该方法成功模拟了生物过程，即智能体从他人传达的结果中学习，使其能够以最少的数据避免灾难性终止条件并追求理想状态。作者承认了局限性，例如无法在特征空间中区分不可区分的行為，以及缺乏记忆消退（一旦存储，替代性价值就会持续存在），但他们认为强化步骤最终允许在必要时由外部奖励覆盖内在条件反射。