🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

本文提出了一种框架，该框架利用在独立任务上训练的强化学习智能体作为先验，以实现仅通过环境观测对其他智能体进行无监督检测并重构其策略。

原作者： Peter Kuhn, Chris Pang, Sonakshi Chauhan

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Peter Kuhn, Chris Pang, Sonakshi Chauhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能研究的寂静角落，一个基本问题始终存在：机器如何才能理解世界上其他事物是在带有目的性地行动？为了让计算机能与人类或其他机器协作，它必须首先能够区分出一块石头是因重力而落下，还是一个人出于意图在伸手去拿那块石头。这种被称为“代理检测”（agency detection）的能力，是社会交互的基石。如果没有这种能力，人工智能看到的仅仅是混乱的事件流，无法分辨随机噪声与目标导向型计划之间的区别。当机器必须弄清楚那个其他代理人究竟想做什么时，挑战变得更加巨大，这一任务被称为“策略重构”（policy reconstruction）。如果机器能够学会识别这些隐藏的意图并在没有被明确教授的情况下对其进行建模，那么它将朝着成为一个真正具有协作能力的伙伴迈出巨大的一步，从而能够将其自身的目标与周围生物的目标对齐。

剑桥人类归纳偏置项目（Human Inductive Bias Project）的一个研究团队通过提出一个他们称之为“人工共情”（artificial empathy）的系统，在解决这一难题方面迈出了重要一步。他们认为，与其试图从零开始构建复杂的心理理论，不如通过利用自身的内部机制作为引导来让人工智能理解他人。其核心思想是，AI本身就是一个做出决策并作用于世界的代理人，因此它已经具备了对“代理行为”是如何运作的内在理解。通过训练一个系统根据其自身学习到的行为模式来预测未来，研究人员创建了一个框架，该框架可以扫描环境、识别其他代理人，并弄清楚这些代理人试图实现什么目标，而这一切都不需要人类的标签或指令。

研究人员在一个受控的数字环境中测试了这个概念，那是一个简单的网格世界，其中的代理人通过移动来收集奖励。他们训练了一个标准的AI代理来解决特定任务，例如到达网格的左下角以获取分数。这个经过训练的代理充当了新系统需要理解的“专家”或“他人”。为了增加任务的难度和现实感，研究人员引入了一个干扰元素：第二个虚假代理，它的移动就像随风飘动的叶子一样随机。新系统的目标是忽略随机运动并正确识别出真正的代理人，然后学习模仿其特定的策略以达到目标。系统并未被告知哪一个是真实的代理人；它必须自己找出答案。

为了实现这一点，新系统通过加载另一个在完全无关任务（如收集食物）上训练过的AI的“大脑”，获得了一个领先优势。这种预加载的知识充当了一个“先验”（prior），即一套关于代理人通常如何行动以及其行为如何改变世界的预期。随后，系统观察了网格世界中的事件流。它利用自身的内部模型提出了一个简单的问题：如果我假设这里有一个代理人在行动，我能否预测接下来的情况？当系统观察随机行走者时，由于随机运动不符合任何逻辑性的目标寻求模式，其预测失败了。然而，当它观察专家代理时，其预测效果良好，因为专家的动作符合一个试图达成目标的代理人的逻辑。通过最小化预测与现实之间的误差，系统有效地过滤掉了噪声，并精准定位到了真正的代理人。

实验结果令人鼓藉。在观察环境一小段时间后，系统学会了忽略随机诱饵，并成功采纳了专家代理的策略。在一系列试验中，系统的表现迅速提升至随机猜测水平之上，最终达到了与原始专家相当的技能水平。这证明了该系统确实可以进行无监督的代理检测，即在混沌中识别出有目的的行动者并重构其策略。研究人员指出，这一成功依赖于系统使用其自身的内部动力学作为观察世界的透镜，有效地表达了：“我知道拥有目标的感受是怎样的，因此我也能识别出他人的目标。”

尽管这些发现令人鼓舞，但研究人员谨慎地将其界定为早期概念验证，而非最终解决方案。实验是在一个小型、全可见的网格世界中进行的，其中只有一个真实代理和一个虚假代理。该系统在很大程度上依赖于先验代理与目标代理在结构上的相似性，目前尚不清楚如果代理之间差异巨大，或者环境复杂且部分隐藏时，这种方法的效果如何。这项研究表明，自指先验（self-referential priors）可以支持代理检测，但它尚未声称解决了在现实世界中使人工智能与人类价值观对齐的更广泛问题。这项工作开启了一扇门，表明AI可以通过首先理解自身来学会关心他人，但通往完全协作未来的旅程依然漫长且充满未知。

技术摘要：人工共情：迈向无监督代理检测与策略重构的框架

问题定义

本文探讨了人工智能对齐（AI Alignment）和多智能体系统领域中两个相互关联的挑战：

代理检测（Agency Detection）： 区分环境中的代理行为（目标导向活动）与非代理随机动力学的任务。
策略重构（Policy Reconstruction）： 仅通过观察到的行为来推断一个智能体的底层策略 ( $\pi_O$ )，而无需访问奖励函数或标记的行为轨迹。

虽然逆强化学习（IRL）解决了策略重构问题，但它通常需要预处理的“观测-动作”对，并假设智能体的身份已知。作者认为，以无监督的方式同时解决这两个任务，是实现人工智能对齐的必要步骤，这使得系统能够开发出一种“联合策略”（joint policy），从而合成自身目标与其他智能体的目标，有效地赋予系统一种“关心”他者的倾向。

方法论

作者提出了人工共情（Artificial Empathy, AE），这是一个 AI 系统利用其自身学习到的代理动力学作为先验，来检测并建模其他智能体的框架。该方法依赖于一种基于模型的强化学习（Model-based RL）架构。

1. 基础智能体架构

其基础是一个增强了可训练世界模型的深度 Q 学习智能体，灵感来源于变分自编码器（VAE）。该架构包含：

编码器 ( $p_\theta$ )： 一个从观测值 ( $o_t$ ) 推断潜在世界状态 ( $s_t$ ) 的卷积网络。
转移模型 ( $q_\phi$ )： 一个给定当前状态和动作 ( $s_t, a_t$ ) 后预测下一个潜在状态 ( $s_{t+1}$ ) 的稠密网络。
解码器 ( $d_\omega$ )： 从潜在状态重构观测值。
Q 网络 ( $Q_\rho$ )： 预测世界状态的 Q 值。

基础智能体使用组合损失函数 ( $L_{base}$ ) 进行训练，该函数由以下部分组成：

重构损失 ( $L_{recon}$ )： 真实观测值与重构观测值之间的均方误差（MSE）。
转移损失 ( $L_{trans}$ )： 模型后验分布与近似后验分布之间的 KL 散度。
Q 损失 ( $L_Q$ )： 目标 Q 值与预测 Q 值之间的均方误差。

2. 人工共情 (AE) 系统

AE 系统利用一个训练好的基础智能体（“先验智能体”）作为代理动力学的结构化先验。它试图重构一个在环境中行动的“目标”或“专家”智能体的策略。

初始化： AE 系统根据先验智能体的权重初始化其权重，通过惩罚项 ( $R_p, R_q, R_Q$ ) 在权重空间内强制执行高斯先验。
预测机制： AE 系统假设环境中存在一个智能体。它将观测值编码为潜在状态，并通过对所有可能的动作 ( $N$ ) 进行加权求和（权重由 AE 的 Q 网络派生出的每个动作的概率决定）来预测下一个状态 ( $p^*(s_{t+1}|s_t, A)$ )：
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
损失函数： 系统最小化编码后的世界状态与在假设代理存在情况下的预测世界状态之间的差异。总损失 ( $L_{AE}$ $L_{A E}$ ) 包括：
- KL 散度 ( $L_{KL}$ )： 编码分布与智能体预测分布之间的差异。
- 熵惩罚 ( $R_H$ )： 迫使系统致力于特定的动作，而非平滑分布。
- 权重惩罚 ( $R_p, R_q, R_Q$ )： 保持与先验智能体的结构相似性。

实验设置与结果

作者在 15×15 的网格世界中验证了该框架，其中包含两个截然不同的任务：

食物游戏（Food-Game）： 收集三个食物项。
边缘游戏（Edge-Game）： 到达左下角边缘。

设置：

一个在“食物游戏”上训练的智能体作为先验（Prior）。
一个在“边缘游戏”上训练的智能体作为专家（Expert）。
AE 系统以“食物游戏”先验进行初始化，并承担模仿“边缘游戏”专家的任务。
混淆因子： 添加了一个执行随机游走的“诱饵（Decoy）”智能体到观测流中，以测试代理检测能力。

结果：

尽管初始化时具有结构性不同的先验（食物游戏），AE 系统仍成功学习了模仿专家的策略（边缘游戏）。
至关重要的是，该系统隐式地解决了代理检测任务：它忽略了诱饵智能体的随机动力学，转而关注专家智能体的代理行为。
性能指标显示，在 35 个回合后，AE 智能体的累积回报显著优于随机游走，并接近了基础专家智能体的水平。

核心贡献

框架提议： 提出了“人工共情”作为一个用于无监督代理检测和策略重构的一阶原理框架。
自指先验（Self-Referential Prior）： 创新性地利用智能体自身的动力学（通过其训练好的世界模型）作为识别和建模其他智能体的先验，这受到了认知科学中模拟理论（Simulation Theory）和镜像神经元机制的启发。
联合任务求解： 证明了单一架构可以同时区分代理活动与非代理活动，并在没有标签数据的情况下重构底层策略。

意义与主张

本文将这项工作定位为解决 AI 对齐问题的基础性步骤。通过使 AI 能够检测并建模其他智能体的目标，该系统理论上可以构建一个联合策略 ( $\pi_\Omega$ )，该策略能将自身目标与其他智能体的目标合成，从而培养协作行为。

作者明确指出，目前的结果展示的是可行性，而非鲁棒性或规模化能力。他们承认实验局限于具有单个混淆智能体的小型、全观测网格世界。论文并未声称已解决 AI 对齐问题，而是指出建立人工共情作为一个框架，是开发能够“关心”其他智能体的系统的必要前提。未来的工作方向包括将该框架扩展到部分观测、多智能体以及非平稳策略。