💻 computer science

What Must Generalist Agents Remember?

本文阐明了通用智能体必须将领域相关信息存储在记忆中，以消除观测歧义并重构转移动力学，从而证明了仅依靠当前状态观测无法在多种多样环境中实现近乎最优的性能。

原作者： Khurram Yamin, Namrata Deka, Maitreyi Swaroop, Albert Ting, Jeff Schneider, Bryan Wilder

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Khurram Yamin, Namrata Deka, Maitreyi Swaroop, Albert Ting, Jeff Schneider, Bryan Wilder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名为一家在两个不同城市——城市 A 和 城市 B 运营的公司工作的快递员。你在开始轮班时并不知道自己身处哪个城市，你只能看到眼前的路牌和交通灯。

这里有一个转折：在两个城市中，你都会到达同一个著名的路口（我们称之为**“分叉口”**），那里有一个指向“向上”和“向下”的标志。

在城市 A，如果你想去“向上”的目的地，你必须在分叉口向上转。
在城市 B，如果你想去“向上”的目的地，你必须在分叉口向下转。

街道标志看起来完全一样。唯一的区别在于你当前所处城市的隐藏规则。

问题：“失忆症”司机

如果你是一名没有记忆（只看眼前路况）的司机，你就陷入了困境。当你看到“分叉口”标志时，你根本不知道自己是在城市 A 还是城市 B。

如果你猜“向上”，你在城市 A 会成功，但在城市 B 会失败。
如果你猜“向下”，你在城市 B 会成功，但在城市 A 会失败。
如果你试图两者兼顾或者抛硬币决定，你会在两个城市都失败。

论文指出，要成为一个通用智能体（即能够在不知道自己处于哪个城市的情况下，在两个城市中都能成功的司机），你必须拥有记忆。你不能仅仅对眼前看到的景象做出反应；你必须记住在到达分叉口之前发生了什么。

两大发现

该论文通过数学证明了关于这种记忆必须具备什么的两个具体特性：

1. “身份证”规则（分离性）

主张： 如果两个不同的世界（城市）要求你在完全相同的地点做出相反的选择，那么你的内部记忆对于这两个世界来说必须是不同的。
类比： 想象你的记忆是一个背包。

当你在城市 A 并到达分叉口时，你的背包里必须装有一张特定的“城市 A 身份证”。
当你在城市 B 并到达分叉口时，你的背包里必须装有一张“城市 B 身份证”。
如果你的背包在两个城市里看起来都一样，你就无法区分它们，并且会转错方向。
论文的证明： 作者证明，如果一个智能体足够聪明，能够近乎完美地完成工作，那么它的记忆会自动分离这两种场景。这不是一种选择，而是一种数学上的必然。如果记忆不能实现分离，智能体就无法取得成功。

2. “地图重建器”规则（解码性）

主张： 如果你的记忆足够好，能够帮助你预测许多不同目标下的最佳下一步行动，那么该记忆本身就包含了足以重建世界运作方式的信息。
类比： 想象你正在试图弄清楚一款电子游戏的规则。

你不知道规则，但你有一个“目标列表”（例如：“到达城堡”、“到达巨龙”、“到达宝藏”）。
论文表明，如果你的记忆能帮助你搞清楚所有这些不同目标的最佳行动，那么你的大脑就已经隐式地学习了世界的“物理规律”。
你可以利用这段记忆来绘制一张地图：“如果我在这里向上走，我会到达那里。”
论文的证明： 他们展示了，如果你的记忆可以预测“探测”目标（简单的测试）的价值，那么你就可以在数学上逆向工程出环境的转换规则（地图）。你的记忆不仅仅是过去事件的列表；它是一个关于世界如何变化的压缩模型。

实验：“分叉世界”（ForkWorld）

为了测试这一点，研究人员构建了一个简单的电子游戏，名为“ForkWorld”。

设置： 一个机器人沿着走廊行走直到一个 T 形路口。
陷阱： 有时“向上”按钮会让机器人向上移动，有时会让机器人向下移动。机器人并不知道自己处于哪种版本。
测试： 他们训练了不同的机器人：
- 失忆机器人： 只能看到当前位置。它们表现得很糟糕（成功率约为 20%），因为它们无法区分不同的城市。
- 记忆机器人： 可以记得最后几步。它们学会了观察自己的历史记录，意识到“啊，我在被反转过的城市里”，然后向正确的方向转弯。它们的成功率达到了约 88%。
验证： 研究人员窥视了“记忆机器人”的大脑。他们发现，当机器人到达 T 形路口时，其内部状态取决于它处于哪个城市，两者完全不同。此外，他们可以使用这种内部状态来准确预测如果机器人采取特定行动会发生什么，从而有效地“解码”了地图。

底线结论

这篇论文回答了一个基本问题：一个聪明、通用的 AI 需要记住什么？

它得出结论：记忆不仅仅是一个用来记住过去的“加分项”。它是让智能体实现以下目标的核心纽带：

在表面看起来完全相同的情况下，分辨出不同的世界。
重建这些世界的规则，以便进行提前规划。

如果没有这种特定类型的记忆，智能体就无法成为真正的通用智能体；它将陷入猜测与失败的循环，每当世界的隐藏规则发生变化时，它都会束手无策。

论文标题： 通用智能体必须记住什么？
作者： Khurram Yamin, Namrata Deka, Maitreyi Swaroop, Albert Ting, Jeff Schneider, Bryan Wilder (卡内基梅隆大学，佐治亚理工学院)

问题陈述

本文探讨了开发通用强化学习（RL）智能体时的一个基本问题：智能体为了在多个环境（领域）和多样化目标下实现近乎最优的行为，其内部必须存储哪些信息？

不同于以往假设智能体被给定显式索引或标签来识别当前任务或领域的做法，本文研究的是这样一种设定：智能体没有收到任何此类索引。智能体仅观察自身的轨迹（状态-动作历史），并必须据此推断出用于进行胜任决策的潜在领域身份。作者将其形式化为一个潜在领域部分可观测马尔可夫决策过程（POMDP），其中隐藏变量是固定的领域索引 $\sigma$ ，它改变了转移动力学，而奖励机制在不同领域间是共享的。

核心挑战在于，两个不同的领域可能会呈现相同的观测值（状态），但却需要互不兼容的最优动作。本文探讨了：在什么条件下记忆是绝对必要的；以及一个足够胜任的记忆是否允许智能体重建环境的局部转移动力学。

方法论与理论框架

作者通过离散时间形式化了交互过程，涉及一组目标 $\Psi$ 和一组领域 $\Sigma$ 。他们提出了两个主要的理论结果：

1. 表示分离（定理 1）
第一个结果确立了记忆的必要条件。作者定义了一个“共享瓶颈”（Shared Bottleneck）场景（假设 1），即两个不同的领域在同一个状态 $s^\dagger$ 下需要一组不相交的近优动作，且两者之间存在显著的价值差距。

主张： 如果一个智能体在所有目标和领域中都是一致近优的，那么其内部记忆状态 $M_t$ 必须在瓶颈状态处区分这些领域。
机制： 该定理证明，在给定领域的情况下，瓶颈处记忆状态的条件概率分布必须具有非零的全变差（Total Variation, TV）距离。具体而言，如果智能体的策略是 $\epsilon$ -近优的，那么两个领域的记忆分布之间的 TV 距离被限定在由价值差距、到达瓶颈的概率以及折扣因子所构成的函数之下。
启示： 记忆不仅是标准 POMDP 中最优控制的充分统计量，更是学习到的表示在隐藏领域身份与动作相关时，实现统一胜任能力的必要条件。

2. 解码器存在性（定理 2）
第二个结果研究了用于分离表示的记忆是否也足以重建环境的动力学。

设定： 作者引入了“探测目标”（Probe Goals，一个辅助目标族 $\Psi_F$ ），它们充当单步预测测试。他们定义“价值充分记忆”为能够准确预测这些探测目标的最优动作值的记忆。
主张： 如果记忆对于一类能够区分局部转移核（通过积分概率度量）的探测目标具有价值充分性，那么就存在一个解码器，可以近似重建局部干预转移核 $P^\sigma(\cdot | s, a)$ 。
启示： 一个支持对丰富目标进行近优规划的记忆状态，本质上包含了足以解码环境局部动力学的足够信息，从而能够在没有环境提供显式世界模型的情况下实现近似规划。

实验验证

作者使用一个名为 ForkWorld 的自定义环境验证了其理论主张：

环境： 一个 T 型路口的网格世界，一条走廊通向一个分叉口（瓶颈）。领域是潜在的：在“正常”领域中，“向上”移动意味着向北，而“向下”移动意味着向南；在“反转”领域中，这些映射关系被反转了。目标（到达顶部或底部）是可观测的，但领域是不可观测的。
瓶颈： 在分叉口处，最优动作完全取决于隐藏的领域。无记忆智能体无法区分领域，被迫进行猜测，导致成功率上限仅为 50%。
智能体： 研究对比了无记忆智能体（DQN）、具有显式历史窗口的智能体（Stacked DQN）以及循环神经网络智能体（DRQN）相对于已知领域之先知基准（Oracle Baselines）的表现。

关键结果：

记忆的必要性： 无记忆智能体未能超过 50% 的基准线（仅达到约 19%），这证实了如果没有记忆来分离领域，策略无法收敛到稳定的解。配备记忆的智能体（Stacked DQN 和 DRQN）达到了 75–88% 的成功率，缩小了与先知基准的差距。
表示分离： 通过一个训练用于从智能体内部状态预测领域的线性探测器发现，配备记忆的智能体在随后访问分叉口时，实现了近乎完美的领域分类（准确率 > 97%），而无记忆智能体则维持在随机水平（50%）。这从经验上证实了定理 1。
可解码动力学： 作者训练了一个解码器来根据智能体的记忆表示预测下一个状态。与基准相比，配备记忆的智能体显著降低了转移预测误差，而无记忆智能体则没有表现出改进。这支持了定理 2，即用于规划的记忆同时也编码了局部转移动力学。

核心贡献与意义

本文做出了以下贡献：

记忆的形式化必要性： 它提供了一个控制论证明，即对于在潜在领域中运行的通用智能体，记忆不是可选的，而是当领域共享观测值但要求不相交动作时，实现统一近优性的必要条件。
记忆作为世界模型的基质： 它表明，如果足够丰富以支持探测目标的价值预测，那么用于动作选择的相同记忆表示，本质上也能支持转移模型的解码。
分析视角的转变： 不同于以往假设智能体已被给定任务索引的“良好调节器”（Good Regulator）或因果强化学习研究，这项工作分析了从历史到记忆的映射，表明智能体必须仅从轨迹数据中隐式地学习如何分离领域。

意义：
作者认为，这些结果将记忆刻画为支持通用智能体进行领域消歧、转移模型重建和规划的基质。这项工作表明，推断潜在上下文并重建局部动力学的能力，不是一个可以添加的架构特征，而是任何在系列变化环境中表现良好的智能体所具备的基本要求。研究结果意味着，成功的通用强化学习智能体必须在内部编码一种能够分离潜在领域的表示，并且这种编码自然地促进了环境因果结构的重建。