TARL: Transaction-Aware Reliable Ledgers for Executable Memory Management in Long-Term Agents

记忆问题：为什么 AI 智能体需要一本更好的笔记本

想象一下，你正在教一个机器人成为你最好的朋友。你希望它能记住你告诉它的事情，比如你最喜欢的颜色，或者你讨厌西兰花。在计算机科学领域，这被称为赋予 AI “长期记忆”。目前，许多 AI 系统就像是一个非常热心但有点笨拙的书记员。当你告诉它们一件新事物时，它们通常只会做出决定：“记下来！”或者“忽略它！”这是一个简单的“是或否”的选择。

但人类的记忆并不那么简单。有时，你学到了新知识，这改变了你之前的看法（比如意识到西兰花其实很好吃）。有时，你听到一个传闻，但不确定是否属实，所以你会把它放在“也许”堆里。还有时候，你听到一个谎言，你需要把它扔进垃圾桶，以免以后相信它。如果机器人对所有事情都只说“记下来”，它最终会变得混乱，把事实与谎言、旧观念与新观念混为一谈。这篇论文通过提出一个问题来解决这种混乱：我们如何教 AI 成为一名更聪明的图书管理员，一个知道该如何更新其记忆，而不仅仅是盲目地添加或删除事物的管理员？

TARL：五件套记忆工具箱

这项研究背后的研究人员——来自厦门大学的肖汉及其团队——引入了一个名为 TARL（事务感知可靠账本，Transaction-Aware Reliable Ledgers）的新系统。可以将 TARL 想象成一个超级聪明的记忆管理器，它不再把记忆更新视为简单的开关（开/关），而是将其视为一把拥有五种不同工具的瑞士军刀。

与其仅仅询问“我应该记住这个吗？”，TARL 会询问：“这需要哪种类型的记忆方式？”它将每一条新信息归类为五种特定动作之一：

1. 追加 (Append)： “这是全新的！把它添加到主列表中。”
2. 修订 (Revise)： “这更新了旧的信息。用这个新事实替换旧事实，但为了以防万一，将旧事实保留在档案中。”
3. 拒绝 (Reject)： “这是一个谎言或冲突。把它扔进‘拒绝’箱，以免干扰我们的思考。”
4. 推迟 (Defer)： “我还不确定这个。把它放入‘待定’文件夹，稍后再检查。”
5. 无操作 (Noop)： “这已经是已知的或者没用的。什么都不做。”

论文指出，大多数当前的 AI 系统犯了一个错误，即将这五种不同的动作简化为两种：“写”（将“追加”和“修订”混为一谈）和“持有”（将“拒绝”、“推迟”和“不做任何事”混为一谈）。作者指出，这种“写/持有”的方法就像试图只用一把锤子去修理汽车；有时你需要螺丝刀，有时你需要扳手。如果你只有一把锤子，你可能会损坏发动机。

TARL 如何运作：三账本系统

为了让这五种工具发挥作用，TARL 将记忆组织成三个不同的“账本”（或笔记本）：

• 已接受账本 (The Accepted Ledger)： 这是“真理书”。它保存着 AI 目前确信的事实。
• 待定账本 (The Pending Ledger)： 这是“也许箱”。它保存着有趣但需要更多证据才能成为事实的信息。
• 拒绝账本 (The Rejected Ledger)： 这是“垃圾桶”。它保存着谎言、冲突或过时的信息，但让这些信息保持可见，以便 AI 知道自己为什么拒绝了它们。

当一条新陈述进来时，TARL 不仅仅是猜测。它表现得像一名侦探：

1. 寻找目标： 它寻找“真理书”中这条新信息可能涉及的具体事实。
2. 检查可靠性： 它将新信息的可靠性与旧事实进行比较。是新来源更好吗？旧事实是否已经过时？
3. 选择工具： 基于这种比较，它选择五种动作之一。如果新信息更好，它会修订旧事实，并将旧事实存档。如果新信息是谎言，它会拒绝它。

核心秘诀：“如果……会怎样”的学习法

这篇论文最酷的部分之一是他们如何训练 TARL。通常，AI 通过被告知“你选对了词”来学习。但 TARL 是通过被告知“你选对了结果”来学习的。

研究人员使用了一种称为反事实执行监督 (Counterfactual Execution Supervision) 的技术。想象一个电子游戏，你可以尝试不同的动作并观察会对得分产生什么影响。TARL 对当前的记忆状态尝试所有五种可能的动作。然后，它观察“金标准”（完美的记忆状态）来查看哪种动作实际上得到了正确的结果。它学习选择那个能导致正确未来状态的动作，而不仅仅是听起来正确的动作。这有助于 AI 理解，修订一个事实与追加一个新事实是非常不同的，即使两者在简单的系统中看起来都是“写入”。

结果：更聪明、更干净的记忆

团队在他们创建的新基准测试 TARL-Mem 上测试了 TARL，该测试包含超过 5,000 个棘手的记忆情况。他们将 TARL 与其他七种流行的记忆系统进行了对比。

结果非常明确：

• 更高的准确度： TARL 在选择正确动作方面表现得更好。它实现了 0.8286 的五路宏观 F1 分数 (5-way Macro F1 score)，击败了排名第二的系统 MemAgent（其分数为 0.7871）。
• 更少的错误： TARL 产生的“污染”错误（即将错误信息放入真理书）更少。其污染率为 0.2524，显著低于 Full History (0.3191) 等其他系统。
• 冲突处理： 当事实发生冲突时，TARL 更擅长保留正确的信息并存档错误的信息。它实现了 0.5476 的冲突保留准确率 (Conflict Preservation Accuracy)，优于竞争对手。
• 长期稳定性： 在 AI 需要在长序列事件中进行记忆的测试中，TARL 不会像其他系统那样变得混乱或受损。

论文明确排除了“简单的‘写或持有’决策足以实现可靠长期记忆”的观点。他们的实验表明，即使 AI 做对了“写/持有”的决策，它仍可能无法正确更新记忆，因为它不知道“如何”更新。

这为什么重要

这项研究表明，为了让 AI 智能体真正实现长期可靠性（例如，作为一个不会忘记你的生日或开始相信假新闻的私人助手），它们需要的不仅仅是记录员。它们需要成为编辑。通过赋予 AI 一套更细粒度的工具来管理其记忆，TARL 有助于防止“累积性破坏”，即微小的错误堆积起来并在随后的推理中毁掉 AI。

作者发现，这种方法不仅适用于简单的测试，也适用于 AI 面临新类型数据或棘手的时间性事实的情况。虽然他们并不声称已经解决了世界上所有的记忆问题，但他们展示了从二进制的“开/关”开关转向五件套工具箱，是构建能够进行清晰思考并进行长期准确记忆的智能体迈出的重要一步。