Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

想象一下，你正在试图解决一个巨大的、不断变化的迷宫，但你只能看到你现在所处的那个小房间。你看不见完整的地图，你也无法记住曾经走过的每一个转弯，因为你的大脑容量有限。这就是人工智能领域中“部分可观测”环境所面临的挑战。为了在这些迷宫中导航，AI智能体需要一种方法来决定保留哪些记忆、丢弃哪些记忆，以及如何在需要时找到正确的信息。如果它们记得太多，就会变得不堪重负；如果忘记太多，就会迷失方向。科学家们面临的大问题是：我们如何构建一个既能聪明地管理自身记忆，又不会变成一个无人能理解的“黑盒”的AI？

这就是论文《面向部分可观测环境下时序知识图谱记忆的神经符号元策略》（Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability）所要解决的问题。研究人员 Taewoon Kim、Vincent François-Lavet 和 Michael Cochez 通过创建一个混合系统解决了这个问题，这个系统就像一个既有条理、又有着超强直觉的图书管理员。他们构建的AI不仅仅是在进行猜测，它还使用了一个结构化的“知识图谱”（可以将其想象为一个巨大的、相互连接的事实网络）来存储记忆。但这里的转折在于：他们并没有让AI随机决定该做什么，而是教会了它一种“元策略”（meta-policy）。这就像是给AI一份经过验证的策略菜单——比如“记住最新的事物”、“记住使用最频繁的事物”或“忘掉最旧的事物”——并让AI学习在任何给定时刻该选择哪种策略。其结果是一个既具有适应性（它能学习什么有效）又具有透明度（我们可以清楚地看到它选择了哪个规则以及为什么）的系统。

问题所在：记忆力不佳的AI

想象一下你在玩一款电子游戏，你必须找到一把隐藏的钥匙来打开一扇门。游戏世界很大，但你只能看到你当前所在的房间。当你走动时，你会收集线索：“钥匙在厨房里”或“门在北边”。但你的背包（你的记忆）只能装下512件物品。如果你捡起了第513件物品，你就必须丢掉一件其他的。

如果你丢错了东西，你可能会忘记钥匙在哪里，从而导致游戏失败。如果你把所有东西都留着，你的背包会变得太重，导致你无法移动。过去，科学家们尝试了两种主要的方法来解决这个问题。一种方法是使用严格的、预先写好的规则（比如“总是丢弃最旧的物品”）。这种方法可靠但僵化；如果游戏发生了变化，它无法适应。另一种方法是使用“黑盒”神经网络，在这种情况下，AI会尝试自主学习如何记住一切。这种方法很灵活，但它就像一个魔术：你知道答案是对的，但你完全不知道AI是如何决定保留那个特定事实而丢弃另一个事实的。如果它犯了错，很难去信任或修复它。

解决方案：带着菜单的聪明图书管理员

作者引入了一种被称为“神经符号元策略”的新方法。让我们用一个简单的故事来拆解它。

想象你的AI智能体是一位在不断重新排列的图书馆里工作的图书管理员。这座图书馆就是“时序知识图谱”。图书馆里的每一本书（事实）都有一个标签，包含三个信息：何时添加、最后一次被阅读的时间以及被借阅的次数。这就是“符号化”的部分——事实是清晰、有标签且有序的。

现在，图书管理员需要每秒钟决定该做什么。与其靠猜测，图书管理员拥有一份包含三种决策类型的菜单：

1. 问答（Question Answering）： “红色的钥匙在哪里？”图书管理员可以选择寻找关于钥匙的最新笔记、最近使用过的笔记，或使用最频繁的笔记。
2. 探索（Exploration）： “下一步我该去哪里？”图书管理员可以选择基于最新的地图、访问最多的地图或使用最多的地图来进行探索。
3. 遗忘（Forgetting）： “我的架子满了！我要扔掉什么？”图书管理员可以选择扔掉最旧的物品、最近最少使用的物品，或使用频率最低的物品。

系统的“神经”部分是图书管理员的大脑。它观察当前的情况（你所在的房间、你提出的问题），并使用一种特殊的脑网络（图神经网络，Graph Neural Network）来为菜单上的每个选项评分。它通过试错学习，掌握在何时该挑选菜单中的哪一项以获得最高分。

实验：RoomKG游戏

为了测试这一点，研究人员使用了一个名为“RoomKG”的基准测试。这是一个拥有49个房间的网格世界，里面充满了床、灯和人等物体。AI必须在这个世界中导航，回答诸如“灯在哪里？”之类的问题，并在保持记忆在512件物品限制内的同时进行移动。

他们将这种新的“聪明图书管理员”与另外两种类型的玩家进行了对比：

• 规则遵循者（The Rule-Follower）： 一个仅仅使用固定规则（如“总是忘记最旧的物品”）的AI。
• 黑盒（The Black Box）： 一个试图在没有任何明确规则的情况下从零开始学习一切的AI。

结果：适应性与清晰度的结合

结果非常明确。“黑盒”AI表现得相当挣扎，得分远低于其他类型。看来，试图一次性学习整个复杂的动作空间（从245种可能性中选择一个房间和方向）对它来说太难了。

“规则遵循者”表现不错，证明了其基础记忆系统的结构是合理的。然而，“聪明图书管理员”（神经符号元策略）的表现最为出色。具体而言，使用“限定符感知”编码器（StarE-GNN）的版本取得了最高分。

这之所以特别，是因为AI不仅仅是运气好。因为该系统是“神经符号”的，我们实际上可以观察图书管理员的思考过程。研究人员可以看到，在游戏早期，AI倾向于查看“最近使用过”的事实，因为这些事实可能仍然相关。但随着游戏的进行和世界的变化，AI学会了转向查看“最新”的事实。它根据发生的情况动态地改变策略，这是那些僵化的规则遵循者无法做到的。

这为什么重要

这篇论文最令人兴奋的部分不仅在于AI获得了更高的分数，还在于它在获得高分的同时保持了完全的透明度。在许多AI系统中，如果你问：“你为什么忘记了这个事实？”答案通常是：“因为数学计算的结果如此。”而在本系统中，答案是：“我选择了‘使用频率最低’规则，因为我计算出该事实很少被需要。”

作者认为，这种方法提供了一个完美的平衡点：既拥有学习型AI的适应性，又具备基于规则系统的清晰度。他们展示了，通过教导AI从已知策略的工具箱中选择正确的“工具”，而不是每次都尝试从头发明一个新工具，你可以获得更好的性能，同时又不会失去理解AI思维方式的能力。

虽然这项研究是在一个具有512个记忆限制的特定游戏环境中进行的，但其核心思想是，这种“元策略”方法可以应用于其他需要随时间管理大量信息的AI场景。它证明了你不需要为了性能而牺牲理解力；你可以拥有一个既聪明又具备可解释性的AI。