💻 computer science

Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability

本文提出了一种神经符号强化学习框架，该框架在部分可观测条件下显式建模知识图谱中从短期记忆到长期记忆的转移过程，使智能体能够学习可解释的策略，以选择性地保留或丢弃符号三元组，从而在 RoomKG 基准测试中超越现有基线方法。

原作者： Taewoon Kim, Vincent François-Lavet, Michael Cochez

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Taewoon Kim, Vincent François-Lavet, Michael Cochez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正穿行在一个巨大的黑暗迷宫中（即"RoomKG"环境）。你只能看到当前所在的房间以及紧邻你的几样东西，无法窥见整张地图。你的目标是回答诸如“红色的椅子在哪里？”或“约翰在哪里？”之类的问题。

要想成功，你需要记忆。但关键在于：你的大脑（或机器人的计算机）拥有一个非常小且已满的长期记忆，你一次只能在其中保留 128 条事实。与此同时，你的眼睛每秒钟都会向你涌入大量关于刚刚看到的房间的新信息（短期记忆）。

问题所在：
如果你试图记住看到的一切，你的长期记忆会瞬间被填满，迫使你为了腾出空间给新的、无用的垃圾信息而遗忘重要事物。如果你什么都不记，你就会迷路。大多数机器人要么试图记住一切（从而失败），要么使用一种“黑盒”神经网络，以人类无法理解的方式记忆事物。

解决方案：
本文提出了一种为你的记忆配备的智能“看门人”。与其盲目地保存一切或使用魔法般的黑盒，机器人学会对看到的每一条事实做出具体决策：“保留”或“丢弃”。

以下是本文如何用简单概念解释这一点的：

1. “看门人”类比

把你的短期记忆想象成排队等待进入 VIP 俱乐部（即你的长期记忆）的人群。该俱乐部有严格的 128 人上限。

旧方法： 看门人让所有人进入，直到俱乐部满员，然后踢出最老的人（先进先出）。或者，看门人只是随机猜测。
本文的方法： 看门人是一个智能 AI。当每个人（一条事实，例如“约翰在厨房里”）走上前时，看门人会问：“这个人对未来重要吗？”
- 如果事实是“我在厨房里”（这对知道你在哪里至关重要），看门人会说"保留"。
- 如果事实是“北边的墙是蓝色的”（也许有用，也许没用），看门人可能会说"丢弃"，以便为更重要的东西腾出空间。

2. 看门人如何学习

看门人起初并不知道规则。它通过多次玩游戏来学习。

奖励： 机器人只有在游戏结束时正确回答问题时才能获得积分。
教训： 如果机器人回答正确，它会意识到：“嘿，保留那些关于厨房和椅子的特定事实帮助我赢了！”如果它失败了，它会意识到：“我不该保留那些关于墙壁颜色的事实。”
技巧： 排队的人数每秒都在变化。有时有 3 条事实，有时有 10 条。本文发明了一种特殊的数学方法（一种“逐项 Q 学习”系统），使看门人能够针对任意数量的人做出决策而不会感到困惑。

3. 看门人实际上学到了什么？

研究人员观察了看门人的行动，发现它学到了一些非常类人的策略：

它从不忘记自己在哪里： 它几乎总是保留“我在 X 房间”这一事实。如果没有这一点，机器人就会完全迷路。
它记住你询问的内容： 如果游戏询问关于“约翰”的问题，看门人会确保保留“约翰在娱乐室”这一事实。
它忽略噪音： 它经常丢弃关于方向的事实（例如“这里北边是一堵墙”）或随机的房间连接。它意识到这些细节会扰乱记忆，不如知道物体和人在哪里关键。

4. 这为何重要

本文表明，这种“智能看门人”优于其他两种常见方法：

“硬规则”机器人： 使用简单、预写规则（例如“总是保留最后 5 件事”）的机器人。智能看门人胜过它，因为它能适应具体情况。
“黑盒”机器人： 使用复杂神经网络以隐藏的、无法解释的方式记忆一切的机器人。智能看门人也胜过它，但有一个巨大的额外优势：我们可以确切地看到它决定保留什么以及为什么。

核心结论

本文并非关于制造一个能做任何事的机器人。它是为了证明，如果你给机器人一个小的记忆空间，并教会它有选择地保存内容，它在黑暗迷宫中解决谜题的能力就会变得更强。它将记忆管理从一场猜谜游戏转变为一种习得的技能，而且由于决策是基于简单的“保留/丢弃”规则做出的，我们实际上可以观察机器人的大脑并说：“啊，这就是它记住椅子的原因！”

技术摘要：部分可观测性下知识图谱的短期记忆向长期记忆转移

问题定义

本文解决了在部分可观测马尔可夫决策过程（POMDP）中，强化学习（RL）面临的短期记忆向长期记忆转移的挑战。具体而言，它关注那些观测数据为显式符号三元组（资源描述框架，即 RDF）而非原始感官数据的环境。

在RoomKG 基准测试中，智能体在一个状态完全隐藏的局部可观测世界中运行。在每一步，智能体接收世界的局部诱导子图（一组观测到的三元组）。核心问题在于决定哪些观测到的事实应被转移到容量有限的长期记忆中，哪些应被丢弃。这被表述为一个神经符号决策问题：对于短期缓冲区中的每一个观测三元组，智能体必须在插入长期存储之前做出明确的二元“保留”或“丢弃”决策。

主要的技术挑战是可变基数：观测事实的数量（ $n_t$ ）在每个时间步都会变化，这意味着决策空间的维度不是固定的。标准的强化学习动作空间通常是固定大小的，这使得直接应用变得困难。此外，本文通过固定其他组件（问答、探索和记忆淘汰）来隔离该转移机制，以确保性能差异仅归因于转移策略。

方法论

作者提出了一种逐项目 Q 学习（per-item Q-learning）方法，旨在处理可变大小的短期记忆集合。

1. 逐项目 Q 值参数化

该方法不使用将短期项目集合视为单个组合动作（这将导致 $2^{n_t}$ 个动作）的方式，而是采用共享参数函数 $Q_\theta$ 。

输入：当前符号记忆状态 $M_t$ 被转换为一个包含实体、关系和时间注释的图 $G_t$ 。
编码：图神经网络（GNN）编码器处理 $G_t$ 以生成节点嵌入。对于每个短期项目 $m_{t,i} = (u, r, v, \xi)$ ，表示 $z_{t,i}$ 通过连接头节点（ $u$ ）和尾节点（ $v$ ）的嵌入形成。这使得表示能够通过 GNN 的消息传递机制隐式地捕捉来自相邻三元组的上下文。
输出：一个小型多层感知机（MLP）头部将 $z_{t,i}$ 映射到两个动作 $\{0, 1\}$ （丢弃或保留）的 Q 值向量。
架构变体：研究评估了不同的 GNN 骨干网络（GCN、R-GCN、StarE-GNN）和策略模式（局部与全局、仅短期与全上下文）。

2. 基于可变基数匹配的时序差分（TD）学习

标准的离线策略 TD 学习假设固定维度的转换。为了处理跨步骤变化的项目数量（ $n_t$ ），作者引入了一种随机匹配策略：

转换被存储为 $(M_t, a_t, r_t, M_{t+1}, d_t)$ 。
在训练期间，采样一个小批量。对于转换中连续的一对步骤，算法按索引匹配项目，直到最小长度 $\ell_b = \min(n_b, n'_{b})$ 。
对于每个匹配索引 $j$ ，使用下一步的最大 Q 值计算 TD 目标 $y_{b,j}$ 。
损失是这些匹配索引上的均方 TD 误差，并通过 $\ell_t$ 进行归一化。这使得模型能够从密集的监督中学习，而无需固定的动作维度或在基于集合的记忆上强加人工序列语义。

3. 训练协议

该系统使用标准的离线策略 DQN 技术（Mnih 等人，2015）进行训练，采用 $\epsilon$ -贪婪动作选择。奖励信号来自下游任务（问答正确性），这意味着转移策略通过延迟的信用分配进行学习，以最大化未来的问答性能。

主要贡献

将转移形式化为 RL 问题：本文将短期记忆向长期记忆的转移形式化为一个神经符号 RL 问题，其中每个观测事实都获得明确的保留/丢弃决策。这将转移机制与其他策略组件隔离开来。
针对可变基数的逐项目 Q 学习：作者引入了一种实用的基于价值的训练配方，用于处理可变基数的记忆决策。通过使用共享参数和用于 TD 更新的随机索引匹配，他们实现了在大小变化的集合上的学习，而无需潜在记忆压缩。
RoomKG 上的实证验证：该研究在 RoomKG 基准测试（长期容量 = 128）上提供了受控证据。它表明，学习到的转移决策优于：
- 带有时间注释的符号基线（例如，仅新颖性、随机转移）。
- 基于历史的神经基线（LSTM、Transformer）。
- 所提出方法的消融实验（例如，全局策略或全上下文输入的表现不如仅局部短期策略）。

结果

在长期记忆容量为 128 的 RoomKG 基准测试上：

性能：最佳配置（GCN 编码器 + 局部短期记忆策略）取得了 38.92 ± 3.09 的测试问答分数。这显著优于最强的符号基线（仅新颖性：31.96）和基于历史的神经基线（Transformer：11.80；LSTM：7.60）。
消融实验洞察：
- 局部与全局：逐项目的局部决策（Local-STM）远远优于聚合的全局决策（Global-STM），表明特定事实的上下文至关重要。
- 输入范围：仅使用短期记忆作为输入（STM）比使用全记忆上下文（Full）更有效，表明转移决策高度依赖于即时观测的相关性，而非全局状态。
- 编码器选择：标准 GCN 的表现优于更复杂的关系编码器（R-GCN、StarE-GNN），表明对于此特定转移任务，简单的结构编码已足够。
行为分析：
- 该策略学会了保留导航关键事实（例如，智能体的当前位置），保留率接近完美（100 次中 98 次）。
- 它保留了查询相关的物体位置（60 次中 58 次），同时丢弃了许多方向性地图链接（例如，北/南/东/西边缘），在容量限制下将其视为低价值或噪声。
- 总体保留率约为 40%，展示了自适应过滤而非固定启发式规则。

意义与主张

本文将自己定位为一项聚焦的机制验证研究，而非广泛的基准测试扫描。其主要意义在于证明：

明确且可解释的决策：与潜在记忆方法（如 DRQN、DMN）不同（后者状态更新是不透明的），该方法为符号三元组生成明确、可检查的保留/丢弃决策。
约束下的有效性：学习到的转移决策可以有效地管理 POMDP 中的记忆压力，在记忆容量受限的情况下，优于固定的符号启发式规则和端到端序列模型。
实用性：所提出的带有随机匹配的逐项目 Q 学习为 RL 中的可变基数决策问题提供了一种可行的训练配方。

作者谦虚地承认了局限性：评估仅限于 RoomKG 环境和特定的记忆容量；非转移组件被固定以隔离变量；TD 匹配策略是一种实用的启发式方法，而非基于集合对齐的理论完整解决方案。未来的工作建议探索更广泛的环境和联合端到端训练，同时保持事实级别的可解释性。