Geometric Indexing Does Not Improve Versioned Memory Retrieval: Three Pre-Registered Negative Results and a Silent Total-Failure Mode

记忆问题：为什么 AI 需要记住，而不仅仅是阅读

想象一下，你正在和一个非常聪明的机器人朋友聊天。你告诉它：“我最喜欢的电影是《星球大战》。”过了一会儿，你改变了主意并说：“其实，我收回刚才的话；我最喜欢的是《黑客帝国》。”如果你再次询问机器人：“我最喜欢的电影是什么？”你希望它能记住那个新答案，而不是旧的那个。这就是**对话记忆（conversational memory）*的挑战。与一个仅仅存储供所有人阅读的书籍（文档）的图书馆不同，个人记忆需要记住你*，追踪你的想法随时间的变化，并处理修正而不产生混乱。

为了实现这一点，计算机使用一种叫做*嵌入（embeddings）*的技术。把嵌入想象成一张神奇的地图，每一句话都是地图上的一个点。意思相似的句子会被放置在地图上相近的位置，而不同的想法则相距甚远。当你提出问题时，计算机会在地图上寻找离你的问题最近的点，从而找到答案。AI 研究领域的一个流行想法是利用这张地图的几何结构*来处理变化。其理论是：如果你改变了主意，不要擦除旧的点，而是将新点放在旧点旁边一点点。这个想法是：点与点之间的距离*会告诉计算机，“嘿，这两个是同一个事实的不同版本！”

但这种聪明的技巧真的奏效吗？这正是这篇论文所调查的内容。研究人员想要知道，仅仅将“修订版”记忆放在地图上“原始版”记忆附近，是否真的有助于计算机稍后找到正确答案。他们设置了一个严格的、预先计划好的实验来测试这一点，希望能为 AI 记忆找到一条神奇的捷径。然而，他们发现这条捷径是一个死胡同，并且在此过程中，他们揭示了一个可能会破坏许多现实世界 AI 系统的隐形漏洞（silent bug）。

---

实验：在地图上尝试走钢丝

研究人员建立了一个包含 3,000 个虚构事实的模拟系统，例如“Helios 实验室的主管是 Ana”。然后，他们测试了当“主管”被更正为“Beto”，接着又更正为“Carlos”，以此类推时会发生什么。他们比较了存储这些变化的三种方式：

1. “覆盖”（Overwrite）法： 擦除旧的事实并写入新的事实。（这会丢失历史，但保留当前事实）。
2. “复制”（Duplicate）法： 根据新事实自身的措辞，将其精确地存储在地图应有的位置。
3. “发芽”（Budding）法（故事中的主角）： 将新事实放置在远离原事实的一点点地方，希望通过几何结构（形状和距离）将它们联系起来。

第一次失败：漂移的集群

在第一个测试中，研究人员尝试了“发芽”法，并使用了一个固定规则：每当一个事实被修正时，就将新版本向原版本移动一个微小的固定步长。

想象一下，你正试图走直线，但每走一步，你都被迫向左转一点点。走第一步时，你还很好；走第四步时，你已经偏离航线了；走第六步时，你甚至在向相反方向行走。

这正是 AI 记忆发生的情况。使用固定步长时，“修订版”事实的“集群”开始围绕原事实进行随机游走。

• 在经过 4 次修订后，与原始问题的连接度降得如此之低，以至于计算机停止识别该答案。
• 在经过 6 次修订后，连接得分实际上变成了负数（从高点 0.811 降至 -0.139）。

计算机正在寻找答案，但“修订版”的记忆已经在地图上漂移得太远，以至于看起来像个陌生人。“发芽”的想法失败了，因为距离不断累积，将正确答案挤出了搜索结果的前列。

第二次失败：不可避免的税收

研究人员想：“好吧，也许问题在于我们让它漂移得太远了。如果我们强迫新版本紧贴着原始锚点，而不是前一个版本呢？”他们尝试了一个“有界”（bounded）版本，即每次修订都保持在距离起点固定的距离处。

这一次，记忆没有漂移。连接得分稳定在 0.8177。但转折来了：它仍然输了。

为什么？因为“发芽”法在得分上支付了大约 0.036 的恒定税收。

• “复制”法（将事实精确存储在它应有的位置）得分为 0.8540。
• “有界发芽”法得分为 0.8177。

研究人员意识到，计算机的地图本身就是完美的。当你说“主管是 Beto”时，计算机自然会将这句话放在正确的位置。通过人为地将其移开以实现与过去的“链接”，你只是在把它从完美的位置移开。这就像试图通过告诉朋友“站在正门左侧三英尺处”来帮他找家一样。房子就在那里，移动他只会让寻找变得更难。

第三次失败：沉默的杀手

研究人员并没有就此罢手。他们怀疑他们的结论依赖于测试句子是“自洽的”（即清晰地指明了人物和事实）。在现实生活中，人们经常使用简洁的措辞。他们会说：“不，是 Beto，”而不是说“Helios 的主管是 Beto”。这被称为省略式修正（elliptical correction）。

他们设置了一个“最坏情况场景”测试，旨在让这个几何技巧看起来表现出色。他们将“发芽”法与“充实”（Hydrated）法（即一个智能系统在保存前将“不，是 Beto”重写为完整的句子）进行了对比。

结果令人震惊：

• 原始省略式修正（直接保存口语中的“不，是 Beto”）的成功率为 0.0000。
• 计算机每次都会返回一个答案，但从来不是正确的那个。
• 这种失败是无声的（silent）。计算机并没有说“我不知道”，它自信满满地返回了错误的答案，且其排名与正确答案的高度完全一致。

即使是在几何结构应该发挥作用的这种情况下，只有当替代系统（即重写句子的系统）失败率超过 45% 时，该几何技巧才会胜出。由于现实世界的系统表现远好于此，因此这种几何技巧并不具备优势。

核心结论

这篇论文给出了一个明确的、预先注册的判决：几何索引并不能改善版本化记忆的检索。

认为你可以利用地图上点与点之间的物理距离来链接不同版本事实的想法是一个死胡同。

1. 如果你任由距离增长，记忆就会漂移并丢失。
2. 如果你阻止漂移，你仍然会面临惩罚，使得记忆的效果不如最初正确存储事实。
3. 如果你试图将此用于简短的省略式修正（如“不，是 Beto”），系统会彻底失效，并带着十足的信心给出错误的答案。

对于任何构建此类系统的人来说，最重要的发现是一个警告：如果你在保存对话轮次时没有先修复代词，你将失去 100% 的修正效果。 系统不会告诉你它出错了；它只会自信满满地给你错误的答案。论文建议，与其在几何结构上耍小聪明，不如坚持简单的确定性规则：修复句子，然后保存它。