Lost in Compaction: Evaluating Side-Constraint Loss under Context Compaction
本文指出当前的上下文压缩方法系统性地丢弃了关键会话约束，通过全新的 COMPINT 评估套件量化了这一失效问题，并提出了一种即插即用的场景约束（SC）感知提取器，该提取器在无需修改现有模型的情况下实现了超过 90% 的约束保留率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在和一个非常聪明、极具创造力的机器人朋友聊天。你们已经聊了好几个小时，分享故事、解决谜题、规划一天的行程。但突然，机器人的大脑“满了”。它无法再容纳更多的词汇了，于是它决定将你目前所说的一切内容浓缩成一张精简、整洁的小纸条，以便为新的对话腾出空间。这被称为“上下文压缩”（context compaction），是 AI 系统在耗尽记忆时尝试继续交流的一种方式。
然而，这里有一个棘手的部分。有时，你会给机器人一个针对整个对话的特殊规则，比如：“嘿，在你发送任何电子邮件之前，请先给我看一眼！”或者“永远不要使用我的真名。”这些就像是会话中的秘密暗号或基本准则。问题在于，当机器人制作这张精简的小纸条时，它往往会完全忘记这些规则。它可能还记得你在“做什么”（比如“重新整理日历”），但却丢掉了“如何做”（比如“先询问我”）。这篇论文研究了这种情况发生的频率、为什么它是一个大问题，以及我们该如何修复它，好让我们的机器人朋友不会在无意中违背诺言。
AI 摘要的大规模遗忘
来自宾夕法尼亚州立大学的 Zhiqi Wang 及其团队发现，当 AI 系统通过压缩长对话来节省空间时，它们在保留这些“会话约束”（Session Constraints, SCs）方面表现得很糟糕。他们将这些约束称为对话的“交通规则”——比如“行动前向我确认”或“仅以列表形式回复”。
为了测试这一点，他们建立了一个名为 COMPINT 的游乐场。你可以把 COMPINT 想象成一个巨大的障碍赛道，他们将这些特殊的规则偷偷植入到冗长的枯燥故事（如聊天记录或研究任务）中，然后要求 AI 对故事进行摘要。在 AI 完成摘要后，团队会检查：摘要中是否仍包含该规则？AI 在下一步中是否遵循了该规则？
结果令人有些担忧。平均而言，AI 的摘要器只能记住它本应记住的规则中的 17%。这意味着，如果你告诉机器人一条规则 100 次，它很可能会忘记 83 次！更糟糕的是，大多数情况下，AI 在使用摘要后的表现，竟然比直接使用完整的对话而不进行摘要时还要差。这就像是你试图通过一张不小心抹去了所有“禁止驶入”标志的地图来导航城市一样。
为什么会发生这种情况？
研究团队发现，这不仅仅是一个随机的故障，而是一个系统性的问题。他们测试了许多不同类型的 AI 摘要器，从简单的直接截断对话末尾的方法，到使用大型语言模型编写摘要的高级方法。没有一个能很好地保留这些规则。
他们还发现，问题的严重程度取决于以下因素：
- 规则的位置： 如果你在一段长对话的最开始提出规则，它几乎注定会被遗忘。如果你在进行摘要前才提出规则，它有更好的机会被记住，但仍然存在风险。
- 表达方式： 即使你说，“这是一条超级重要的规则！”，AI 也经常会忽略它。
- 规则的类型： 关于“如何做”的规则（例如“总是先搜索网络”）是最难保留的；而关于“选择什么”的规则（例如“选择较便宜的选项”）虽然稍易保留，但也经常丢失。
研究人员排除了几种看似可能是罪魁祸首的可能性。他们发现，这不仅仅是因为 AI 被文本长度“搞混了”，也不是因为摘要器和聊天机器人来自不同的公司。即使同一个 AI 同时负责聊天和摘要，它仍然会忘记规则。
魔法修复方案：一个守规矩的“小助手”
那么，解决方案仅仅是停止摘要吗？不，因为那样的话 AI 就会耗尽记忆并停止工作。团队提出了一个聪明的修复方案：“小助手”（Sidekick）模块。
想象一下，摘要器是一位正在切菜的厨师。这位厨师擅长切菜，但不擅长记住食谱中的特殊说明。团队在厨师旁边增加了一个微型、快速的机器人（一个较小的 AI 模型）。这个小助手的唯一任务就是倾听用户，并将任何特殊规则写在便签纸上。
当厨师完成摘要后，小助手会将它的便签直接贴在摘要上，然后再交给主 AI。这个简单的技巧发挥了奇效。这个新系统不再只能记住 17% 的规则，而是能在所有测试场景中保留超过 90% 的规则。它不需要更改主 AI 或摘要器，只需要为团队添加一个专门的“规则守护者”。
总结
这篇论文表明，虽然 AI 在记忆长对话方面变得越来越好，但它目前在记住这些对话的“规则”方面却表现不佳。如果我们希望 AI 智能体是安全且可靠的——特别是当它们在处理发送电子邮件或管理日历等任务时——我们不能仅仅依赖它们“总结并继续”。我们需要构建能够主动保护这些会话规则的系统，或许可以通过使用一个专门的“小助手”来持有这些规则。好消息是，研究人员已经开发出了这个小助手的原型，而且效果非常好，它无需对系统进行彻底重构，就能将一个破碎的系统转变为一个可靠的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。