LCM: Lossless Context Management
本文介绍了无损上下文管理(LCM),这是一种确定性架构,通过递归上下文压缩和任务划分增强大语言模型的记忆能力,使 Volt 智能体在长达 100 万 token 的长上下文编码任务中超越 Claude Code,同时确保状态检索和终止的无损性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在试图解开一个持续多日、规模宏大的谜团。你拥有一位才华横溢的侦探(即人工智能),但他的短期记忆非常有限。如果你给他一叠 1,000 条线索,当他处理到最后一条时,最初的几条线索早已被他遗忘。
长期以来,解决方案只是给侦探一本更大的笔记本(即更大的“上下文窗口”)。但 eventually,即使最大的笔记本也变得过于沉重难以携带,侦探开始被海量的纸张弄得晕头转向。
这篇论文提出了一种帮助侦探的新方法:无损上下文管理(LCM)。这相当于给侦探配备了一位超级智能、自动化的图书管理员来替他管理笔记,而不是让侦探自己编写归档系统。
以下是其工作原理,使用简单的类比说明:
1. 问题:"GOTO"与“结构化”之争
论文比较了两种处理记忆的方式:
- 旧方法(RLM): 想象一下,让侦探自己用代码编写归档系统。他必须决定如何组织笔记、何时丢弃内容,以及如何日后查找。这就像给予程序员无限自由去使用
GOTO语句(在代码中任意跳转)。虽然强大,但如果侦探在归档脚本中犯错,整个系统就会崩溃或变得混乱。 - 新方法(LCM): 不再要求侦探编写归档系统,而是由引擎(运行侦探的计算机)提供一个预构建的、完美的文件柜。侦探只需说:“这是一条新线索”,引擎就会自动决定何时总结旧线索以及将它们存储在哪里。这就像使用结构化编程(循环和 if 语句):虽然灵活性较低,但绝不会因逻辑错误而崩溃。
2. LCM 的两大“魔法工具”
论文指出,LCM 利用两个主要技巧来保持侦探的专注:
A. “无损”文件柜(分层 DAG)
- 工作原理: 引擎在安全金库(不可变存储)中为每一条笔记、每一个字保留一份“主副本”。
- 摘要: 为了节省侦探活跃工作空间中的空间,引擎会为旧笔记创建一张“摘要卡片”。它将摘要卡片放入工作空间,而将完整笔记隐藏在金库中。
- 魔法: 如果侦探日后需要查看原始笔记,他可以请求获取,引擎会立即用完整笔记替换摘要卡片。没有任何信息真正丢失;它只是被压缩,直到需要时为止。
- 类比: 想象阅读一本 500 页的书。与其携带整本书,不如携带一个书签,上面写着每一章的一句话摘要。如果你需要检查某个细节,只需翻回书中的特定页面。你永远不会丢失原始文本。
B. “并行”团队(LLM-Map)
- 问题: 如果侦探必须逐一阅读 1,000 份文件,当他读到最后一份时,会感到疲惫并忘记第一份文件的内容。
- 解决方案: 不是让侦探亲自阅读文件,而是让引擎扮演老板的角色,雇佣 16 名助手。侦探只需给老板一个指令:“阅读这 1,000 份文件,并告诉我每份文件的要点。”引擎会同时将所有 1,000 份文件发送给助手。
- 结果: 助手们并行完成繁重的工作。侦探只看到最终整理好的结果列表。侦探永远不需要同时在脑海中持有 1,000 份文件。
3. “零成本”承诺
该论文最大的主张之一是,这套系统不会拖慢小型任务的速度。
- 类比: 如果你只有 5 条笔记需要归档,引擎就不会费心去创建复杂的归档系统。它只是让侦探直接阅读这些笔记。只有当堆积的笔记过多时,“文件柜”才会启动。这意味着对于正常的简短对话,该系统的速度感觉与标准 AI 一样快。
4. 结果:击败竞争对手
作者将他们的系统(称为 Volt)与 Claude Code 进行了测试,后者是目前世界上最好的 AI 编程助手之一。
- 测试: 他们向两个系统提出了一个包含多达 100 万词(tokens)线索的庞大“谜团”。
- 结果:
- 对于小线索(32,000 词以下),两个系统的表现大致相同。
- 对于巨大线索(32,000 到 100 万词),Volt 每次都获胜。
- 论文声称,Volt 在海量数据集中找到正确答案的能力显著更强,因为它不会被文本量弄得“困惑”,而 Claude Code 随着文本变长开始变得吃力。
5. 为什么这很重要(根据论文观点)
论文认为,要求 AI 自行管理其记忆(如“旧方法”)是危险的,因为 AI 可能在自己的代码中犯错。通过将记忆管理移至计算机引擎(“新方法”),系统变得:
- 更可靠: 不会因为 AI 编写了糟糕的脚本而崩溃。
- 更高效: 能够处理海量数据,而不会让 AI 不堪重负。
- 无损: 保证没有任何信息被真正删除,只是被总结。
简而言之,论文建议,对于非常长且复杂的任务,最好给 AI 配备一位结构化、自动化的助手来处理记忆,而不是让 AI 试图自己充当图书管理员。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。