🤖 machine learning

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

本文在率失真框架下统一了大型语言模型（LLMs）与智能体（agents）中多样化的记忆压缩技术，提出了一个七轴分类法，识别了过早丢弃信息这一共同的失效模式，并引入了新的基准测试与设计原则，以解决针对重复压缩缺乏全面评估的问题。

原作者： Ashwin Gerard Colaco, Nada Lahjouji

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ashwin Gerard Colaco, Nada Lahjouji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一个超级智能机器人助手的“大脑”。每当你与人交谈时，你都必须记住他们说过的每一句话、使用过的每一个工具以及学到的每一个事实。但问题在于：你的大脑有一个微小且昂贵的存储空间（就像一个非常快、但容量很小的背包）。如果你试图把你的整个生平故事都塞进这个背包，它就会爆裂，导致你的大脑运行变得极其缓慢。

因此，你必须决定：保留什么，又丢弃什么？

这篇论文认为，无论是作为一个记忆对话的聊天机器人、一个规划任务的机器人代理，还是一个管理其内存的计算机系统，大家面临的都是完全相同的问题。这就像是在为一次旅行打包行李，你还不知道天气会如何，但你有一个严格的重量限制。你必须猜测什么重要，把它装进去，并祈祷你没丢下的那些东西在需要时能派上用场。

核心理念：“率失真”（Rate–Distortion）困境

作者将此称为率失真决策。可以这样理解：

率（Rate）： 你被允许使用的空间大小（你的背包容量）。
失真（Distortion）： 你通过丢弃信息而造成的记忆偏差程度。

论文指出，我们尝试缩减内存的所有方式——无论是删除旧的聊天消息、将数字压缩成更少的比特，还是将长篇故事总结成短段落——都只是这个同一个“打包问题”的不同版本。它们都在试图将最有用的信息放入最小的空间内，同时又不破坏机器人稍后回答问题的能力。

四种“打包策略”（以及它们为何经常失败）

论文研究了四个不同领域的科研人员，他们一直在尝试解决这个问题，但彼此之间并没有交流：

“删除”派（KV Cache）： 这些人在模型对话过程中进行操作。他们观察对话历史并说：“那个旧的标记（token）很无聊；删掉它！”
“总结”派（Prompt Compression）： 这些人在机器人阅读输入内容之前对其进行编辑。他们将一个长故事改写成一个短故事。
“架构”派（Architect）： 这些人构建新的机器人大脑，使其能够自动遗忘，就像一个只能吸收固定量水的海绵。
“代理”派（Agent）： 这些人管理机器人的长期记忆，决定在不同任务之间保留哪些人生教训，以及丢弃哪些。

问题在于： 论文认为，几乎所有这些方法都犯了一个致命错误。他们在不知道用户接下来会问什么问题之前，就决定了要丢弃什么。

类比： 想象你在为旅行打包行李，但在你知道要去海滩还是去山脉之前，你就必须决定扔掉什么。你因为觉得这是一次寒冷的旅行而扔掉了泳衣。然后，当你到达海滩时，你意识到自己犯了个错误，但为时已晚。

论文表明，这种“猜谜游戏”会导致机器人的失败。如果机器人丢弃了一个恰好是解决棘手问题答案的信息，它就无法找回它了。论文称之为不可逆损失（irreversible loss）。

让打包更高效的两条黄金法则

在研究了数百种方法后，作者发现了区分胜者与败者的两个模式：

不要丢弃那些无法找回的东西（可逆性）：
如果你必须删除某些东西，请确保你在别处有一个备份可以随时取回。
- 论文的发现： 那些保留完整档案并仅仅是“隐藏”不太重要的部分（以便在需要时提取）的方法，效果比那些直接永久删除的方法要好得多。
- 证据： 在实验中，当我们让机器人反复总结一个故事（每次都删除细节）时，它的记忆力越来越差。但当我们让机器人保留完整故事并在被问及时仅提取相关部分时，它的记忆力始终保持完美。
在看到问题后再进行打包（查询条件化）：
在知道用户在问什么之前，不要决定保留什么。
- 论文的发现： 如果你等待看到问题，你就可以打包出精确的答案。如果你提前猜测，你就会支付一种名为“准确度损失”的税收。
- 证据： 论文从数学上证明，如果你不知道问题，你就被迫将有限的空间分配给所有可能的问题，这意味着你用于处理实际问题的空间变少了。

论文排除了哪些情况

作者非常明确地指出了哪些做法效果不佳：

仅仅根据信息的“陈旧度”或“无聊程度”来删除： 如果你因为一个标记很久没被使用了就删除它，你可能会不小心删掉用户解决谜题所需的关键事实。
没有备份的总结： 将一段详细的历史记录转化为简短的摘要并丢弃原始记录是一个坏主意，如果摘要漏掉了某个在稍后变得至关重要的微小细节。
假设所有记忆都是一样的： 论文认为，你不能用同样的“打包规则”来处理聊天机器人的即时对话和机器人的长期人生历史。它们需要不同的策略，尽管数学原理是一样的。

他们的结论有多可靠？

作者对自己的数学推导非常有信心。他们推导出了一个下界（lower bound）（一个硬性限制），证明了：如果你没有足够的空间来容纳答案，你一定会犯错。没有任何巧妙的技巧可以打破这一法则。

他们还通过模拟（在小型计算机上进行实验）来测试他们的想法。

他们展示了当机器人反复压缩记忆时（例如一个持续工作数日的代理），如果永久删除信息，误差会增长得极快。
他们展示了如果保留一个“可逆”的备份，误差则会保持平稳。
他们创建了一种新的衡量方法（称为 COMPACT-Bench），使得不同的打包策略可以公平地进行比较，就像在同一个天平上称量苹果和橘子一样。

总结

论文指出，未来的记忆不在于如何更“聪明”地猜测该删除什么，而在于可逆性和耐心。

与其让机器人为了节省空间而疯狂地丢弃东西，我们需要的是一种能够将所有东西安全保存在大仓库里，但在听到问题之后才提取出特定物品的机器人。如果我们这样做，机器人不仅能节省空间，而且在正确的时间记住正确的事情方面也会变得更加聪明。

作者承认他们还没有解决所有问题。他们还没有一个完美的公式来预测机器人对于每个可能的任务需要多少空间，并且他们需要更多的大规模测试来证明他们的观点。但他们已经提供了通往目标的地图和指南针。

技术总结：保留什么，遗忘什么：从率失真视角看 LLM 与智能体的记忆压缩

问题陈述

大型语言模型（LLM）及其构建的智能体正越来越多地将计算资源投入到内存管理中：缓存注意力键值（KV）、维护长提示词、存储循环状态以及保留智能体交互历史。随着上下文长度的增长，内存成为了主要的瓶颈，其规模往往超过了模型自身的权重足迹。

目前，四个不同的研究领域在孤立地解决这一瓶幅问题：

KV 缓存压缩：在推理过程中剔除、量化或合并 Token。
提示词/上下文压缩：在模型处理之前对输入 Token 进行剪枝或蒸馏。
架构约束：通过循环、状态空间模型或线性注意力机制来限制内存。
智能体记忆：整合并总结智能体的轨迹和长期知识。

这些社区使用各自独立的基准测试、成功指标和设计哲学，极少相互引用。本文认为，这些并非独立的问题，而是同一个基本挑战的不同实例：一个率失真决策（rate–distortion decision）。核心问题在于：在资源预算限制下，为了保留下游任务效用，应该保留哪些源自上下文的信息，以及以何种保真度保留。

方法论与形式化

作者提出了一个统一的形式化方法，将记忆压缩视为一个率失真优化问题。

统一目标

对于给定的历史 $H$ （所有可用的 Token、状态或记忆），压缩算子 $C_\theta$ 在预算 $B$ （以字节、Token 或状态维度衡量）的限制下生成一个紧凑表示 $Z$ 。随后，使用算子 $U$ 从 $Z$ 生成输出 $\hat{Y}$ 。设计目标是在满足率约束的情况下最小化预期损失（失真）：
$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{s.t.} \quad \text{rate}(Z) \le B$
这被框架化为一个信息瓶颈问题：在满足 $I(Z; H) \le B$ 的条件下，最大化 $I(Z; Y | Q)$ （预测答案所需的历史信息比特数）。

理论下界

本文利用 Fano 不等式推导出了一个与层无关的错误概率 $P_e$ 下界。令 $I^\star(Q) = I(Y; H | Q)$ 为任务条件下的信息含量（即回答查询 $Q$ 真正需要的历史比特数）。如果预算 $B < I^\star(Q)$ ，则误差受限于：
$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$
关键启示：

误差的必然性：在低于信息需求 $I^\star(Q)$ 时，每一层都必然出错；没有任何架构可以逃脱这一点。
任务依赖性：在固定质量下，压缩比取决于 $I^\star(Q)$ 。高熵任务（精确检索）压缩效果差；低熵任务（摘要生成）压缩效果好。
查询无关惩罚（The Query-Agnostic Penalty）：在看到查询之前就决定保留什么的算子（查询无关型）必须将其预算分散到整个查询分布中，从而承担 $H(Q)$ （查询熵）的惩罚。查询条件型算子则可以将全部预算花在与答案相关的比特上。

七轴分类法

为了统一分类方法，作者引入了一个基于七个正交维度的分类法：

粒度（Granularity）：从比特宽度到语义项。
生命周期阶段（Lifecycle Stage）：预训练、预填充（prefill）、解码、服务、任务内或任务间。
有损程度/保真度（Lossiness/Fidelity）：无损、近无损、均匀有损或多保真度。
查询/任务适应性（Query/Task Adaptivity）：查询无关型 vs. 查询条件型。
可学习性（Learnability）：无需训练、训练后适配器或从头开始训练。
机制（Mechanism）：剔除、检索、合并、量化等。
存储基质（Storage Substrate）：显存（On-GPU）、外部存储或模型权重。

核心贡献

统一形式化与下界：本文将记忆压缩形式化为单一的率失真问题，并推导出了一个下界（公式 2），表明误差率在所有层中受相同的表达式支配。它识别出“查询无关惩罚”是一个可量化的成本。
七轴分类法：建立了一个统一的分类系统，将来自 KV 缓存、提示词、架构和智能体记忆的方法进行统一，揭示了它们的差异主要在于粒度、生命周期阶段和适应性。
跨层机制迁移：作者展示了在一个层中优化的机制可以移植到其他层。例如：
- 智能体遗忘曲线（艾宾浩斯）可以作为 KV 剔除的先验。
- 无剔除检索（Quest）为智能体记忆提供了设计思路。
- 输出误差界限（Ada-KV）为智能体摘要提供了停止规则。
识别失效模式：两个关键属性决定了成功：可逆性（Reversibility）（丢弃的内容能否被重新推导？）和查询条件性（Query-Conditioning）（决策是否依赖于查询？）。论文预测，缺乏这些属性的方法（如不可逆的摘要）在重复压缩下会遭受超线性的误差累积。
COMPACT-Bench 提案：提出了一个新的基准测试方案，通过统一的“每 Token 历史字节数”（BPT）轴来衡量压缩。它包含用于测量损失归因、可逆性和校准置信度的任务，特别测试了当前基准测试所忽略的“重复压缩”场景。
参考实验：在通用硬件上的小规模实验表明：
- 存在一个统一的准确率-预算前沿，一旦预算低于 $I^\star(Q)$ ，性能就会崩溃。
- 可逆算子与不可逆算子之间存在分歧：在重复压缩下，不可逆方法丢失的事实约为 reversible 方法的 50%。

结果与观察

普遍失效模式：在所有层中，那些在已知查询之前就决定保留什么且无法撤销决策（不可逆、查询无关）的方法都会以相同的方式失败：它们丢弃了查询随后所需的信息。
可逆性主导：在同等预算下，可逆算子（基于检索、存档型）的表现始终优于不可逆算子（剔除、摘要），尤其是在查询依赖于被丢弃材料时。
测量差距：目前的基准测试侧重于单轮长上下文任务。它们未能衡量重复压缩的成本，而这正是智能体的实际运行模式。论文表明，在重复压缩下，不可逆方法的误差累积是超线性的，而可逆方法则是平缓的。
注意力启发式作为代理：常见的启发式方法（累积注意力质量、困惑度、互信息）都被识别为失真代理。它们之所以具有可比性，是因为它们都在估计同一个底层量：“丢弃这个会对答案造成多大的伤害？”

意义与主张

论文声称，通过率失真视角观察记忆压缩具有三个具体益处：

统一的标尺：它允许通过映射到共同的预算轴，直接比较不同层的各种方法（例如，比较一个 KV 量化器和一个智能体摘要器）。
统一的失效分析：它解释了为什么不同的方法会以相似的方式失败（由于不可逆性和缺乏查询条件性），并预测了特定的失效特征（如 U 型召回曲线、超线性误差增长）。
技术的移植性：它实现了在层之间迁移成熟机制的可能性，例如将架构约束应用于智能体记忆，或使用智能体整合策略来指导 KV 管理。

作者强调，该领域缺乏跨层的基准测试以及针对 $I^\star(Q)$ 的预测性缩放定律。他们提出，进步将不再来自于孤立的更好启发式算法，而在于识别共同的目标，并使用考虑了可逆性、查询条件性和重复压缩的统一协议来衡量压缩。

开放问题与议程

论文概述了一个优先研究议程：

为所有层开发查询条件化、可逆且多保真度的压缩算子。
创建信息损失归因和校准置信度机制。
绘制算子组合（例如，量化如何与剔除相互作用）的图谱。
推导预测性压缩缩放定律，以基于模型和任务参数估计 $I^\star(Q)$ 。
根据输出误差界限建立智能体摘要的停止规则。
处理自我编辑记忆系统中的安全性与可审计性问题。