🤖 AI

Agentic System as Compressor: Quantifying System Intelligence in Bits

本文提出了一个将智能体系统智能量化为重构目标对象所需比特数减少量的框架，并通过五项受控实验证明，工具使用和搜索等智能体组件能有效压缩信息并降低残余不确定性。

原作者： Zihan Qin, Hongrui Zhang

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihan Qin, Hongrui Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位朋友发送一条非常复杂的指令，但你受到一个严格限制：你发送的“比特”（信息的微小单位）总量有限。通常情况下，如果你想讲述一个长篇故事或复杂的指令，你必须逐字逐句地写出来，这会占用大量的空间。

这篇论文提出了一种衡量系统有多“聪明”的新方法。它不再仅仅询问：“系统得到正确答案了吗？”（这就像是一个简单的通过/失败测试），而是询问：“系统为了完成这项工作，必须发送多少信息？”

作者称之为 “智能体压缩”（Agentic Compression）。以下是利用简单的类比对核心思想进行的拆解：

1. 核心概念：将智能视为一种“捷径”

请将智能理解为不仅仅是“知道一切”，而是**“知道最好的捷径”**。

旧方法（仅靠模型）： 想象你正试图通过对讲机向朋友描述一个特定的国际象棋走法。如果你只是说“马跳到 B 格”，你每次都必须描述整个棋盘的状态。这需要很多词汇（比特）。
智能体方式（系统）： 现在，想象你和你的朋友都拥有一本规则书（环境）和一套工具。你不需要描述整个棋盘。你只需要说：“马跳到 B”。因为你的朋友拥有相同的规则书，他们能立刻知道这具体是指哪一步，因为国际象棋的规则已经排除了所有非法移动的可能性。你节省了大量的空间。

该论文认为，系统越聪明，它需要发送的比特就越少。 如果一个系统会使用工具、搜索网络或检查自己的工作，它可以将信息压缩成一个极小的提示。如果它必须从头开始发送整个信息，那么在这一特定指标下，它就是“较笨”的。

2. 他们是如何衡量的（三种工具）

为了测试这一想法，研究人员构建了一个“压缩机器”，尝试通过三种不同的方式来缩减信息：

“精确复制”法（算术编码）： 这就像一台超级精准的打字机。如果系统必须发送一段特定的文本字符串，它会计算每个字母的概率，并发送最有效的代码。这是基准线。
“神奇种子”法（种子编码）： 这就像玩“猜数字”游戏。想象系统有一个包含 1,000 个可能答案的列表。系统不需要写下答案，而只需说：“它是列表中的第 42 个。” 接收者拥有相同的列表和相同的规则，因此他们只需挑选出第 42 个即可。如果正确答案很可能在列表中，这种方法效率极高。
“安全网”（回退机制）： 如果“神奇种子”法失败了（正确答案不在前 1,000 个之中），系统会切换回“精确复制”法，以确保信息能够传达。

3. 他们测试了什么（五个实验）

他们针对五个不同的场景进行了测试，以观察增加“智能体”工具是否真的节省了比特：

反转文本： 他们将一个故事进行了反转。
- 没有工具时： 系统必须逐个发送反转后的字母。
- 有工具时： 系统和接收者达成了一致的规则：“我们将同时反转文本。” 发送者只需发送正常的文本。结果： 比特量大幅节省。
国际象棋走法：
- 没有工具时： 发送像“马跳到 B”这样的移动需要描述整个棋盘背景。
- 有工具时： 系统使用一个国际象棋引擎（环境），该引擎知道合法的移动方式。它只发送移动指令，引擎会自动过滤掉不可能的选项。结果： 显著节省了比特。
蛋白质序列（科学领域）：
- 他们尝试生成蛋白质结构。
- 有工具时： 他们使用了一个“模板”（一个已知的相似蛋白质）来引导预测。
- 结果： 系统不需要从头开始猜测整个结构，而只需填补空白。这节省了海量的数据。
检索（RAG）：
- 他们提出了关于隐藏在文档中答案的问题。
- 有工具时： 如果系统检索到了正确的文档，它只需要发送一个微小的提示即可得到答案。如果检索到了错误的文档，它则需要发送更多信息。
- 结果： 有效的信息（相关的文档）极大地减少了所需的比特。
故事压缩：
- 他们尝试对一个故事进行总结。
- 结果： 他们发现，如果你允许系统“思考”得更久（使用更多的计算能力/搜索），它就能找到更短的摘要。这证明了一个权衡关系：更多的计算能力 = 更短的消息。

4. 主要结论

论文通过这种“计数比特”的方法得出了三个主要观点：

工具让系统更聪明： 添加工具（如国际象棋引擎或搜索栏）不仅能帮助系统获得正确答案，还会从根本上改变系统的通信方式，使其能够发送更短的信息。
严苛程度决定比特量： 如果你要求完美的、逐字逐句的重构，你需要更多的比特。如果你只关心“大意”或“含义”（语义压缩），你可以发送更少的比特。系统的“聪明程度”取决于规则的严苛程度。
力量与效率的平衡： 在你投入多少计算能力与消息长度之间存在一种平衡。如果你让系统进行更深入的搜索，它就能找到更短、更高效的方式来描述答案。

总结

用通俗的话来说，这篇论文表明，AI 系统真正的智能不仅仅在于模型的“大脑”，更在于整个“团队”。

如果你有一个聪明的员工（AI 模型）但没有工具，他们必须从零开始做起，这是低效的。但如果你给他们一个图书馆、一个计算器和一本规则书（智能体系统），他们可以用一张便签完成同样的工作。作者认为：“你为了完成任务所需要写的文字越少，你的系统就越聪明。” 他们创造了一种统计这些文字（比特）的方法，以此来精确衡量每个工具为团队带来的价值。

技术摘要：作为压缩器的智能体系统：以比特量化系统智能

1. 问题陈述

大语言模型（LLMs）正越来越多地被部署为智能体系统（agentic systems），而非孤立的预测器。这些系统集成了工具、检索机制、环境约束、验证器以及多轮搜索。目前的评估指标（如准确率、成功率）无法捕捉复杂工作流中的能力来源。高成功率并不能区分性能是源于模型的内在预测能力，还是源于外部组件（例如，提供证据的检索器、过滤非法移动的基于规则的环境，或纠正错误的验证器）。此外，在困难任务中，成功率往往缺乏分辨率：当两个系统都处于“几乎失败”（成功率接近零）的状态时，尽管它们对目标空间的残余不确定性水平截然不同，成功率却无法体现这种差异。

本文旨在建立一个统一且细粒度的分析框架，通过衡量不同组件（模型、工具、环境）消除了多少来自目标分布的残余不确定性，从而量化系统智能。

2. 方法论：智能体码长

作者通过将智能体系统视为一个条件压缩器，实现了“压缩即智能”这一原则的操作化。在固定的任务分布、观测标准、系统接口和计算预算下，更智能的系统在重建目标对象时所需的比特数更少。

2.1 理论框架

智能体系统定义： 定义为一个三元组 $A = (P, M, E)$ ，其中 $P$ 是程序， $M$ 代表模型接口， $E$ 代表环境接口（工具、API、检索器）。
条件压缩： 系统在给定公共条件 $c$ （如提示词或任务规范）的情况下压缩目标 $x$ 。码长 $L(x|c)$ 衡量了编码器必须传输的信息量，以允许解码器（共享相同的系统条件）重建 $x$ 。
观测等价性： 重建并不要求字节级的精确恢复。相反，解码器输出 $\hat{x}$ 必须在一定的观测族 $O$ 下满足 $y \approx_O x$ （例如，蛋白质折叠中的功能等价性，或叙事中的语义等价性）。
组件价值： 特定组件 $g$ 的贡献定义为平均码长的边际减少量： $\Delta_g = \bar{L}_{\Pi \setminus g} - \bar{L}_{\Pi_g}$ 。

2.2 编码方案

为了在智能体设置中估计码长，作者提出了一个结合三种方案的可执行压缩-解压缩协议：

算术编码（Arithmetic Coding）： 用于对特定输出进行精确编码。它逐个 token 累积负对数似然（NLL），将模型预测转化为码长。
种子编码（Seed Coding）： 用于具有密集合格输出的任务（例如，确定性或可重放的环境）。编码器传输一个潜在描述以及产生合格输出的第一个随机种子的秩（rank）。其成本为 $\lceil \log_2 N \rceil$ 比特，其中 $N$ 是采样预算。
回退机制（Fallback）： 如果种子编码在预算内失败，系统则回退到算术编码。使用 1 比特的选择器来区分路径。

3. 核心贡献

系统级视角： 本文首次将“压缩即智能”的观点应用于智能体系统而非孤立的模型，将工具、环境和交互过程视为压缩机制不可或缺的一部分。
边际比特价值指标： 引入了一种定量指标，通过平均码长减少量来分析特定组件（如检索器或验证器）的贡献，提供了比成功率更高的分辨率。
可执行协议： 将算术编码、种子重放和回退机制结合成一个统一的协议，能够测量跨多种任务类型的码长。
实证验证： 在五种不同的设置中验证了该框架，展示了其分析组件价值、观测粒度和计算权衡的能力。

4. 实验结果

该框架在五个设置（A–E）中进行了评估，隔离了典型的智能体组件：

A. 反转文本（确定性工具）： 使用共享的反转变换将码长从 2.877 降至 0.742 比特/字节，证明了确定性工具可以大幅减少残余不确定性。
B. 国际象棋步法（基于规则的环境）： 通过基于规则的环境强制执行合法移动约束，将码长从 9.828 降至 6.545 比特/步（节省了 3.283 比特/步），展示了环境约束如何缩小候选空间。
C. 蛋白质序列（科学模板）：
- 校准后的同源模板将码长从 200.65 降至 116.80 比特/序列（节省了 83.85 比特）。
- C'（功能等价性与验证器）： 在一个成功率较低的功能等价性任务中，加入验证器反馈和修复后，平均码长从 402.99 降至 27.58 比特/序列（节省了 375.41 比特/序列），即便此时成功率仅从 68% 上升到 98%。这突显了该指标在成功率进入平台期时的敏感性。
D. 检索增强生成（RAG）： 与检索失败相比，相关文档使答案码长平均减少了 18.29 比特。干扰文档提供的帮助微乎其微（2.95 比特），而混合检索保留了大部分增益，证明了检索价值可以通过相关性进行连续定价。
E. 语义故事压缩：
- 观测粒度： 随着观测标准变严（从字符保留到完整的剧情/结局正确性），码长单调增加，证实了压缩能力相对于观测标准而言是相对的。
- 计算权衡： 增加摘要展开预算（ $T$ ）可以改善压缩效果（将码长从 292.1 降至 127.5），但存在收益递减现象，从而建立了计算预算与码长之间的 帕累托前沿（Pareto frontier）。

5. 意义与主张

本文声称，智能体码长作为一个统一的核算工具，可以衡量不同信息源和成功标准下的残余不确定性。

“几乎失败”的分辨率： 该指标可以区分两个成功率都接近零、但在减少残余不确定性方面表现迥异的系统（例如蛋白质功能等价性实验）。
组件分析： 它允许量化“边际比特价值”，使工程师能够精确了解检索器、验证器或环境约束对系统能力的具体贡献。
智能的相对性： 本文认为，智能并非模型的绝对属性，而是相对于协议（分布、观测者、接口和预算）而言的。智能体工作流有效地改变了“描述语言”，将信息从单次实例的消息转移到了共享的协议和解码系统中。
智能体伪熵（Agentic Pseudo-Entropy）： 作者提出了一个理论扩展——“智能体伪熵”，用以定义相对于一类受限智能体系统的不可压缩数据，从而表征在利用所有可用工具和搜索策略后所剩余的真实复杂度。

作者保持了审慎的态度，指出这些实验规模较小且受控，旨在验证机制而非作为最终部署系统的基准。研究结果为评估真实的智能体系统提供了方法论指导，而非提供决定性的性能排名。