🤖 AI

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

本文介绍了 AgentFootprint，这是一个揭示了即便在任务准确率相同的情况下，LLM 智能体在不同框架和配置下的持久化存储占用量也存在巨大差异的基准测试，同时证明了内容寻址存储可以在不损害数据可重构性的情况下显著降低这种开销。

原作者： Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位天才机器人侦探破解谜题。它阅读线索、提问，并写下最终答案。每当侦探得出正确答案时，大家都欢呼雀跃，并检查它的思考速度和运行成本。但没有人注意到侦探在地上留下的狼藉。

这篇名为《隐藏的足迹》（The Hidden Footprint）的论文，就像是一份清洁工的报告。它在问：“当侦探结束任务时，会在房间里留下多少垃圾？”

大惊喜：这堆“垃圾”巨大无比

主要发现令人震惊：两个侦探可以完美地解决同一个谜题，但其中一个留下的垃圾堆比另一个大 15.7 倍。

你可以这样理解：你和你的朋友都烤出了一个完美的巧克力蛋糕。你们都交出了蛋糕（结果）。但是，当你只是擦了擦台面时，你的朋友却留下了 15 个碗、30 杯面粉和一座粘稠包装纸的小山。蛋糕看起来是一样的，但你朋友的厨房却成了一个灾区。

在现实世界中，这种“垃圾”不仅仅是纸张，而是存储在硬盘上的数字字节。研究人员发现，对于单个任务，某些框架会留下 131 MB 的数据，而实际的答案（即“交付的蛋糕”）仅为 2.6 MB。这意味着该框架的“残留物”是其本应完成的工作量的 24,033 倍！

“隐形”的双重计数陷阱

这里有一个棘手之处：如果你只是计算电脑上的文件，你可能会认为这些垃圾并不严重。论文指出，标准的计数方法是一个陷阱。

想象一下，你在纸上写下“Hello”这个词。然后，你复印了这张纸，但复印机在每一份复印件上都添加了一个微小的“隐形墨水”印章。如果你数纸张，你会看到一张纸。但如果你观察墨水，你会看到“Hello”这个词被写了十二遍。

研究人员发现，由于计算机保存数据的方式（使用诸如“SQLite”页面和“JSON”转义等技术），相同的信息会被反复存储，隐藏在系统内部。

天真的计数法认为：“哦，只有一点点重复。”
论文中的聪明计数法则指出：“实际上，相同的内容被存储了 12.1 次！”

他们证明了，如果你不观察“隐形墨水”，你就会错过真实规模的巨大差距。

“增长”问题

论文还测试了当侦探必须检查同一个线索 200 次时会发生什么。

一些框架（如 LangGraph 和 AutoGen）表现得像一只永远不会忘记任何事的小松鼠。每次它检查线索时，都会再次把整个历史记录写下来。这导致存储量呈超线性增长（越来越快）。在 200 轮之后，它们仅为一个微小的文件就留下了 323 MB 的数据。
其他框架（如 OpenAI Agents）则表现得像一个聪明的记录员。它们只记录新的内容。它们的存储增长缓慢，几乎呈直线。

论文测量了这种增长率（称为 $\alpha$ ），发现其范围从 0.73（变小了！）到 1.95（爆炸式增长）。

垃圾越多，代表侦探越聪明吗？

你可能会想：“也许那个邋遢的侦探只是因为更加谨慎，所以才更聪明？”
论文给出的回答是：不。

他们查看了来自一个著名编程挑战（SWE-bench）的 108 个真实案例提交。他们发现，这些系统导出的数据量差异巨大，达到了 1,617 倍（从极小的文件到巨大的文件）。但关键在于：数据的规模与系统解决问题的能力之间没有任何联系。

事实上，这种相关性极其微弱，几乎为零。一个系统可能会留下堆积如山的资料却依然失败，或者留下极小的足迹却获得成功。论文明确排除了“更多存储 = 更好性能”的可能性。

“魔术橡皮擦”（但先别急着买）

研究人员不仅指出了问题，还展示了一种解决方法，但他们谨慎地表示这只是一个概念验证，而非成品。

他们构建了一个“内容寻址存储”（content-addressed store）。想象一个图书馆，与其把每本书都放在书架上，不如拍摄每本书的唯一指纹照片。如果两本书是完全相同的，你只需保留一张照片并注明“这本和那本一样”。

当他们将这种“魔术橡皮擦”应用于那些混乱的框架时：

它将存储量减少了 4.8 到 32.7 倍。
至关重要的是，他们证明了即使删除了所有这些数据，你仍然可以完美地重建整个对话历史。用于回放侦探思维过程的“得分”保持不变。

论文排除了哪些观点

它排除了“我们应该忽略存储，因为‘它很便宜’”的观点。论文认为，存储是一种持续性的债务，会随着时间累积，这与任务结束即消失的 AI 运行成本不同。
它排除了标准文件计数器是准确的观点。他们证明了简单的计数会漏掉隐藏在系统代码中的重复内容。
它排除了更大的数据轨迹意味着更好的结果。数据表明，规模与成功之间没有关联。

他们有多确定？

作者对他们所做的测量非常有信心。他们在隔离、干净的计算机环境（沙盒）中进行了 1,061 次实验，以确保没有其他因素干扰。他们使用完全相同的任务和模型测试了 8 种不同的框架（如 LangGraph、CrewAI 和 AutoGen）。

他们不是在猜测，而是在测量。他们发现，在完全相同的条件下，表现最好和最差的框架之间留下的数据量差异为 15.7 倍。他们还表明，这种差异并非因为一个框架比另一个更“聪明”，而是因为它们构建数据保存的方式不同。

总结

论文得出结论：我们需要开始像衡量 AI 的速度或成本一样，去衡量 AI 智能体的“足迹”。目前，我们正任由一些系统留下堆积如山的数字垃圾，而另一些系统几乎不留痕迹，而且事实证明，那些邋遢的系统并没有做得更好。

作者建议，如果我们想要大规模运行这些智能体（例如每天运行 10,000 个机器人），一个“整洁”的框架与一个“混乱”的框架之间的差异，可能意味着每天需要 3 GB 还是 51 GB 的存储空间。对于一个他们已经证明并不直接提升机器人智能的问题来说，这是一个巨大的差异。

技术摘要：隐藏的足迹：将存储作为 LLM Agent 评估的一等公民

1. 问题陈述

当前的大语言模型（LLM）智能体（Agent）基准测试侧重于任务完成度、可靠性（例如 pass@k）以及推理成本。然而，它们系统性地忽略了持久化存储足迹（persistent storage footprint）——即智能体执行完成后在磁盘上留下的字节数。这包括日志、上下文快照、检查点（checkpoints）、调试追踪和会话数据库。

本文认为，忽视这一点至关重要，因为：

持久性 vs. 流（Persistence vs. Flow）： 与推理成本（执行过程中消耗的“流”）不同，存储是一种随运行次数累积的“存量”，它影响着长期存储成本、数据保留合规性以及重放或审计智能体行为的能力。
低估现象： 在生产部署中，框架残留物（framework residue）可能比交付的产物高出几个数量级（例如，79 MB 的残留物对比 2.6 MB 的输出）。
测量陷阱： 朴素的字节级测量（例如 du -sh）无法检测逻辑上的重复，因为序列化机制（如 SQLite 分页和 JSON 转义）会掩盖重复内容。例如，一个逻辑上持有相同内容 12 次的存储库，在原始文件层面测量的重复因子（ $D$ ）可能仅为 1.01。

2. 方法论：AgentFootprint

作者引入了 AgentFootprint，这是一个旨在测量运行后存储足迹的系统性跨框架基准测试。

2.1 实验设置

框架： 评估了八个具有代表性的框架：LangGraph, AutoGen, CrewAI, SmolAgents, OpenAI Agents SDK, LlamaIndex, Agno, 和 InfiAgent。
控制变量： 所有框架都在相同条件下运行：使用相同的后端模型（DeepSeek-V4-Flash，温度为 0）、相同的工具，并采用记录在案的“持久化会话”（durable-session）配置（无特定存储调优）。
隔离： 每次运行都在全新的沙箱（Docker 容器）中进行，通过对工作目录和主目录进行运行前后的快照对比，以隔离增量。
任务套件：
- 文件问答（File-QA）： 10 个涉及重复读取文档的任务，以测试读取放大效应。
- 长程任务（Long-Horizon）： 25–200 轮重复读取一个 2 KB 的状态文件，以测量增长指数。
- 写入任务（Write-Task）： 生成摘要文件，以比较合法的产物与框架残留物。
- 探索性/异构任务（Exploratory/Heterogeneous）： 根据答案正确性和产物交付情况进行评分。
- 固定轨迹控制（Fixed-Trace Control）： 通过不同的适配器重放完全相同的轨迹，以隔离持久层对智能体行为产生的放大效应。

2.2 指标体系

该基准定义了六个指标，以解决序列化掩盖和语义歧义问题：

$S_{total}$ ： 总保留字节数（工作区产物 + 框架残留物）。
存储构成（Store Composition）： 按通道分类（状态/检查点、调试日志、对话历史等）。
$D$ （重复因子）： $S_{logical}^{total} / S_{unique}$ 。通过分析逻辑内容流（SQLite 单元格、JSONL 行）而非原始文件来计算，利用内容定义分块（FastCDC）和内容探测来检测 JSON 转义后的重复。
$\alpha$ （增长指数）： 通过在重复观察任务中拟合 $\log S_{total} \sim \alpha \log T$ 来确定存储是线性、亚线性还是超线性增长。
$C$ （可压缩性）： 总大小 $S_{total}$ 与其在 zstd 压缩下的体积之比（作为语法基准）。
$R$ （可重构性得分）： 一个 0–3 分的得分，指示保留的字节是否允许精确重构步骤 $k$ 时的对话历史。

3. 关键结果

3.1 等效准确度，巨大差异

15.7 倍差异： 在任务准确率均为 100% 的情况下，框架间的保留字节数差异高达 15.7 倍（LangGraph：每个任务 5.10 MB vs. CrewAI：每个任务 0.32 MB）。
零保留： SmolAgents 保留了 0 字节，实现了 100% 的准确率，但无法提供任何重放或恢复能力（ $R=0$ ）。
残留物主导： 在写入任务中，框架残留物超过合法输出文件的倍数高达 24,033 倍。

3.2 增长机制

超线性增长： 在每一步都持久化完整历史记录的框架（LangGraph, AutoGen, LlamaIndex）表现出 1.74 到 1.95 之间的增长指数（ $\alpha$ ）。一个 200 轮的监控循环留下了 323 MB 的数据。
线性/亚线性增长： 采用窗口化上下文或有界存储的框架（InfiAgent, Agno, CrewAI）保持在接近线性水平（ $\alpha \approx 0.98–1.20$ ）。
固定轨迹放大： 当重放完全相同的轨迹时，持久层本身导致的保留大小在不同框架间存在 6.7 倍 的差异。

3.3 序列化掩盖重复

原始文件分块报告 LangGraph 的重复因子（ $D$ ）为 1.01。
逻辑流分析显示 $D = 12.8$ ，表明序列化（SQLite 分页、JSON 转义）掩盖了巨大的冗余。
朴素测量方法会将重复程度低估一个数量级。

3.4 实战发现（SWE-bench）

对 108 个经过实例归一化的 SWE-bench Verified 提交进行分析，发现导出的轨迹体积存在 1,617 倍 的差异。
无相关性： 轨迹体积与解决率之间没有检测到相关性（ $\tau_b = 0.080, p = 0.222$ ）。更重的轨迹并不意味着更高的成功率。

3.5 缓解潜力

使用内容寻址存储（CAS）压缩器可以将各框架的保留量减少 4.8–32.7 倍，同时保留所有可重构性得分（ $R$ ）并通过恢复检查。
这证明了所谓的“浪费”是可移除的冗余，而非实现高保真历史重构的必要条件。

4. 贡献

指标体系与方法论： 一套新颖的指标（ $S_{total}, D, \alpha, C, R$ ）和测量方法，考虑了序列化掩盖问题，揭示了朴素字节计数会显著低估重复程度。
AgentFootprint 基准： 一个可复现的测试框架，在八个框架中执行了 1,061 次沙箱运行，提供了首次关于运行后存储的系统性跨框架比较。
实战研究： 来自 SWE-bench 的证据表明，存储量与成功率无关，且即使在成功的提交中，存储量也存在巨大差异。
存在性证明： 证明了内容寻址存储可以在不牺牲历史重构性的情况下，将存储量降低高达 32.7 倍，从而证明当前的默认配置远未达到理论最小值。

5. 意义与主张

本文声称，存储足迹是一个关键的、此前未被衡量的智能体评估维度。作者认为：

存储是系统级资源： 就像移动应用的内存占用一样，未被衡量的存储限制了大规模部署（例如，每天积累数 TB 数据的集群运营）。
默认配置并非高效： 文档化的“持久化”配置往往优先考虑恢复功能而非效率，导致了巨大的、不必要的存储堆积。
准确度是不够的： 仅关注任务成功率或推理成本的排行榜，虽然惩罚了准确率低的框架，却忽略了那些以 15 倍更多存储量换取同等准确率的框架。
低成本即可实现可重构性： 本文展示了不需要数 MB 的数据也能实现精确的历史重构；如果能管理好冗余，同样可以获得 $R=3$ 的得分。

作者将 AgentFootprint 定位为一种测量工具，而非提出一种新的存储系统，旨在暴露这种“隐藏的足迹”，并使社区能够在优化准确度的同时，也优化存储效率。