🤖 AI

AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents

AGORA 论文提出了一种面向大语言模型智能体的、基于适配器且无需推理的提示压缩方法，该方法通过识别结构下限作为主要质量瓶颈，克服了现有基于令牌级抽取式压缩器的结构性局限，并借助一个学习到的评分器实现了 1.0 至 11.5 倍的自适应压缩，同时保持了接近未压缩时的性能。

原作者： Haoran Zhang, Zhaohua Sun

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoran Zhang, Zhaohua Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）智能体，它就像一位技艺高超的侦探，正试图解开一个谜团。为了破案，这位侦探会查阅一本长长的笔记本，里面记录着线索、他们已采取的行动以及随后的观察结果。随着调查的深入，这本笔记本会变得极其庞大——有时甚至超过 10 万字。如果笔记本变得太大，侦探就会感到不堪重负，无法清晰思考。

问题在于：如何在删除无关线索的同时，保留那些真正重要的线索？

问题所在：“错误”类型的压缩器

研究人员曾尝试使用标准的“摘要器”（称为 token 级压缩器），这些工具在常规阅读任务（如总结新闻文章）中表现优异。它们的工作原理是删除那些看似“可预测”或“无聊”的词语。

但对于侦探智能体而言，这种方法是一场灾难。论文将这种现象称为**“行动语法破坏”**。

请看这个类比：
假设侦探的笔记本中包含一条具体指令：“搜索 [红色鞋子尺码 10]。”

单词"Search"（搜索）、"for"（对于）以及方括号 [ ] 构成了行动语法。它们是告诉计算机执行什么操作的命令。
然而，由于这些词在英语中非常常见且可预测，标准摘要器会想：“哦，'for'和方括号太无聊了。为了节省空间，我把它们删掉吧。”
结果： 笔记本现在变成了*“红色鞋子尺码 10。”*
崩溃： 计算机环境看到后说：“我不知道该拿这个怎么办。这不是一个命令。”智能体因此崩溃或失败。

该论文测试了 17 种不同场景，发现每一次使用这些标准摘要器时，智能体的性能都崩溃至接近零，尽管它们成功节省了空间。工具本身运行完美，但它删除的恰恰是让智能体得以运作的唯一要素。

解决方案：AGORA（智能归档系统）

作者创建了一个名为AGORA的新系统。它不像一个文字清洁工，而更像一位懂行的档案管理员，能够理解侦探笔记本的结构。

AGORA 通过三个简单的层级运作：

“绝不触碰”层（结构解析器）：
AGORA 有一条规则：“绝不删除系统指令、当前线索或最后两步。”
- 类比： 想象侦探的笔记本在最后两页和封面贴有红色便利贴。AGORA 会说：“无论如何，我们要原封不动地保留这些页面。”这确保了智能体始终清楚自己在做什么以及刚刚发生了什么。
“相关性评分”层（1.25 亿参数评分器）：
对于笔记本中较旧的页面，AGORA 使用一个小型、快速的 AI（一个 1.25 亿参数的模型）来提问：“如果我们移除这条旧线索，侦探此刻会做出不同的决定吗？”
- 如果答案是“不，这条旧线索无关紧要”，它就会被删除。
- 如果答案是“是，这条线索至关重要”，它就会保留。
- 关键点： 这一过程耗时约 2 毫秒。它不需要一个庞大的 AI 来重写故事，只需检查该页面是否重要。
“贪婪”填充层：
一旦“绝不触碰”的页面得到保护，AGORA 就会用最重要的旧线索填充剩余空间，直到笔记本缩小到足够小。

为何这意义重大

无额外成本： 大多数其他方法试图通过让第二个巨型 AI 来总结笔记本。这为每一步都增加了额外的金钱和时间成本。AGORA 无需调用第二个 AI 即可完成，从而节省了金钱和时间。
行之有效： 在 9 种不同的测试场景中，有 8 种场景下，AGORA 使智能体在笔记本大幅缩小的情况下，仍保持了75% 或以上的原始速度和准确率。
自适应： 它能自动判断需要缩小笔记本多少。有时缩小 1 倍（一点点），有时缩小 11 倍（很多），这取决于历史记录中有多少“废话”。

核心结论

该论文证明，你不能像对待普通书籍那样对待 AI 智能体的历史记录。你必须尊重其命令的“语法”。AGORA 是一种轻量级、快速且免费的方法，能够在不意外删除使其运作的指令的前提下，保持智能体记忆的整洁。这其中的区别在于：前者是像从地图中删除“停止”标志的摘要器，而后者是像保留地图可读性但移除旧且无关街道名称的归档系统。

技术摘要：AGORA——用于 LLM 代理推理免提示压缩的适配器接地观察 - 动作保留

1. 问题定义

大型语言模型（LLM）代理在与环境交互时，会积累长序列的动作和观察轨迹。随着任务视野的延长（例如，在 WebShop 中第 30 步时超过 100k 个 token），压缩此类上下文已成为实际必需。然而，论文指出，专为通用单轮语言模型设计的标准提示压缩技术对于 LLM 代理而言是结构上不适用的。

identified 的核心问题是动作语法破坏。在代理轨迹中，承载关键动作语义的 token（标识符、括号、动作动词，如 search[...] 或 click[...]）往往可以从周围的自然语言上下文中高度预测。因此，基于 token 的提取式压缩器——通过自信息或困惑度对 token 进行排序并移除得分最低者——会系统性地删除这些语义 token。由此产生的“压缩”提示包含语法正确的英语，但代理命令却语法错误，导致环境拒绝该动作并使代理失败。

作者证明，在跨越两个独立 token 级方法族（Selective Context 和 LLMLINGUA-2）的 17 个实验单元中，尽管实现了 1.3–13.3 倍的压缩，每种配置的均值奖励（ $m_r$ ）均崩溃至 $\leq 0.05$ 。

2. 方法：AGORA

为此，作者提出了AGORA（适配器接地观察 - 动作保留架构），这是一种推理免、步级压缩器。与 token 级方法不同，AGORA 在完整的（动作，观察）对的粒度上运行，确保动作语法保持完整。

AGORA 包含三个主要组件：

结构提示解析器：
- 将代理的轨迹分割为角色类型块（系统、任务、过去步骤、当前观察、待处理响应）。
- 将过去的交互分组为离散的步骤对 $(a_i, o_i)$ 。
- 此解析是确定性的且与任务无关，依赖于角色标记（例如 [ASSISTANT]、[USER]）。
始终保留底线（确定性质量底线）：
- 无条件保留特定关键内容以维持格式和近期性：
  - 系统消息（ $c_{sys}$ ）和任务指令（ $c_{task}$ ）。
  - 当前观察（ $c_{now}$ ）和任何待处理响应（ $c_{pend}$ ）。
  - 最近的 $K_{recent}=2$ 个步骤。
- 该层确保代理运行所需的“不变量”（例如，了解当前状态和近期历史）永远不会丢失。
学习式步骤相关性评分器：
- 一个 1.25 亿参数的 RoBERTa-base 分类器，用于对剩余过去步骤相对于当前观察的相关性进行评分。
- 训练信号： 该模型基于反事实下一步动作变更标签进行训练。对于每个过去步骤 $s_i$ 和当前观察 $c_{now}$ ，查询代理主干 $K=8$ 次（一半包含 $s_i$ ，一半不包含）。标签是规范化下一步动作发生变化的次数比例。这生成了一个软标签 $y_i \in [0, 1]$ ，指示该步骤的关键性。
- 推理： 评分器执行单次前向传播（约 2 毫秒/步），无需 API 调用。它输出一个概率 $p_i$ ，表示移除步骤 $s_i$ 是否会改变下一步动作。
贪婪预算填充：
- 给定目标字符预算（例如，原始长度的 25%），系统在“始终保留底线”之后，通过按相关性得分 $p_i$ 降序贪婪选择非底线步骤来填充剩余空间。
- 被丢弃的步骤被单个省略标记替换（例如 [... N 个步骤被省略 ...]）。

3. 主要贡献

本文做出了三项主要贡献：

动作语法破坏的识别： 作者正式诊断并命名了 token 级压缩器在代理上失效的结构性故障模式。他们提供了系统性证据（17 个单元），表明这些方法因移除了对动作语法至关重要的低自信息 token 而导致代理性能崩溃。
AGORA 架构： 一种新颖的、推理免的步级压缩器，结合了结构解析器、确定性的“始终保留”底线以及基于反事实标签训练的学习式相关性评分器。它实现了自适应压缩（1.0–11.5 倍），且每步无 LLM 开销。
组件归因： 通过消融研究，论文隔离了每个设计选择的具体价值：
- 始终保留底线是质量保留的主导杠杆（移除它会显著降低性能）。
- 学习式评分器是自适应压缩范围的主要驱动因素，允许系统根据轨迹复杂度调整压缩率，同时保持固定的保留比例。

4. 实验结果

作者在 9 个实验单元（3 个环境：ALFWorld、ScienceWorld、WebShop；3 个骨干模型：qwen3.5-flash、gpt-4o-mini、gpt-5-mini）中评估了 AGORA，并与 10 个基线（包括 token 级提取式方法和基于 LLM 的抽象压缩器）进行了对比。

质量保留： AGORA 是唯一一种在 9 个单元中的 8 个单元里保留了 $\geq 75\%$ $\geq 75%$ 未压缩性能的推理免方法（例外是 ScienceWorld 中使用 gpt-5-mini 时为 73%）。
- 使用 AGORA 的平均均值奖励（ $m_r$ ）：0.387（相对于无压缩保留了 92%）。
- 相比之下，token 级方法（Selective Context、LLMLINGUA-2）崩溃至 $m_r \leq 0.05$ 。
压缩效率： AGORA 使用单一固定配置（ $\rho=0.25$ ）实现了 1.0–11.5 倍的自适应端到端压缩范围，无需针对每个单元进行微调即可适应特定的轨迹模式。
成本： AGORA 每步产生零额外 LLM token 成本（推理免）。虽然基于 LLM 的压缩器（HiAgent、AgentDiet、ACON）在长轨迹场景中因激进压缩往往在每任务成本上更低，但它们为自身的压缩器调用支付了每任务 8–126k 的额外 token 成本。在每步 LLM 开销过高或保留是约束条件的场景中，AGORA 更优。
消融实验： 移除“始终保留底线”导致了最大的性能下降（ $\Delta m_r \approx -0.088$ ）。移除评分器仅轻微降低了性能（ $\Delta m_r \approx -0.031$ ），但消除了自适应压缩范围，证实了底线负责质量，而评分器负责压缩量。

5. 意义与主张

论文主张，AGORA 代表了我们在代理提示压缩方法上必要的转变。作者认为，token 级压缩的“排序 - 删除”范式在结构上对代理是错误指定的，因为它优化的是信息密度，而非动作命令的结构完整性。

意义：

范式转变： 它将设计空间从 token 级转移到步级压缩，保留了代理命令的句法完整性。
推理免可行性： 它证明了高质量的代理压缩不需要昂贵、每步的 LLM 调用，使其适用于冻结的、黑盒骨干模型的部署。
鲁棒性： 通过优先考虑结构保留（“底线”）而非语义摘要，AGORA 避免了通用压缩器中出现的灾难性故障模式。

作者保持谦逊，指出 AGORA 并非通用的成本赢家（基于 LLM 的方法在长轨迹设置中通常在纯 $/任务上获胜），且由于置信区间较宽（$ n=30$），他们的评估依赖于点估计。然而，他们断言 AGORA 提供了唯一可行的推理免解决方案，能够在不破坏动作语法的情况下，在多样化的代理设置中保持高性能。