💻 computer science

Graph-Aware Reinforcement Learning for Reusable Prompt Compression in Black-Box LLMs

本文提出了一种任务感知图强化学习框架，通过训练一个轻量级策略对图结构化推理单元进行抽取式的“保留或丢弃”决策，从而压缩黑盒大语言模型中可重用的推理上下文，在显著降低输入成本的同时保持了推理准确性。

原作者： Mehrshad Eskandarpour, Parmida Haddadnejad, Mohammadjavad Jannati

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mehrshad Eskandarpour, Parmida Haddadnejad, Mohammadjavad Jannati

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个聪明但极其昂贵的机器人如何解决复杂的谜题。你不能只给机器人一个问题，你必须先递给它一本厚厚的说明书。这本手册包含了游戏的规则、几个解决类似谜题的示例，以及关于如何写下最终答案的严格清单。在人工智能的世界里，这些“机器人”被称为大语言模型（LLM），而这些“手册”就是提示词（Prompt）。问题在于，这些手册正变得越来越庞大。每次你向机器人提问时，你都必须重新发送整本手册。这既慢又贵（因为机器人按字数收费），而且还会占用机器人的短期记忆。

科学家们一直试图在不丢失重要部分的前提下缩小这些手册的体积。有些人尝试直接切掉文本的末尾，而另一些人则尝试将整个内容总结成几句话。但问题在于：如果你切掉了错误的句子，机器人可能会感到困惑并给出错误的答案，即使剩余的文本看起来完全没问题。目标是找到一种方法，让手册既足够短以便于廉价且快速地运行，又足够详细以保持机器人的聪明才智。这篇论文专门针对这个问题，特别是在你反复使用同一本手册来处理许多不同问题的情况下，比如一位老师对全班同学使用同一个教学计划。

论文的核心思想： “智能图书管理员”机器人

来自伊朗科学技术大学的作者提出了另一种缩小这些可重复使用手册的新方法。他们称之为图感知强化学习（Graph-Aware Reinforcement Learning）。这听起来很拗口，让我们用一个故事来拆解它。

想象一下，你的可重复使用手册是一个巨大且杂乱的便利贴图书馆。有些笔记只是通用建议，有些是具体示例，有些是数学公式，还有些是关于如何格式化答案的严格规则。过去，人们尝试通过只抓取前几个笔记或挑选与问题相似的笔记来缩小图书馆。但这就像试图通过只抓取看到的头几个物品来打包行李一样；你可能会把牙刷落在后面！

作者提出了一种更聪明的方法。首先，他们不把笔记库看作一个简单的列表，而是将其视为一个蜘蛛网（或称为图）。在这个网中，每个笔记都是一个节点，而连接它们的线展示了笔记之间的相互关系。一个关于公式的笔记可能会与一个使用该公式的示例笔记相连。一条关于“禁止负数”的规则可能会与一个特定的数学问题相连。这个“蜘蛛网”有助于系统理解哪些笔记是“好朋友”应该放在一起，而哪些仅仅是“熟人”。

接下来，他们使用一种称为强化学习的技术训练了一位智能图书管理员。把这想象成一个电子游戏，图书管理员的任务是决定保留哪些便利贴，丢弃哪些。图书管理员并不知道机器人大脑内部的谜题答案（因为机器人是一个“黑盒”——我们看不见它的内部齿轮）。相反，图书管理员通过试错来学习。它挑选一组笔记，发送给机器人，然后观察机器人是否得到了正确答案。

如果机器人答对了且手册很短，图书管理员会获得高分。
如果机器人答错了，图书管理员会受到惩罚。
如果图书管理员丢弃了一个实际上至关重要的笔记（比如一条隐藏规则），它会受到严厉的惩罚。

随着时间的推移，图书管理员学会了哪些笔记对于机器人的成功至关重要，哪些只是冗余信息。它学会了保持逻辑“蜘蛛网”的完整性，即使这意味着要移除许多笔记。

他们的发现：更短的手册，同样的聪明机器人

研究人员在两种非常困难的任务类型上测试了这个“智能图书管理员”：数学问题（如 GSM8K 和 MATH 数据集中的问题）和编写计算机代码（使用 MBPP 和 HumanEval 数据集）。他们将这种方法与其他缩小提示词的方法进行了对比，例如随机切断文本或根据相似度挑选笔记。

结果非常令人印象深刻。作者发现，他们的方法可以将可重复使用的手册缩小 52.6%——这意味着他们删除了超过一半的文本！尽管删减了这么多，机器人的解题能力仅下降了微小的 1.0 个百分点。从这个角度来看，其他仅仅通过随机切断或基于相似度进行压缩的方法，会导致机器人的准确率大幅下降（有时甚至下降超过 8 个百分点）。

由于他们删减了大量文字，他们还节省了大量的资金和时间。他们估计，使用这种压缩后的手册可以节省约 40.3% 的输入成本。在现实世界中，这意味着如果你的任务是使用同一个教学计划询问数千个问题，机器人会回答得更快，运行成本也会更低。

为什么这很重要（以及它做不到什么）

论文指出，这种方法是一个巨大的进步，因为它并不试图重写手册或将其总结成新的词汇。相反，它只是选择现有的最佳片段。这一点很重要，因为它保持了指令的清晰度，并防止机器人被编造出来的总结所误导。

然而，作者也谨慎地指出，这并不是适用于所有情况的灵丹妙药。他们的方法最适用于拥有可重复使用手册且用于许多不同问题的场景。如果你是在进行一次性的、具有独特背景的问题提问，训练“智能图书管理员”所花费的时间可能并不值得这些节省下来的成本。此外，该方法依赖于手册首先被分解为清晰的“便利贴”（推理单元）；如果笔记本身就很混乱，图书管理员可能会难以应对。

最后，这篇论文表明，未来高效 AI 的方向不仅仅是让模型变得更大或更快，而是要更聪明地对待我们喂给它们的内容。通过将提示词视为思想的连接网络而非简单的单词列表，我们可以让我们的 AI 助手在不丢失其核心能力的条件下，保持敏锐、快速且经济实惠。

技术摘要：面向黑盒大语言模型可重用提示词压缩的图感知强化学习

问题陈述

大语言模型（LLMs）日益依赖长且可重用的推理上下文——包括指令、工作示例、约束条件、公式和输出格式规则——来执行数学推理和代码生成等复杂任务。虽然这些上下文增强了性能，但在大量用户查询中重复使用它们会产生显著的输入 Token 成本、推理延迟以及上下文窗口占用。

现有的压缩方法在黑盒 LLM 设置（如商业 API）中面临关键局限性：

截断与摘要： 这些方法往往会移除逻辑上必要的信息或重写内容，从而带来幻觉风险并降低可解释性。
对内部信号的依赖： 许多方法依赖于梯度、Logits 或注意力分数，而这些在闭源模型中是无法获取的。
Token 级 vs. 单元级： Token 级的压缩可能会破坏方程、代码语法或逻辑依赖关系。
缺乏任务感知能力： 基于相似性的方法可能会保留语义相关但逻辑冗余的单元，同时丢弃关键的约束条件。

核心挑战在于制定一种抽取式的、任务感知的压缩框架，该框架必须严格作为黑盒运行，在不访问模型内部参数的情况下，在最小化 Token 数量的同时，保留执行正确性所需的函数性信息。

方法论

作者提出了一种利用近端策略优化（PPO）的图感知强化学习（RL）框架。该方法将可重用的推理上下文视为一个图，并学习一个策略，对推理单元进行离散的“保留或丢弃”决策。

1. 问题建模

模板级压缩： 系统优化一个固定的可重用上下文 ( $C$ )，该上下文与变化的特定任务查询 ( $x$ ) 配对。目标是学习一个用于部署的固定压缩上下文 $C'(z)$ ，而非针对每个查询进行压缩。
黑盒设置： 目标 LLM 被视为一个固定的环境 $F$ 。压缩器仅观察输入-输出对并接收任务级奖励；不使用任何内部信号。
单元级分割： 上下文被分割为语义完整的单元（例如，特定的示例、约束、公式），而非 Token，以保持语法和逻辑的完整性。

2. 图结构表示

可重用上下文被建模为一个图 $G_C = (V_C, E_C, W_C)$ ：

节点： 代表推理单元。
边：编码四种类型的关系：语义相似度、位置邻近性、单元类型关系以及显式依赖关系。
节点特征： 每个单元使用局部特征和任务分布感知特征（与训练查询分布的平均/最大相似度）进行嵌入，以确保策略学习的是通用效用而非特定于查询的相关性。

3. 策略与优化

策略网络： 一个图注意力网络（GAT）编码器处理图以生成上下文化的单元表示。策略头输出每个单元的保留概率。
动作空间： 一个二进制掩码 ( $z \in \{0, 1\}^M$ )，决定保留哪些单元。强制要求保留必要单元（如主要指令、输出分隔符）。
奖励函数： 奖励平衡了四个目标：
1. 正确性： 在一批查询上的任务表现（例如，精确答案匹配、单元测试通过率）。
2. 压缩率： 移除的 Token 比例。
3. 退化控制： 对于准确率损失超过阈值 $\epsilon$ 的惩罚。
4. 结构连贯性： 对于连接紧密的单元被不一致地保留或丢弃导致的碎片化现象的惩罚 ( $\Omega$ )。
算法： 使用近端策略优化（PPO）来稳定训练，应对黑盒 LLM 评估中常见的稀疏且多噪的奖励问题。

4. 部署

在部署期间，随机策略被替换为基于学习到的保留概率和单元长度的确定性贪婪选择。生成的压缩上下文会被缓存并用于所有未来的查询，通过重复推理带来的节省来回收离线训练成本。

核心贡献

任务感知 RL 建模： 一个将可重用推理上下文压缩建模为黑盒、任务感知 RL 问题的框架，通过专注于可重用模板和图结构依赖关系，扩展了以往的研究工作，优化目标为下游正确性而非仅仅是 Token 减少。
基于图的表示： 引入了一种捕捉推理单元之间语义、位置、类型及依赖关系的图模型，以防止结构性破碎的压缩。
抽取式 PPO 策略： 一种离散的、抽取式的压缩策略，通过学习“保留或丢弃”决策，无需重写内容或访问模型内部，确保了可解释性和 API 兼容性。
全面的评估： 在数学推理（GSM8K, MATH）和代码生成（MBPP, HumanEval）上进行了广泛的基准测试，证明了其在效率与准确性之间的强大平衡。
组件分析： 通过详细的消融实验验证了图建模、基于正确性的奖励以及 PPO 优化的必要性。

实验结果

实验在 GSM8K、MATH、MBPP 和 HumanEval 上进行，使用 GPT-4o-mini 作为主要目标模型，并进行了针对 Claude 3.5 Sonnet 和 Llama-3.1-70B-Instruct 的跨模型迁移测试。

压缩效率： 提议的方法实现了可重用推理上下文 52.6% 的压缩率。
成本节省： 这带来了估计 40.3% 的输入 Token 成本降低 以及显著的延迟降低。
准确率保持： 相对于全上下文基准，准确率下降限制在 1.0 个百分点以内，显著优于静态截断（损失 8.4 pp）和基于相似性的选择（损失 5.2 pp）等基准方法。
鲁棒性： 与启发式和其他基于 RL 的基准相比，该方法在不同压缩预算（低至 25% 保留率）下表现出卓越的稳定性。
跨模型迁移： 当应用于未见过的模型且无需微调时，压缩后的上下文仍保持了高性能，准确率损失分别为 1.8 pp（Claude）和 2.7 pp（Llama），表明学习到的策略捕捉到了通用的推理模式。

意义与主张

论文认为，针对推理密集型应用的有效提示词压缩必须优先考虑功能必要性，而非仅仅是 Token 减少。作者主张：

图感知建模对于保留指令、示例和约束之间的逻辑依赖至关重要，而简单的相似性指标会忽略这一点。
任务级反馈（正确性）是比输出相似度或困惑度更优越的奖励信号，因为它直接将压缩与解决任务的目标对齐。
黑盒兼容性可以在不牺牲性能的情况下实现，这使得该方法对于内部信号不可用的商业 API 型 LLM 系统具有实际应用价值。
可重用上下文优化提供了独特的经济优势：虽然训练需要离线黑盒调用，但生成的压缩模板在多次查询的重复使用中能提供累积的成本节省，这使其成为教育工具、编程助手和技术支持系统的理想选择。

研究结论指出，尽管压缩会引入风险（例如，移除隐藏的约束），但所提出的框架通过结构正则化和退化控制缓解了这些风险，为降低推理成本同时维持推理质量提供了一条切实可行的路径。