💬 NLP

ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs

该论文介绍了 ATACompressor，一种自适应任务感知压缩方法，它通过动态选择并仅压缩与任务相关的长上下文部分来缓解“迷失在中部”问题，从而在 QA 基准测试的压缩效率和任务性能方面均优于现有方法。

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, Qingyao Ai, Yiqun Liu

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, Qingyao Ai, Yiqun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但非常忙碌的图书管理员（即大语言模型，或 LLM）。这位管理员非常擅长回答问题，但他们有一个问题：如果你递给他们一叠 100 本书来寻找一个特定的事实，他们会感到不知所措。他们可能会扫一眼前几页，被中间的章节分了心，从而完全错过了隐藏在书堆中间或结尾处的关键答案。这就是研究人员所说的**“迷失在中间”（lost in the middle）**问题。

通常，为了帮助这位图书管理员，我们会尝试为他们总结这些书。但现有的总结工具有两个主要缺陷：

“剪刀”法（硬提示/Hard Prompts）： 他们剪掉他们认为无聊的句子。这种方法很安全，但往往会导致生成的摘要仍然过长，无法实现真正的效率。
“隐形墨水”法（软提示/Soft Prompts）： 他们将整本书变成一段极小的、不可见的编码。这非常简短，但因为他们在总结时并没有参考你的具体问题，所以往往会不小心丢弃掉你真正需要的那个句子。

于是，ATACompressor 应运而生，这是一个旨在解决这两个问题的全新工具。你可以把它想象成一个智能且具有适应性的助手，在图书管理员打开书本之前就先为他们提供帮助。

以下是 ATACompressor 的工作原理，分为三个简单的步骤：

1. 选择性阅读者（“选择性编码器”）

这个助手不会从头到尾阅读整本书，而是首先查看你的具体问题。

类比： 想象你问：“那匹马是什么颜色的？”助手不会去总结马的饮食、马厩的历史或骑手的传记。他们只会高亮并保留提到马的颜色的句子。
工作原理： 它扫描长文本，忽略废话，只压缩与你的问题真正相关的部分。这确保了“关键信息”不会丢失。

2. 智能预算管理者（“自适应分配控制器”）

这是最独特的部分。在过去，压缩工具都有一个“一刀切”的规则（例如：“始终将 1,000 个单词转化为 10 个单词”）。

类比： 想象你在为旅行打包。如果你是去度周末，你需要一个小型背包。如果你是去一个月，你需要一个巨大的行李箱。一个僵化的规则会强迫你在周末旅行时使用行李箱（浪费空间），或者在长途旅行时使用背包（漏掉衣服）。
工作原理： ATACompressor 有一个“预算管理者”，它会观察“选择性阅读者”找到的相关文本。
- 如果答案隐藏在一个短段落中，管理者会说：“我们只需要极小的空间（少量 token）。”
- 如果答案散布在一个长章节中，管理者会说：“我们需要一个更大的行李箱（更多 token）。”
- 这种动态调整确保了图书管理员能获得恰好足够完成任务的信息，不多也不少。

3. 结果：一个打包完美的公文包

一旦助手选择了正确的部分并决定了合适的尺寸，他们就会将这些信息压缩成一个微小且密集的 token“公文包”。然后，他们将这个公文包交给图书管理员。

因为公文包只包含相关信息，图书管理员不会感到不知所措。
因为公文包的大小与任务的复杂度相匹配，图书管理员恰好拥有足够的细节来给出完美的答案。

研究发现

作者在三种不同的“阅读测试”（数据集称为 HotpotQA、MSMARCO 和 SQUAD）上测试了这个系统。

更好的答案： ATACompressor 在这些测试中的得分高于以往的方法。它更擅长寻找正确答案，尤其是在其他方法失效的长文本中。
更高效： 它在不丢失重要信息的前提下，将信息压缩得更加紧凑（更高的压缩率）。
更快： 因为图书管理员需要阅读的垃圾信息变少了，整个过程也变得更快了。

简而言之： ATACompressor 就像是一个智能过滤器和灵活打包系统的结合体。它阅读你的问题，抓取必要的实事，将它们打包成完美契合任务大小的形式，然后交给 AI，以便 AI 能在没有噪音干扰的情况下，为你提供尽可能完美的答案。

技术摘要：ATACompressor

问题陈述

大语言模型（LLMs）在处理长上下文输入时面临显著挑战，主要是“迷失在中部”（lost in the middle）现象，即由于序列过长，关键信息会被稀释或忽略。虽然检索增强生成（RAG）提供了外部上下文，但将原始文档 Token 简单堆叠的朴素方法往往会使模型过载。现有的上下文压缩方法试图缓解这一问题，但存在特定的局限性：

硬提示方法（如 Selective-Context、LongLLMLingua）移除不相关的 Token，但通常压缩率较低。
软提示方法（如 AutoCompressor、ICAE、500Compressor）将文本压缩为稠密的 Token 序列，实现了高压缩率。然而，它们通常不加区别地压缩整个上下文，导致任务相关信息的丢失，因为它们在压缩过程中缺乏任务感知能力。此外，这些方法通常采用固定的压缩 Token 数量，无法针对不同任务中变化的信息密度进行动态调整。

方法论：ATACompressor

作者提出了自适应任务感知压缩器（Adaptive Task-Aware Compressor, ATACompressor），这是一个旨在根据特定任务需求动态调整压缩程度的框架。该架构由三个主要部分组成：选择性编码器（Selective Encoder）、**自适应分配控制器（Adaptive Allocation Controller, AAC）**以及目标 LLM（解码器）。

1. 选择性编码器 ( $\varphi$ )

与处理整个上下文的传统软提示压缩器不同，选择性编码器旨在识别并仅压缩与查询（ $Q$ ）相关的上下文部分（ $\hat{C}_{Rel}$ ）。

架构： 它利用带有可训练 LoRA 参数的冻结大语言模型（LLM）。
粒度处理： 为了解决“相关性”的歧义性（其粒度可以从句子级到文档级不等），输入上下文被分割成均匀的块（例如段落或句子），并在训练期间与真值（ground-truth）粒度保持一致。编码器学习仅保留并压缩回答查询所必需的块。
流程： 编码器处理拼接后的块与查询，输出一组代表相关信息的紧凑压缩 Token（ $c_1, ..., c_k$ ）。

2. 自适应分配控制器 (AAC)

AAC 解决了现有软提示方法中固定压缩率的局限性。它根据估计的相关内容长度，动态确定压缩 Token 的数量（ $k$ ）。

组件： 它包含一个轻量级的探测器（Probe, $\zeta$ ）和一个策略函数（Policy Function, $\eta$ ）。
机制： 在选择性编码器处理输入后，探测器分析编码器的隐藏状态，以估计相关文本的长度（ $\hat{L}_{Rel}$ ）。随后，策略函数使用预定义的策略比例（ $r$ ）计算压缩 Token 的数量（ $k$ ）：
$k = \min(\frac{\hat{L}_{Rel}}{r}, k_{max})$
优势： 这使得系统能够为较短的相关片段分配较少的 Token，为较长的相关片段分配较多的 Token，从而在优化资源利用的同时保留核心信息。

3. 训练与推理工作流

预训练： 选择性编码器和探测器进行联合优化。编码器通过交叉熵损失进行训练，以重建相关上下文（真值）；探测器通过 Huber 损失进行训练，以预测相关文本的长度。
微调： 选择性编码器在下游任务（如问答 QA）上进一步训练，其中目标 LLM 基于压缩后的键值（KV）表示生成答案。
推理： 系统以并行方式运行。当选择性编码器处理输入时，AAC 在第一个压缩 Token 生成之前便预测所需的 Token 数量（ $k$ ），确保不会中断自回归流。

核心贡献

任务感知压缩： 引入了选择性编码器，用于过滤并压缩仅与任务相关的上下文，防止了全局压缩方法中常见的关键信息丢失问题。
自适应资源分配： 开发了 AAC，根据估计的相关内容长度动态调整压缩率，超越了固定 Token 的限制。
粒度感知训练： 通过在训练期间将上下文预分割为均匀的块，制定了一种处理不同标注粒度（句子级 vs 文档级）的策略，增强了编码器的适应性。

实验结果

作者在三个问答基准测试上评估了 ATACompressor：HotpotQA（文档级）、MSMARCO（段落级）和 SQUAD（句子级），并使用 LLaMA-2-7B 和 Qwen-2-7B 作为骨干模型。

性能： ATACompressor 在 精确匹配（EM） 和 F1 分数 上均一致优于最先进的基准方法（包括 Selective-Context、LongLLMLingua、AutoCompressor、ICAE、500Compressor 和 QGC）。例如，在以 Qwen-2-7B 为基础的 HotpotQA 上，它达到了 80.23 的 F1 分数，而次优方法 QGC 为 72.36。
效率： 该方法在实现高 压缩率（CR）（高达约 27 倍）的同时，保持了具有竞争力的 吞吐量（TP）。与依赖复杂外部检索器的 QGC 等方法相比，它展示了卓越的效率。
消融实验： 移除 AAC（固定 Token 数）或移除选择性编码器（压缩整个上下文）会导致性能显著下降，验证了这两个组件的必要性。
鲁棒性： 即使在压缩 Token 数量减少的情况下，该模型仍能保持性能稳定性，在低 Token 场景下表现优于基准方法。它在 LongBench 任务（摘要和少样本学习）上也展现了强大的泛化能力。

重要性与主张

论文声称 ATACompressor 为高效处理长上下文提供了一个可扩展的解决方案。通过将任务感知集成到压缩过程中并动态分配资源，它有效地平衡了信息保留与压缩效率之间的权衡。作者断言，这种方法不仅缓解了“迷失在中部”的问题，还降低了推理成本和延迟，使其适用于实时和大规模应用，且无需对底层 LLM 进行架构修改。这项工作被视为推动 RAG 和长上下文 LLM 应用走向实用化和高效化的重要一步。