技术摘要：IterCOMP

问题陈述

多跳问答（Multi-hop Question Answering, QA）需要跨多个证据段进行推理，以得出正确答案。虽然检索增强生成（RAG）系统通过引入外部信息缓解了大型语言模型（LLM）的知识局限性，但它们在效率和有效性方面面临着显著挑战。检索长文档会引入高推理延迟、增加计算成本，以及“迷失在中部”（lost-in-the--middle）现象，即模型难以在噪声中关注到相关信息。

现有的提示词压缩方法试图通过减少输入长度来解决这些问题。然而，大多数方法是为单轮查询设计的，且依赖于表层相关性匹配。它们无法捕捉多跳问答所需的相互依赖且连续的推理步骤，往往会丢弃关键的中间线索，或保留会干扰模型的无关内容。因此，当前的方法难以有效地综合来自多个来源的信息，导致上下文理解不完整。

方法论：IterCOMP

作者提出了 IterCOMP，这是一个专门为多跳问答设计的统一、无需训练的提示词压缩框架。与静态压缩方法不同，IterCOMP 通过迭代细化过程，将多跳推理直接集成到压缩循环中。该框架无需对底层 LLM 进行微调即可运行，使其适用于开源和商业黑盒模型。

该流水线由四个关键阶段组成：

1. 文档分解（Document Decomposition）： 将检索到的文档分割成较小的证据单元（在本研究中具体为句子），以在实现细粒度过滤的同时保留局部语义上下文。
2. 相关证据过滤（Relevant Evidence Filtering）： 通过双维度相关性评分机制过滤候选片段。该机制结合了：
   • 语义相似度（Semantic Similarity）： 通过稠密向量嵌入计算，以捕捉上下文对齐。
   • 词汇相似度（Lexical Similarity）： 通过加权标记重叠计算，以捕捉精确的关键词匹配，这对于多跳推理至关重要。
   • 这些分数被合并为一个单一指标，超过百分比阈值的片段将被保留。
3. 可回答性判断与缺失信息识别（Answerability Judgment & Missing Information Identification）： LLM 充当推理控制器，评估累积的证据集（$E_{cand}$）：
   • 可回答（Answerable）： 如果现有证据足以回答原始问题，则过程终止，当前的集合成为最终的压缩提示词。
   • 不可回答（Unanswerable）： 如果证据不足，LLM 会识别特定的信息缺口并生成有针对性的后续问题（follow-up question）。
4. 迭代累积（Iterative Accumulation）： 生成的后续问题作为新的查询，用于检索和过滤额外的证据。这个循环会重复进行，直到问题被判定为可回答，或者达到最大迭代限制，从而逐步构建一个紧凑的、面向推理的提示词。

核心贡献

• 迭代推理循环： 本文引入了一个将多跳推理显式纳入压缩过程的框架，超越了单查询相关性匹配，以处理相互依赖的推理步骤。
• 无需训练的设计： IterCOMP 在无需训练或微调压缩模型的情况下运行，而是依靠预训练 LLM 固有的推理能力进行判断和问题生成。
• 双维度过滤： 该方法结合了语义和词汇信号，以确保既有广泛的上下文相关性，又有精确的关键词覆盖，解决了纯语义或纯词汇压缩的局限性。
• 动态证据累积： 通过使用可回答性判断来触发有针对性的后续问题，该框架动态地仅累积所需的关键证据，避免了静态压缩中常见的信息丢失。

实验结果

作者在三个多跳问答基准测试上评估了 IterCOMP：MuSiQue、2WikiMultiHopQA 和 HotpotQA。该框架与最先进的硬提示词压缩基准（如 LLMLingua、LongLLMLingua、R2C）以及“原始文档”（Raw Documents）基准进行了对比。

• 性能提升： IterCOMP 在所有数据集上均取得了最高的精确匹配（EM）和 F1 分数。例如，在 MuSiQue 上，它将 F1 分数从 19.92（原始文档）提高到 27.36，显著超过了第二好的基准（R2C）4.92 个百分点。
• 效率： 该框架实现了显著的标记缩减（例如，在 MuSiQue 上实现了 7 倍缩减），同时保持或提高了相对于未压缩基准的准确性。
• 鲁棒性： 虽然随着推理复杂度的增加性能自然下降（例如，MuSiQue 的 F1 分数从 2-hop 的 30.19 降至 4-hop 的 20.72），但 IterCOMP 通过动态调整其行为展示了鲁棒性。具体而言，它增加了平均迭代次数（从 1.98 增加到 3.08）并扩大了保留的证据库（从 228 个标记增加到 403 个标记），以更好地支持更长的推理链，从而减轻了性能下降的严重程度，优于静态方法。
• 成本与速度： 在基于 API 的商业 LLM（GPT-3.5、GPT-4o、Gemini、Claude）实验中，该框架降低了 75.5%–79.4% 的运营成本，并将推理速度提升了 1.13 倍至 2.01 倍。
• 消融实验： 移除迭代细化组件会导致最大的性能下降，证实了证据累积的必要性。同样，结合语义和词汇评分证明了其优于仅使用单一信号的效果。

重要性与主张

本文声称，IterCOMP 通过解决长上下文中的性能下降和大规模推理的经济负担，为复杂的多文档 LLM 应用提供了一种稳健且可扩展的解决方案。

关于其重要性的关键主张包括：

• 弥合差距： IterCOMP 有效地弥合了原始文档输入与理想“Oracle”设置（即仅提供金标准文档的情况）之间的性能差距，在 HotpotQA 上填补了超过 50% 的差距。
• 通用适用性： 其模型无关且无需训练的特性，使其能够立即集成到无法进行微调的商业黑盒 LLM 中。
• 推理感知压缩： 该工作表明，有效的多跳问答压缩不仅仅是减少长度，还需要一个能够迭代识别并填补信息缺口的推理感知过程。

作者承认了局限性，指出该框架的有效性取决于底层 LLM 的推理能力（存在错误传播的风险），且迭代设计与单次处理方法相比会产生额外的开销。他们建议未来的工作可以专注于自适应超参数调优和更复杂的评分方案。