SWE-Pruner: Self-Adaptive Context Pruning for Coding Agents

以下是论文《SWE-Pruner：面向编程代理的自适应性上下文剪枝》的详细技术总结。

1. 问题陈述

大语言模型（LLM）代理在软件工程任务中展现了巨大潜力，涵盖从代码理解到自主补丁生成。然而，其有效性受到“上下文墙”的严重阻碍：

• 令牌累积：现实世界的软件仓库规模庞大。代理在导航这些仓库时，会累积漫长的交互历史和原始文件内容，迅速耗尽即使是长上下文模型的上下文窗口。
• 成本与延迟：盲目摄入大量代码会导致高昂的 API 成本和推理延迟。
• 注意力稀释：过多的上下文引入噪声，导致“注意力稀释”和幻觉，使模型难以聚焦于关键的实现细节。
• 现有方案的局限性：当前的上下文压缩方法（如 LongLLMLingua、Selective-Context）依赖于困惑度（PPL）或自信息等静态指标。这些方法与任务无关，且通常在令牌（token）级别操作，这会破坏代码的语法和逻辑结构，使其无法用于调试或编译。它们无法适应多轮代理交互中动态演变的目標。

2. 方法论：SWE-Pruner

作者提出了SWE-Pruner，这是一种专为编程代理设计的自适应性上下文剪枝框架。它作为代理与环境之间的中间件运行，拦截文件读取命令（如 cat、grep），在原始上下文到达 LLM 之前对其进行过滤。

核心组件

1. 目标提示生成：

   • 不同于静态压缩，代理被指示生成目标提示——即对其当前信息需求的自然语言描述（例如，“关注 Auth 模块中的错误处理逻辑”）。
   • 该提示作为可选参数（context_focus_question）传递给剪枝系统，从而实现任务感知的过滤。

2. 轻量级神经快速扫描器：

   • 架构：基于 Qwen3-Reranker-0.6B 的 0.6B 参数模型。其设计旨在实现低延迟和高效率。
   • 机制：该扫描器将上下文剪枝视为一个重排序问题。给定查询（目标提示）和上下文（原始文件内容），它计算相关性得分。
   • 行级粒度：与令牌级剪枝不同，SWE-Pruner 将令牌得分聚合到行级。这确保了语法结构（如函数定义、类块）保持完整，防止代码损坏。
   • 训练目标：该模型使用条件随机场（CRF） 损失进行训练，以建模“保留”和“剪枝”决策之间的序列依赖关系，确保连贯的行级保留。它还包含一个文档级重排序头，以维持全局相关性。

3. 训练数据构建：

   • 由于不存在带有编程代理行级相关性标注的数据集，作者利用师生范式构建了一个61K 样本的多语言语料库。
   • 教师 LLM（Qwen3-Coder-30B）从 GitHub 仓库中合成面向任务的查询和行级保留掩码，涵盖九种不同的代理任务（如调试、重构、功能添加）。
   • 通过"LLM 作为裁判”机制过滤数据，以确保高质量标注。

4. 集成工作流：

   • 该框架被集成到代理循环中（如 Mini SWE Agent、OpenHands）。当代理读取文件时，原始输出连同目标提示一起发送给扫描器。扫描器返回仅包含相关行的剪枝后上下文，随后由代理进行处理。

3. 主要贡献

• 任务感知剪枝框架：提出了一种新颖的方法，根据代理的具体推理目标动态调整上下文压缩，超越了仅基于内容的静态压缩。
• 行级结构保持：设计了一种轻量级神经快速扫描器，在行级进行操作，保持语法有效性和逻辑结构，这对代码正确性至关重要。
• 高效架构：开发了一个 0.6B 参数模型，在实现显著令牌减少的同时引入可忽略的延迟（<100ms），使其适用于实时代理工作流。
• 合成数据流水线：创建了一个严格的流水线，用于生成高质量的、行级监督的代码剪枝数据，解决了该领域关键的数据缺口。

4. 实验结果

作者在四个基准测试中评估了 SWE-Pruner：SWE-Bench Verified 和 SWE-QA（多轮代理任务），以及 Long Code Completion 和 Long Code QA（单轮任务）。

• 多轮代理任务（SWE-Bench Verified）：

  • 令牌减少：总令牌消耗减少了 23–38%。
  • 成功率：令人惊讶的是，成功率提升了 1.2–1.4 个百分点（例如，使用 Claude Sonnet 4.5 时从 70.6% 提升至 72.0%）。
  • 效率：交互轮数减少了 18–26%，表明代理在聚焦的上下文中能做出更果断的决策。
  • 成本：API 成本显著降低（节省高达约 36%）。

• 单轮任务（Long Code QA/Completion）：

  • 压缩率：在严格约束下，Long Code QA 实现了高达 14.84 倍 的压缩，远超 LLMLingua2 和 RAG 等基线。
  • 性能：与完整上下文相比，保持了或略微提高了准确率（例如，在 14.84 倍压缩下准确率为 58.71%），而令牌级基线在高压缩下遭受了严重的性能下降。

• 效率与延迟：

  • 0.6B 扫描器增加了极小的开销（首令牌延迟 <100ms），这被下游 LLM 解码成本的巨大减少所抵消。
  • AST 正确性：SWE-Pruner 保持了 87.3% 的 AST 正确性（语法有效性），显著优于令牌级方法（后者降至接近 0% 或 <13%）。

5. 意义

• 解决上下文墙：SWE-Pruner 为编程代理的上下文窗口限制提供了可扩展的解决方案，使其能够在不产生高昂成本或丢失焦点的情况下导航大型、复杂的代码库。
• 范式转变：它将上下文管理从静态压缩转变为动态、目标驱动的筛选，模仿人类开发者如何根据特定的调试或功能目标“略读”代码。
• 实际可行性：该框架轻量级、与模型无关（适用于 Claude、GLM、Qwen 等），并可无缝集成为中间件，使其能够立即应用于现有的代理基础设施。
• 质量优于数量：结果表明，对于编程代理而言，较少的上下文往往更好，前提是保留的上下文在结构上完整且与当前任务在语义上相关。这挑战了长上下文 LLM 研究中普遍存在的“上下文越多越好”的假设。