Compressing Code Context for LLM-based Issue Resolution

论文标题：Compressing Code Context for LLM-based Issue Resolution

作者：Haoxiang Jia (北京大学), Earl T. Barr (UCL), Sergey Mechtaev (北京大学)
核心目标：解决大语言模型（LLM）在修复 GitHub 真实代码库问题时，因上下文过大导致的成本高昂和效果下降问题，提出一种既能大幅压缩 Token 又能保留关键修复要素的压缩框架。

---

1. 问题背景 (Problem)

尽管 LLM 已能解决真实的 GitHub 问题，但在实际应用中面临两个核心瓶颈：

1. 上下文过近似 (Over-approximation)：现有的检索方法（如基于相似度或 RAG）为了不漏掉关键依赖，通常返回大量冗余代码（数百行），导致上下文窗口被无关代码淹没。
2. 双重负面影响：
   • 成本高昂：推理成本与输入上下文大小成正比。
   • 效果下降：无关代码（噪声）会分散模型注意力，使其忽略真正的“修复信号”（Bug-fixing signal），导致修复失败。

现有方案的局限性：

• 通用压缩器：将代码视为自然语言处理，破坏了代码的语法结构和语义链接（如定义 - 引用关系）。
• 代码特定剪枝工具：基于静态启发式规则（如与 Bug 描述的相似度）进行剪枝，但往往无法识别那些与 Bug 描述无直接词汇相似性、但对构建正确补丁至关重要的“修复要素”（Fix Ingredients）。

---

2. 方法论 (Methodology)

作者提出了一个名为 SWEzze 的框架，包含两个核心组件：Oracle-guided Code Distillation (OCD) 和 SWEzze 压缩模型。

2.1 Oracle-guided Code Distillation (OCD)：数据蒸馏

为了训练一个能识别“修复要素”的模型，首先需要构建高质量的训练数据，将过大的初始上下文 $C_{init}$ 蒸馏为最小充分上下文 (Minimal Sufficient Context, MSC)。

• 定义：MSC 是一个最小子序列，移除其中任何元素都会导致 LLM 无法生成通过测试的补丁。
• 两阶段搜索策略：
  1. 遗传算法 (Genetic Algorithm, GA)：在指数级的上下文配置空间中搜索，寻找能生成成功补丁的初始子集。利用优先级评分（基于补丁重叠、测试覆盖率、符号重叠）引导搜索方向。
  2. 分层差异调试 (Hierarchical Delta Debugging, HDD)：对 GA 找到的子集进行进一步最小化。从文件级、函数级到代码块级，逐层移除冗余单元，直到达到 1-最小性（1-minimality）。
• 搜索空间表示：采用分层结构（文件 -> 函数/类 -> 代码块），确保剪枝后的代码在语法上是合法的（通过占位符保留结构）。

2.2 SWEzze 压缩模型

利用 OCD 生成的蒸馏数据训练一个轻量级的推理模型。

• 模型架构：基于 Qwen3-Reranker-0.6B 进行微调，采用 Cross-Encoder 架构。
• 训练目标：学习将初始上下文 $C_{init}$ 映射到其对应的 MSC $\hat{C}$。模型接收“问题描述 + 故障位置”作为查询 $q$，对每个代码片段 $s$ 进行打分，预测是否保留。
• 训练技巧：
  • LoRA 微调：参数高效，适应不同硬件。
  • 类别不平衡处理：由于保留的片段远少于丢弃的片段，采用类别权重和基于语义角色的样本加权（Schema 类片段权重更高），防止模型倾向于全部丢弃。
• 推理过程：对输入上下文进行分段，批量打分，最后通过预算感知的贪婪选择组装压缩后的上下文。

---

3. 关键贡献 (Key Contributions)

1. Oracle-guided Code Distillation (OCD) 框架：提出了一种结合遗传算法和分层差异调试的新方法，能够系统性地从昂贵的大模型（Oracle）中提取最小充分上下文，作为训练信号。
2. SWEzze 压缩模型：首个专门针对 LLM 问题修复设计的上下文压缩模型。它不依赖静态启发式规则，而是学习保留“修复要素”（Fix Ingredients），同时过滤噪声。
3. 全面的评估与发现：在 SWE-bench Verified 上验证了 SWEzze 的有效性，证明了保留修复充分性比单纯追求最大压缩率或词汇相似度更重要。

---

4. 实验结果 (Results)

在 SWE-bench Verified 数据集上，使用三种前沿 LLM（GPT-5.2, DeepSeek-V3.2, Qwen3-Coder-Next）进行评估：

• 修复成功率 (Resolution Rate)：

  • SWEzze 在所有模型上均取得了最佳的修复率。
  • 相比无压缩设置（No_compression），修复率提升了 5.0% – 9.2%。
  • 相比无上下文设置（No_context），修复率提升了 8.8% – 13.0%。
  • SWEzze 覆盖了解决实例的并集的 93.8% – 99.2%，表明它能解决其他基线方法遗漏的困难案例。

• 压缩效率与成本：

  • 压缩率：稳定保持在 6 倍 左右（约 6×），比基线方法更稳定。
  • Token 节省：相比无压缩设置，总 Token 预算减少了 51.8% – 71.3%。
  • 延迟：平均压缩延迟约为 6.1 秒，比 LongCodeZip 快 4.0 倍，虽然比纯启发式方法（如 SWE-Pruner）慢，但在压缩效果、稳定性和延迟之间取得了最佳平衡。

• 案例分析：

  • 基线方法（如 LongCodeZip, SWE-Pruner）常因移除关键上下文（如变量定义、类型定义）或保留误导性代码而导致修复失败。
  • SWEzze 能准确保留如 resize 方法或特定的 API 调用逻辑等关键“修复要素”。

---

5. 意义与结论 (Significance & Conclusion)

• 范式转变：该研究将代码上下文压缩的目标从“基于相关性（Relevance）的剪枝”转变为“基于充分性（Sufficiency）的蒸馏”。即不再问“这段代码与 Bug 有多像”，而是问“保留这段代码是否足以生成正确补丁”。
• 实际价值：证明了在 LLM 驱动的软件工程中，智能选择上下文比简单减少 Token 数量更能提升系统性能。SWEzze 在降低推理成本的同时，反而提高了修复成功率。
• 通用性：OCD 提取的“修复要素”捕捉了代码的深层语义依赖，使得训练出的 SWEzze 模型在不同架构和供应商的 LLM 之间具有良好的迁移性（Model-agnostic）。

总结：SWEzze 通过引入 Oracle 引导的蒸馏技术，成功解决了 LLM 在代码修复任务中面临的上下文噪声与成本矛盾，为构建高效、低成本的自动化软件修复系统提供了新的技术路径。