💻 computer science

From Fragments to Paths: Task-Level Context Recovery for Large Industrial Codebases

该论文介绍了 DeepDiscovery，这是一个两阶段的“定位—推理”框架，通过超越局部代码片段，有效地从大型工业级代码库中恢复与任务相关的上下文，从而显著提升了在复杂软件工程任务上的文件检索和编码智能体性能。

原作者： Jiawei He, Weisong Sun, Mengyu Shi, Jie Jia, Tong Bian, Xikai Yang, Dong Sun

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiawei He, Weisong Sun, Mengyu Shi, Jie Jia, Tong Bian, Xikai Yang, Dong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位试图在一个庞大且混乱的城市（即大型工业级代码库）中破解复杂案件的高级侦探。这个城市拥有数百万栋建筑、秘密隧道、隐藏的布线以及不断变化的街道指示牌。你的任务是找到解决犯罪（即任务，如修复 Bug 或添加功能）所需的特定线索。

问题在于，大多数现有的侦探工具（现有的 AI 方法）就像只能照亮眼前街角的电筒。它们可能会找到一些相关的文档，但会错过至关重要的连接：建筑之间的隐藏布线、特定机器的使用手册，或是隔了三个街区外的测试日志。如果看不清全局，侦探就会陷入困境。

这篇论文介绍了一种新的侦探工具，名为 DEEPDISCOVERY。它不再只是随机地照亮某些点，而是使用一种聪明的两步策略，来重建侦探完成任务所需行走的整个“路径”。

以下是它的工作原理，使用了简单的类比：

1. 两步策略：“寻找锚点，然后追踪路径”

大多数工具试图同时搜索整个城市，这既慢又混乱。DEEPDISCOVERY 分为两个阶段工作：

第一阶段：锚点（定位）
想象你正在体育场里寻找一个特定的人。与其扫描每一个座位，你首先寻找“高置信度”的入口点：比如提到的球队标志、特定的区域编号或 VIP 通行证。
- 在论文中： 系统快速扫描代码以找到一些“锚点”（关键文件，如主配置文件或特定的服务入口点）。它利用文件名、文件夹结构和编码模式来推测行动发生的地点，而无需阅读每一行代码。
第二阶段：路径（推理）
一旦找到了锚点，侦探并不会止步于此。他们开始向外扩展“实现路径”。
- 在论文中： 系统从这些锚点向外扩展。它寻找显式链接（比如连接两个房间的门）和隐式链接（比如建筑蓝图中未写明的秘密隧道或两人之间的电话联系）。它通过这些连接进行追踪，以找到任务实际需要的配置文件、测试和相关代码。

2. “智能预算”（元数据优先）

想象你在为徒步旅行打包背包，但空间有限，只能装下几件物品。

旧方法： 你把整座图书馆都塞进包里，希望能找到那张正确的地图。这既沉重又缓慢。
DEEPDISCOVERY 的方法： 你先看书脊（元数据/摘要）。如果书脊显示这本书是关于“烹饪”的，你就把它留在书架上。只有当书脊表明它对你的徒步旅行至关重要时，你才会打开书并阅读其中的页面（加载全文）。
在论文中： 系统首先读取文件的“摘要”。只有当该文件的全文对任务绝对必要时，它才会加载沉重的全文内容。这节省了时间和成本（计算能力）。

3. 为什么这很重要：“新鲜度”问题

许多现有工具依赖于城市的预制地图（离线索引）。但在一个快速扩张的城市里，一旦有新建筑建成，地图就会立刻过时。

论文的观点： DEEPDISCOVERY 不等待新地图绘制完成。它是在此时此刻探索这座城市。这意味着即使代码每分钟都在变化，它也能完美运行，而这在大型公司中非常普遍。

4. 结果：解决更多的案件

作者通过三种方式测试了这个新的侦探工具：

试驾测试（方法层面）： 他们给了它 27 个中等难度的谜题。DEEPDISCOVERY 在 92.6% 的情况下找到了完整的一套必要线索，击败了所有其他工具。它在不需要预建任何地图的情况下完成了任务，因此速度更快、成本更低。
现实世界（工业系统）： 他们将它接入了一家大型公司使用的六个不同的真实 AI 编程助手中。在几乎所有案例中，这些助手在寻找修复问题所需的全套文件方面都变得更加出色。对于大型复杂项目，这种提升非常显著（成功率提升高达 9.2%）。
最终考试（端到端）： 他们在著名的软件工程任务基准测试 SWE-bench Verified 上对其进行了测试。
- 结果： 使用 DEEPDISCOVERY 的系统解决了 78.6% 的任务。
- 对比： 没有使用 DEEPDISCOVERY 的同一系统仅解决了 70.4% 的任务。
- 结论： 通过更好地理解代码，该系统在 500 个任务中多解决了 41 个任务。

总结

可以将 DEEPDISCOVERY 想象成一位不仅会阅读说明书最近一页，而且理解整台机器如何运作的侦探。它寻找起点，追踪隐藏的电线和连接，并且只在绝对必要时才阅读沉重的指令。

论文声称，通过这样做，AI 编程助手可以停止遗漏关键的拼图碎片，并开始更可靠地解决复杂的软件工程问题，尤其是在庞大且快速变化的代库中。

技术摘要：从碎片到路径：面向大型工业级代码库的任务级上下文恢复

1. 问题陈述

尽管大语言模型（LLMs）在各种软件工程（SE）任务中表现出了强大的性能，但可靠地理解大型工业级代码仓库仍然是一个重大挑战。现有的方法通常依赖于检索孤立的局部碎片（例如，通过语义相似性或静态依赖图），但无法恢复完成复杂仓库级任务所需的更广泛的任务相关上下文。

识别出的关键挑战包括：

碎片 vs. 路径： 成功完成任务通常需要对跨越接口、业务逻辑、配置、测试和跨模块依赖的完整实现链进行推理，而不仅仅是孤立的代码片段。
隐式依赖： 许多工业级仓库中的关键链接（例如，配置注册、依赖注入、事件传播）是以隐式方式表达的，会被标准的语义检索或显式静态分析所遗漏。
新鲜度与预算约束： 许多理解仓库的方法依赖于预构建的离线索引（向量数据库、静态图）。在频繁提交和模块变更的快速演进工业环境中，维护这些人工制品成本高昂，且会导致同步滞后，从而降低检索质量和及时性。

2. 方法论：DEEPDISCOVERY

作者提出了 DEEPDISCOVERY，一种旨在预算约束下、无需依赖离线预处理、实现任务级仓库理解的方法。该系统通过一个两阶段的 定位–推理（Location–Inference） 框架运行。

A. 仓库表示

仓库被建模为一个多关系图 $G = (V, A)$ ，其中 $V$ 代表人工制品（源文件、配置、测试）， $A$ 代表三类关系：

显式依赖： 导入（Imports）、调用（Calls）、继承（Inheritance）、引用（References）。
隐式任务相关链接： 配置到代码的映射、注册点、依赖注入的布线、事件绑定以及测试到实现的桥接（通过轻量级规则库提取）。
组织关系： 文件夹包含关系、模块边界、所有权线索以及物理邻近性。

B. 两阶段工作流

第一阶段：定位（任务锚点定位）

目标是识别一小组高置信度的入口点（锚点），以缩小搜索空间。此阶段包括：

环境感知分析： 推断任务相关的因素（技术栈、模块范围）以抑制无关区域。
自适应仓库压缩： 构建仓库的压缩视图，根据规模和预算调整粒度，在不加载全文的情况下保留结构线索。
规则引导的锚点定位： 使用结合了以下要素的评分函数对候选实体进行排序：
- 语义相似度（嵌入 + 词法匹配）。
- 与压缩结构视图的一致性。
- 规则模板匹配（命名模式、目录结构、框架关键字）。
- 针对人工制品角色的任务条件先验。

第二阶段：推理（多关系实现路径恢复）

从识别出的锚点开始，系统通过增量扩展来恢复更广泛的实现路径：

预算感知扩展： 系统根据优先级分数选择扩展动作（遵循显式/隐式链接或组织邻近性）： $Priority = \frac{Gain}{Cost}$ $P r i or i t y = \frac{G ain}{C os t}$ 。
- 收益（Gain）： 预估对任务相关性和路径完整性的提升。
- 成本（Cost）： Token 使用量和探索延迟。
候选集构建与重排序： 被选中的动作形成候选簇，在加入上下文之前进行过滤和重排序。
元数据优先的上下文构建： 为了优化预算，系统在每个实体的元数据视图（结构摘要）和全文内容之间进行选择。只有当提升分数表明下游推理有必要时，才会加载全文。

3. 核心贡献

DEEPDISCOVERY 框架： 一种针对大型工业级代码库的新颖方法，将仓库理解视为任务相关的上下文恢复而非碎片检索。它利用结合了锚点定位、多关系扩展和元数据优先构建的两阶段“定位–推理”过程。
受控方法级评估： 在中等规模任务上与五个代表性基准（DeepWiki, CodeWiki, RAG, GraphRAG, AST+GraphRAG）进行了对比，证明了其在无需离线预处理的情况下具有卓越的文件恢复质量。
系统级工业评估： 在生产规模的集成代码库生态系统（267万行代码，25,000+ 文件）及多个真实 AI 编程系统（Cline, Cursor, Claude Code 等）上进行了系统性评估，显示出在全量召回率（Full Recall Rate）上的持续提升。
端到端影响： 在 SWE-bench Verified 上的受控评估表明，改进的仓库理解直接关联到更高的任务解决率（Solve Rates）。

4. 实验结果

方法级对比（中等规模任务）

在 27 个中等规模任务和 135 个黄金相关文件上的表现：

恢复质量： DEEPDISCOVERY 实现了最高的 全量召回率（FRR）92.6%，优于表现最好的基准（AST+GraphRAG 为 90.4%），并显著优于 RAG（84.4%）。
效率： DEEPDISCOVERY 需要 0 小时的离线预处理时间，而基于图的基准方法需要约 9 小时。
延迟： 在任务执行时，DEEPDISCOVERY 的速度（13.2s）明显快于 RAG 式流水线（44.8s – 63.8s）。
Token 使用： 它以比 AST+GraphRAG 更少的执行 Token 实现了高召回率，表明其收益不仅在于展示更多内容，更在于效率的提升。

系统级评估（工业生态系统）

在六个 AI 编程系统上针对 27 个中等规模和 40 个大规模任务进行的评估：

全量召回率： DEEPDISCOVERY 提升了所有系统的 FRR。
- 大型子项目： 绝对增益在 1.6 到 9.2 个百分点 之间。
- 中型子项目： 绝对增益在 2.5 到 7.4 个百分点 之间。
稳定性： 这种提升在多次运行和不同系统中是一致的，在原生仓库搜索能力较弱的系统中观察到了最显著的增益。

端到端评估（SWE-bench Verified）

解决率： 配备 DEEPDISCOVERY 的系统实现了 78.6% 的解决率，比相应的基准（70.4%）高出 8.2 个百分点（多解决了 41 个任务）。
统计显著性： 通过配对 McNemar 检验，该提升具有统计学意义（ $p < 0.01$ ）。
仓库特性： 在需要跨文件、跨模块或对配置敏感推理的仓库（如 django, xarray, scikit-learn）中，增益最为显著；而在局部化任务中，增益微乎其微或没有增益。

消融实验

移除关键组件会导致性能下降：

仅有定位（Location-only）： FRR 从 85.8% 下降到 80.0%，证实仅靠锚点是不够的。
无自适应压缩： FRR 下降至 81.5%。
无隐式关系： FRR 下降至 83.3%，凸显了非显式链接的重要性。
无元数据优先： FRR 下降至 82.2%，表明了选择性加载全文的价值。

5. 重要性与主张

论文声称，更强的任务级仓库理解是提高复杂软件工程任务中编码智能体（Coding-agent）性能的关键因素。

范式转变： 该研究认为应从“碎片检索”转向“任务级上下文恢复”，承认工业任务需要桥接标准检索会遗漏的隐式依赖和配置人工制品。
实际可行性： 通过避免离线预处理，DEEPDISCOVERY 解决了“新鲜度”问题，为快速演进的代码库提供了一个可行的解决方案，因为在这些场景下维护静态图是不切实际的。
互补性： 结果表明，仓库理解与模型推理是互补的；即使是强大的基础模型，也能从改进的上下文恢复机制中显著受益。

作者保持了谦逊的语气，指出 DEEPDISCOVERY 是一种“以召回为导向”的增强手段，可能不会对所有任务产生同等收益（例如高度局部化的任务），并且在任务描述模糊或命名规范不一致时可能会出现失效模式。他们将这项工作定位为迈向鲁棒的任务级仓库理解的重要一步，而非适用于所有检索场景的通用解决方案。