💬 NLP

Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

该论文提出了 Corpus2Skill 框架，通过将企业文档离线蒸馏为可导航的层级技能目录，使 LLM 代理能够主动浏览和回溯知识路径，从而在 WixQA 基准测试中显著超越了传统的检索增强生成（RAG）及现有代理基线方法。

原作者： Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 CORPUS2SKILL 的新方法，旨在解决大型语言模型（LLM）在处理企业知识库时遇到的一个核心痛点：“只见树木，不见森林”。

为了让你轻松理解，我们可以把传统的检索系统（RAG）和这篇论文提出的新系统（CORPUS2SKILL）比作两种不同的**“找书”**方式。

1. 传统方法：蒙眼摸象（检索式 RAG）

想象一下，你走进一个巨大的、没有目录的图书馆（企业的知识库），里面堆满了成千上万本书（文档）。

传统做法：你告诉图书管理员（AI）：“我想找关于‘如何把个体户转成有限公司’的信息。”
管理员的反应：他立刻扔给你几本封面看起来最像的书（基于关键词匹配）。
问题所在：
- 你只拿到了这几本书，却不知道图书馆里还有哪些书。
- 如果这几本书没讲清楚，你不知道是该去“财务区”找，还是去“法律区”找，还是去“账户管理区”找。
- 你就像在黑暗中摸索，只能猜，一旦猜错了，就找不到答案，或者只能拼凑出错误的答案。
- 比喻：这就像是在大海里捞针，你只能捞起离你最近的那几根，却看不见整片海的结构。

2. 新方法：导航寻宝（CORPUS2SKILL）

这篇论文提出的 CORPUS2SKILL 则完全不同。它不直接扔给你书，而是先花点时间，把整个图书馆重新整理，变成一张清晰的、可导航的地图。

核心步骤：

离线编译（整理地图）：
- 在没人提问的时候，系统先把所有文档读一遍。
- 它像一位超级图书管理员，把书按主题分类：先分成几个大区（如“电商”、“营销”、“平台指南”），每个大区再分成小类（如“支付”、“订单”），最后细化到具体的书架。
- 它给每个区域写一张**“简介卡片”**（Summary），告诉你这个区域里大概有什么，能回答什么问题。
- 比喻：这就像把乱糟糟的仓库整理成了层级分明的文件柜，每个抽屉上都贴着详细的标签和简介。
在线导航（主动探索）：
- 当你再次提问时，AI 不再是被动地接收几本书，而是拿着地图主动去探索。
- 第一步：AI 先看“总目录”（根节点），发现“电商”区最相关。
- 第二步：它打开“电商”区的简介，发现里面有“支付”和“账户”两个子抽屉。
- 第三步：它决定先查“支付”，打开后看到里面有几本具体的书。
- 第四步：它选中一本最相关的书，读完后发现还不够，于是回头（Backtrack），去查另一个“账户”抽屉，把两边的信息拼凑起来。
- 比喻：这就像你拿着带导航功能的手机走进图书馆。你可以随时看到“我现在在哪”、“旁边还有什么”、“如果这条路走不通，我可以退回去换条路”。

3. 为什么这很重要？（核心优势）

不再盲目猜测：AI 能看到整个知识结构的“鸟瞰图”。如果它发现当前找的路不对，它可以主动回头（Backtrack），去别的地方找，而不是死磕。
跨领域整合：有些问题很复杂，比如“换个公司类型会影响支付吗？”。传统方法可能只找到“公司类型”或只找到“支付”的文档。但导航式 AI 可以像人一样，同时打开两个抽屉，把两边的信息结合起来回答。
更精准：因为它知道“森林”的全貌，所以能更准确地定位到那根“针”。

4. 实验结果：真的好用吗？

研究人员在 Wix 公司的真实客服知识库上做了测试（WixQA 数据集）：

表现：CORPUS2SKILL 在回答的准确性、事实正确性和信息完整度上，都打败了传统的关键词搜索、向量搜索（Dense Retrieval）以及现有的高级 AI 代理系统。
代价：虽然每次提问的成本稍微高一点点（因为 AI 需要多读几张“简介卡片”来导航），但它给出的答案质量极高，特别适合那些复杂、关键、不能出错的企业问题（比如合规、财务、法律）。

总结

这篇论文的核心思想是：不要只让 AI 当“搜索者”，要让它当“导航员”。

旧模式：把知识切碎，扔给 AI，让它猜。
新模式：把知识整理成层级分明的技能树（Skill Tree），让 AI 拿着地图，一步步走到答案面前。

这就好比，以前你是让一个盲人去摸大象（传统检索），现在你是给大象装上了 GPS 和地图，让向导（AI）带着你，一步步看清大象的耳朵、腿和鼻子，最后拼凑出完整的大象。

论文技术总结：Don't Retrieve, Navigate (CORPUS2SKILL)

1. 研究背景与问题定义 (Problem)

核心痛点：
现有的检索增强生成（RAG）系统存在结构性局限。传统 RAG 将大语言模型（LLM）视为搜索结果的被动消费者：

缺乏全局视野：LLM 只能看到检索到的 Top-k 片段，无法了解语料库的整体组织结构、未检索到的内容或主题分布。
推理能力受限：模型无法进行回溯（backtrack）、无法判断检索结果是否完整，也难以跨分支组合分散的证据。
代理（Agent）的盲目性：现有的 Agentic RAG 虽然允许模型进行多轮搜索，但缺乏“地图”。代理必须盲目猜测搜索词，无法系统性地从宏观主题缩小到具体文档，导致搜索效率低下且容易陷入死胡同。

现有方案的不足：

扁平检索 (Flat Retrieval)：基于向量相似度，容易丢失语义关联，无法处理跨主题查询。
层级检索 (如 RAPTOR, GraphRAG)：虽然构建了层级结构，但在查询时仍依赖向量搜索，层级结构对 LLM 是“不可见”的，模型依然不知道组织逻辑。

2. 核心方法论：CORPUS2SKILL

作者提出了 CORPUS2SKILL 框架，其核心理念是：“不要检索，要导航” (Don't Retrieve, Navigate)。
该方法将文档语料库离线蒸馏为一个可导航的技能目录（Navigable Skill Directory），让 LLM Agent 像人类浏览文件系统一样主动探索知识。

2.1 工作流程

系统分为两个阶段：

A. 离线编译阶段 (Compile Phase)

文档加载与嵌入：读取文档，生成唯一 ID，并使用 Sentence Embedding 模型生成向量。
迭代层级聚类：
- 采用自底向上的 K-Means 聚类。
- 参数控制：分支比 $p$ （每个簇的子节点数）和顶层簇数量 $K$ 。
- LLM 摘要生成：在每个聚类层级，利用 LLM 读取代表性文档，生成该簇的主题摘要（Topic Summary）、涵盖的问题类型及关键词。
- 递归构建：将生成的摘要重新嵌入，作为下一轮聚类的输入，直到形成顶层根簇。
技能树构建 (Skill Tree Construction)：
- 将层级结构物质化为文件系统。
- 根节点：对应顶层技能目录，包含 SKILL.md（顶层摘要）和子目录列表。
- 中间节点：对应子目录，包含 INDEX.md（子组摘要或文档列表）。
- 叶节点：包含具体的文档 ID 列表和简短标题。
- 文档存储：全文存储在外部 documents.json 中，通过 ID 索引。
- 渐进式披露 (Progressive Disclosure)：文件设计遵循由粗到细的原则，确保 Agent 每次只读取必要的元数据。

B. 在线服务阶段 (Serve Phase)

Agent 环境：LLM Agent 被赋予预编译的技能目录，并通过 Anthropic Skills API 加载。
工具集：
- code_execution：用于浏览 SKILL.md 和 INDEX.md 文件，查看层级结构和摘要。
- get_document(doc_id)：根据 ID 获取完整文档内容。
导航策略：
- 鸟瞰视角：Agent 首先看到所有顶层技能的描述。
- 逐步深入：根据摘要判断相关性，进入特定子目录，阅读 INDEX.md 获取更细粒度的摘要。
- 回溯与跨分支：如果发现当前路径无效，Agent 可回溯并尝试其他分支；若问题涉及多主题，可跨分支组合证据。
- 最终检索：确定目标文档 ID 后，调用 get_document 获取全文并生成答案。

3. 关键贡献 (Key Contributions)

提出“语料库可导航性”维度：指出当前 RAG 系统缺乏让 LLM 理解知识组织结构的机制，限制了其系统定位最佳证据的能力。
构建“编译 - 导航”框架：
- 将离线聚类与 LLM 摘要结合，将非结构化语料转化为层级化的技能树。
- 在服务端完全摒弃向量数据库和嵌入索引，仅依靠 Agent 的文件浏览能力进行导航。
实证验证：在 WixQA（企业级客服问答基准）上，CORPUS2SKILL 在所有质量指标上均优于传统检索、RAPTOR 及多轮 Agentic RAG 基线。

4. 实验结果 (Results)

在 WixQA 数据集（6,221 篇文章，200 个专家问题）上的评估显示：

质量指标 (Quality)：
- Token F1: 0.460 (比 Agentic RAG 提升 19%，比 Dense 检索提升 27%)。
- 事实性 (Factuality): 0.729 (优于 RAPTOR 的 0.675)。
- 上下文召回 (Context Recall): 0.652 (显著高于其他方法)，表明导航方式能更有效地覆盖关键信息。
成本分析：
- 单次查询成本约为 $0.172，略高于 RAPTOR ($0.012) 和 Agentic ($0.098)，主要是因为导航过程中读取了大量摘要文件（输入 Token 较多）。
- 但输出 Token 更少（752 vs Agentic 的 1391），说明答案更精准。
消融实验：
- 层级结构：较窄的树（分支比 p=5）在质量上略优于默认设置，且成本增加有限；过宽的树（p=20）导致摘要过于泛化，质量大幅下降。
- 模型选择：使用更便宜的模型（Claude Haiku）在保持高上下文召回的同时，可将成本降低一半。

5. 意义与局限性 (Significance & Limitations)

意义

范式转变：从“查询时搜索”转向“编译时构建，查询时导航”。将计算成本前置到离线阶段，换取了在线阶段更智能的推理路径。
激活 Agent 能力：充分利用了 LLM 的规划、推理和回溯能力，使其不再是被动接收信息的容器，而是主动探索知识的导航员。
架构简化：去除了对向量数据库和复杂图数据库的依赖，仅依赖 LLM 和文件系统，简化了部署架构。

局限性

成本：由于每次导航步骤都需要读取摘要文件，输入 Token 消耗较大，适合高价值、复杂的查询，不太适合海量低价值查询。
硬聚类限制：文档被强制分配到单一路径。如果文档涉及多个主题（如“计费”和“订阅”），而查询指向另一个主题，可能导致路由失败（Routing Miss）。
更新延迟：编译是一次性过程，新增文档需要重新编译整个语料库，无法支持实时增量更新。
API 限制：依赖 Anthropic Skills API 的文件数量和大小限制，超大语料库需要特殊的合并策略。

总结

CORPUS2SKILL 证明了通过离线构建可导航的层级结构，可以让 LLM Agent 在企业级知识库中实现比传统检索更精准、更全面的问答。它通过赋予模型“地图”和“导航工具”，解决了 RAG 系统中“只见树木不见森林”的根本问题，为知识密集型应用提供了一种新的设计思路。