💬 NLP

Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction

本文提出了一种具有自适应探索策略和严格处理流程的交互式智能体框架，用于系统性地提取和量化大语言模型的知识边界，揭示了独特的知识缩放规律、专用模型与通用模型之间的性能权衡，以及由训练数据构成驱动的可量化知识分布差异。

原作者： Yuheng Yang, Siqi Zhu, Tao Feng, Ge Liu, Jiaxuan You

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuheng Yang, Siqi Zhu, Tao Feng, Ge Liu, Jiaxuan You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象大型语言模型（LLMs）如同巨大且密封的图书馆。我们知道它们藏书丰富（知识），但不知道书架上究竟有多少本书、哪些是真实的，以及书架的尽头在哪里。通常，我们通过让图书管理员从预先写好的列表中随机回答几个问题来测试这些图书馆。但本文认为这种方法存在缺陷：这就像通过钥匙孔窥视图书馆。你可能会错过绝大部分藏书，而且无法判断图书管理员是在编造内容，还是仅仅在重复他们听过上千遍的话。

作者提出了一种探索这些图书馆的新方法：交互式智能体框架（The Interactive Agentic Framework）。不要将其想象成一位图书管理员，而应想象成一支探险队被派入图书馆，执行一项特定任务：无论多么晦涩，都要找出每一个独特的知识点。

以下是他们系统的运作方式，分解为简单的概念：

1. 四种探索策略（探险队）

团队尝试了四种不同的向模型索取信息的方式，以观察哪种方法挖掘得最深：

“持续追问”法（顺序式）： 这就像问朋友：“告诉我关于猫的事”，然后“告诉我更多”，接着“告诉我更多”。作者发现这种方法很快就会碰壁。模型会感到厌倦或陷入循环，重复那些显而易见的常识。
“自我修正”法（反思式）： 在这里，模型被要求回顾自己之前的回答，找出漏洞并加以填补。这就像学生在交作业前检查自己的家庭作业。这有所帮助，但它仍然难以发现那些深层、隐蔽的事实。
“专家小组”法（多视角）： 系统创建不同的角色（例如律师、工程师、历史学家），并让他们就同一话题进行讨论。这引入了不同的角度，但可能会变得混乱且冗余。
“爬树者”法（递归分类）： 这是获胜者。 想象图书馆由一棵巨大的树组织而成。你从树干（主要话题）开始，然后爬上树枝（子话题），再爬上更小的细枝（具体细节），最后到达树叶（微小、具体的事实）。通过迫使模型将一个大话题分解成越来越小的部分，它被迫离开“舒适区”，挖掘出它通常隐藏的罕见长尾知识。

2. 质量控制团队（知识处理器）

一旦探险队带回海量信息，局面就会变得混乱。有些事实是重复的，有些是胡言乱语，还有些只是模型在说“这很重要”，却并未实际说明什么重要。作者构建了一个三阶段过滤器来清理这些内容：

第一阶段：快速扫描（向量过滤）： 一个计算机程序快速扫描列表，剔除任何与已发现内容相似度达到 92% 的项目。这就像俱乐部门口的保安检查身份证，以阻止明显的重复者进入。
第二阶段：智能法官（LLM 裁决）： 有时，两个事实看起来不同但含义相同，或者看起来相似但含义相反。一个更智能的 AI（“法官”）会阅读这些棘手配对，判断它们是否真正独特，还是仅仅是同一事实的改写版本。
第三阶段：相关性检查（领域审计）： 最终过滤器会检查：“这实际上是有用的知识吗？”它会剔除“废话”（例如“深度学习很酷”），只保留具体的事实、原则或分步方法。

3. 他们的发现（研究结果）

“规模决定一切”定律
他们测试了不同规模（小、中、大）的模型。他们发现了一个清晰的模式：更大的模型知道得更多。 随着模型变大，它能检索到显著更多的独特事实。然而，最大的模型不仅知道得更多，它还掌握了更深的事实，而这些是小模型完全遗漏的。

“专家与通才”的权衡
他们比较了一个“通才”模型（擅长所有领域）和一个“专家”模型（专门针对代码训练）。

专家模型： 在其擅长的领域（代码）中，它起初非常准确且自信。但随着团队不断要求更多事实，专家模型的性能急剧下降。它无话可说，开始重复自己或犯错。
通才模型： 它起初稍显不够自信，但保持了稳定的节奏。它不会耗尽精力，能够持续挖掘新事实更长时间。
启示： 让模型专业化使其在初期表现出色，但这会缩小它的世界。如果你向代码专家询问数学问题，它几乎会忘记它知道的一切。

“训练数据”的指纹
最后，他们观察了来自不同公司（Meta、阿里巴巴、DeepSeek）的模型，这些模型规模大致相同。尽管规模相同，但它们拥有截然不同的“知识画像”。

一个模型在工程和代码方面表现出色，但在理论方面较弱。
另一个模型是理论天才，但实用性较差。
结论： 这不仅仅关乎大脑有多大，还关乎在训练期间喂给它了哪些书。训练数据会在模型知道什么以及知道得有多好方面留下永久的指纹。

总结

本文介绍了一种“绘制”AI 内部知识的新方法。他们不再仅仅问几个问题，而是利用一种智能的、递归的“爬树”策略来彻底挖掘事实，然后使用严格的三步过滤器，确保只有真实、独特的知识被计入。他们发现：结构胜过随机，更大的模型知道得更多，让模型专业化会使其变得脆弱，而用于训练它的特定数据则塑造了其整体个性。

技术摘要：探测知识边界

问题定义

大语言模型（LLMs）充当压缩知识库，但其内部知识的范围和性质仍不透明。现有的评估范式严重依赖静态基准（如 MMLU）和预定义问题集，这些方法存在数据污染风险，且无法主动探索模型知识覆盖的连续景观。此外，LLMs 表现出强烈的惯性，倾向于停留在高概率 token 的“舒适区”内，当被直接查询时，往往输出通用或重复的浅层知识。

核心挑战在于定义和测量可提取知识前沿：即在固定的交互式流程下，从黑盒 LLM 中可检索到的独特、有效知识原子集合。这要求超越简单的准确率指标，转向基于饱和度的评估，以区分潜在能力（模型知道什么）与表面实现（模型愿意表达什么）。

方法论

作者提出了一种交互式智能体框架，旨在系统地提取和量化 LLM 知识。该系统作为一个闭环流程运行，包含两个核心模块：

1. 智能体探索策略

为了克服输出惯性，该框架采用四种自适应策略，在不同粒度上探测知识：

顺序关联探测：一种基线方法，智能体基于扁平的交互历史迭代地请求更多知识点。
自我反思优化：一个“批评者 - 执行者”循环，模型审计其先前的输出以识别缺失的子领域，并生成针对性提示来填补空白。
递归分类探索器：一种分层搜索策略，将主题领域递归分解为子领域的树状结构。智能体彻底挖掘叶节点，迫使模型超越主导概念，进入长尾参数记忆。
多视角并行探测：实例化多个不同的专家角色（例如工程师、伦理学家），以揭示单一中性智能体可能忽略的细微差别。

2. 知识处理流程

为确保提取知识的质量，采用三阶段流程过滤原始输出：

基于向量的过滤：使用嵌入模型合并余弦相似度高的配对（ $S > 0.92$ ），去除严格重复项。
基于 LLM 的裁决：一个重推理模型作为模糊配对（ $0.70 < S < 0.92$ ）的裁判，以解决语义重叠和逻辑否定。
领域相关性审计：最终过滤器根据布鲁姆分类法标准（事实性、概念性、程序性）验证知识原子。它拒绝元陈述、通用断言和不完整的片段，确保仅保留有效的领域知识。

终止条件：当检测到知识饱和度时停止提取，定义为增长率 $<1\%$ 、效率 $<10\%$ 、新增知识原子少于 3 个，或达到最大 15 轮交互。

主要贡献

形式化问题定义：本文建立了黑盒知识边界探测的形式化表述，从静态基准测试转向动态、基于饱和度的交互式评估。
新颖框架：引入了一种多智能体框架，能够自适应地导航知识空间，在揭示深层长尾知识方面，显著优于朴素提示和标准思维链（Chain-of-Thought）基线。
实证表征：通过四项系统实验，作者表征了黑盒 LLM 的知识拓扑结构，揭示了缩放定律、专业化权衡以及训练数据的影响。

实验结果

1. 策略有效性

递归分类策略（具体为分支因子 5、深度 5）被证明是帕累托最优的提取策略。其产出率比顺序探测基线高出约 6.0 倍。相比之下，朴素的顺序和反思策略过早达到平台期，若无明确的结构指导，无法访问长尾参数记忆。

2. 知识缩放定律

模型规模与可提取知识之间存在明显的正相关。使用最优分类策略，召回率从 27.3%（8B 模型）增加到 36.9%（70B）和 39.0%（405B）。然而，在更大规模下观察到收益递减（从 70B 到 405B 的增益小于从 8B 到 70B 的增益）。准确率也随规模提升，但最大模型显示出精度的轻微回落，表明在极端规模下可能存在数量与准确率之间的权衡。

3. 专业化与 Pass@1 和 Pass@k 的权衡

比较通用模型（Qwen-2.5-7B）与领域专用 RL 微调模型（Coder 变体）揭示了一个关键权衡：

分布内：专用模型实现了更高的初始准确率，但随着“高置信度区域”被耗尽，其性能迅速退化。通用模型最终在准确率上超越它，并保持稳定的性能。
分布外：专用模型遭受灾难性遗忘，准确率相比通用模型显著崩溃。
这证实了领域特定的微调会缩小有效知识边界，以提高初始精度为代价，牺牲了长期的召回率和多样性。

4. 训练数据构成

对不同组织（Meta、阿里巴巴、DeepSeek）的约 7B 模型进行的跨系列分析显示，虽然召回模式保持稳定（反映模型内在特性），但准确率在不同领域间差异巨大。

Llama-3.1 在工程/代码相关领域表现卓越。
Qwen-2.5 在理论/数学领域占据主导地位。
DeepSeek-R1 显示出普遍退化的准确率，表明面向推理的蒸馏可能会压缩知识分布，牺牲领域专业知识。
这些结果表明，训练数据的构成从根本上塑造了模型的知识画像，其对比可提取知识质量的影响超过了架构本身。

意义与主张

本文声称提供了一种在部署前审计模型知识的稳健方法，解决了模型能够做什么与它们实际知道什么之间的差距。通过将 LLM 视为一个待探索的环境而非静态神谕，该框架提供了一种方法：

区分潜在知识访问与幻觉。
通过理解知识边界来预测部署中的故障模式。
理解预训练选择和微调策略如何塑造机器知识的拓扑结构。

作者指出，他们的测量是操作性的且依赖于流程。虽然 LLM 审计阶段与人类标注者显示出实质性的一致性（ $\kappa = 0.79$ ），但它并不能替代高风险场景下的专家验证。这项工作作为迈向系统化、基于饱和度的知识评估的基础步骤，超越了当前静态基准的局限性。