技术摘要：KbSD —— 用于智能体搜索中行为校准的知识边界感知自蒸馏

问题陈述

智能体搜索系统赋予大语言模型（LLM）动态检索信息的能力，然而目前的强化学习（RL）方法面临着一个根本性的瓶颈：知识边界校准中的奖励稀疏性。现有方法虽然可以确定何时进行检索，却难以引导智能体如何协调冲突的知识源（参数化记忆 vs. 检索到的证据）或何时进行拒绝。

核心问题在于，二元或稀疏的终端奖励仅能惩罚不良结果（例如幻觉），而无法为中间推理过程提供指导。这在由内部确定性和检索质量定义的四个不同知识边界象限中尤为严重：

1. 集成型 (Integrated)： 内部与外部来源均可靠。
2. 外部型 (External)： 检索可靠，内部不确定。
3. 拒绝型 (Refusal)： 内部与外部来源均不可靠。
4. 内部型 (Internal)： 内部可靠，检索不可靠。

稀疏奖励无法将区分“有原则的拒绝”与“无信息的猜测”（象限 3）或引导“一致性证据集成”（象限 1）所需的认知步骤进行分解。此外，统一的训练目标并不适用于这些异质状态，因为它们表现出不同的分布特征（例如，集中的集成模式 vs. 多样化的拒绝模式）。

方法论：KbSD 框架

作者提出了 KbSD（知识边界自蒸馏） 框架，该框架通过密集 Token 级监督和象限自适应优化来解决奖励稀疏问题。其流水线包含三个阶段：

1. 面向边界的数据合成

为了在模型的知识极限附近进行训练，作者利用两个算子从种子数据集（HotpotQA, 2WikiMultiHopQA）中合成具有挑战性的多跳查询：

• 事实注入 (Fact Injection)： 通过引入新的事实跳数来增加组合深度，迫使模型组合证据。
• 信息模糊化 (Information Fuzzing)： 用欠指定的描述替换精确条件，以增加检索难度和歧义性。

2. 知识边界量化与象限映射

对于每个查询，系统使用以下指标量化知识状态：

• 参数确定性 ($\mu$)： 模型在无检索情况下生成正确答案的比例。
• 语义稳定性 ($\sigma$)： 模型内部响应的一致性（语义相似度）。
• 检索质量 ($\hat{\rho}$)： 外部证据充分性的估计值。

这些信号将每个查询映射到四个行为象限（集成型、外部型、拒绝型、内部型），从而定义目标行为规范。

3. 提示增强的自蒸馏

KbSD 采用了一种信息不对称的自蒸馏设计：

• 教师模型： 一个接收特权提示 ($h(q)$) 的学生模型副本。提示包含参数确定性、稳定性、检索质量及目标象限。教师模型生成经过校准的推理演示（例如，如何在拒绝前检查证据）。
• 学生模型： 在原始输入（不含提示）上进行训练，通过 Token 级监督学习并内化教师的校准推理模式。

4. 象限自适应蒸馏目标

为了应对四个象限异质的优化几何结构，KbSD 应用了特定的散度目标：

• 象限 1 (集成型)： 使用 Reverse KL（模态搜索型），因为正确的推理集中在单一的集成模式周围。
• 象限 3 (拒绝型)： 使用 Forward KL（质量覆盖型），因为有效的拒绝行为是多样化的；模型不应坍缩到单一模板。
• 象限 2 & 4 (外部/内部型)： 使用 Pareto 最优的双向 KL，通过自适应加权前向和反向 KL，以平衡精确度（源选择）与覆盖度（对噪声的鲁棒性）。

该蒸馏损失与基于 GRPO 的强化学习 进行联合优化，后者为最终任务的正确性提供稀疏的轨迹级奖励，而蒸馏则提供密集的过程级监督。

核心贡献

1. 识别奖励稀疏性： 本文指出缺乏过程级监督是知识边界校准的关键瓶颈，特别是在区分不同知识状态下的不同推理策略方面。
2. 信息不对称自蒸馏： 提出了一种新颖的框架，通过构建提示增强的教师模型来生成密集的、Token 级的推理演示，而无需依赖更大的外部模型。这弥补了稀疏行为标签与完整认知过程之间的鸿沟。
3. 象限自适应优化： 一种将优化几何结构与特定知识状态对齐的蒸馏策略，利用 Reverse KL、Forward KL 和 Pareto 最优的双向 KL 分别处理集中型、多样型和非对称型分布。

实验结果

实验在九个基准测试（包括 HotpotQA, NQ, TriviaQA, FRAMES, 和 GAIA）上使用 Qwen2.5 模型（3B 和 7B）进行。

• 性能： KbSD 在所有基准测试和模型规模上均一致实现了最低的不可靠率（定义为 $1 - (\text{F1} + \text{拒绝率})$），优于包括 Search-R1, AEPO 和稀疏奖励基线 KbPO 在内的强力基线。
• 规模效率： 改进程度随模型规模增加而提升。在 Qwen2.5-7B 上，平均不可靠率从 57.99% (KbPO) 降至 41.18% (KbSD)。
• 泛化能力： 尽管仅在合成的多跳 QA 数据上进行训练，KbSD 仍能有效地泛化到分布外（out-of-domain）的智能体推理任务（FRAMES, GAIA）。
• 消融实验： 移除蒸馏损失或使用固定（非自适应）KL 目标会导致性能显著下降，证实了密集监督和象限自适应散度的必要性。
• 案例研究： 分析表明，KbSD 成功学习了在无效问题（象限 3）上进行拒绝（此处稀疏奖励基线会产生幻觉），并在象限 1 中正确集成了证据。然而，在象限 4（内部型）中仍存在残余挑战，即模型有时会在内部知识充足时过度依赖检索。

意义与主张

本文声称 KbSD 从根本上改变了智能体搜索训练的范式，即从单纯依赖基于结果的稀疏奖励，转向利用源自自蒸馏的密集过程级监督。

作者断言，校准智能体行为的主要瓶颈不在于模型容量，而在于过程级监督的稀疏性。通过利用提示增强的教师模型使潜在的行为目标显性化，并根据特定的知识状态调整优化目标，KbSD 使模型能够学习如何在内部知识与外部知识之间进行信任校准。结果表明，这种方法在“挑战性象限”（即稀疏奖励信息最少的部分）中特别有效，在保持易处理任务的帮助性的同时，显著降低了幻觉率。这项工作将知识边界意识定位为一种可以通过这种自蒸馏机制学习到的领域无关技能。