技术摘要：PathRouter

问题陈述

智能图检索增强生成（GraphRAG）系统利用语言模型智能体，迭代地对图结构证据进行检索与推理。虽然这些系统旨在通过在复杂信息网络中进行导航来提高决策能力，但仅依赖基于结果的强化学习（RL）的现有训练方法存在两个关键局限性：

1. 答案-路径奖励混淆（Answer-Path Reward Aliasing）： 标准的 RL 仅根据最终答案的正确性分配奖励。这会将那些通过有效的证据路径得出正确答案的轨迹，与那些尽管证据检索失败、却通过模型的参数记忆（捷径）获得答案的轨迹混为一谈。因此，模型会因为“幸运”的成功而受到强化，而这种成功并未提升其检索能力。
2. 搜索-更新歧义（Search-Update Ambiguity）： 标量级的、轨迹层面的反馈（例如，针对整个交互过程的单一奖励分数）无法指示哪些具体的检索动作（搜索查询或推理步骤）对结果做出了贡献。这使得智能体在轨迹因捷径而失败或成功时，缺乏用于调整其搜索策略的可操作性指导。

方法论：PathRouter

作者提出了 PathRouter，这是一个路径感知的训练框架，旨在将奖励信号与检索质量对齐。该框架通过三个核心机制运行：

1. 路径感知路由与差异化优势缩放

PathRouter 不会对所有轨迹进行统一处理，而是从两个维度评估每个轨迹：

• 答案正确性 ($C_i$)： 最终答案是否正确。
• 证据-路径重叠度 ($P_i$)： 检索到的段落与金标准支持证据之间的 Token 级 F1 重叠度。

基于这些指标，轨迹被分为四类，每类在组相对策略优化（GRPO）优势缩放中接收不同的权重：

• 忠实成功 ($C \uparrow, P \uparrow$)： 答案正确且证据重叠度高。接收全额权重。
• 捷径失败 ($C \uparrow, P \downarrow$)： 答案正确但证据重叠度低（依赖参数记忆）。接收降低的权重，以抑制对捷径行为的强化。
• 证据已检索 ($C \downarrow, P \uparrow$)： 答案错误但证据重叠度高（推理失败）。接收衰减的权重，以避免过度惩罚有用的检索行为。
• 共同失败 ($C \downarrow, P \downarrow$)： 答案错误且证据重叠度低。接收全额权重。

这种路由确保了策略更新反映的是检索质量，而非仅仅是最终答案的正确性。

2. 用于解决搜索-更新歧义的选择性金标准证据教师

为了解决“调整哪些搜索动作”的歧义，PathRouter 为证据匮乏的轨迹（$P_i < \theta_P$）引入了一个冻结的金标准证据教师（frozen gold-evidence teacher）。

• 机制： 教师通过查询（query）和金标准支持段落（特权上下文）进行提示。它不生成新的轨迹，而是对学生的在策略（on-policy）展开进行评分。
• Token 级 KL 指导： 教师专门针对推理 Token 和搜索查询 Token 提供 Kullback-Leibler (KL) 散度监督。
• 排除项： 答案 Token 和检索到的观察块被排除在 KL 监督之外，以防止直接模仿响应，并确保智能体学习的是如何寻找证据，而非仅仅是输出答案。
• 调度： 应用线性预热（linear warmup）于 KL 系数，允许学生在教师约束生效前通过 GRPO 奖励进行探索。

3. 训练目标

总损失结合了路由后的 GRPO 损失与选择性教师 KL 损失：
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
奖励函数还结合了探索塑造（对多轮检索给予奖励，对懒惰停止、超时和冗余进行惩罚），以鼓励彻底的证据收集。

核心贡献

1. 识别奖励混淆： 本文识别了答案-路径奖励混淆是智能体 GraphRAG 中的主要失效模式，并提出了一种路由条件的 GRPO 优势缩放机制，以解耦答案正确性与检索质量。
2. 选择性 Token 级蒸馏： 引入了一种新型的选择性教师机制，该机制对证据匮乏轨迹的推理和搜索查询 Token 进行 Token 级 KL 指导。这解决了搜索-更新歧义，且不会模仿最终答案。
3. 实证验证： 大量实验表明，PathRouter 在六个问答基准测试和三种模型规模（1.5B, 3B, 7B）上一致地提高了答案准确性和证据-路径重叠度。

实验结果

在六个基准测试（HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA）上使用 Qwen2.5 模型进行评估：

• 性能增益： PathRouter 一致优于强基线模型，包括 Graph-R1。
  • 在 7B 模型上，它实现了平均 F1 提升 4.9 个点（从 57.82 提升至 62.74）以及 4.69 个点的精确匹配（EM）提升。
  • 在 3B 模型上，它实现了平均 F1 提升 3.1 个点。
  • 在多跳推理任务上的改进最为显著（例如，7B 模型在 HotpotQA 上 F1 提升 +7.4，在 MuSiQue 上提升 +8.2）。
• 轨迹偏移： 轨迹分布分析显示，PathRouter 成功地将质量分布从“捷径”和“共同失败”类别转移到了“忠实成功”和“证据存在型推理失败”类别，表明其在独立于答案正确性的情况下，提高了证据获取能力。
• 泛化能力： 跨数据集迁移测试显示出极高的 OOD 泛化能力（平均比例为 95.7%），表明学习到的检索策略是鲁棒的，且不依赖于特定数据集的分布。
• 消融研究发现：
  • 去除路径奖励（$r_p$）会显著降低证据质量（SF-F1）而保留答案 F1，证实了该信号针对的是检索。
  • 去除选择性教师 KL 会降低性能，特别是在多跳任务上，证实了其在解决搜索-更新歧义中的作用。
  • 教师 KL 的有效性被发现是依赖于容量的；较小的模型（1.5B）在使用强教师时表现出混合结果或性能下降，表明学生模型的容量是一个限制因素。

重要性与主张

本文声称 PathRouter 解决了智能体系统中仅基于结果的强化学习所面临的根本性信用分配限制。通过同时评估答案正确性和证据-路径重叠度，该框架确保了策略更新是由检索过程的质量而非仅仅是最终输出驱动的。

作者断言，这种方法使智能体能够学习到既答案准确又证据忠实的检索策略。这项工作表明，路径感知训练可以产生可泛化的检索行为，从而避免数据集特定的捷径，为复杂的 GraphRAG 系统提供更稳健的基础。论文也承认了在路由和调度方面需要额外的超参数，以及由于教师前向传播导致的单步计算成本增加，指出这是在训练效率与提升忠实度之间的一种权衡。