💬 NLP

Explore-on-Graph: Incentivizing Autonomous Exploration of Large Language Models on Knowledge Graphs with Path-refined Reward Modeling

本文提出了 Explore-on-Graph (EoG) 框架，通过引入结合路径信息的奖励建模机制来激励大语言模型在知识图谱上进行自主探索，从而有效缓解幻觉问题并在多个基准测试中实现了超越开源及闭源模型的领先性能。

原作者： Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shiqi Yan, Yubo Chen, Ruiqi Zhou, Zhengxi Yao, Shuai Chen, Tianyi Zhang, Shijie Zhang, Wei Qiang Zhang, Yongfeng Huang, Haixin Duan, Yunqi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EoG (Explore-on-Graph，图上的探索者) 的新方法，旨在让大型语言模型（LLM）在回答复杂问题时，变得更聪明、更诚实，不再“瞎编乱造”。

为了让你轻松理解，我们可以把整个过程想象成在一个巨大的、错综复杂的迷宫里找宝藏。

1. 以前的方法：只会走“老路”的导游

想象一下，以前的 AI 就像一个背熟了导游手册的导游。

规则派（Rule-based）： 导游手里拿着一本死板的规则书，只允许走书上画好的线。如果迷宫里有一条新的小路能更快到达宝藏，但书上没写，导游就绝对不敢走。
模仿派（Imitation-based）： 导游看着以前优秀导游的录像带，模仿他们的走法。如果录像带里没走过某条路，新导游也学不会。

问题出在哪？
当遇到一个从未见过的迷宫（也就是分布外数据，Out-of-Distribution），或者迷宫里有一条从未被记录过的捷径时，这些“导游”就会卡住，或者因为找不到路而开始胡编乱造（幻觉），假装自己知道路，结果把你带进死胡同。

2. EoG 的解决方案：培养一个“探险家”

这篇论文提出的 EoG，不再把 AI 当成死记硬背的导游，而是把它训练成一个充满好奇心的探险家。

它的训练过程分为两个阶段，就像培养一个探险家的两个步骤：

第一阶段：教它“怎么思考” (SFT - 监督微调)

比喻： 就像给探险家一本《高级探险指南》。
做法： 研究人员先让一个超级聪明的模型（比如 Gemini）在知识图谱上走一遍，把它是如何一步步推理、如何连接线索的“思考过程”写下来。然后，让 AI 学习这些高质量的“思考日记”。
目的： 让 AI 学会基本的逻辑，知道在迷宫里不能乱跑，要顺着线索走。但这还不够，因为它还是只会在“指南”教过的范围内思考。

第二阶段：奖励“发现新大陆” (RL - 强化学习)

这是这篇论文最核心的创新，也是让 AI 变强的关键。

比喻： 探险家现在被扔进迷宫，手里没有地图，只有两个奖励机制：
1. 终点奖励（Outcome Reward）： 如果你找到了宝藏（答案正确），给你发奖金。
2. 路径奖励（Path-refined Reward）： 这是 EoG 的独门秘籍！ 仅仅找到宝藏还不够，如果你走的路线是逻辑清晰、步骤合理的（比如你不仅找到了宝藏，还顺便探索了沿途的风景，没有走冤枉路），你会得到额外的超级大奖。
为什么需要“路径奖励”？
如果只奖励“找到宝藏”，AI 可能会为了赢而走捷径、甚至作弊（比如直接猜答案，或者走一条虽然通但逻辑不通的歪路）。
加上“路径奖励”后，AI 被鼓励去主动探索那些它以前没走过的、看起来有点奇怪但可能通向宝藏的新路径。它学会了：“哦，原来除了那条大路，旁边那条小路虽然绕一点，但也能通到宝藏，而且逻辑是通的！”

3. 核心比喻：从“背地图”到“画地图”

以前的 AI： 像是在背地图。地图上没有的地方，它就不敢去，或者强行把没路的地方说成有路（幻觉）。
EoG 的 AI： 像是在边探险边画地图。它被鼓励去尝试那些“看起来不像路”的地方。如果它发现了一条新路（比如通过“同事”关系找到“同事的同事”住在伦敦，而不是直接找“员工”），并且逻辑通顺，它就会受到奖励。

4. 结果如何？

论文在五个著名的“迷宫测试题”（知识图谱问答数据集）上进行了测试。

战绩： EoG 的表现击败了目前市面上最强大的开源模型，甚至超过了像 GPT-5 和 Gemini Pro 这样的闭源商业巨头模型。
特别之处： 在面对那些“从未见过”的复杂迷宫（分布外数据）时，EoG 依然能保持很高的准确率，因为它学会了自主探索，而不是死记硬背。

总结

这篇论文的核心思想就是：不要只教 AI 怎么背答案，要教它怎么在未知的知识迷宫里，通过逻辑推理去“探险”，并奖励它那些既正确又逻辑严密的“探险路线”。

通过这种“路径精炼奖励”机制，AI 不再是一个只会复述旧知识的复读机，而变成了一个能举一反三、解决新问题的智慧探险家。

标签）和最终答案（` 标签），确保推理过程符合图谱逻辑。

阶段二：强化学习 (Reinforcement Learning, RL)

这是 EoG 的核心创新点，旨在突破 SFT 的分布限制，激励模型探索更广阔的推理空间。

算法基础：采用 **Group Relative Policy Optimization **(GRPO) 算法。
**奖励机制设计 **(Reward Modeling)：
1. **结果奖励 **(Outcome Reward, $R_{outcome}$ $R_{o u t co m e}$ )：
  - 基于最终答案的正确性。
  - 使用实体级别的 F1 分数（精确率与召回率的调和平均）来衡量预测答案与真实答案的匹配程度。
  - 如果格式错误或无答案，奖励为 0。
2. **路径细化奖励 **(Path-Refined Reward, $R_{path}$ $R_{p a t h}$ )：
  - 创新点：引入路径信息作为额外的奖励信号，以引导探索过程更高效、更有意义。
  - 构建方法：对于没有显式推理路径的数据集，采用 "Search-and-Verify" 流程：
    - 首先通过广度优先搜索（BFS）在 KG 中检索所有潜在路径。
    - 然后利用 LLM 进行语义验证，剔除拓扑连通但语义无关的“虚假路径”，保留符合问题意图的真实路径（Ground-truth path）。
  - 计算：计算生成文本中完全匹配的真实三元组（Triplets）比例。
3. **联合奖励 **(Joint Reward)：
  - 总奖励公式： $R_{joint}(p) = R_{outcome}(p) + \alpha R_{path}(p)$
  - 其中 $\alpha$ 是控制两者权重的超参数。这种设计既保证了答案的正确性，又鼓励模型探索包含正确逻辑步骤的推理路径。

3. 关键贡献 (Key Contributions)

提出 EoG 框架：首个明确针对 KGQA 任务中 O.O.D. 推理问题，通过强化学习激励 LLM 进行自主探索的框架。
路径细化奖励机制：创新性地提出了结合“结果正确性”与“路径语义完整性”的混合奖励模型。这不仅解决了奖励稀疏问题，还显著提升了探索过程的效率和语义质量，减少了无效探索。
超越闭源模型的性能：实验证明，基于开源模型（如 Llama-3.1-8B, Qwen2.5-7B）的 EoG，在多个基准数据集上不仅超越了现有的开源 SOTA 方法，甚至超越了强大的闭源模型（如 Gemini 2.5 Pro, GPT-5）。
卓越的泛化能力：在分布外（O.O.D.）场景下表现出极强的鲁棒性，能够处理复杂的逻辑模式（如超比较级、多跳推理），证明了自主探索对提升泛化性的关键作用。

4. 实验结果 (Results)

数据集：在五个主流 KGQA 基准数据集上进行评估：WebQSP, CWQ, GrailQA, QALD10-en, 2WikiMultihopQA。
主要性能：
- 在 CWQ 和 WebQSP 等数据集上，EoG (基于 Llama-3.1-8B) 的 Hit@1 和 F1 分数均达到 SOTA。
- 例如，在 CWQ 上，EoG 的 F1 得分为 73.9，显著高于 GCR (60.3) 和 DoG (53.2)，甚至超过了 GPT-5 (67.6) 和 Gemini 2.5 Pro (65.3)。
消融实验：
- 移除路径奖励（Path Reward）会导致性能显著下降，证明路径信息对提升探索效率至关重要。
- 移除 RL 阶段（仅 SFT）会导致性能大幅下滑，证明 RL 是提升泛化性的核心。
- 没有 SFT 直接进行 RL 效果不佳，说明 SFT 提供了必要的冷启动基础。
效率与覆盖度：
- EoG 在保持与 SFT 基线相当的探索效率（Exploration Efficiency）的同时，显著提高了推理空间的覆盖率（Coverage），意味着它能找到更多正确的逻辑步骤，且没有增加过多的计算开销。
O.O.D. 表现：在跨数据集测试中，EoG 的 O.O.D. 到 I.I.D. 性能比率远高于仅经过 SFT 的模型，显示出极强的跨域泛化能力。

5. 意义与价值 (Significance)

理论突破：该研究证明了在知识图谱推理任务中，单纯依赖模仿学习（SFT）不足以应对复杂的现实世界问题。引入自主探索机制，配合精心设计的路径细化奖励，是提升 LLM 推理泛化性和事实性的关键。
实际应用：EoG 提供了一种低成本（基于开源小模型）但高性能的解决方案，能够替代昂贵的闭源大模型在复杂知识问答场景中的应用。
未来方向：为如何利用知识图谱设计更复杂的奖励策略、实现更高效和可解释的推理提供了新的思路。

总结：这篇论文通过引入“路径细化奖励”的强化学习策略，成功激发了 LLM 在知识图谱上的自主探索能力，解决了传统方法难以处理分布外推理模式的难题，并在多个基准测试中刷新了 SOTA，展现了开源模型在特定领域超越闭源模型的巨大潜力。