🤖 AI

Grounding Multi-Hop Reasoning in Structural Causal Models via Group Relative Policy Optimization

本文提出了一种新颖的框架，该框架将多跳事实验证建立在结构因果模型之上，并通过基于规则的组相对策略优化（GRPO）策略优化推理链的复杂度，通过解决幻觉问题以及推理深度与准确率之间的倒U型关系，显著优于最先进的基线方法。

原作者： Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunhan Bu, Quan Zhang, Huaping Zhang, Guotong Geng, Chunxiao Gao, Askar Hamdulla, Juan Wang, Qiuchi Li, Baohua Zhang, Shuai Lei, Yunbo Cao, Zhunchen Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正在试图解开一个复杂的谜团。你有一个主张（即“案件”）和一堆零散的证据（证人陈述、照片、文件）。你的任务是判断该主张是真是假。

长期以来，AI 侦探（大型语言模型）擅长阅读，却常常在细节中迷失。它们可能会编造事实（“幻觉”），或者在未将线索串联起来的情况下草率下结论。它们可能会说：“嫌疑人当时在公园，而公园有一张红色长椅，所以嫌疑人一定偷了手表！”却从未证明长椅与手表之间的关联。

本文介绍了一种训练 AI 侦探变得更合乎逻辑、更透明、更准确的新方法。以下用简单的类比来拆解其方法：

1. 问题：“过度思考者”陷阱

研究人员注意到一个奇怪的现象：当要求 AI 逐步解释其推理过程（例如写出冗长的思考过程）时，准确率并非持续上升，而是遵循一种“倒 U 形”曲线。

太短：AI 思考不足，遗漏了线索。
恰到好处：AI 思路清晰，得出正确答案。
太长：AI 开始胡言乱语，陷入混乱，编造不存在的关联。这就像一名侦探说了太多话，以至于忘记了实际证据。

2. 解决方案：“因果蓝图”（SCM）

为了解决这个问题，作者为 AI 提供了一个结构因果模型（SCM）。你可以将其视为构建逻辑之屋的严格建筑蓝图。

地基（外生变量）：这些是你在证据中发现的原始事实。你不能凭空捏造它们；必须从文档中找到它们。
墙壁（内生变量）：这些是你根据地基建出的中间结论。
规则（结构函数）：这是最重要的部分。蓝图规定：“除非你拥有支撑它的特定砖块（证据），否则你不能建造墙壁（结论）。”

这迫使 AI 停止猜测。除非它已证明"A 导致 B"且"B 导致 Z"，否则它不能说"A 导致 Z"。它将推理过程转变为一个逻辑建筑工地，其中每一步都必须由前一步提供支持。

3. 训练：“教师”与“学生”

由于 AI 需要学习如何使用这份蓝图，研究人员采用了一种蒸馏过程：

教师：一个非常聪明的大型 AI 模型被要求解决谜团，同时明确写出蓝图（列出证据、步骤和规则）。
学生：随后，一个较小的 AI 模型被训练以模仿这种结构化思维。它学会了说：“这是证据，这是我基于该证据采取的步骤，这是我的结论。”

4. 微调：“严格教练”（GRPO）

即使有了蓝图，学生 AI 有时仍会过于啰嗦或犯错。为了解决这个问题，研究人员使用了一种称为**组相对策略优化（GRPO）**的技术。

想象一位教练在训练一支跑步队。教练不是只告诉一名跑步者“你做得不错”，而是让五名跑步者排成一列，他们都参加了同一场比赛。

教练进行比较：“跑步者 A 走了最短、最直接的路径。跑步者 B 绕圈子跑。跑步者 C 幻觉出一条捷径。”
教练奖励那些相对于其他人最高效、最准确的跑步者。

这种“组”方法帮助 AI 学会简洁。它明白，一条简短、合乎逻辑的路径优于一条漫长、令人困惑的路径。AI 因以下三点获得“奖励”：

得出正确答案。
使用最直接的证据（不过度复杂化问题）。
将推理链保持在“金发姑娘”长度——既不太短，也不太长。

结果

当他们用这个新的"SCM-GRPO"侦探测试著名的逻辑谜题（名为 HoVer 和 EX-FEVER 的数据集）时，它击败了所有之前的最佳方法。

它在解决 3 跳和 4 跳谜题（需要连接四个不同信息片段）方面表现更佳。
它犯的错误更少，且较少出现“幻觉”。
最重要的是，其推理过程是透明的。你可以查看其“蓝图”，确切地看到它是如何得出答案的，使其成为事实核查中更可靠的工具。

总之：这篇论文教导 AI 停止胡言乱语，开始像一位谨慎的建筑师那样构建其论点，利用一套严格的规则和一套智能的教练系统，确保每一步都扎根于真实证据。

技术摘要：通过组相对策略优化将多跳推理锚定于结构因果模型

1. 问题陈述

多跳事实验证（MHFV）要求模型从多个来源检索离散证据，并综合连贯的推理链以验证复杂主张。尽管大语言模型（LLM）已融入该领域，但它们面临显著局限：

逻辑脆弱性： 现有方法，包括监督微调（SFT）和思维链（CoT）方法，往往学习统计相关性而非严谨的逻辑机制。这导致逻辑链断裂和“幻觉推理”。
缺乏因果建模： 当前框架（如图神经网络、符号程序）改善了证据整合，但未能显式建模证据与主张之间内在的因果依赖，导致验证过程不透明。
复杂性悖论： 作者实证发现推理链长度与准确率之间存在“倒 U 型”相关性。虽然更长的链最初能提升性能，但过度的结构复杂性会引入噪声并降低准确率，特别是在复杂场景（如 3 跳或 4 跳任务）中。

2. 方法论

所提出的框架SCM-GRPO通过结合结构因果模型（SCM）与组相对策略优化（GRPO）的两阶段训练流程来解决这些问题。

2.1. 结构因果模型（SCM）框架

作者将 MHFV 形式化为一种建设性因果推断过程，而非简单的标签预测任务。推理过程被建模为由元组 $\mathcal{M} = (U, V, F)$ 定义的有向无环图（DAG）：

外生变量（ $U$ ）： 从证据文档中检索的客观事实（根节点）。
内生变量（ $V$ ）： 通过逻辑推导得出的中间结论和最终裁决。
结构函数（ $F$ ）： 显式定义内生变量对其父节点的因果依赖的映射。

实施了一项关键约束：仅当某内生变量所需的父节点集合完全存在时，才能将其添加到图中。这确保了拓扑顺序，消除了逻辑跳跃和隐含假设。

2.2. 通过蒸馏进行数据构建

为了在此结构化范式上训练模型，作者采用了一条蒸馏流程：

种子数据： 利用高质量的多跳基准（HoVer, EX-FEVER）。
教师蒸馏： 提示强大的“教师”LLM（例如 Qwen3-30B-A3B）显式生成 SCM 组件（ $U, V, F$ ），而不仅仅是最终标签。
验证： 过滤生成的链以使其与真实标签一致，并组装成顺序决策格式（ $C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$ ）。

2.3. 监督微调（SFT）

首先使用构建的结构化数据集（ $D_{struct}$ ）将基础模型与 SCM 推理范式对齐。其目标是最大化生成正确结构化序列（证据 $\to$ 推导 $\to$ 结论）的可能性，从而为可追溯的验证奠定基础。

2.4. 通过组相对策略优化（GRPO）进行优化

为了解决结构深度与简洁性之间的权衡（即“倒 U 型”问题），作者引入了一种基于规则的强化学习（RL）策略，使用 GRPO。

组采样： 对于给定提示，策略生成一组 $K$ 个推理序列。
复合奖励函数（ $R$ ）： 序列的质量由三个组成部分评估：
1. 正确性（ $R_c$ ）： 基于答案准确性的二元奖励。
2. 结构（ $R_s$ ）： 通过奖励证据变量（ $U$ ）与推理步骤（ $V$ ）的更高比率来鼓励简约性（奥卡姆剃刀），惩罚过度的“思维体操”。
3. 长度（ $R_l$ ）： 引导链长趋向最优区间 $[l_{min}, l_{max}]$ ，以避免与过长链相关的性能下降。
相对优势： GRPO 基于组内样本的相对性能更新策略，降低了训练方差并稳定了复杂推理策略的学习。

3. 主要贡献

形式化因果框架： 将 SCM 引入 MHFV，提供了一个可解释的语义基础，通过有向无环图显式建模证据与主张之间的因果依赖。
实证洞察与 RL 优化： 发现了推理链长度与准确率之间的倒 U 型关系。作者提出了一种新颖的基于 GRPO 的策略，以自适应地约束结构复杂性，在严谨性与简约性之间取得平衡。
最先进性能： SCM-GRPO 框架在公开基准测试中取得了优越性能，证明了在复杂多跳场景中具有鲁棒的泛化能力和逻辑一致性。

4. 实验结果

该框架在HoVer和EX-FEVER基准测试上进行了评估，对比了多种基线，包括直接预测、ProgramFC、FOLK、RAG 和 Search-o1。

整体性能： SCM-GRPO 在所有评估子集上均取得了最先进（SOTA）结果。
- HoVer 2 跳： 73.42%（Search-o1 为 69.00%）。
- HoVer 4 跳： 60.88%（Search-o1 为 56.60%）。
- EX-FEVER 3 跳： 75.00%（Search-o1 为 72.80%）。
RL 必要性的验证： 实验表明，应用 SCM-CoT 而不进行 RL 优化往往会降低性能（例如，当仅使用 SCM-CoT 时，Qwen3-14B 在 HoVer 2 跳上的准确率从 57.48% 下降至 47.22%）。需要完整的 SCM-GRPO 流程才能将结构潜力转化为性能提升。
消融研究： 在 Qwen3-8B 骨干网络上比较优化策略，GRPO（75.42% 准确率）显著优于仅 SFT（73.33%）和上下文偏好优化（CPO）（71.91%），证实了组间相对目标在稳定复杂推理方面的有效性。

5. 意义与局限性

意义：
本文声称通过将推理锚定于显式因果结构，为复杂事实验证提供了一种可靠且可解释的解决方案。它通过强制拓扑有效性并利用 RL 动态优化推理深度与简洁性之间的权衡，解决了 LLM 中“幻觉推理”的关键缺口。这项工作提供了关于结构复杂性如何影响 LLM 推理可靠性的新颖实证洞察。

局限性：
作者谦逊地承认了两个主要局限性：

数据依赖性： 该框架的性能部分取决于通过蒸馏生成的自动构建的结构化训练数据的质量。
对超长链的泛化： 超过 4 跳的推理链的泛化能力仍有待进一步验证。

未来的工作提议探索更鲁棒的数据构建方法，并将因果推理框架扩展到更广泛的复杂推理任务谱系中。