🤖 AI

From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification

本文介绍了 ProFact，这是一个智能体强化学习框架，通过训练具有过程感知奖励的统一策略，实现多阶段事实核查的端到端优化，从而克服了孤立阶段优化和固定启发式方法的局限性。

原作者： Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探。你拿到了一项主张（某人说的一句话），你需要判断它是真实、错误，还是仅仅证据不足以做出判断。

过去，AI 侦探尝试通过一种死板的、预先写好的清单来解决这个问题。它们会将主张拆解成问题，寻找答案，然后猜测结论。问题在于？每一步都是孤立进行的。编写问题的人并不了解寻找答案的人，而猜测结论的人也不知道其他人付出了多少努力。这就像一场接力赛，接力选手从未真正完成棒次的传递——他们只是跑完自己的路程，然后寄希望于结果。

ProFact 是一种使用“智能体强化学习”（Agentic Reinforcement Learning）方法训练 AI 侦探的新方法。以下是它的工作原理，我们使用简单的类比来解释：

1. “一个大脑”的方法（统一策略）

与其让提问、寻找证据和做出最终判断分别由不同的专家负责，ProFact 训练的是一个单一的 AI 大脑来完成从头到尾的整个工作。

旧方法： 想象一条工厂流水线。工人 A 制造零件，工人 B 进行涂漆，工人 C 进行打包。如果盒子很丑，工人 C 会被责备，但工人 A 和 B 并不知道自己犯了错。
ProFact 的方法： 想象一位全能主厨在烹饪一整顿饭。如果汤太咸了，主厨会立即意识到是自己放盐过多。因为他们要对整道菜负责，所以他们学会了同时调整切菜、调味和烹饪的过程。

2. 带有即时反馈的“教练”（过程感知奖励）

训练这些 AI 侦探最大的挑战在于，“标准答案”（最终的真相）只有在最后时刻才会出现。如果 AI 得出了错误的最终结论，它并不知道为什么。是因为它问错了问题？找到了错误的证据？还是仅仅在最后猜错了？

稀疏信号问题： 这就像玩电子游戏，你只有在最后看到“游戏结束”屏幕。你不知道是因为跳得太早、错过了道具，还是撞到了墙而输掉的。
ProFact 的解决方案： 研究人员给 AI 配备了一位教练，这位教练会在每一步都进行耳语式的反馈。
- 第 1 步（提问）： 教练说：“做得好，你把那个宏大的主张拆解成了细小、清晰的问题！”（针对问题质量的奖励）。
- 第 2 步（寻找证据）： 教练说：“太棒了！你找到了证明你观点的确切文档。”（针对证据可靠性的奖励）。
- 第 3 步（结论）： 教练说：“正确！你猜中了真相。”（针对最终准确性的奖励）。

这把模糊的“游戏结束”变成了一份详细的评分表，帮助 AI 明确知道哪些动作导致了成功，哪些导致了失败。

3. 通过试错学习（强化学习）

为了变得真正优秀，AI 不仅仅是阅读书籍；它是在玩这个游戏成千上万次。

它尝试不同的方式来拆解主张。
它尝试不同的方式来搜索证据。
它对比不同的尝试（就像一群学生参加同一场考试）。如果其中一个学生得到了更高的分数，AI 就会学习模仿那个学生的策略。

结果：更快、更聪明

当研究人员测试 ProFact 时，他们发现了两个重大胜利：

更高的准确性： AI 变得更加擅长辨别真相，因为它学会了完美地协调各个步骤。它不再只是瞎猜；它在建立一个稳固的案情。
更快且更便宜： 令人惊讶的是，ProFact 也比旧方法更快，且使用了更少的计算能力。因为它学会了一种更高效的策略，所以它不会浪费时间去问不必要的问题或阅读无关的文档。它学会了成为一名精干、高效的侦探。

总结

简而言之，ProFact 将事实核查这一混乱的过程转变为一场流畅、协调的舞蹈。通过给 AI 一个在每一步都会给予称赞或纠正的“教练”（而不只是在最后），AI 学会了如何提出更好的问题、寻找更好的证据并做出更准确的决策，同时完成任务的速度也比以前更快。

技术摘要：ProFact —— 用于多阶段事实核查的智能体强化学习

1. 问题陈述

在开放域环境下，自动事实核查本质上是一个涉及声明分解、证据收集和结论预测的多阶段决策过程。虽然近期的研究方法将大语言模型（LLM）与检索增强推理相结合，但现有方法通常孤立地优化这些阶段，或依赖于固定的启发式规则进行协调。这种分离导致了次优的结果，即中间决策（例如生成验证问题）无法与最终目标（准确的结论预测）保持一致。此外，优化整个验证轨迹具有挑战性，因为存在稀疏且延迟的监督：最终的真实性标签仅在过程结束时提供奖励，这使得很难将信用分配给特定的中间动作（例如特定的搜索查询或分解步骤）。

2. 方法论：ProFact 框架

作者提出了 ProFact，一个旨在对多阶段事实核查轨迹进行端到端优化的智能体强化学习（RL）框架。

2.1 建模为马尔可夫决策过程 (MDP)

ProFact 将事实核查建模为一个有限时界的 MDP ( $M = (S, A, P, r, \rho_0, T)$ )：

状态 ( $S$ )： 包括声明、生成的验证问题、检索到的证据、问答对（QA-pairs）以及当前的推理阶段。
动作 ( $A$ )： 由单一策略 $\pi_\theta$ 生成的统一动作，包括生成验证问题、调用搜索工具、合成基于证据的答案以及预测最终结论。
轨迹 (Trajectory)： 代表完整验证工作流的状态和动作序列 $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ 。

2.2 三阶段验证展开

智能体执行一个镜像人类事实核查过程的三阶段工作流：

提问阶段 (Question Stage)： 智能体将声明分解为一组验证问题 ( $Q$ )。
搜索阶段 (Search Stage)： 对于每个问题，智能体从预构建的证据库中进行迭代检索（使用通过 Qwen3-Embedding-0.6B 和 kNN 实现的语义搜索），并生成基于证据的答案 ( $A$ )。在不同问题之间会重置上下文，以防止不必要的扩展。
结论阶段 (Verdict Stage)： 基于累积的证据和答案，智能体预测最终的真实性标签（支持、反驳、证据不足或证据冲突）。

2.3 过程感知奖励函数

为了解决最终标签导致的稀疏性问题，ProFact 引入了一个过程感知奖励函数，提供密集的阶段级监督：

提问阶段奖励 ( $r_q$ )： 通过生成的验证问题与金标准问题之间的 METEOR 匹配度进行计算。
搜索阶段奖励 ( $r_s$ )： 通过生成的问答对与金标准证据标注之间的 METEOR 匹配度进行计算。
结论阶段奖励 ( $r_v$ )： 一个指示函数（如果预测标签与金标准标签匹配则为 $1 $，否则为$ 0$）。
总回报 (Total Return)： 轨迹中所有奖励的总和，将稀疏的结果信号转化为中间的学习信号。

2.4 通过 GRPO 进行优化

该框架采用组相对策略优化 (GRPO) 进行训练。GRPO 不使用单独的评论家（critic）网络，而是通过比较针对同一声明采样的 $G$ 个轨迹组来估计优势函数。优势函数 $\hat{A}_{i,g}$ 的计算方式是将轨迹的总回报相对于该组的均值和标准差进行归一化。这使得模型能够在无需价值函数近似的情况下，实现统一策略的稳定端到端优化，因为价值函数近似在处理异构阶段奖励和检索依赖时非常困难。

3. 核心贡献

智能体验证框架： ProFact 将声明分解、证据检索和结论预测统一到一个具有显式检索动作的单一策略中，将验证视为一个长时程的智能体决策问题。
过程感知轨迹优化： 引入过程感知奖励函数提供了密集的中间反馈，使模型能够学习哪些中间行为（分解、搜索、推理）有助于最终的准确性。
实证验证： 综合实验表明，与强基线模型相比，ProFact 在提升验证性能和推理效率方面均表现出色。

4. 实验结果

实验在 AVeriTeC 数据集上进行，使用了四种开源骨干模型（Qwen2.5-3B/7B, Qwen3-4B/8B）。

性能： ProFact 在所有指标上均一致优于基线模型（Consistency, InFact, HerO）。
- AVeriTec 分数： ProFact 取得了最高分（例如，Qwen2.5-7B 上为 48.00，而 HerO 为 42.80），表明其具有卓越的端到端验证能力。
- 准确率： ProFact 展现了改进的最终标签预测准确率。
- 中间质量： ProFact 取得了最佳的 Q-only METEOR 分数，表明其具有更强的声明分解能力，并拥有极具竞争力的 Q&A METEOR 分数。
效率： ProFact 在推理效率方面表现出显著提升。与 InFact 相比，ProFact 将每个声明的处理时间减少了约 50–70%，并大幅降低了 Token 消耗（例如，在 Qwen2.5-7B 上，ProFact 的输出 Token 为 0.38M，而 InFact 为 0.66M）。
消融实验： 移除过程奖励（w/o PR）导致所有骨干模型的性能一致下降，证实了仅靠最终标签监督不足以学习有效的多阶段轨迹。
算法对比： 研究发现 GRPO 在该任务中优于 PPO、DAPO 和 GiGPO，这可能是因为它能够提供稳定的轨迹级信号，而无需像其他算法那样去学习复杂的价值函数来应对异构的阶段奖励。

5. 意义与主张

本文主张，过程感知轨迹优化是多阶段事实核查的关键机制。通过将验证视为一个统一的决策过程而非孤立模块的流水线，ProFact 使早期决策（如分解）能够适应后续阶段（如结论预测）的要求。结果表明：

中间监督对于长时程任务中的有效信用分配至关重要。
带有过程感知奖励的智能体强化学习可以同时提高准确性和降低推理成本，通过学习更具针对性、更少冗余的验证策略来实现。
更大的模型并不一定能带来更好的基于证据的核查效果，因为它们可能过度依赖参数化知识而非检索到的证据；然而，ProFact 框架在不同规模的模型上依然有效。

作者总结道，其工作证明了端到端强化学习在优化自动化事实核查中复杂的、多阶段推理工作流方面的有效性。