💬 NLP

Reasoning Error from Known Fact: Step-Level Self-Consistency Group Relative Policy Optimization for LLM

本文介绍了步级自一致性组相对策略优化（SSC-GRPO），这是一种通过根据多次推理展开中的自一致性得分来分配步级奖励，从而减轻大语言模型中上下文敏感型事实幻觉的新颖方法，该方法在数学推理和幻觉基准测试上实现了最先进的性能。

原作者： Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaomeng Hu, Jiaqi Hu, Hao Chen, Qi Zhang, Zhanming Shen, Wentao Ye, Junbo Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个才华横溢、极具创造力的机器人去破解谜题。这个机器人读过图书馆里几乎所有的书，说话也像人类一样自然，但它有一个古怪的习惯：有时，当它沉浸在一个很长的故事中时，它会开始编造事实。它可能会自信满满地说：“管家用烛台杀死了受害者，”即便线索明明指向园丁。在人工智能的世界里，这被称为“幻觉”。这并不是说机器人在故意撒谎；它只是因为自己的思维链条变得太长、太乱，以至于忘记了它真正掌握的知识。

长期以来，科学家们一直认为这些错误是因为机器人单纯不知道答案。但如果机器人知道答案，只是被它正在讲述的故事给搞混了呢？这正是这篇论文要解决的谜题。研究人员正在观察 AI 模型是如何进行逐步思考的，就像侦探在笔记本上写下线索一样。他们发现，机器人经常会绊倒自己的脚，这并不是因为缺乏知识，而是因为它正在编写的故事的语境（context）让它忘记了真相。为了解决这个问题，他们发明了一种新的训练方法，充当一种“自我检查”系统，教会机器人停下来并询问自己：“等等，这句话跟我刚才写的其他内容相符吗？”

问题所在：机器人的“脑雾”

来认识一下大语言模型（LLM）。把它想象成一只背下了整个互联网内容的超级聪明的鹦鹉。当你问它一个难题时，它不仅仅是吐出一个答案；它会尝试通过“思考”来解决问题，一步步写下长长的推理链。这对于解决复杂谜题非常有用，但它有一个缺陷。随着思维链变得越来越长，机器人有时会变得“语境敏感”。

想象一下，你正在脑海中解一道数学题。你知道 $3 \times 100 = 300$ 。但接着，你开始讲一个关于巫师施法将数字变成水果的故事。突然，你的大脑混乱了，你可能会写道：“所以， $3 \times 100$ 肯定是一个香蕉。”你知道它是 300，但你对自己讲述的那个愚蠢故事让你忘记了。

研究人员发现，AI 也会发生完全相同的情况。他们称之为语境敏感型事实幻觉（Context-Sensitive Factual Hallucination）。机器人的大脑中确实存储着正确的知识，但冗长的推理过程产生的“噪音”误导了它，使其犯错。这就像一位音乐家明明知道如何完美地演奏一首歌，却因为听众的嘈杂声而分了心，从而弹错了音符。

发现：并非知识匮乏

为了查明原因，团队化身为侦探。他们找出了一个在长推理链中出错的机器人，并问了一个简单的问题：“如果我只取出那一个错误的句子，单独问你这个问题，你能答对吗？”

答案几乎总是可以。

当他们隔离出那个错误时，机器人会说：“噢，当然可以！ $3 \times 100$ 是 300，不是香蕉！”这证明了机器人并不是缺失知识，它只是被语境搞混了。事实上，他们的分析显示，这些推理模型犯下的错误中，有近 70% 都是这种特定类型的“脑雾”——即模型知道真相，却被自己的故事绊住了脚。

解决方案：“自我一致性”教练

那么，如何教机器人停止被自己的故事搞混呢？作者创建了一种新的训练方法，叫做 SSC-GRPO（步级自我一致性群体相对策略优化）。这个名字很拗口，让我们用一个游戏类比来拆解它。

想象一下，你正在训练 8 个机器人同时解决同一个谜题。

展开（The Rollout）： 每个机器人写下属于自己的逐步解决方案。
自我检查（The Self-Check）： 系统不只是检查最终答案是否正确，还会要求机器人对比它们的步骤。“机器人 A，你的第二步和机器人 B 以及机器人 C 写的内容一致吗？”
奖励（The Reward）： 如果一个机器人的步骤与其他机器人的说法一致（高一致性），它会获得高分。如果它脱离轨道，说了一些没人认同的奇怪话（低一致性），它就会得到低分。

这里的奇妙之处在于，机器人扮演了自己的裁判。它不需要人类老师或事实数据库来告诉它错了，它只需要观察自己的“同伴”（其他版本的自己）并意识到：“嘿，我是唯一一个说答案是香蕉的人。那大概率是错的。”

系统随后利用这些分数，对那些具有一致性的特定步骤给予“奖励”，并对那些产生幻觉的步骤给予“惩罚”。随着时间的推移，机器人学会了信任那些在群体中显得合理的步骤，不再为了迎合故事而编造事实。

结果：更聪明、更诚实的机器人

团队在一些最难的数学和推理挑战上测试了这种新方法。他们使用了像 Qwen3 和 Llama3 这样的模型。结果令人印象深刻。

更好的数学能力： 在标准数学测试中，新方法帮助机器人的得分比以前更高。例如，在一项测试中，与标准训练方法相比，新方法的得分提高了约 1.8%。
更少的幻觉： 最重要的是，机器人犯下那些“语境敏感型”错误的次数大幅减少。它们被自己故事搞混的次数显著下降。
无需外部帮助： 不同于其他需要机器人查阅巨型百科全书（这既慢又贵）的方法，这种方法仅仅利用机器人自身的思维来进行自我检查。

研究人员在训练过程中还观察到了一个有趣的现象：随着机器人的学习，它们的“一致性”在提高。它们开始更频繁地达成共识，产生混乱、虚假步骤的数量也在减少。这就像是在观察一个学生从分心困惑变得专注且自信的过程。

为什么这很重要

这篇论文为解决 AI 最严重的问题之一提供了一种新思路：即那种“一本正经胡说八道”的倾向。通过意识到机器人往往知道答案，只是在故事中迷失了方向，作者找到了一种让它保持专注的方法。

他们不仅是猜测，更是进行了测量。他们证明了当隔离出错误时，知识确实存在。他们证明了这种新方法能减少这类特定类型的错误。虽然论文指出，这需要消耗更多的计算资源（因为机器人必须多次自我检查），但为了让 AI 变得更可靠，这种权衡是值得的。

简而言之，作者给了 AI 一个新工具：一面镜子。机器人不再仅仅盯着故事的下一步看，它现在学会了回头审视并询问自己：“这跟我之前说的一切吻合吗？”通过这样做，它停止了编造事实，开始讲述真相。

技术摘要：用于大语言模型的步级自一致性组相对策略优化 (SSC-GRPO)

1. 问题定义：上下文敏感型事实幻觉

尽管大语言模型（LLMs）在长链推理方面展现了强大的能力，但它们仍然容易产生自信但错误的陈述，即所谓的“幻觉”。作者识别出一种特定且普遍的失效模式，称为上下文敏感型事实幻觉 (Context-Sensitive Factual Hallucinations)。

不同于模型缺乏必要信息的“知识差距”型幻觉，上下文敏感型幻觉发生在模型拥有正确事实知识，但由于受到周围推理上下文的干扰而产生事实错误的情况下。论文表明，如果将一个幻觉推理步骤提取出来并重新表述为一个独立的问题，模型可以正确回答该问题。然而，在复杂的多步推理轨迹中，模型会被上下文误导，导致错误级联并得出错误的最终答案。实证分析显示，这类幻觉占推理模型错误的近 70%，即使随着模型能力的提升和知识差距类错误的减少，这一比例依然存在。

2. 方法论：SSC-GRPO

为了在不依赖外部知识库的情况下缓解这些幻觉，作者提出了步级自一致性组相对策略优化 (Step-Level Self-Consistency Group Relative Policy Optimization, SSC-GRPO)。该方法将自一致性检测直接集成到组相对策略优化 (GRPO) 的强化学习 (RL) 训练循环中。

核心机制

该方法利用了这样一个观察结果：GRPO 会为单个提示词自然地采样多个推理轨迹（rollouts），这与基于自一致性的幻觉检测相契合。该方法流程如下：

分组采样 (Group Rollouts)： 对于给定的查询，策略模型生成一组包含 $G$ 个推理轨迹（rollouts）的组。
步级自一致性评分： SSC-GRPO 不仅在轨迹结束时分配奖励，还会将轨迹 $i$ $i$ 中的每个推理步骤 $o_{i,k}$ $o_{i, k}$ 与同组内其他轨迹 $j$ $j$ 中的对应步骤进行评估。
- 模型充当自身的评判者，使用自然语言推理 (NLI) 提示词来判断轨迹 $i$ 中的一个步骤是否蕴含、矛盾或中立于轨迹 $j$ 中的对应步骤。
- 通过聚合这些 NLI 判断来计算一致性得分，并根据参考轨迹 $j$ 的结果奖励进行加权（给予通向正确最终答案的轨迹更高的权重）。
步级优势重缩放 (Step Advantage Rescaling)： 标准的 GRPO 优势（源自最终结果奖励）被重新分配到轨迹的各个步骤中。
- 如果轨迹是正确的，具有高自一致性得分的步骤将获得更大的优势份额；如果轨迹是错误的，则获得较小的惩罚。
- 这是通过一个重缩放系数 $w_{i,k}$ 实现的，该系数在调整每个步骤的优势时，保持了总体的轨迹级优势不变。
策略优化： 模型使用类似于 PPO 的目标函数进行更新，该目标函数最大化这些步级优势的加权和，从而有效地鼓励模型生成与大多数正确推理路径保持一致的步骤。

3. 主要贡献

论文概述了三项主要贡献：

识别了一种主导的幻觉类型： 作者通过细粒度的分析证明，上下文敏感型事实幻觉是当前推理模型中的主要错误模式。他们展示了这些错误源于上下文干扰而非知识匮乏，而传统的检测方法往往会忽略这一现象。
SSC-GRPO 算法： 他们提出了一种新型的基于强化学习的方法，利用多个采样轨迹之间的自一致性信号来生成步级奖励。这使得模型能够学习避免由上下文诱发的错误，而无需外部知识源或事实核查工具。
实证验证： 在数学推理和幻觉基准测试上的广泛实验验证了 SSC-GRPO 能有效减少上下文敏感型事实幻觉的比例，并提升整体推理性能。

4. 实验结果

作者在 Qwen3-4B-Base、Qwen3-4B-Instruct 和 Llama3-8B-Instruct 上对 SSC-GRPO 进行了评估，并将其与包括 Vanilla 模型、标准 GRPO、FSPO (事实感知步进策略优化) 和 SEED-GRPO 在内的基线模型进行了对比。

数学推理： SSC-GRPO 在包括 GSM8K、MATH-500、AIME-24 和 AIME-25 在内的基准测试中均达到了最先进的性能。在 Qwen3-4B-Base 上，其表现比基线平均高出 1.80%。
幻觉缓解： 在幻觉基准测试（HaluEval, TruthfulQA, HotpotQA）上，该方法表现出优于基线的性能，特别值得注意的是，它仅利用模型的内部知识实现这些结果，而不像 FSPO 那样依赖外部检索。
幻觉分析： 训练后的分析显示，上下文敏感型事实幻觉的比例显著下降（在一种配置下从约 22.76% 下降到约 16.90%），同时正确推理步骤的比例相应增加。
训练动态： 在训练过程中追踪一致性比例显示，一致性步骤稳步增加，不一致性步骤稳步减少，证实了强化学习过程成功增强了推理的一致性。

5. 重要性与主张

论文声称为检测和缓解 LLM 推理过程中的幻觉提供了一个新视角。通过将关注点从最终答案验证转向步级自一致性，作者认为可以训练模型识别并纠正其自身由上下文诱发的错误。

其重要性在于发现：模型通常“知道”事实，但在复杂的推理上下文中却无法正确应用。SSC-GRPO 通过强化中间推理步骤的一致性来解决这一问题，从而缓解了困扰长链推理的特定类型幻觉。作者保持了谦逊的态度，承认虽然其方法有效，但由于引入了自一致性检查，会带来额外的计算开销，且目前仅在 4B 和 8B 参数规模的特定模型家族（Qwen 和 Llama）上进行了评估。