Pause or Fabricate? Training Language Models for Grounded Reasoning
该论文提出了基于交互式强化学习的 GRIL 框架，通过“澄清与暂停”两阶段机制及针对性奖励设计，使大语言模型能够识别信息缺口并主动停止幻觉推理，从而在信息不完整场景下显著提升推理的准确性与 groundedness。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文讲述了一个关于大语言模型（LLM）如何变得更“聪明”、更“诚实”的故事。我们可以把它想象成在训练一个过于自信的实习生。
1. 核心问题：实习生爱“瞎编” (Ungrounded Reasoning)
想象一下，你让一个实习生去算账：“如果一个人每天工作 5 小时，周末工作 3 小时，他一周赚多少钱？”
- 正常情况：你会告诉他每小时工资是多少。
- 实际情况（论文中的问题）：你忘了告诉他工资是多少。
这时候，普通的 AI 模型（就像那个爱面子的实习生）会怎么做？
它不会说：“老板，您忘了告诉我工资是多少，我算不出来。”
相反，它会假装知道：“嗯，让我想想……假设他每小时赚 3 块钱吧……"然后它非常自信地算出了一串数字，最后给你一个看起来很完美但完全错误的答案。
论文把这种行为称为**“无根基推理” (Ungrounded Reasoning)。模型并不是不会算数，而是它缺乏“边界意识”**——它不知道什么时候该停下来问问题，什么时候该承认“信息不足”。它为了完成任务，宁愿编造信息（幻觉）也要强行给出一个答案。
2. 解决方案：GRIL 框架 (教实习生“暂停”和“求证”)
为了解决这个问题，作者们设计了一套名为 GRIL 的训练方法。你可以把它想象成给实习生制定了一套新的考核规则：
这套规则把解决问题的过程分成了两个阶段：
第一阶段：暂停与澄清 (Clarify and Pause)
- 规则：在动手干活之前，必须先检查手里的材料够不够。
- 奖励机制：如果实习生发现材料不够，立刻举手说“老板，缺东西”，并且越早发现，奖励越高。
- 惩罚：如果材料不够却强行开始算，或者编造数据，不仅没奖励，还会被狠狠批评（负反馈）。
- 比喻：就像厨师做菜前，如果缺了盐，他应该立刻去拿，而不是往菜里撒一把糖假装是盐。
第二阶段：基于事实的推理 (Grounded Reasoning)
- 规则：只有当老板把缺少的材料（比如“每小时工资 3 块”）补全后，实习生才能开始正式计算。
- 奖励机制：只有算对了，才有奖励。
- 比喻：这时候厨师手里有了盐，他才能做出真正好吃的菜。
3. 训练过程：多轮互动 (Interactive RL)
传统的训练就像是一次性考试：题目发下去，你直接写答案，对就是对，错就是错。
而 GRIL 采用的是多轮互动训练：
- 你给模型一个缺条件的题目。
- 模型如果瞎编，系统会立刻说：“不对，你编造了信息，重来！”（不给奖励）。
- 模型如果停下来问：“缺条件了”，系统就会把缺的条件补给它。
- 模型拿到条件后，再重新算，算对了才给大奖。
通过这种“试错 - 反馈 - 修正”的循环，模型慢慢就学会了：“哦，原来在信息不全的时候，停下来问问题比瞎编更能得到奖励。”
4. 训练成果：从“嘴硬”到“靠谱”
论文通过实验发现，经过 GRIL 训练后的模型发生了惊人的变化：
- 不再乱编：面对缺条件的题目，模型识别出“缺东西”的能力提升了 45% 以上。以前它可能只有 4% 的概率能发现缺东西，现在能发现 90% 以上。
- 更诚实：它不再强行给出错误答案，而是会主动说：“这题没法做，因为缺了关键信息。”
- 效率更高：因为它不再花时间去编造那些长长的、错误的推理过程，回答的总长度反而缩短了 20% 以上。就像那个实习生，以前为了凑字数编了一页纸的假账，现在直接说“缺数据”，既快又准。
- 通用性强：这种“知道何时该停”的能力，不仅用在数学题上，用在其他需要逻辑推理的任务（比如常识问答）上也同样有效。
总结
这篇论文的核心思想就是：真正的聪明不仅仅是“会算”，更是“知道什么时候不能乱算”。
以前的 AI 像是一个急于表现但缺乏常识的“戏精”，遇到不懂的就开始瞎编；
经过 GRIL 训练后的 AI，变成了一个严谨、诚实、懂得“知之为知之，不知为不知”的“靠谱专家”。它学会了在信息不足时主动“踩刹车”，而不是盲目地“踩油门”冲向错误的结论。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。