🤖 AI

MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop

该论文介绍了 MulFeRL，这是一个多轮强化学习框架，它通过将失败样本上的丰富口头反馈转化为可训练的学习信号来增强推理能力，从而在领域内和领域外任务中均优于现有的监督学习和 RLVR 基准。

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 MulFeRL 论文的解释，已将其转化为通俗易懂的语言并辅以创意类比。

问题所在：AI 的“沉默失败”

想象一下，你正在教一名学生解决复杂的数学题。你给了他们一份测试卷，结果他们答错了。

在标准的 AI 训练（称为 RLVR）中，老师只会说：“错误。” 就这样。没有解释，没有提示，只有一个零分。

问题在于： 如果学生做错了 100 道题，他们会得到 100 个“错误”的分数。他们完全不知道自己为什么失败了。是因为加法算错了？还是理解错了题目？或者是漏掉了某个步骤？
结果： AI 会陷入停滞。它会不断进行随机猜测，因为其“学习信号”（反馈）过于稀疏且毫无帮助。这就像学开车时，只有在你撞墙时才被告知“撞车了”，却从未有人告诉你是因为你忘了看后视镜。

解决方案：MulFeRL（“带着剪贴板的教练”）

研究人员提出了 MulFeRL（多轮反馈引导的强化学习）。这个系统不再只是简单地说“错误”，而是扮演一个严厉但乐于助人的教练，提供具体的口头建议。

以下是它的工作原理，分步详解：

1. “全军覆没”的陷阱

通常情况下，如果 AI 尝试解决一个难题并失败了，训练就会停止。因为没有“正确”的答案可以与“错误”的答案进行对比，训练循环就会中断。

MulFeRL 的应对策略： 当 AI 完全失败时，系统不会放弃。它会暂停并请求一个“反馈提供者”（比如聪明的人类或更强大的 AI）来观察这一团乱麻。

2. “口头反馈”（教练的笔记）

反馈提供者不会只说“错误”。它会写下一段话：

“你尝试使用勾股定理，但你忘了先对数字进行平方运算。”
“你在第 3 步漏掉了一个负号。”
这就是口头反馈。它将模糊的失败转化为了具体的教训。

3. “再生”（重来一次）

现在，AI 有了第二次机会。它带着原始题目加上教练的笔记，再次尝试解决问题。

神奇之处： 如果 AI 正确使用了这些笔记，它最终可能会得到正确答案。
功劳归属： 系统现在知道了：“啊！当我们给 AI 关于平方运算的具体提示时，它成功了。” 这将“失败”转化为了可以从中学习的“成功”。

4. 两种学习方式（计分卡）

论文介绍了两种特定的评分方式：

场景 A：“好坏参半”（GRPO）
有时，在获得笔记后，AI 会尝试 8 次。其中一些尝试仍然是错误的，但另一些是正确的。
- 类比： 这就像一支运动队，有些球员失误了，但其他球员表现出色。教练可以说：“看看那些成功的球员，模仿他们的动作。” AI 通过将自己的“好尝试”与“坏尝试”进行对比来学习。
场景 B：“彻底扭转”（FCO）
有时，由于笔记非常出色，所有 8 次尝试都变得正确了。
- 类比： 整个队伍突然表现完美。在标准训练中，这会让人感到困惑，因为没有“坏例子”可以用来对比。
- MulFeRL 的妙招： 它观察前后对比。它将“之前”（所有人都在失败）与“之后”（所有人都在成功）进行对比。它告诉 AI：“还记得你之前是怎么失败的吗？还记得拿到笔记后你是如何成功的吗？多做更多‘之后’版本的行为。” 这被称为反馈对比优化（FCO）。

5. “固定槽位”（便利贴）

为了确保 AI 真的阅读了笔记，MulFeRL 并没有简单地把反馈粘贴在页面底部。它将反馈放在一个固定的、特殊的框内（类似于 <feedback> 标签），直接置于思考过程的正中间。

类比： 这就像学生在计算器上贴了一张便利贴，上面写着“检查正负号！”，而不是在每周收到成绩单时才去读报告。这迫使 AI 在工作过程中必须关注这些建议。

为什么这很重要

论文表明，通过使用这种“带着剪贴板的教练”的方法：

它解决了“沉默失败”问题： 它找到了一种方法，即使 AI 最初完全失败，也能从中学习。
它学习得更快： AI 进步得更快，因为它得到了关于如何修正错误的具体指令，而不仅仅是一个分数。
它具有迁移性： 尽管它是针对数学问题进行训练的，但它在科学和通用推理任务上也表现得更好，这证明它学到的是一种更好的思考方式，而不仅仅是记住了数学答案。

总结

MulFeRL 是一种让 AI 在失败时不会陷入僵局的方法。它不再忽略失败的尝试，而是利用口头反馈来引导 AI 再次尝试。随后，它不仅奖励 AI 得到正确答案，还奖励 AI 根据反馈进行改进。它将“我失败了”转化为“这是我如何修复它的”，使学习过程更加丰富且高效。

技术摘要：MulFeRL

问题陈述

具有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力（特别是在数学和代码生成领域）的标准方法。然而，标准的 RLVR 依赖于仅基于结果的标量奖励（例如，二元的正确/错误信号）。作者认为，随着模型性能的提升，这种方法会遇到瓶颈，原因在于标量奖励的稀疏性和信息量不足，尤其是在处理失败样本时。

当模型生成大量完全错误的解法时，标准的 RLVR 会分配接近于零或负值的奖励，这些奖励仅指示了失败，却无法解释为什么推理过程崩溃了，或者如何进行改进。这导致了：

信用分配不佳： 梯度估计变得充满噪声。
训练平台期： 在“全失败”的 Rollout 组中，由于缺乏组内对比，学习信号会发生坍缩。
样本效率低下： 在标量奖励无法提供可用对比度的困难问题上，训练难以取得进展。

虽然人类利用口头反馈来定位错误并弥补与目标解法之间的差距，但现有的 RL 式反馈方法往往是将反馈广泛分配给样本，而不是针对那些标量结果奖励最缺乏信息量的“全失败”案例。

方法论：MulFeRL

本文提出了 MulFeRL（多轮反馈引导的强化学习），这是一个事件触发的多轮 RLVR 框架，旨在将口头反馈转化为稳定的、可用于训练的学习信号。该框架通过两个主要阶段运行：进度诱导（Progress Induction）和进度信用分配（Progress Credit Assignment）。

1. 事件触发的进度诱导

MulFeRL 针对所有 $K$ 个样本均未通过验证的 Rollout 组（即 FAILED 状态）进行处理。在这种状态下，标准的 RLVR 无法提供学习信号。

反馈作为调节条件： MulFeRL 并非直接优化反馈，而是将口头反馈作为一种调节干预。当一组处于 FAILED 状态时，反馈提供者（例如 LLM 模拟器）会生成具有行动力的反馈，识别主要的失败模式并建议修改方案。
再生（Regeneration）： 该反馈被注入到上下文中，模型随后重新生成一组新的 $K$ 个 Rollout。
目标： 其目标是诱导模型从 FAILED 状态向 CONTRASTIVE 状态（混合成功与失败）或 SOLVED 状态（全部成功）进行转换。这种转换构成了“验证器认证的进度”。

2. 进度信用分配

一旦进度被诱导，MulFeRL 会根据转换的性质分配信用，使用两种互补的目标：

状态内信用（GRPO）： 如果再生的组处于 CONTRASTIVE 状态（包含正确和错误的答案），MulFeRL 应用标准的组相对策略优化（GRPO）。这利用了在相同反馈调节上下文内，成功与失败 Rollout 之间的相对优势。
跨状态信用（FCO）： 如果再生的组变为 SOLVED 状态（全部正确），则组内对比消失（所有奖励均为 1），使得标准 GRPO 失效。为了恢复学习信号，MulFeRL 引入了反馈对比优化（Feedback-Contrastive Optimization, FCO）。FCO 在当前的 SOLVED 组与紧接其前的 FAILED 组之间构建配对。它优化策略，使受反馈调节的成功轨迹相对于受原始提示词调节的失败轨迹获得更高的相对得分，从而有效地将这种转换视为一个偏好学习任务。

3. 结构化反馈注入

为了确保模型在再生过程中能有效利用反馈，MulFeRL 采用了**固定槽位注入（fixed-slot injection）**机制。口头反馈被插入到推理模板中的专用 <feedback> 标签内（例如在 <thinking> 块内部），而不是简单地附加在提示词后。这种设计：

将反馈视为显式的调节信号。
将反馈紧密嵌入推理上下文中。
允许在训练期间进行精确的 Token 掩码，确保模型学习的是“在给定反馈的情况下如何推理”，而不是去优化反馈本身的 Token。

核心贡献

针对低信号机制的新颖框架： MulFeRL 通过引入一个利用口头反馈来诱导进度的多轮循环，解决了 RLVR 在“全失败”样本上的局限性，将此前无信息的失败转化为经过验证器认证的学习机会。
反馈对比优化（FCO）： 本文引入了一个新目标，以处理“奖励饱和”的进度（即 FAILED $\to$ SOLVED 的转换）。这使得模型能够从反馈成功解决所有失败的情况中学习，而在这种情况下，标准的组内对比方法会失效。
结构化反馈集成： 作者证明，将反馈注入到固定的推理槽位中，比简单的提示工程更能显著提高模型在再生过程中对反馈的调节和利用能力。
事件触发路由： 框架根据验证器对组状态（CONTRASTIVE vs. SOLVED vs. FAILED）的观察动态路由训练信号，确保仅在存在可用判别信号时才进行更新。

实验结果

作者在 OpenR1-Math 的采样子集上评估了 MulFeRL，并在五个数学推理基准测试（AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math）以及三个领域外（OOD）科学/通用推理任务上进行了测试。

性能提升： MulFeRL 一致优于强基线模型，包括监督微调（SFT）、自我蒸馏（SDPO）以及各种基于 RL 的方法（GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM）。
- 在 Qwen2.5-7B-Base 主干网络上，MulFeRL 实现了 46.26% 的平均 Pass@1，显著超过了表现最好的 RL 基线（Critique-GRPO 为 42.83%）。
- 在 Qwen3-4B-Inst 主干网络上，MulFeRL 达到了 68.36% 的平均 Pass@1，优于 Critique-GRPO (63.65%) 及其他基线。
泛化能力： 模型展现出强大的领域外泛化能力，尽管主要在数学数据上进行训练，但在科学和通用推理任务上也提升了性能。
消融实验： 移除核心组件会导致性能下降：
- 移除反馈引导的再生导致性能下降最为严重，证实了从失败状态诱导进度的必要性。
- 移除 FCO 显著损害了性能，验证了其在捕捉 FAILED $\to$ SOLVED 转换中的作用。
- 移除结构化反馈注入导致性能持续下降，凸显了固定槽位设计的重要性。
模拟器鲁棒性： 该方法即使在使用较弱的反馈模拟器（如基础模型本身或 GPT-4o-mini）时依然有效，尽管使用更强的模拟器（如 GPT-4o）会带来进一步的收益。

重要性与主张

本文声称，MulFeRL 通过利用口头反馈的丰富性，同时避免了直接优化反馈或简单模仿的陷阱，为 RLVR 中的“稀疏奖励”瓶颈提供了稳健的解决方案。

机制： 作者强调，性能的提升不仅源于接触反馈，更源于进度诱导（通过反馈将失败转变为成功）和反馈感知信用分配（通过 FCO 从这些转换中学习）这一特定机制。
效率与成本： 作者承认，由于多轮再生和验证的开销，MulFeRL 带来了更高的训练成本。然而，他们认为该方法在样本效率上更高，因为它能从原本会被丢弃的失败样本中提取出更密集的学习信号，从而在更少的优化步骤内达到强大的性能。
局限性： 文中坦诚地指出，该方法依赖于可靠的结果验证和有用的反馈。同时，作者也提到当前的设计侧重于针对全失败组的 Rollout 级反馈，可能会错过对部分正确解法的更细粒度改进，这表明未来的工作可以向步进级（step-level）反馈扩展。

总之，MulFeRL 证明了通过将口头反馈转化为经验证器门控的学习信号，可以使 RL 训练在困难的失败样本上持续推进，从而在领域内及领域外任务中实现卓越的推理能力。