💻 computer science

NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

该论文提出了 NoisyGRPO 框架，通过向视觉输入注入可控噪声以增强探索，并结合贝叶斯推断优化优势估计，从而显著提升了多模态大语言模型在链式思维推理任务中的泛化能力与鲁棒性。

原作者： Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 NoisyGRPO 的新方法，旨在让“多模态大语言模型”（也就是能看懂图、能聊天、能推理的 AI）变得更聪明、更靠谱。

为了让你轻松理解，我们可以把训练这些 AI 的过程想象成教一个学生做数学题。

1. 现状：学生为什么“死记硬背”？

以前的训练方法（叫 GRPO）就像是一个严厉的教练。

做法：教练给学生看一道题（图片 + 问题），让学生做十遍（生成十个答案）。
问题：学生很聪明，但也很“懒”。为了拿高分，他们发现只要背下几个固定的解题套路就能蒙对答案。于是，十次练习，学生写出来的十种答案长得几乎一模一样（探索不足）。
后果：一旦换个稍微不一样的题目（比如图片稍微模糊一点，或者换个问法），学生就懵了，因为他在训练时只学会了“死记硬背”，没有真正学会“举一反三”。而且，有时候学生为了凑答案，会编造一些看起来像那么回事但其实瞎编的步骤（幻觉）。

2. 核心创新：NoisyGRPO 是怎么教的？

NoisyGRPO 引入了两个绝招，就像给教练换了一套全新的教学法：

第一招：故意“捣乱”的视觉干扰（噪声注入）

比喻：想象教练在给学生看题目图片时，故意往图片上撒点“盐”（加噪声），让图片变得有点模糊、有点花，或者像隔着一层毛玻璃看东西。
目的：
- 如果图片太清晰，学生就会偷懒，只盯着细节死记。
- 现在图片“脏”了，学生没法偷懒，必须真正理解图片里的核心逻辑，才能把题做对。
- 这就像在嘈杂的房间里练听力，一旦环境变安静（考试时图片清晰了），他的听力反而更敏锐了。
- 结果：学生被迫去探索更多样的解题思路，不再只会一种套路。

第二招：聪明的“打分员”（贝叶斯优势估计）

问题：既然图片被故意弄脏了，学生做出来的答案可能会变差。这时候，教练怎么判断学生到底行不行呢？如果只看最终答案对不对，可能会误判（比如运气好蒙对了，或者虽然过程很烂但答案对了）。
比喻：NoisyGRPO 请来了一个超级聪明的裁判。
- 这个裁判手里有两张牌：
  1. 干扰牌（先验）：他知道这张图片被弄脏了多少（噪声大小）。图片越脏，他预期学生发挥越不稳定。
  2. 结果牌（似然）：他看到了学生最终的答案和解题过程。
- 裁判的绝活：他不像普通裁判那样只看结果。他会结合“图片有多脏”和“结果有多好”来动态打分。
  - 如果图片很脏，学生还能做对，裁判会给他超级高分（因为这说明学生真的懂）。
  - 如果图片很干净，学生却做错了，裁判会严厉扣分。
  - 如果图片很脏，学生做错了，裁判会宽容一点，因为本来就不容易。
- 数学原理：这就是论文里说的“贝叶斯估计”，简单说就是把“干扰程度”和“实际表现”结合起来，算出一个更公平、更真实的分数。

3. 效果如何？

经过这种“捣乱 + 聪明打分”的训练，学生们（AI 模型）发生了质的变化：

更抗造：哪怕考试时图片有点模糊，或者题目换种说法，他们也能稳得住，不再轻易“翻车”。
更诚实：他们不再编造那些花里胡哨但没用的推理步骤，而是直奔主题，逻辑更清晰。
小模型也能变强：以前只有那种“超级大脑”（大参数模型）才能学会这种高级推理，现在用“普通大脑”（小参数模型，如 3B 模型）也能通过这种方法变得非常厉害。

总结

这篇论文的核心思想就是：为了让学生（AI）真正学会思考，我们不能只让他做“舒适区”的题，而要故意给他制造一点困难（加噪声），同时用一个更聪明的裁判（贝叶斯估计）来公平地评价他的努力。

这就好比教人游泳，不能只在平静的水池里练，得去有波浪的地方练，教练还得懂得根据波浪的大小来评价游得好不好。这样练出来的游泳健将，到了大海里（真实世界）才能游刃有余。

NoisyGRPO 技术总结

1. 研究背景与问题 (Problem)

尽管基于强化学习（RL）的方法（如 GRPO）在提升大语言模型（LLM）的思维链（CoT）推理能力方面取得了显著进展，但在将其应用于**多模态大语言模型（MLLMs）**以增强通用 CoT 推理能力时，仍面临两大核心挑战：

策略探索受限 (Limited Policy Exploration)：现有的 GRPO 主要依赖温度采样（Temperature Sampling）生成多个 rollout 进行探索。然而，在训练过程中，这些 rollout 往往收敛到几乎相同的输出，导致探索不足，模型容易陷入局部最优或确定性策略，难以泛化到训练分布之外的场景。
过程监督缺失与分布偏移 (Missing Process Supervision & Distribution Shift)：
- 传统的基于规则的奖励通常只评估最终答案的正确性，缺乏对中间推理步骤的监督，导致模型可能学会“走捷径”或产生视觉幻觉。
- 为了促进探索，若直接在输入图像中注入噪声，会导致策略分布偏移（Off-policy）：收集轨迹的行为策略（基于噪声图像）与目标策略（基于干净图像）不一致。这种分布偏移使得优势估计（Advantage Estimation）出现偏差，进而污染策略梯度，导致训练不稳定或性能下降（如图 1 所示，高训练奖励并未转化为更好的评估性能）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 NoisyGRPO，一个系统性的多模态强化学习框架。该方法无需额外的计算开销，通过两个核心组件协同工作：

2.1 噪声注入探索策略 (Noise-Injected Exploration Policy)

机制：在 rollout 收集阶段，向输入图像注入可控的高斯噪声。噪声强度 $n_i$ 从均匀分布 $U(0, 1)$ 中采样，并通过类似扩散模型的前向过程对图像进行扰动。
目的：
- 强制模型在更广泛的视觉场景下进行探索，打破 rollout 的同质化。
- 利用噪声强度作为推理难度的代理指标：如果模型在噪声较大的图像上仍能生成正确回答，说明其推理能力更强。
- 注意：噪声仅用于收集轨迹，策略更新（Policy Update）时仍使用干净图像，以保证学习稳定性。

2.2 贝叶斯优势估计 (Bayesian Advantage Estimation)

针对噪声注入导致的分布偏移和优势估计偏差问题，作者提出了一种 principled 的贝叶斯推断框架：

建模思路：将轨迹质量 $r_i$ $r_{i}$ 建模为潜在变量。
- 先验 (Prior)：利用注入的噪声水平 $n_i$ 构建先验估计。直觉上，噪声越大，生成正确答案的难度越高，因此 $1-n_i$ 可作为质量先验。
- 似然 (Likelihood)：利用观察到的轨迹语义奖励（基于 SBERT 计算的文本相似度）作为观测值。
后验估计：将优势估计视为贝叶斯推断问题，结合先验（噪声水平）和似然（观测奖励）计算后验均值。
- 公式核心： $\hat{r}_i = \hat{r}^s_i + \frac{\sigma^2_s}{\sigma^2_n + \sigma^2_s}(\hat{r}^n_i - \hat{r}^s_i)$
- 动态权重：先验方差 $\sigma^2_n$ 被设计为与组内语义奖励的方差成反比。如果组内奖励差异大（说明噪声对结果影响显著），则降低先验不确定性（增加先验权重）；反之则降低先验权重。
效果：这种建模方式能够自适应地融合噪声信号和奖励信号，计算出更鲁棒的轨迹优势估计，有效校正了 off-policy 带来的偏差，引导模型偏好“视觉 grounded"的轨迹而非噪声轨迹。

3. 关键贡献 (Key Contributions)

提出 NoisyGRPO 框架：首个系统性地通过噪声注入和贝叶斯估计来增强 MLLM 通用 CoT 推理能力的 RL 框架。
创新的探索与校正机制：
- 利用噪声注入解决探索不足问题，鼓励多样化的推理路径。
- 提出贝叶斯优势估计，将噪声水平作为先验，巧妙解决了噪声注入带来的分布偏移和优势估计偏差问题，无需训练额外的价值模型。
小模型上的显著收益：实验证明，该方法在参数量较小的 MLLM（如 Qwen2.5-VL 3B）上效果尤为显著，大幅提升了泛化能力和鲁棒性。

4. 实验结果 (Results)

作者在多个基准测试中验证了 NoisyGRPO 的有效性：

CoT 质量 (MME-CoT)：
- 在 Qwen2.5-VL 3B 上，NoisyGRPO 相比 GRPO 在 CoT 质量指标上提升了 +4.4，在鲁棒性指标上也有显著提升。
- 在 7B 模型上，NoisyGRPO 的鲁棒性甚至超过了 GPT-4o 和 Kimi K1.5 等闭源模型。
通用能力 (MMStar)：
- 在 MMStar 基准上，Qwen2.5-VL 3B 的平均性能提升了 +3.7，7B 模型提升了 +2.6。
- 特别是在细粒度感知（Fine-grained Perception）和实例推理（Instance Reasoning）任务上表现优异。
幻觉抑制 (AMBER)：
- 在生成式幻觉（Generative Hallucination）指标上表现更好，说明模型生成的回答更加基于视觉事实。
- 注：在覆盖度（Coverage）指标上略有下降，这是因为模型倾向于生成更简洁、基于事实的回答，减少了冗余描述。
训练效率：
- 与标准 GRPO 相比，NoisyGRPO 的训练时间（Wall-Clock Time）和 GPU 显存占用几乎相同，证明了其高效性。
消融实验：
- 证明了单纯的噪声注入（Naive NoisyGRPO）会破坏训练，必须配合贝叶斯优势估计才能生效。
- 证明了贝叶斯框架中的动态权重机制（ $\gamma$ 参数）对性能至关重要。

5. 意义与影响 (Significance)

解决通用泛化难题：NoisyGRPO 有效解决了 MLLM 在 RL 训练中容易过拟合训练分布、难以泛化到未见场景的问题。
小模型赋能：证明了通过改进 RL 算法（而非单纯堆砌数据或增大模型），小参数量的 MLLM（如 3B）也能具备强大的推理能力，降低了多模态推理的部署门槛。
理论贡献：将贝叶斯推断引入 RL 的优势估计过程，为处理 off-policy 数据分布偏移提供了一种新的、可解释的数学视角，为后续多模态 RL 研究提供了新思路。
实际应用：该方法在真实世界场景（MME-RealWorld）和复杂推理任务中表现出的鲁棒性，使其在医疗、科学分析等对准确性要求高的领域具有广阔的应用前景。

总结：NoisyGRPO 通过“噪声注入”激发探索，利用“贝叶斯估计”修正偏差，成功构建了一个高效、鲁棒的多模态强化学习框架，显著提升了 MLLM 的通用推理能力和抗幻觉能力。