🤖 machine learning

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

该论文提出了一种名为“从探索到利用”的两阶段熵优化 RLVR 方法，通过在训练初期最大化 Token 级熵以增强模型对噪声标签的鲁棒性，并在后期最小化熵以巩固知识，从而在多种 MLLM 架构和噪声设置下实现了优于现有方法的性能。

原作者： Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让 AI 变得更聪明、更抗干扰的新训练方法。我们可以把这篇论文的核心思想想象成教一个学生在充满“错误答案”的题库里备考。

🎓 核心故事：在“噪音”中学习的 AI

想象一下，你正在教一个超级 AI 学生（多模态大语言模型）做题目。

理想情况：老师（数据）给出的答案全是正确的。
现实情况：老师给出的答案里，混杂了很多错误的标签（噪音）。比如，老师指着图片说“这是猫”，其实那是只狗。

如果 AI 太听话，它会把所有错误答案都背下来，结果考试就挂了。如果 AI 太固执，它可能根本学不到新东西。

这篇论文提出的方法叫 “两阶段熵优化” (Two-Stage Entropy Optimization)，我们可以把它比作**“先发散思维，后专注执行”**的备考策略。

🚀 两个阶段的“备考秘籍”

第一阶段：疯狂探索期 (Exploration)

比喻：像“头脑风暴”一样乱猜，不要怕错。

发生了什么：在训练刚开始时，AI 面对一堆可能包含错误答案的数据。这时候，我们故意让 AI 保持“高熵”状态。
通俗解释：“熵”可以理解为**“不确定性”或“多样性”**。在这个阶段，我们鼓励 AI 不要急着下定论，而是尝试各种各样的回答。
- 就像学生在复习初期，面对一道难题，不要只盯着一个解法，而是尝试画图、列公式、查资料，甚至猜几个不同的答案。
为什么要这样做？
- 如果 AI 太早相信某个答案（哪怕那个答案是错的），它就会“死记硬背”错误知识。
- 通过保持多样性，AI 能生成很多不同的回答。这样，当它发现某个“错误答案”在所有尝试中都不靠谱时，它就能识别出那是噪音，而不是真理。
- 这也保证了 AI 有足够的“样本”去比较，从而选出真正好的答案。

第二阶段：专注利用期 (Exploitation)

比喻：像“冲刺复习”一样，锁定正确答案，不再犹豫。

发生了什么：当 AI 已经见识过足够多的可能性，并且通过第一阶段的“乱猜”排除了大部分错误干扰后，训练进入第二阶段。这时候，我们强制让 AI 降低“熵”，变得非常自信。
通俗解释：现在 AI 已经知道哪些路是死胡同了。我们让它收敛，专注于那个最可能正确的答案，不再犹豫不决。
- 就像考试前最后几天，学生不再漫无目的地翻书，而是把之前验证过的正确解题思路反复练习，形成肌肉记忆。
为什么要这样做？
- 如果一直“乱猜”，AI 永远学不会精准回答问题。
- 在这个阶段，AI 利用第一阶段筛选出的“好经验”，把知识固化下来，变得既准确又自信。

🛡️ 为什么这个方法很厉害？

以前的训练方法通常只有两种极端：

一直“乱猜” (只最大化熵)：AI 永远在犹豫，学不到真本事，很难收敛。
一直“死记” (只最小化熵)：AI 太早相信了错误的答案（因为数据里有噪音），结果越学越偏，最后考试全错。

这篇论文的“两阶段”方法，就像是一个聪明的教练：

“刚开始，你们尽管去试错，不要怕，多想想不同的可能性（阶段一）；等你们看清了方向，再集中火力，把那个正确的答案练得滚瓜烂熟（阶段二）。”

📊 实际效果如何？

论文在多个任务上（比如让 AI 在电脑屏幕上找按钮、识别图片里的动物）做了测试：

抗干扰能力强：即使训练数据里有 50% 甚至 100% 的错误标签，这个方法训练的 AI 依然能考出高分。
通用性好：不管是用什么型号的 AI 模型，或者做什么类型的任务，这个方法都比传统的“死记硬背”或“盲目乱猜”要好。
举一反三：在没见过的考试题目（新场景）上，这个方法训练的 AI 表现也更稳定。

💡 总结

这就好比教一个孩子在嘈杂的菜市场里学认蔬菜：

旧方法：要么让孩子一直闭着眼睛猜（效率低），要么让孩子只听旁边一个乱喊的人（容易学错）。
新方法：先让孩子睁大眼睛多看看、多问问（探索阶段，不怕听错），等把各种声音都听过了，再锁定那个最靠谱的声音，专心学习（利用阶段）。

最终，这个 AI 不仅学会了知识，还练就了一身在混乱中保持清醒的本领。

这篇论文提出了一种名为**“从探索到利用：一种用于噪声容忍多模态大语言模型（MLLM）训练的两阶段熵 RLVR 方法”**（From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training）的新策略。该研究旨在解决多模态大模型在带有噪声标注数据的场景下进行强化学习（RLVR）时面临的过拟合和多样性丧失问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：基于可验证奖励的强化学习（RLVR，如 GRPO 算法）在多模态大模型（MLLMs）的推理能力（如数学推理、GUI 理解、代码生成）上表现优异。然而，RLVR 高度依赖高质量的标注数据。
核心挑战：在现实世界场景中，数据往往存在标注噪声（Annotation Noise）。现有的 RLVR 方法在噪声监督下容易陷入以下困境：
1. 过拟合错误标签：模型倾向于学习错误的奖励信号。
2. 抑制响应多样性：Group Relative Policy Optimization (GRPO) 依赖于组内响应的多样性来计算可靠的优势估计（Advantage Estimation）。如果模型过早收敛到确定性行为（低熵），GRPO 将无法有效区分优劣，导致训练失效。
3. 现有方法的局限性：
  - 外部信号法（如 LLM-as-a-Judge）：受限于评估模型的能力，且任务特定性强。
  - 内部信号法（如格式奖励）：与任务目标关联度低。
  - 纯熵方法：单纯最大化熵导致难以收敛，单纯最小化熵则导致过早收敛和多样性丧失。

2. 方法论 (Methodology)

作者提出了一种**两阶段令牌级熵优化（Two-Stage Token-Level Entropy Optimization）**框架，动态引导模型从“探索”过渡到“利用”。

核心机制

该方法在标准的 GRPO 损失函数基础上，引入一个随训练步数 $\tau$ 变化的熵损失项 $\mathcal{L}_{entropy}$ ：
$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda(\tau) \mathcal{L}_{entropy}$

其中， $\lambda(\tau)$ 是一个分段函数，控制熵优化的方向：

第一阶段：探索期 (Exploration Phase)
- 策略：最大化令牌级熵（Entropy Maximization, $+\lambda_{max}$ ）。
- 目的：在训练初期，鼓励模型生成多样化的输出。
- 作用：
  - 作为正则化项，防止模型过早过拟合到噪声标签上。
  - 确保 GRPO 组内具有足够的响应多样性，从而获得更可靠的优势估计信号。
  - 帮助模型探索潜在的正确答案路径，即使面对错误标签。
第二阶段：利用期 (Exploitation Phase)
- 策略：最小化令牌级熵（Entropy Minimization, $-\lambda_{min}$ ）。
- 目的：在训练后期，当模型已捕捉到大部分有效信息后，鼓励模型输出更自信、确定的结果。
- 作用：
  - 巩固探索阶段学到的知识。
  - 提高预测的准确性和确定性，减少推理时的随机性。

技术细节

令牌级熵 (Token-Level Entropy)：不同于序列级熵，该方法计算生成过程中每个 token 的条件概率分布的熵，能更细粒度地衡量不确定性。
切换点 (Switching Point)：通过超参数 $\tau_{switch}$ 控制从最大化到最小化的切换时机（实验表明在总训练步数的 80% 左右切换效果最佳）。

3. 主要贡献 (Key Contributions)

系统性评估：在多个维度（不同噪声比例、不同模型架构如 Qwen-VL/InternVL、不同任务如 GUI 定位和细粒度分类）上评估了噪声对 RLVR 的影响，揭示了标准 GRPO 在中等噪声下已具备一定鲁棒性，但仍有提升空间。
提出两阶段熵引导策略：创新性地提出了“先探索（最大熵）后利用（最小熵）”的动态调度机制。该方法解决了单一熵优化策略在噪声环境下的失效问题，平衡了响应多样性与收敛稳定性。
广泛的实验验证：证明了该方法在不同模型规模（2B 到 7B）、不同噪声水平（0% 到 100% 噪声）以及不同任务（GUI 定位、细粒度分类、开放词汇目标检测）上均优于现有的外部信号、内部信号及纯熵基线方法。

4. 实验结果 (Results)

实验在 ScreenSpot（GUI 定位）、Pets37（细粒度分类）和 COCO（开放词汇目标检测）等数据集上进行。

噪声鲁棒性：
- 在 100% 噪声标签（即所有标签均错误）的极端情况下，该方法在 ScreenSpot 任务上将 Qwen2.5-VL-3B 的准确率从标准 GRPO 的 71.0% 提升至 75.8%（+4.8%），甚至优于纯熵最大化或最小化方法。
- 在 50% 噪声下，准确率从 76.2% 提升至 80.2%。
- 即使在 0% 噪声（纯干净数据）下，该方法也能达到 83.6% 的 SOTA 性能，优于纯 GRPO (82.2%)。
模型泛化性：
- 该方法在不同大小的模型（Qwen2-VL-2B/7B, Qwen2.5-VL-3B, InternVL-3.5-2B）上均有效，且在大模型上增益更显著（例如 Qwen2-VL-7B 在 50% 噪声下提升 8.6%）。
分布外泛化 (OOD)：
- 在 ScreenSpot-Pro 和 OS-World-G 等未见过的测试集上，两阶段方法表现出更强的泛化能力，特别是在混合噪声数据训练后，其 OOD 准确率显著高于基线。
定性分析：
- 纯熵最小化：推理轨迹迅速坍缩，导致模型在噪声下收敛到错误坐标。
- 纯熵最大化：推理轨迹多样但缺乏一致性，难以收敛到最优解。
- 两阶段方法：推理轨迹既保持了多样性以抵抗噪声，又在后期收敛到正确的 GUI 区域，实现了“多样性”与“准确性”的最佳平衡。

5. 意义与影响 (Significance)

理论意义：揭示了熵在强化学习不同阶段的动态作用。证明了在噪声监督下，简单的熵最小化或最大化都不够，必须通过时间调度的策略来平衡探索（Exploration）与利用（Exploitation）。
实际应用：为在现实世界（通常缺乏完美标注数据）中训练高性能多模态大模型提供了一套低成本、高鲁棒性的解决方案。它使得 RLVR 技术能够更广泛地应用于数据质量参差不齐的场景。
未来方向：该方法不仅适用于 MLLM，其“先探索后利用”的熵调度思想也可能推广到其他需要处理噪声标签的强化学习或半监督学习任务中。

总结：这篇论文通过引入动态的两阶段熵优化策略，成功解决了 RLVR 在噪声数据下的过拟合和多样性丧失问题，显著提升了多模态大模型在真实噪声环境下的训练效果和泛化能力。