💬 NLP

Training Data Efficiency in Multimodal Process Reward Models

本文通过引入一个理论框架和平衡信息得分（Balanced-Information Score, BIS）方法，解决了多模态过程奖励模型的高昂训练成本问题，该方法利用现有的展开信号来筛选具有高信息量的子集，从而仅用 10% 的训练语料库即可实现全量数据的性能。

原作者： Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明的机器人如何解决复杂的视觉谜题，比如带有图表的数学题。为了做到这一点，你不仅要向它展示最终答案，还希望它能从每一步尝试中学习。这就是**多模态过程奖励模型（Multimodal Process Reward Models, MPRMs）**发挥作用的地方。它们就像一位严格的老师，为机器人的每一个中间步骤给出“赞成”或“反对”的评价。

然而，创造这样一位老师成本很高。传统上，为了训练这位老师，研究人员会生成海量的练习题（称为“rollouts”），并让计算机为每一步模拟数千种可能的结果，以判断该步骤的好坏。这产生了一个巨大的数据集，但本文指出，这个数据集大部分都是在浪费空间。

以下是该论文发现与提议的简单拆解：

1. 问题所在：“大海捞针”其实只是“一堆干草”

研究人员首先测试了一个简单的想法：如果我们随机扔掉 75% 的训练数据会怎样？

结果： 出人意料的是，机器人的表现并没有变差。
类比： 想象你正在通过阅读 1,000 本食谱来学习如何烤蛋糕。你发现其中 90% 的页面都在重复你已经掌握的指令。如果你只阅读其中 100 个最独特的页面，你依然能烤出完美的蛋糕。论文发现，目前的训练数据就像那 900 页重复的内容——它是冗余的。

2. 发现：并非所有的“错误”步骤都一样

研究人员意识到，要很好地教导机器人，你需要两种特定类型的示例，而不仅仅是“任何”示例：

“混合型”课程： 你需要那些在同一个问题中既包含正确步骤又包含错误步骤的例子。如果一个问题是 100% 正确或 100% 错误，它就很枯燥，能教给机器人的东西很少。当机器人看到正确与错误动作的结合时，它学得最好。
“可靠型”课程： 你需要确保那些“正确”的步骤确实是正确的。有时，计算机模拟可能会因为运气好而判定一个步骤是“正确”的（就像在选择题中靠猜猜对答案）。这些是“有噪声”或“虚假”的正向反馈。机器人会被这些干扰搞糊涂。

3. 解决方案：“平衡信息得分”（Balanced-Information Score, BIS）

为了在不增加计算资源或资金投入的情况下解决这个问题，作者创建了一个简单的评分系统，称为 BIS。你可以把它看作是一个质量过滤器。

运作方式： 在训练机器人之前，BIS 会查看每一个练习问题，并询问两个问题：
1. 这个问题是否包含正确与错误步骤的混合？（混合度）
2. 这些“正确”的步骤是真的可靠，还是仅仅靠运气猜对的？（可靠性）
筛选： 它会挑选出在这一“平衡”量表上得分最高的 10% 的问题。它忽略了那些枯燥、重复的问题，也忽略了那些令人困惑、充满噪声的问题。

4. 结果：更少的数据，更好的效果

论文在两个不同的机器人大脑（InternVL 和 Qwen）上进行了测试。

奇迹： 使用 BIS 过滤器，他们仅使用 10% 的原始数据就训练好了机器人。
结果： 这精选出的 10% 数据表现得与使用 100% 原始、混乱数据进行训练的效果一样好，甚至更好。
对比： 如果他们只是随机抽取 10% 的数据（就像在黑板上乱投飞镖一样），机器人的表现会明显变差。BIS 过滤器是区分“平庸学生”与“顶尖高手”的关键。

总结类比

想象你是一名正在训练运动员的教练。

旧方法： 你让运动员跑 1,000 圈。其中 900 圈是在平坦、空旷的跑道上（枯燥/冗余），另外 100 圈则是在布满了坑洼和混乱标志的跑道上（有噪声/干扰）。
论文的方法： 你使用 BIS 得分 来挑选最好的 100 圈。你选择那些既有坡又有平地的跑道（为了训练平衡感），并确保跑道上没有令人困惑的标志（可靠性）。
结果： 运动员仅用 1/10 的时间就能变得更强壮、更聪明，因为他们进行的是最有用的练习。

核心结论： 论文证明了，我们不需要更多的数据来训练这些 AI 模型；我们只需要更聪明的数据。通过过滤掉冗余和噪声，我们可以在获得更好结果的同时，节省大量的计算能力和能源。

技术摘要：多模态过程奖励模型的训练数据效率

1. 问题陈述

多模态过程奖励模型（MPRM）对于在多模态大语言模型（MLLM）执行视觉推理任务期间提供步级（step-level）监督至关重要。然而，训练 MPRM 通常依赖于大规模的蒙特卡洛（MC）标注展开序列（rollouts）语料库（例如包含 565K 个展开序列和 3.17M 个标注步骤的 VisualPRM400K-v1.1）。这一过程会产生巨大的计算成本。

本文确定了一个实际的瓶颈：训练数据效率。初步观察表明，当使用随机子采样训练数据时，MPRM 的性能会迅速饱和，这表明现有的 MC 标注语料库中存在显著的冗余。核心研究问题包括：

MPRM 的性能如何随展开序列预算（rollout budget）的变化而缩放？
如何选择具有信息量的子集，使其在不增加额外标注或模型调用成本的情况下，保持甚至超过全量数据的性能？

2. 研究方法

2.1 实证初步研究

作者使用 VisualPRM400K-v1.1 数据集和 InternVL2.5-8B 作为骨干网络进行了初步实验。

冗余观察： 随机子采样（例如仅保留 25% 的展开序列）导致性能迅速进入平台期，即使在更新次数显著减少的情况下，其表现仍接近全量数据性能。这表明由于标签噪声和数据冗余，增加数据集规模会带来收益递减。
启发式分析： 作者比较了不同的子集选择策略：
- 随机（Random）： 基准方案。
- 低 MC（Low-MC）： 选择平均 MC 分数最低（错误步比例最高）的展开序列。这引入了许多“伪正样本”（尽管成功率极低但仍被标记为正向的步骤），从而损害了性能。
- 混合（Mixed）： 选择同时包含正确步骤和错误步骤的展开序列。其表现优于随机选择，但仍逊于平衡策略。

2.2 理论框架

为了解释这些实证发现，作者提出了一个教师-学生抽象框架：

教师模型（Teacher Model）： 一个了解真实步级正确性（ $q^*$ ）的理想模型。
学生模型（Student Model）： 在带有噪声的 MC 标注标签上训练得到的学习型 MPRM。
梯度分析： 作者通过概率标签翻转模型对 MC 估计噪声进行了建模。他们推导出，信息丰富的梯度信号取决于两个乘性因子：
1. 标签混合度（不确定性）： 当教师处于不确定状态时（即展开序列包含正向和负向步骤的混合），项 $q^*(1-q^*)$ 最大化。纯正向或纯负向的展开序列提供的信号较弱。
2. 标签可靠性（噪声水平）： 对于那些虽然 MC 分数极低但仍被标记为正向的步骤，其有效噪声率 $\eta$ 很高（即伪正样本）。这些步骤充当了标签反转样本，增加了方差而非信号。
结论： 信息丰富的展开序列是那些既具有混合性（高不确定性）又具有可靠性（正向标签中噪声较低）的序列。

2.3 提出的解决方案：平衡信息分数（BIS）

在理论洞察的指导下，作者提出了平衡信息分数（Balanced-Information Score, BIS），这是一种无需额外模型调用或监督的展开序列级评分机制。它仅利用数据集中已有的 MC 分数。

对于一个包含 $n$ 个步骤的展开序列 $x$ ：

标签混合度 ( $p_{pos}$ )： 展开序列中正向步骤的比例。混合项为 $p_{pos}(1 - p_{pos})$ ，当展开序列包含正向和负向步骤的平衡时，该项达到最大。
可靠性 ( $R(x)$ )： 展开序列中正向步骤的平均 MC 分数。高 $R(x)$ 表示正向步骤是真正可靠的（低噪声）。
BIS 公式：
$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$
其中 $\alpha$ 是一个小的平滑常数，用于防止低混合度展开序列出现零权重。

选择过程： 在每个源数据集中根据其 BIS 分数对展开序列进行排序，并选择前 $\rho$ 比例的展开序列来构建训练子集。

3. 关键结果

实验在 VisualProcessBench 上进行，使用了两个骨干网络：InternVL2.5-8B 和 Qwen2.5-VL-7B。

数据效率： BIS 选择的子集始终能以显著更少的展开序列匹配或超越全量数据的性能。
- InternVL2.5-8B： BIS-10% 子集（仅使用 10% 的数据）实现了 65.46% 的整体 micro-F1 分数，达到了全量数据的性能，并比 Random-10% 基准提升了 2.6 个百分点。
- Qwen2.5-VL-7B： 该模型在低预算场景下表现出更大的增益，BIS-5% 比 Random-5% 高出 10.9 个百分点。
Best-of-N 重排序： 在实际的重排序场景中（从 16 个候选答案中选择最佳答案），在 BIS-25% 子集上训练的 MPRM 在四个基准测试（MM-K12, OlympiadBench, MathVerse, MathVista）中均取得了最高性能，优于 Random-25% 和 Full-Data 模型。
消融实验：
- 移除混合度或可靠性中的任何一个组成部分（例如，仅使用“混合”或仅使用“可靠”子集）都会导致性能下降，证实了这两个因素都是必要的。
- 该方法对平滑超参数 $\alpha$ 具有鲁棒性， $\alpha=0.05$ 时效果最佳。
- 研究发现，使用软 MC 标签的效果不如硬二值化标签，这可能是由于 MC 估计中的噪声所致。

4. 意义与主张

本文声称提供了一个实用的配方，可以在不牺牲模型性能的前提下降低训练 MPRM 的计算成本。

理论洞察： 本文指出，MPRM 训练的主要限制在于梯度噪声（由标签噪声和缺乏混合度引起），而非数据稀缺。
效率： BIS 方法允许使用仅 10% 的原始数据进行训练，同时保持全量数据的性能，从而有效地节省了约 90% 与数据处理和训练步骤相关的计算成本。
无成本选择： 与主动学习或其他数据选择方法不同，BIS 完全依赖于现有的 MC 信号，不会产生额外的模型推理或标注成本。
泛化性： 该方法是模型无关的，并在不同的骨干架构（InternVL 和 Qwen 系列）上展示了有效性。

作者总结道，未来的 MPRM 语料库应基于这些“混合度与可靠性”原则进行策划，而非仅仅增加规模，这为高效的多模态推理训练提供了一个以数据为中心的原则。