Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

本文提出了通过人机协同两阶段管道构建的 4000 万规模偏好数据集 SynPref-40M，并据此训练出在多项基准测试中超越现有开源模型、具备广泛对齐能力的 Skywork-Reward-V2 奖励模型系列，证明了高质量数据策展对提升奖励模型性能的关键作用。

要点

这篇论文讲述了一个关于如何教人工智能（AI）变得更“懂人心”、更“讲道理”的故事。

想象一下，你正在训练一个超级聪明的机器人管家。这个管家已经学会了说话、写代码、甚至解数学题。但是，当你让它做决定时（比如“哪封邮件回复得更好？”或者“哪个回答更安全？”），它经常搞错，要么太死板，要么太有偏见。

这就是**奖励模型（Reward Model, RM）**需要解决的问题：它就像是管家的“良心”或“裁判”，负责给 AI 的回答打分，告诉它什么是对的，什么是错的。

这篇论文（Skywork-Reward-V2）的核心就是：我们造出了一个超级厉害的“裁判”系列，而且我们是用一种全新的、更聪明的方法训练它的。

下面我用几个简单的比喻来拆解这篇论文：

1. 以前的痛点：裁判太“脆”了

以前的 AI 裁判（Reward Models）就像是一个只读过几本教科书的学生。

• 问题：它们虽然背了很多题，但遇到稍微复杂点、或者有点“人情世故”的问题，就懵了。
• 原因：用来训练它们的“题库”（偏好数据）质量不高。要么题目太少，要么题目是机器随便生成的，没有经过严格审核。就像是用一堆乱码拼凑的试卷来训练裁判，裁判自然学不好。

2. 我们的解决方案：SynPref-40M（4000 万道题的超级题库）

作者们没有只盯着现有的题库，而是去“淘金”。他们收集了4000 万对“好回答 vs 坏回答”的数据。

• 比喻：这就像是从全世界的图书馆里搜集了 4000 万本故事书，但这 4000 万本书里有很多是乱写的，不能直接拿来考试。

3. 核心魔法：人机协作的“双阶段”筛选流水线

这是论文最精彩的部分。他们设计了一个**“人类专家 + AI 助手”的流水线，把 4000 万道题变成了2600 万道“精选题”**。

第一阶段：人类专家带队（小规模，重质量）

• 怎么做：先找一小部分人类专家，按照非常严格的规则（比如必须查搜索引擎、必须用工具验证代码）来给题目打分。
• 比喻：这就像**“名师出高徒”**。人类专家先教 AI 助手怎么判断对错，并给 AI 助手看一些“标准答案”（金标准数据）。
• 关键点：人类专家不是瞎改，而是利用 AI 助手去查资料、跑代码，最后由人类拍板。这保证了题目的绝对正确性。

第二阶段：AI 助手大规模扩军（大规模，重效率）

• 怎么做：有了第一阶段训练好的“金牌裁判”和“标准答案”后，让 AI 助手去处理剩下的几千万道题。
• 比喻：这就像**“老带新”**。AI 助手拿着“金牌裁判”的标准，去批改海量的作业。
  • 如果 AI 助手很有把握（比如它觉得这道题和之前的标准答案很像），它就自己打分。
  • 如果 AI 助手拿不准，或者发现之前的裁判可能错了，它会去“翻书”（检索之前的标准答案），或者把题目标记出来。
• 结果：通过这种“人机配合”，他们不仅把数据量做大了，还自动修正了很多以前数据里的错误（比如把“好”和“坏”标反了的题目给翻转过来了）。

4. 成果：Skywork-Reward-V2（八大金刚）

用这 2600 万道精选题训练出来的，是8 个不同大小的“裁判模型”（从很小的 0.6B 到 8B 参数）。

• 表现有多好？
  • 以小博大：一个只有 8B 参数的小模型，在 7 个权威考试（Benchmark）中，全面碾压了以前那些 70B 参数的大模型，甚至打败了 GPT-4o 和 Claude 3.5 这样的顶级 AI 作为裁判的表现。
  • 全能选手：它不仅能判断数学题对不对（客观正确性），还能判断回答是否安全、是否有人情味、是否会被花言巧语（风格偏见）迷惑。
  • 越用越强：在“最佳 N 选”（Best-of-N，即从 N 个答案里挑最好的）任务中，它的表现随着 N 的增加而持续变好，说明它真的“懂”什么是好答案。

5. 为什么这很重要？（核心启示）

这篇论文告诉我们一个重要的道理：数据的质量比数量更重要，而“人机协作”是提升质量的关键。

• 以前：大家觉得只要数据量够大（比如几亿条），AI 就能变强。结果发现，如果数据是脏的，量越大，AI 越傻。
• 现在：只要有一小部分高质量、经过严格审核的数据，配合聪明的筛选机制，就能训练出世界顶级的裁判。
• 比喻：与其让一个学生读 100 本乱写的书，不如让他读 10 本经过诺贝尔奖得主亲自校对的书，效果天壤之别。

总结

Skywork-Reward-V2 就像是一个由人类专家指导、AI 助手执行的超级“阅卷组”。他们通过清洗和修正海量的原始数据，训练出了一批既聪明又公正的 AI 裁判。

这意味着，未来的 AI 助手（比如你的聊天机器人、写作助手）将变得更听话、更安全、更懂你的真实意图，因为它们背后的“裁判”变得更厉害了。而且，这套方法不需要超级昂贵的算力，小模型也能做到，这对整个 AI 行业的开放发展是一个巨大的推动。

技术摘要

这篇论文介绍了 Skywork-Reward-V2，这是一系列基于大规模、高质量偏好数据训练的新型奖励模型（Reward Models, RMs），旨在解决当前开源奖励模型在捕捉人类复杂偏好方面存在的脆弱性和性能瓶颈问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管奖励模型在基于人类反馈的强化学习（RLHF）中至关重要，但现有的最先进（SOTA）开源奖励模型在大多数评估基准上表现不佳，无法有效捕捉细腻且复杂的人类偏好。

• 现有局限性：当前的奖励模型性能提升陷入停滞，主要归因于偏好数据集的局限性。现有数据集往往范围狭窄、由合成数据标注（缺乏真实人类判断）或缺乏严格的质量控制。
• 评估基准的失效：传统的单一基准（如 RewardBench）分数与下游任务表现（如 Best-of-N 采样或策略训练效果）相关性较弱，甚至存在负相关。单纯增加模型参数量或修改损失函数（如针对 Gemma-2-27B 的变体）并未带来一致的性能提升。
• 核心假设：奖励模型的脆弱性主要源于数据质量而非模型架构或训练技巧。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一个人机协同（Human-AI Synergy）的两阶段数据策展流水线，构建了名为 SynPref-40M 的大规模偏好数据集（包含 4000 万对偏好数据，其中 2600 万对经过严格策展）。

2.1 数据策展流水线 (Two-Stage Pipeline)

• 第一阶段：小规模人机回环策展 (Small-Scale Human-in-the-Loop Curation)

  • 种子数据与属性生成：收集公开数据，利用 LLM 生成偏好属性（任务类别、客观性、争议性、期望属性、标注指南）。
  • 人类验证与标注：人类标注员在严格协议下对数据进行验证。允许使用外部工具（搜索引擎、前沿 LLM 助手）辅助事实核查和代码执行，但最终判断必须由人类做出。
  • 自适应检索与迭代：训练初始奖励模型，识别其在“黄金数据”（Gold Data）上的错误。利用自适应检索机制，从非验证池中检索与错误样本相似的数据，引导 LLM 进行标注（Few-shot 学习，参考人类标注的样本）。
  • 循环：此过程迭代 8 次，不断积累高质量的“黄金数据”和“银数据”（LLM 标注但经人类指导的数据）。

• 第二阶段：大规模自动策展 (Large-Scale Automatic Curation)

  • 一致性过滤：利用第一阶段训练出的最佳奖励模型（Best RM）和仅基于人类验证数据训练的“黄金奖励模型”（Gold RM）进行双重一致性检查。
  • 数据筛选与翻转：
    • 如果 LLM 或 Best RM 的置信度 > 0.5 且与 Gold RM 一致，则直接保留。
    • 如果不一致，则利用 LLM 进行重新标注（参考 Gold 数据）。
    • 对于被丢弃的数据，尝试翻转（Chosen-Rejected 互换）并重新评估，若符合人类偏好则纳入训练集。
  • 规模：此阶段无需人工干预，处理了数千万级的野外（in-the-wild）数据。

2.2 模型训练

• Skywork-Reward-V2 系列：基于 Llama 3.1/3.2 和 Qwen3 架构，参数规模从 0.6B 到 8B。
• 训练目标：仅使用标准的 Bradley-Terry 目标函数，在 2600 万策展后的偏好对上进行训练。
• 数据构成：最终训练集包含 2600 万策展数据，以及部分经过翻转处理的 1400 万被丢弃数据。

3. 关键贡献 (Key Contributions)

1. SynPref-40M 数据集：构建了迄今为止最大规模的策展偏好混合数据集（4000 万对），证明了现有“野外”数据中蕴含的巨大价值，关键在于如何提取。
2. Skywork-Reward-V2 模型系列：发布了 8 个 SOTA 级别的奖励模型（0.6B-8B）。其中 8B 模型在所有 7 个主要基准上均超越了现有的 70B 级模型及生成式奖励模型。
3. 人机协同策展范式：提出了一种结合人类验证（保证质量）和人类引导的 LLM 标注（保证规模）的流水线。证明了少量高质量人类标注（约 50 万对）配合大规模自动策展，能产生远超纯自动或纯人工标注的效果。
4. 重新定义评估标准：强调单一基准（RewardBench）的局限性，展示了新模型在客观正确性、抗风格偏差、安全性和 Best-of-N 扩展性等多维度的综合优势。

4. 实验结果 (Results)

• 基准测试表现：
  • 在 RewardBench, RewardBench v2, PPE, RMB, RM-Bench, JudgeBench 等 7 个主要基准上，Skywork-Reward-V2-Llama-3.1-8B-40M 取得了 88.6 的平均分，显著优于所有开源模型（包括 70B 参数量的 INF-ORM 和 Nemotron）。
  • 在 RewardBench v2（更难的基准）上，得分为 86.5，远超次优模型。
  • 小模型超越大模型：1.7B 参数的模型在平均表现上超越了现有的 70B 级 SOTA 模型，证明了数据质量的重要性。
• 多维度能力：
  • 抗风格偏差：在 RM-Bench 中，模型在不同风格难度（Easy/Normal/Hard）下表现一致，消除了对回答长度或风格的偏见。
  • Best-of-N 扩展：在 PPE Correctness 和 RMB 的 Best-of-N 任务中，随着采样数量 N 的增加，模型性能持续上升，表现出极强的扩展性。
  • 客观正确性：在数学和代码任务（JudgeBench）上，表现优于或持平于最强的推理模型（如 o3-mini）。
• 消融实验：
  • 数据质量 > 数量：仅使用 1.8% 的策展数据（约 29 万对）训练的 8B 模型，就能超越之前的 SOTA 70B 模型。
  • 策展流程有效性：纯 LLM 策展效果提升微乎其微；加入人类验证和自适应检索后，性能显著提升。
  • 数据翻转的价值：利用被丢弃数据进行“翻转”训练，进一步提升了模型性能。

5. 意义与影响 (Significance)

• 打破数据瓶颈：证明了当前 RLHF 的瓶颈不在于模型架构，而在于偏好数据的质量。通过精心策展，可以从现有的海量低质量数据中提取出高价值信号。
• 降低门槛：Skywork-Reward-V2 系列模型（最大仅 8B 参数）在性能上超越了庞大的 70B 模型，使得在资源受限环境下部署高性能奖励模型成为可能，极大地推动了开源社区的发展。
• 方法论启示：提出的“人机协同 + 自适应检索”策展流水线为未来大规模数据构建提供了可复用的范式，强调了人类在关键节点（如定义标准、验证边界情况）的不可替代性，同时利用 LLM 解决规模问题。
• 推动 RLHF 进步：高质量的奖励模型能显著提升下游策略模型（Policy Model）的对齐效果，特别是在复杂推理、安全对齐和指令遵循方面。

总结：Skywork-Reward-V2 通过构建 SynPref-40M 数据集和创新的策展流水线，成功解决了奖励模型性能停滞的问题。其核心发现是：高质量的数据策展（Human-AI Synergy）比单纯增加模型参数量或堆砌未清洗的数据更为关键。这一工作为开放世界的奖励模型研究设立了新的标杆。