🤖 machine learning

Data-DPO: Direct Preference Optimization for Target Model Data Selection in LLM Post-Training

本文提出了 Data-DPO，一种用于大语言模型后训练的新型数据选择方法，该方法通过轻量级奖励模型利用一步探测（one-step probing）来学习目标模型感知的偏好，从而构建出一个始终优于现有基线甚至全量数据训练的高质量训练子集。

原作者： Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，大型语言模型已成为能够进行写作、推理和解决复杂问题的强大工具。然而，教导这些模型执行特定任务需要一个被称为“监督微调”的过程，即系统从大量的示例集合中学习。想象一下，试图通过把整座图书馆的书交给一名学生来教导他们；虽然学生最终可能会学会，但这个过程极其缓慢、昂贵且往往效率低下，因为其中大部分材料对于当前的特定课程而言是冗余或无关的。研究人员长期以来一直在寻求一种方法，只挑选出那座图书馆中最有用的页面，希望在不牺牲智能的前提下，让模型的训练变得更快、更便宜。该领域普遍的假设是，某些数据本身就比其他数据“更好”，就像教科书根据其写作的清晰度被评判一样。

一项新的研究挑战了这种对数据质量的静态看法。由南京大学及其他几家机构组成的团队领导的研究人员认为，一个训练样本的价值不仅取决于样本本身，还取决于它与正在接受教导的特定模型的契合程度。正如一道困难的物理题可能非常适合一名高级学生，但对初学者来说却过于艰深，一个高质量的数据样本可能对一个人工智能模型毫无用处，而对另一个模型来说却恰恰是提升所需的关键。为了解决这个问题，该团队开发了一种名为 Data-DPO 的方法，它充当了选择训练数据的个性化向导。该方法不再依赖于一份预先写好的“优质”示例清单，而是通过观察特定模型在一次简短试运行期间对不同样本的反应来进行工作。通过观察哪些示例能在单步之内让模型学到最多东西，该系统构建了一张定制的偏好图谱，识别出真正能引起该特定模型当前需求共鸣的数据。

这种方法的核心涉及一个巧妙的两步过程。首先，研究人员选取一小组具有代表性的数据，让目标模型在上面练习仅仅一个瞬间。他们测量模型在这一微小步骤后的性能提升了多少。如果某个特定的示例导致误差显著下降，这表明模型正在对该信息产生“激活”或“觉醒”。随后，系统会对这些反应进行比较，从而建立起针对该特定模型在特定时刻最有效的样本排名。这与以往将数据价值视为独立于学习者的固定属性的方法不同。研究人员发现，通过使用这种实时反馈，他们可以构建出一个比随机选择或通过标准质量检查选出的数据集更高效的训练集。

为了确保所选数据不仅易于学习，而且具有多样性和高质量，团队将这种基于模型的特定反馈与其他因素相结合。他们加入了一层外部质量评估，以确保答案的正确性，并加入了一个多样性度量，以确保模型能看到各种各样的情况。这种混合方法使他们能够挑选出一个既覆盖了必要领域又没有冗余的小规模数据子集。在针对两种不同类型的任务（一种涉及通用视觉指令，另一种侧重于复杂推理）进行测试时，新方法始终优于现有的筛选技术。在许多情况下，使用这些精心挑选的子集进行训练的模型，其表现甚至优于使用整个原始数据集进行训练的模型，在某些场景下，其结果甚至超过了全量数据性能的 100%。

该研究还严格测试了这种方法是否依赖于特定类型的模型或特定的质量衡量方式。结果显示，即使研究人员将目标模型更换为不同规模或家族的模型，或者更换用于判断数据质量的工具，该方法依然保持稳健。这表明该方法并非仅在完美条件下才起作用的脆弱技巧，而是一种寻找适合特定模型之数据的可靠策略。然而，研究人员也指出，该方法仍需要一些初始计算量来运行这些试探性探测，并且在数据分布保持相对稳定时效果最佳。最终，这项工作证明了在大型模型时代，最有效的训练数据并非一个普适的常数，而是学习者与课程之间的一种动态关系。通过倾听模型自身的反馈，研究人员现在可以策划出不仅规模更小、而且更聪明的训练集。

技术摘要：Data-DPO

问题陈述

监督微调（SFT）是增强大语言模型（LLMs）的关键步骤，但针对全规模指令数据集进行训练在计算上非常昂贵，且往往并非最优。现有的数据选择方法通常通过基于样本重要性（梯度相似度、损失减少）或数据多样性（嵌入覆盖率、冗余度降低）来选择子集来解决这一问题。

然而，作者认为这些方法将数据价值视为一种静态属性，即仅由样本的内在质量或其在表示空间中的位置决定。这忽略了一个至关重要的动态因素：数据样本与特定目标模型的能力分布之间的兼容性。一个在一般意义上“高质量”或“具有信息量”的样本，对于一个较弱的模型可能过于困难，或者对于一个更强的模型而言则是冗余的。因此，本文解决的核心问题是如何选择不仅具有高质量，而且特别适合目标模型当前学习需求的数据。

方法论：Data-DPO

论文提出了 Data-DPO，一种面向目标模型的数据选择框架。与依赖静态代理指标或预计算得分的方法不同，Data-DPO 通过主动观察目标模型的局部训练动态来获取偏好。该流程包含四个主要阶段：

1. 双视图编码 (Dual View Encoding)

每个候选样本 $z_i = (c_i, y_i)$ （条件与响应）使用冻结的嵌入模型被编码为两个互补的表示：

条件嵌入 ( $e^c_i$ )： 仅对输入 $c_i$ 进行编码。用于构建探测集并衡量边际多样性。
监督嵌入 ( $e^s_i$ )： 对完整对 $(c_i, y_i)$ 进行编码。用于偏好学习和评分。

2. 探测集构建与激活探测 (Probe Set Construction & Activation Probing)

为了表征目标模型 $M_0$ 对不同样本的反应，通过聚类和贪心 k-center 策略构建一个具有代表性的探测集 $D_p$ ，以确保覆盖范围。

单步探测 (One-Step Probing)： 该方法执行 $T$ 轮单步更新。对于一个批次 $B_t$ ，计算 SFT 损失在更新前（ $\ell^0_i$ ）和经过临时单步更新后（ $\ell^1_i$ ）的变化。
激活增益 (Activation Gain)： 增益定义为 $g^{(t)}_i = \log(\frac{\ell^0_i + \epsilon}{\ell^1_i + \epsilon})$ 。较高的增益表明该样本强烈激活了目标模型的局部状态。
偏好构建： 这些增益在批次内进行归一化，并根据哪个样本产生了更大的激活来聚合形成成对偏好（ $z_w \succ z_l$ ）。

3. 偏好学习 (Preference Learning, DPO-style)

训练一个轻量级的奖励模型（残差 MLP），以在以目标模型为条件的条件下预测数据偏好。

目标： 该模型使用数据空间的直接偏好优化（DPO）目标进行训练。
参考策略： 与使用基础模型策略作为参考的标准 DPO 不同，Data-DPO 在探测集上使用统一经验参考 (uniform empirical reference)，因为候选集是预定义的，而非从策略中采样得到的。
训练： 模型学习为被目标模型单步反馈所青睐的样本分配更高的奖励。

4. 顺序选择 (Sequential Selection)

最终子集通过结合三个信号进行贪婪选择：

目标模型偏好 ( $p_i$ )： 来自训练好的奖励模型的得分。
外部质量 ( $q_i$ )： 独立的质量得分（例如来自独立的 LLM）。
边际多样性 ( $d_i$ )： 通过条件嵌入相对于已选择集合的余弦相似度来衡量。
步进奖励为 $R(S_t, z_i) = p_i + q_i + d_i(S_t)$ ，确保所选子集在目标模型激活、通用质量和分布覆盖之间取得平衡。

核心贡献

目标模型调节视角： 论文通过强调数据价值是动态的，取决于与目标模型能力分布的兼容性，而非静态的内在属性，从而重新定义了数据选择的范式。
Data-DPO 框架： 引入了一种直接从目标模型单步训练反馈中构建数据偏好的方法，并训练奖励模型来学习这些特定偏好。
混合选择策略： 提出了一种将目标模型偏好与外部质量及边际多样性相结合的选择机制，以防止过度拟合于局部易于激活的样本。
实证验证： 系统实验表明，在多个数据预算下，Data-DPO 一致优于现有的基准方法（包括基于重要性、基于多样性和混合型方法），并稳定地超越了全量数据训练的性能。

实验结果

该方法在 Vision-Flan（通用指令）和 LLaVA-CoT（推理）上进行了评估，目标模型分别为 LLaVA 和 Llama-3.2，数据预算分别为 5%、10% 和 15%。

性能表现： Data-DPO 在 Vision-Flan 上一致优于所有基准（如 Random, LESS, COINCIDE, EL2N），并在 LLaVA-CoT 的较低预算下表现出色。
- 在 Vision-Flan 上，它在 5%、10% 和 15% 预算下的平均相对性能 (ARP) 分别达到 100.76%、102.63% 和 102.70%，均超过了全量数据训练。
- 在 LLaVA-CoT 上，它在 5% 和 10% 预算下分别实现了 102.73% 和 103.93% 的 ARP，显著优于基准。然而，在 15% 预算下，EL2N 的 ARP 为 102.46，略高于 Data-DPO 的 101.31。尽管如此，Data-DPO 仍优于所有其他方法，并保持了高于全量数据训练的水平。
消融研究：
- 代理模型： 使用训练于 5% 数据的代理模型进行探测而非原始目标模型，会导致性能显著下降，这验证了直接获取目标模型反馈的必要性。
- 信号组合： 仅使用目标偏好时的表现甚至不如随机选择。偏好 + 质量 + 多样性的组合对于获得最优结果至关重要，展示了这些信号的互补性。
- 鲁棒性： 该方法在不同目标模型规模（7B vs 13B）、不同模型家族、不同质量评分来源以及不同嵌入模型下均保持有效。

意义与主张

论文声称，Data-DPO 通过从静态的、以样本为中心的评估转向动态的、以模型为中心的评估，实现了数据选择的范式转变。

核心洞察： SFT 中数据的价值不是绝对的，而是相对于目标模型的当前状态而言的。一个能够激活模型潜在能力的样本，比一个仅仅是“高质量”的样本更有价值。
稳定性： 通过将目标模型特定的偏好与质量及多样性约束相结合，Data-DPO 避免了仅选择可能导致训练分布过窄的“容易”样本的陷阱。
效率： 虽然需要一个探测阶段，但它避免了为选择信号训练沉重的代理模型，而是依赖于在单步反馈上训练的轻量级奖励模型。

作者总结道，他们的方法为 SFT 数据选择提供了一种稳健的、目标感知的解决方案，使模型能够以显著减少的训练数据实现卓越的性能。