🤖 machine learning

One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

本文介绍了 DualSFT，这是一种单次算法，它通过从双层优化框架中推导出共享的基于梯度的评分规则，统一了大语言模型微调中的参数与数据选择，从而实现了比传统独立策略更高效、更协调的协同选择。

原作者： Xinrui Chen, Liu Yang, Ou Wu

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinrui Chen, Liu Yang, Ou Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且训练有素的知识图书馆（即大型语言模型，或 LLM），它知晓世间万物。现在，你想教会这座图书馆一项特定的新技能，比如编写计算机代码或解决数学问题。这个过程被称为“微调”。

通常，要教会这座图书馆，你有两种选择：

重读图书馆里的每一本书（使用所有数据）。
重写图书馆里的每一页（更新所有参数）。

这两种方法都极其昂贵、缓慢，且需要巨大的计算能力。为了节省成本，研究人员通常只尝试在一个方面提高效率：要么只挑选最好的书来阅读（数据选择），要么只挑选最重要的页来重写（参数选择）。

问题在于？只做其中一件事，就像试图通过只读最好的书却重写每一页来学习一门新语言，或者只重写最好的页却重读每一本书。这仍然是一种浪费。

论文的核心思想："DualSFT"
本文作者提出了一种名为DualSFT的新方法。你可以将其想象为一位“智能图书管理员”，用一个巧妙的技巧同时解决这两个问题。

以下是其工作原理，使用一个简单的类比：

1. “一站式”评分卡

想象你正在为一个大型项目招聘团队。你需要挑选最好的工人（数据），并决定他们应使用哪些工具（参数）。

旧方法： 你雇佣一位“工人侦察员”来寻找最佳人选，再雇佣一位独立的“工具侦察员”来寻找最佳工具。他们互不沟通。他们可能会挑选出一位需要某种工具的出色工人，而该工具却是工具侦察员未曾选择的，反之亦然。这既混乱又冗余。
DualSFT 方法： 作者意识到，“最佳工人”和“最佳工具”实际上是相互关联的。他们创建了一张单一的评分卡，能够同时审视这两者。

2. “交互矩阵”（秘密武器）

论文指出，数据（书籍）与参数（页面）之间存在一种隐藏的数学关系。

想象一个巨大的网格，其中行代表你的训练样本（书籍），列代表模型的参数（页面）。
作者找到了一种方法，可以计算该网格中每一个单元格的“分数”。
如果你将某一行中的所有分数相加，你就能立即知道哪些书籍最有价值。
如果你将某一列中的所有分数相加，你就能立即知道哪些页面最需要更新。

这就像拥有一张单一的魔法地图。如果你水平地看这张地图，它会告诉你哪里可以挖掘黄金（数据）；如果你垂直地看它，它会告诉你哪里需要修建道路（参数）。你不需要两张不同的地图；你只需要以不同的方式阅读同一张地图即可。

3. “一次性”技巧

通常，为了挑选最佳的数据和参数，你可能需要运行训练过程，然后停止，检查结果，挑选新数据，再次运行，如此循环往复。这非常耗时。

DualSFT 是一种**“一次性”**方法。

步骤 1： 模型进行一次快速的“热身”行走（一个简短的练习环节），以感受任务。
步骤 2： 它查看上述的“魔法地图”（梯度交互矩阵）。
步骤 3： 只需一眼，它就能挑选出前 10% 的书籍来阅读，以及前 5% 的页面来重写。
步骤 4： 它直接使用仅这些被选中的书籍和页面进入最终训练阶段。

4. 铭记过去（不忘却）

教会一个智能模型新技能的一个常见问题是，它开始忘记旧技能（例如如何写诗或回答一般性问题）。这被称为“灾难性遗忘”。

DualSFT 包含一个名为CWSD的特殊“记忆守卫”。

想象模型是一个正在学习数学的学生。“记忆守卫”则是一位老师，它低声说道：“嘿，在学习数学的时候，别忘了如何写故事！”
这位守卫使用一种特殊技术，确保模型在学习新任务的同时保持其原有的个性和通用知识，而无需重新阅读整个原始书籍图书馆。

结果

作者在从 30 亿到 90 亿个“神经元”不等的不同规模模型上测试了该方法。

效率： 与标准方法相比，他们使用了更少的数据，并更新了更少的参数。
性能： 尽管使用资源更少，但这些模型在新任务（如编程和数学）上的表现实际上优于那些试图使用更多资源但不够智能的模型。
平衡： 他们在学习新技能（可塑性）与保持旧技能（稳定性）之间找到了完美的平衡。

总结

简而言之，DualSFT是一种新算法，它不再将“选择数据”和“选择参数”视为两项独立的工作。相反，它将它们视为同一枚硬币的两面。通过利用单一的数学技巧同时为两者打分，它节省了时间、节省了资金，并产生了更智能、更高效的 AI 模型，这些模型不会忘记它们已经掌握的知识。

技术摘要：DualSFT——一种算法，双重目标的大语言模型微调

1. 问题陈述

在现代规模下，大语言模型（LLM）微调面临高昂的成本，促使研究转向两种截然不同的效率策略：参数高效微调（PEFT）和数据高效微调（DEFT）。PEFT 方法（例如参数选择、LoRA）减少了可训练状态的内存占用，而 DEFT 方法（例如数据选择、重加权）则减少了优化工作量。

目前，这些策略是独立运作的。当同时应用参数掩码和数据子集来限制更新时，现有方法通常采用独立的评分机制。这种分离导致了冗余的计算开销，并造成了协调不匹配：在不考虑特定数据子集的情况下选择参数掩码（反之亦然），可能导致联合性能次优。本文认为，由于参数掩码和数据子集共同决定了受限更新，它们应通过共享评分规则而非分离的机制进行选择。

2. 方法论：DualSFT

作者提出了DualSFT（双重选择微调），这是一种单次算法，能够从共享的梯度统计量中协同提取参数重要性和数据效用。其核心理论洞察是将参数选择和数据选择视为在共同验证目标下的单一局部响应代理问题的两个视角。

2.1 理论基础：双层公式与代理

选择过程被公式化为两个共享外部验证目标 $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$ 的双层优化问题，其中 $\mathcal{L}_{new}$ 是目标任务损失， $\mathcal{L}_{prior}$ 用于保留预训练能力。

外层： 选择预算受限的掩码（参数掩码 $\mathbf{m}_\theta$ 或数据掩码 $\mathbf{m}_D$ ）。
内层： 计算由所选掩码诱导的最优参数更新 $\delta^*$ 。

对于 LLM 而言，精确求解这些问题是不可行的。作者利用 AdamW 的二阶矩缓冲区，在通用的预热检查点 $\bar{\theta}$ 处使用单步梯度更新来近似内层响应。这产生了局部代理，其中更新方向取决于所选子集。

2.2 共享交互矩阵

通过在 $\bar{\theta}$ 处使用一阶和二阶泰勒展开来扩展验证目标，作者推导出了一个梯度交互矩阵 $\mathbf{M} \in \mathbb{R}^{N \times D}$ （其中 $N$ 是样本数量， $D$ 是参数维度）。

参数重要性： 表现为 $\mathbf{M}$ 的列聚合。
数据效用： 表现为 $\mathbf{M}$ 的行聚合。

这种结构揭示了行 - 列对偶性：两个信号均源自同一个代数对象。闭式评分具有Shapley 值解释，将选择视为一种合作博弈，其中交互矩阵提供了信用分配。

2.3 DualSFT 算法流程

该算法分三个阶段执行：

试点预热： 轻量级预热（1 个 epoch，5% 的数据）建立稳定的检查点 $\bar{\theta}$ ，并使用 AdamW 的二阶矩缓冲区估计对角曲率 $\hat{c}$ 。
单次双重评分：
- 构建验证改进投影向量 $\mathbf{u}$ ： $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$ ，其中 $\mathbf{G}$ 是累积的训练梯度。
- 参数评分： $s_{\theta, d} = u_d G_d$ （列聚合）。
- 数据评分： $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ （行聚合，通过 Ghost Dot Product 计算以避免实例化每个样本的梯度）。
- 根据这些有符号评分选择前 $k$ 个参数和前 $b$ 个样本。
受限微调： 仅使用所选参数在所选数据子集上对模型进行微调。

2.4 保留机制

为了在不访问预训练数据的情况下缓解灾难性遗忘，DualSFT 采用置信度加权自蒸馏（CWSD）。该方法通过在锚点集上最小化当前模型与原始预训练模型之间的 KL 散度来构建保留方向 $\nabla \mathcal{L}_{prior}$ ，并根据原始模型预测的置信度进行加权。

3. 主要贡献

统一评分理论： 推导了一种共享的响应代理评分规则，将独立的参数和数据选择问题转化为单一梯度交互矩阵的行聚合和列聚合，并辅以局部 Shapley 解释。
DualSFT 算法： 一种实用的单次双重评分算法，协同进行参数和数据选择，消除了顺序混合基线中存在的冗余评分过程和协调差距。
保留方向： 一种使用 CWSD 的无语料库保留方向，有效缓解了受限微调期间的遗忘问题。
实证验证： 在 3B–9B 规模的 LLM（Llama-3.2, Gemma-3, Qwen-3.5）上进行了涵盖代码生成和数学推理任务的全面实验。

4. 实验结果

实验在 Magicoder（代码）和 MetaMathQA（数学）上进行，采用匹配的预算（10% 数据，5% 参数）。

性能： DualSFT 优于单轴基线（例如 LESS, S2FT, NanoAdam）和顺序混合方法（例如 LESS + S2FT, SPICE + NanoAdam）。
- 在 Llama-3.2-3B（Magicoder）上，完整 DualSFT 取得了 47.10% 的总体得分，超过了最强的顺序混合方法（SPICE + NanoAdam，44.71%）2.39 分。
- DualSFT 变体在可塑性（目标任务性能）和稳定性（通用能力保留）方面始终领先于各自的对比组。
效率： DualSFT 降低了微调成本。完整 DualSFT 仅用 7.4 GPU 小时 和 28.5 GB 峰值选择内存就取得了上述结果，在联合约束权衡中优于顺序混合方法。
消融实验：
- 移除预热步骤显著损害了可塑性。
- 移除 CWSD 显著损害了稳定性。
- 仅使用一阶评分（忽略对角曲率）导致总体性能下降最大，验证了二阶近似的必要性。
诊断分析： 论文证实，单次评分捕捉到了大部分联合结构，因为固定一侧重新选择（在固定另一侧后重新评分另一轴）带来的收益微乎其微（<0.12 分），却需要显著增加计算成本。

5. 意义与主张

本文主张，DualSFT 代表了从将参数和数据选择视为独立启发式方法，转向将其视为耦合适应资源的转变。通过从单一验证改进代理中推导两个信号，该方法：

减少冗余： 消除了对独立评分机制和重复条件传递的需求。
改善协调： 在联合更新之前对齐选择轴，避免了独立选择混合未经验证信号时的“协调差距”。
平衡权衡： 在匹配预算下，实现了比现有顺序或单轴方法更有利的稳定性 - 可塑性 - 效率前沿。

作者谦逊地指出，该方法依赖于局部代理，意味着随着优化远离预热检查点，评分保真度可能会下降。他们建议将动态重新评分作为更长适应视野的未来方向，但强调单次方法对于所研究的预算而言具有极高的成本效益。