🤖 machine learning

From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

本文介绍了 AutoSelection，这是一个新颖的框架，它将监督微调数据选择重新表述为固定池配方搜索问题，利用双层求解器从原始指令池中高效地发现最佳筛选配方而无需生成新样本，从而在多个模型和任务上超越了传统的实例排序和全数据训练。

原作者： Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图制作一碗完美的汤。你拥有一个巨大的储藏室（原始数据池），里面装满了 90,000 种不同的食材（指令）。你的目标是挑选出最佳的食材组合，以制作出一碗味道惊艳的汤（一个智能的 AI 模型）。

旧方法：“前十名”清单

传统上，厨师（以及 AI 研究人员）试图通过品尝每一种单独的食材，给每种食材打分，然后只挑选得分最高的前 10 种物品来解决这个问题。

问题所在：一种食材单独品尝味道好，并不意味着它适合放入汤中。也许你需要在加盐之前先放一点辛辣的胡椒，或者也许你需要在加入香草之前先去除那些水汪汪的蔬菜。旧方法忽略了顺序和组合。它将这碗汤视为一份简单的“最佳物品”清单，而不是一份食谱。

新想法：“食谱搜索”

这篇论文，AutoSelection，提出了一种不同的方法。与其仅仅挑选最好的食材，我们更应该寻找最佳的食谱。

将食谱视为一套指令：

过滤掉所有味道平淡的蔬菜。
混合辛辣的胡椒与酸涩的柠檬。
去除任何重复的香料。
仅保留剩余混合物中的前 50%。

这篇论文称之为固定池数据食谱搜索。“储藏室”保持完全不变（我们不去购买新食材或发明新食材）；我们只是尝试不同的有序操作序列，看看哪一种能创造出最佳的最终菜肴。

AutoSelection 如何工作（“智能厨师”）

寻找完美食谱是昂贵的。要测试一个食谱，你必须实际烹饪这碗汤（训练 AI 模型）并品尝它（运行基准测试）。你只有有限的预算来做这件事（比如 15 次尝试）。你不能随意猜测；你需要一个明智的策略。

AutoSelection 是一个双层“智能厨师”系统，帮助你找到最佳食谱而不浪费预算：

“作弊表”（缓存信号）：在你开始烹饪之前，系统会查看储藏室并为每种食材写下笔记：“这个很辣”，“那个很重”，“这两个非常相似”。这样，在测试新食谱时，它就不必从头开始重新品尝每一种食材。它利用这些预先写好的笔记来预测食谱可能的样子。
“试运行”（预热）：在承诺进行完整的烹饪过程之前，厨师会进行三次快速、小型的测试，看看汤需要是大份、中份还是小份。这有助于奠定基础。
“品尝测试”（状态向量）：当执行一个食谱时，系统不仅仅查看最终得分。它会查看汤的状态：“我们是否保留了足够的食材？味道是否平衡？”它会为所选食材创建一个“状态向量”（一份摘要报告）。
“品尝小组”（搜索控制器）：
- 总结者：阅读过去汤品的历史，并说：“嘿，每次我们在胡椒之后加盐，味道都很棒。”
- 提议者：根据该建议提出新的食谱变体（例如，“让我们尝试交换盐和胡椒的顺序”）。
- 排序者：查看新建议，并使用“高斯过程”（一种复杂的数学猜测器）来预测哪一个最可能是好的，然后挑选出单个最佳候选者进行实际烹饪。
- 重播种者：如果厨师一直在做同样的汤且没有变得更好（停滞），系统会说：“好吧，让我们抛弃当前的想法，尝试一个完全不同的起点。”

结果：它奏效了吗？

研究人员在三个不同的 AI 模型（小型和中型）上测试了这种方法，使用了包含 90,000 项指令的池。他们将 AutoSelection 与以下方法进行了比较：

使用整个储藏室（全量数据）。
随机挑选食谱。
仅挑选“前十名”最佳食材（单操作符）。

发现：

更好的汤：AutoSelection 创建的模型在推理任务上比甚至那些在整个 90,000 项数据集上训练的模型更聪明。
顺序很重要：他们证明了步骤的序列很重要。例如，执行“步骤 A 然后步骤 B"产生的结果比“步骤 B 然后步骤 A"好得多，即使食材是相同的。
稳定性：该系统不仅仅是一次运气好；它在多次尝试中 consistently 找到了好的食谱。
可迁移性：在小型模型（15 亿参数）上表现良好的食谱，往往在大型模型（70 亿参数）上也表现良好，这表明“食谱”本身捕捉到了关于优质数据的某些根本性特征。

结论

这篇论文认为，让 AI 变得更聪明不仅仅是找到“最佳”的数据点。它是关于找到过滤和混合这些数据的最佳过程。通过将数据选择视为食谱搜索而不是简单的排名列表，并使用一个智能的、预算感知的搜索引擎（AutoSelection）来寻找该食谱，我们可以用更少的浪费精力构建更好的 AI 模型。

它不是：

它不发明新数据或重写指令。
它不使用 AI 生成新的训练样本。
它不声称适用于医疗诊断或特定的临床用途（它严格专注于通用推理基准，如数学和逻辑谜题）。

技术摘要：从实例选择到固定池数据配方搜索

问题定义

当前监督微调（SFT）数据选择的方法主要被表述为实例级排序：基于启发式规则、影响力估计或学习到的表示对单个样本进行评分，并保留前 $k$ 个子集。尽管这种方法有效，但它抽象掉了 SFT 数据集构建的实际现实，后者通常涉及多阶段的策展工作流，包括过滤、源混合、去重和清洗。

本文将问题重新框架化为固定池数据配方搜索。在此设定下：

原始指令池（ $D_0$ ）是固定的。
存在一个基础操作符库（ $O$ ）（例如，按难度过滤、去重、混合）。
候选“配方”是这些操作符的有序序列。
目标不是为每个实例分配最终分数，而是发现一个可执行的配方，在有限的完整 SFT 评估预算下构建高质量的选定子集。
关键在于，该方法不生成、重写或增强训练样本；它仅选择和组合现有数据。

该定义涵盖了单操作符 Top-k 选择（视为退化的长度为 1 的配方），但明确优化了操作符的组合、排序以及由此产生的中间子集状态。

方法论：AutoSelection

作者引入了AutoSelection，这是一种双层求解器，旨在昂贵的验证约束下高效地遍历组合配方空间。

1. 固定池实例化层（廉价的搜索端推理）
为了避免为每个候选项重新计算昂贵的信号，AutoSelection 在规范化的原始池（ $D'_0$ ）上缓存基础信号：

任务侧信号：基于基准的激活相似度（遵循 MONA）。
数据侧信号：内在属性，如词汇多样性（N-gram 熵）和动作 - 对象分支。
模型侧信号：缓存的基础模型响应，包括指令遵循难度（IFD）、方差熵和稀疏激活统计。
状态向量：对于任何实例化的配方，状态向量 $z(r)$ 总结了实现子集的属性（例如，保留的 token 比率、分布漂移、任务相关性）。这使得搜索控制器能够在承诺进行完整 SFT 评估之前比较候选子集。

2. 搜索控制器层（预算分配）
控制器利用 $B$ 次完整评估的预算来管理探索与利用的权衡：

预热探测：搜索开始时探测三种不同的数据规模区间（低、中、高保留率），以建立初始种子锚点并识别有希望的保留水平。
局部细化：使用总结器（Summarizer），系统将评估历史转化为数据支持假设。随后，提议器（Proposer）通过在当前种子周围执行局部编辑（插入、删除、交换或重新调整步骤）来生成兄弟候选配方。
排序：排序器（Ranker）选择单个最佳候选进行完整评估。它结合了：
- 配方结构。
- 实现的状态向量（子集属性）。
- 基于配方编码的高斯过程（GP）代理先验。
- 历史搜索数据。
停滞触发的重种子：如果搜索在连续 $P$ 步内未能提高当前最佳分数，重种子器（Reseeder）将从历史中选择一个新的有希望的动机来刷新种子锚点，防止搜索陷入饱和的局部区域。

语言模型（具体为 DeepSeek-R1）严格用作搜索端助手，用于总结历史、提出基于事实的编辑、对候选项排序以及重种子；它们不重写或生成训练数据。

主要贡献

问题定义：作者将 SFT 数据策展形式化为在固定原始池上对可执行配方的预算化黑盒优化问题，使操作符的组合和排序成为明确的优化目标。
方法（AutoSelection）：一种双层求解器，将缓存的候选实例化与昂贵的完整 SFT 评估解耦，利用预热探测、状态感知的局部编辑、GP 辅助排序和停滞触发的重种子。
实证证据：在 90K 指令池上，针对三个基础模型（Qwen2.5-1.5B/3B, Llama3.2-1B）进行了全面评估。

实验结果

在 90K 样本指令池上评估，预算为 15 次完整 SFT 评估：

性能：AutoSelection 在所有三个基础模型上实现了最强的分布内推理平均值，优于全数据训练、随机配方搜索、随机 Top-k 和单操作符选择器。
- 相比全数据训练的改进：Llama3.2-1B 提升 +1.82，Qwen2.5-1.5B 提升 +3.40，Qwen2.5-3B 提升 +3.72 分。
- 相比最强的非 AutoSelection 基线：提升 +0.90 至 +2.89 分。
分布外（OOD）泛化：在保留的图推理基准（GraphWiz, NLGraph）上，AutoSelection 保持竞争力，在 Qwen2.5-1.5B 上排名第一，在 Qwen2.5-3B 上几乎与最佳基线持平。
稳定性：在 1.5B 模型上的三次独立运行显示出狭窄的分数范围（0.59 分），表明增益并非源于单次幸运运行。
消融实验：
- 移除预热导致搜索在早期评估中花费在低分区域。
- 移除总结器导致轨迹更平滑，但最终最佳配方较弱。
- 移除重种子导致“目前为止最佳”曲线更平坦，表明难以逃离局部最优。
- 移除状态向量使搜索暴露于形式有希望但实现子集状态较弱的候选项。
结构敏感性：匹配种子的结构消融实验证实，操作符的排序和组合对性能的影响显著，超越了特定操作符的单纯存在。
可迁移性：1.5B 到 7B 的迁移检查显示正 Spearman 等级相关性（ $\rho=0.82$ ），表明在小模型上发现的高质量数据动机对大模型也有用，尽管确切的等级保留无法保证。

意义与主张

本文主张，AutoSelection 的价值不在于发现一个通用的最佳单一选择器，而在于分配少量完整评估以找到更强的基于事实的策展决策组合。

作者认为：

配方结构至关重要：操作符的排序和交互（例如，在去重之前过滤与之后过滤）对下游 SFT 性能有可测量的影响，支持将数据配方视为一等优化对象的观点。
固定池控制：通过将搜索限制在不涉及生成或重写的固定原始池，该方法将操作符选择的效果与数据合成或提示工程引入的混淆因素隔离开来。
效率：该方法证明，高效的搜索策略（预热、状态感知排序、重种子）可以在严格的评估预算内产生优于全数据训练或随机搜索的子集。

该工作将自己定位为 LLM 驱动的数据生成系统的受控替代方案，侧重于优化现有数据工作流，而非合成新数据。