🤖 machine learning

Automatic Combination of Sample Selection Strategies for Few-Shot Learning

该论文提出了自动组合样本选择策略（ACSESS）方法，通过整合多种成熟的选择目标，在少样本学习和上下文学习中显著提升了模型性能，并验证了该方法在极少量样本场景下的最大收益。

原作者： Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个在人工智能领域非常实际的问题：当数据很少的时候，我们该如何“挑”出最好的样本，让模型学得更快、更好？

想象一下，你是一位厨师（AI 模型），老板（用户）只给了你5 个鸡蛋（Few-Shot，少样本），让你做一道新菜。

如果你随便抓 5 个鸡蛋（随机选择），可能有的坏了，有的不新鲜，做出来的菜味道可能很一般。
如果你能挑出 5 个最完美、最新鲜、最适合做这道菜的鸡蛋（样本选择），做出来的菜就会惊艳全场。

这篇论文就是教你如何自动地、聪明地挑出这 5 个“完美鸡蛋”。

1. 核心问题：以前的“挑蛋”方法太单一了

在人工智能的世界里，有很多现成的“挑蛋”策略（样本选择策略）：

相似性策略：挑跟这道菜最像的鸡蛋（比如都是红皮蛋）。
多样性策略：挑跟其他鸡蛋长得不一样的，保证种类丰富。
难度策略：挑那些最难辨认、最容易做坏的鸡蛋（因为学会处理它们，厨师进步最快）。
遗忘策略：挑那些厨师容易忘记怎么做的鸡蛋（因为复习它们效果最好）。

问题在于：以前的研究通常只死守一种策略。比如，只挑“最像的”，或者只挑“最难的”。但这就像做菜只放盐，或者只放糖，味道往往不够好。而且，很多针对大语言模型（LLM）的新策略，往往只适用于特定场景，换个菜（数据集）就不灵了。

2. 解决方案：ACSESS —— “全能挑蛋大师”

作者提出了一种叫 ACSESS 的新方法。你可以把它想象成一个超级智能的“选品委员会”。

这个委员会的工作流程是这样的：

组建团队：它把上面提到的各种“挑蛋专家”（23 种不同的策略）都召集起来。
筛选成员：它不会把所有专家都留下，而是通过测试，找出在这个特定任务（比如做川菜还是做西餐）中表现最好的那几位专家。
综合打分：它不会只听一个人的意见。它会给每位留下的专家分配一个权重（比如：在这个任务里，“难度”专家的话占 40%，“遗忘”专家的话占 30%，“多样性”占 30%）。
最终决策：根据加权后的总分，选出那 5 个最完美的样本。

它的核心魔法：它不是简单地找“最好的”，而是找互补的。它知道有时候需要“难啃的骨头”（高难度样本），有时候需要“基础扎实”的样本（易学样本），把它们组合在一起，效果才是最好的。

3. 主要发现：几个有趣的“厨房秘密”

作者做了大量的实验（在文本和图像数据上），发现了一些反直觉的规律：

少即是多（在样本数量上）：
- 如果你只给模型 1 个或 5 个样本（Few-Shot），精心挑选带来的提升巨大（就像用 5 个顶级鸡蛋能做出米其林大餐）。
- 但是，如果你给模型 30 个或 40 个样本，挑不挑就不重要了。因为样本够多，随便抓一把（随机选择）也能抓到好鸡蛋，这时候再费劲去挑，性价比极低，甚至可能因为挑得太细反而漏掉了好东西。
- 比喻：就像你要在 100 个人里选 1 个代表，你必须精挑细选；但如果你要选 50 个人，随便抓一把，大概率也能抓到一群不错的人。
“难学”的样本更有用：
- 对于大语言模型（In-Context Learning），那些最难理解、最容易让模型犯错的样本，往往最能提升模型的能力。这就像教学生，讲那些他最不懂的难点，比讲他早就懂的废话更有用。
小数据集也能用：
- 即使你的总数据量很少（比如只有 25% 的数据），只要用 ACSESS 方法去挑，效果也能和用全量数据差不多。这意味着在数据隐私受限或数据稀缺的场景下，这个方法非常有用。

4. 总结：这对我们意味着什么？

这篇论文告诉我们，在人工智能时代，“数据质量”比“数据数量”更重要，尤其是在数据很少的时候。

以前：我们以为只要把大模型扔进去，给它看越多数据越好，或者随便给几个例子就行。
现在：ACSESS 告诉我们，如果能自动组合多种挑选标准，找到那些既难学、又具代表性、还能互补的样本，就能用更少的数据，达到甚至超过使用大量数据的效果。

一句话总结：
这就好比在资源有限的情况下，不要试图“广撒网”，而要像一位老练的厨师，用一套自动化的智能系统，精准地挑选出那几颗最关键的“金蛋”，让模型在极少的样本下也能爆发惊人的智慧。

论文技术总结：自动组合样本选择策略用于少样本学习 (ACSESS)

1. 研究背景与问题 (Problem)

在少样本学习（Few-Shot Learning, FSL）场景中，由于标注数据稀缺，模型性能高度依赖于支持集（Support Set）中样本的选择质量。

现状： 现有的样本选择策略通常针对单一属性（如相似度、多样性、信息量）或特定场景（如大语言模型的上下文学习 In-Context Learning, ICL）设计。
痛点：
1. 单一策略往往存在局限性，无法同时捕捉样本的互补特性（如易学性、代表性、信息量）。
2. 针对大语言模型（LLM）的上下文学习，研究多集中于特定策略，而忽视了在监督设置下表现良好的经典策略（如主动学习）。
3. 缺乏一个通用的框架来自动组合多种策略，以识别具有互补特性的最优样本子集。

2. 方法论：ACSESS (Methodology)

作者提出了 ACSESS (Automatic Combination of SamplE Selection Strategies)，一种自动组合样本选择策略的方法。其核心思想是通过加权组合多个单一属性策略的目标函数，以识别具有互补特性的样本。

核心流程

ACSESS 包含三个主要阶段：

定义单一属性策略 (Single-Property Strategies)：
选取了 23 种基于不同属性的经典策略，分为三类：
- 信息量 (Informativeness)： 基于相似度、多样性、主动学习（熵、边界、最小置信度、损失）及核心集选择（CAL, DeepFool, GraNd, Graph-Cut）。
- 代表性 (Representativeness)： Herding, KCenter, CRAIG, Glister。
- 可学性 (Learnability)： 遗忘率 (Forgetting)、数据地图 (Cartography，区分易学、难学、模糊样本)。
识别相关策略子集 (Identifying Relevant Strategies)：
为了从 23 种策略中找到最优组合，避免穷举搜索的高计算成本，ACSESS 结合了三种特征选择思想：
- 前向选择 (Forward Selection)： 迭代添加能带来最大性能提升的策略。
- 后向选择 (Backward Selection)： 从全集开始，迭代移除导致性能下降的策略。
- 数据模型选择 (Datamodels Selection)： 借鉴 Datamodels 思想，将策略组合视为特征，训练一个 LASSO 线性回归模型来预测性能增益，从而筛选出权重为正的显著策略。
- 最终策略集 ( $S_{final}$ )： 取上述三种方法筛选结果的交集，以确保策略的鲁棒性和有效性。
策略组合与评分 (Combining Strategies)：
对每个样本 $x$ 计算综合得分：
$\text{score}(x) = \sum_{s \in S_{final}} w_s \times \text{objectives}_s(x)$
其中 $w_s$ 是策略权重。作者评估了三种加权方案：
- 均匀加权： 所有策略权重相等（计算成本低，泛化性好）。
- 加权组合： 使用 Datamodels 训练出的权重（针对特定数据集/模型，性能最优）。
- 带随机选择的加权： 引入随机选择作为基准策略进行组合。

3. 实验设置 (Experiments)

数据集： 6 个文本数据集（新闻分类、意图识别）和 8 个图像数据集（Meta-Album）。
模型与方法：
- 上下文学习 (ICL)： 5 种指令微调的大语言模型 (Mistral-7B, Zephyr-7B, LLaMA-3.1-8B, Gemma-3-4B, Qwen-2.5-7B)。
- 梯度少样本学习： 原型网络 (Prototypical Networks)、MAML、少样本微调 (Few-Shot Fine-Tuning)。
基线： 经典随机选择、针对 ICL 的 SOTA 策略 (LENS, Active Prompt, EXPLORA, CASE)。
评估指标： 5-way 5-shot 设置下的准确率，进行了多次随机种子和任务划分的平均。

4. 关键结果 (Key Results)

4.1 策略组合的优越性

ACSESS 表现最佳： 组合策略（ACSESS）在所有少样本学习方法中均优于单一策略。
- 在 ICL 中，平均提升 2.5% 准确率。
- 在梯度少样本学习中，平均提升 1.8% 准确率。
超越专用基线： ACSESS 的表现与甚至超过了专门为 ICL 设计的 SOTA 基线（如 CASE, EXPLORA），证明了经典策略组合的有效性。

4.2 关键洞察 (Key Insights)

可学性 (Learnability) 至关重要： 实验发现，“可学性”（样本是否容易被学习或是否容易被遗忘）是少样本学习中最强的质量指标，其重要性超过了信息量或代表性。
- 对于 ICL，难学但未被遗忘的样本（位于决策边界）最有益。
- 对于梯度学习，易学且未被遗忘的样本最有益。
Shot 数量的影响：
- 低 Shot 数时收益最大： 在 1-shot 设置下，ACSESS 相比随机选择可提升 4-7% 的准确率。
- 收益递减： 随着 Shot 数量增加（ICL 约 30-shot，梯度学习约 30-40-shot），样本选择的优势逐渐消失，所有策略退化为随机选择。
- 过犹不及： 对于 ICL，Shot 数过多（如 50-shot）会导致性能下降，受限于 LLM 的上下文窗口长度。
小数据集依然有效： 即使数据集规模很小（仅使用 25% 的文本数据或 10% 的图像数据），样本选择仍能带来显著收益，性能可接近使用全量数据的效果。

4.3 计算成本与泛化性

均匀加权策略： 虽然加权组合（针对特定数据集优化）性能略高，但均匀加权（Uniform Combination）在性能损失极小（<0.25%）的情况下，大幅降低了计算成本，且具有更好的跨数据集/模型泛化性。
推荐配置： 对于通用场景，推荐组合 Cartography (易学/模糊)、Margin (决策边界) 和 Forgetting (遗忘率) 策略。

5. 意义与贡献 (Significance & Contributions)

理论贡献： 首次大规模验证了将经典监督学习中的样本选择策略（如主动学习、核心集）应用于大模型少样本学习的有效性，打破了“必须使用特定 ICL 策略”的迷思。
方法创新： 提出了 ACSESS 框架，通过自动组合互补策略，解决了单一策略的局限性，为少样本学习提供了一种通用、高效的样本筛选范式。
实践指导：
- 在数据稀缺（低 Shot）或数据噪声大时，应优先使用样本选择策略。
- 在 Shot 数较多时，随机选择即可，无需过度优化。
- 提供了具体的策略组合建议（Cartography + Margin + Forgetting），可直接迁移到不同任务中。
资源效率： 证明了通过精心筛选少量高质量样本，可以在减少计算成本（减少训练/推理样本量）的同时，保持甚至提升模型性能，这对资源受限的少样本场景尤为重要。

总结： 该论文证明了“少而精”的样本选择策略在少样本学习中具有巨大潜力，并提出了一种自动化的组合方法，能够显著提升大模型和传统少样本学习模型的性能，特别是在数据稀缺和噪声较大的场景下。