💬 NLP

Activation-Based Active Learning for In-Context Learning: Challenges and Insights

本文研究了利用 MLP 激活信号在大型语言模型中进行上下文示例选择的潜力，但结论认为由于缺乏与任务性能的相关性，此类方法是无效的，并建议未来的研究应探索如稀疏自编码器（Sparse Autoencoders）之类的技术，以解决底层的叠加（superposition）问题。

原作者： Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但完全是新手的学生（一个大语言模型）如何解决一种特定类型的谜题。你没有给他们一本厚厚的教科书去研读，而是在考试前给了他们几个例子。这被称为上下文学习（In-Context Learning）。

研究人员一直在思考一个核心问题：我们应该挑选哪些例子？ 如果我们挑选了“最好”的例子，学生就能取得更好的成绩。如果我们选错了，他们可能会感到困惑。

核心理念：倾听学生的“脑电波”

这篇论文的作者提出了一个聪明的假设。他们认为：“也许我们可以观察学生在看一个例子时的脑部活动，以此来判断它是否是一个好的例子。”

在计算机术语中，这些“脑电波”被称为激活值（activations）。当模型处理一个例子时，其内部机制的某些部分（特别是被称为 MLP 层，即模型的“记忆库”）会亮起来。研究人员想要测量这些灯光闪烁的亮度。他们认为：

更亮的灯光 = 一个更重要、更高质量的例子。
更暗的灯光 = 一个无聊、没用的例子。

他们尝试利用这些“脑电波读数”来自动为学生挑选最好的例子。他们甚至尝试了让学生接触例子的不同方式（比如是让其一次阅读整页内容，还是逐行阅读），以观察这是否会改变脑电波的模式。

实验：测试理论

团队进行了一场大规模实验。他们使用了两个流行的 AI 模型（Llama 和 Qwen），并在四种不同类型的任务上进行了测试：

是非题 (BoolQ)
多选题科学题 (ARC-Challenge, OpenBookQA)
数学应用题 (GSM8K)

对于每项任务，他们都提取了 1,000 个潜在的例子。他们使用不同的数学工具（例如检查平均亮度、分布范围或最大的单次闪烁强度）来测量每个例子的“脑电波”（激活值）。然后，他们实际测试了模型，以观察模型的表现如何。

最后，他们将脑电波得分与实际测试得分进行了对比。他们试图寻找一种强关联：那些脑电波最亮的例子，是否真的能帮助模型取得更好的成绩？

结果：一个“负面”发现

这里是结论：行不通。

研究人员发现，脑电波模式与模型的表现之间几乎没有任何联系。

相关性极其微弱（充其量只有 0.33/1.0 的得分，这仅仅是一丝若有若无的关系）。
有时，那些脑电波最“亮”的例子，反而比随机挑选的例子让模型的表现更差。
即使他们尝试了不同的掩码方式（通过隐藏部分文本来改变模型的阅读方式），结果也是一样的：脑电波并不能预测成功。

为什么失败了？“叠加（Superposition）”类比

作者提出了一个理论来解释为什么会发生这种情况，他们使用了**叠加（Superposition）**的概念。

想象一个拥挤的房间，每个人都在同时说话。在一个正常的房间里，如果你想听某个人说话，你只需要听他的声音。但在这个 AI 模型的“房间”（其内部维度）里，发生的对话比可以听到的听众还要多。

为了将所有这些对话塞进有限的空间里，模型将它们混合在了一起。单个“大脑中的光”并不只是关于某个特定的事实，它是一个由许多不同事实和想法组成的复杂且纠缠在一起的混合体。由于信号如此混乱且交织在一起，仅仅观察这些“光”的原始亮度并不能告诉你某个特定的例子是好是坏。这就像试图仅通过观察整杯饮料的颜色来判断某种特定食材的品质一样；颜色太融合了，以至于无法分辨出里面到底是什么。

总结

论文得出结论：你不能使用原始的脑电波测量值（MLP 激活值）来挑选 AI 的优质例子。 对于这种特定的方法来说，这是一个死胡同。

然而，作者提出了一个前进的方向。既然信号如此混乱，我们可能需要一个特殊的工具先将它们“解混”。他们建议使用一种叫做**稀疏自编码器（Sparse Autoencoders, SAEs）**的工具，它就像一个精密的过滤器，可以将房间里纠缠在一起的对话分离出来，这样我们才能真正听到每一个独立的个体声音。在拥有这种过滤器之前，我们不应该依赖这些激活信号来选择我们的例子。

简而言之： 利用 AI 内部的“光芒”来挑选例子的想法是一个伟大的理论，但实验表明，由于 AI 的内部信号过于混乱，直接解读它们在实践中是行不通的。

技术摘要：基于激活值的上下文学习主动学习研究

问题陈述
上下文学习（In-Context Learning, ICL）已成为在无需微调的情况下增强大语言模型（LLM）性能的主要方法，其核心在于通过选择高质量的示例来优化提示词。尽管深度主动学习已通过模型不确定性、数据多样性和相似度度量等技术应用于 ICL，但在利用近期关于 Transformer 内部激活理解方面的进展方面仍存在空白。具体而言，目前尚不清楚多层感知机（MLP）层的原始激活模式（这些层对于知识记忆至关重要）是否可以作为一种细粒度的信号来优化上下文示例的选择。本文研究了这样一个假设：模型激活值与示例质量及任务性能之间存在相关性。

研究方法
作者使用两个基座模型（Llama-3.2-3B 和 Qwen2.5-3B）在四个多样化数据集上进行了全面的实证研究：BoolQ、ARC-Challenge、OpenBookQA（分类任务）以及 GSM8K（生成式数学推理）。

研究方法包含以下步骤：

掩码策略（Masking Strategies）： 为了捕捉候选示例与测试样本之间的复杂关系，作者实验了四种注意力掩码配置：
- 因果掩码（Causal Mask）： 阻止向未来标记进行注意力的默认设置。
- 无掩码（No Mask）： 取消因果掩码以允许双向处理。
- 基于测试集的行掩码（Row Test-Based）： 仅对测试查询（test query）标记进行掩码。
- 基于测试集的列掩码（Col Test-Based）： 仅对测试键（test key）标记进行掩码。
评分机制： 对于每个候选示例，模型执行一次带有 1-shot 提示（示例 + 分隔符 + 测试样本）的前向传播。作者从所有 $L$ 个 MLP 层中提取了激活矩阵。
指标： 为了将激活矩阵简化为单个分数，作者使用了：
- 前四个统计矩：均值（绝对值）、方差、偏度（skewness）和峰度（kurtosis）。
- “最大激活值”：矩阵内最大的绝对激活值。
- “逐向量最大值”：各标记向量最大激活值的平均值。
评估： 作者通过计算测试集上各提示分数的平均值，得出每个示例的 shot_score。随后，他们计算了这些分数与所选示例的实际任务性能（准确率或精确匹配）之间的 Spearman 相关系数。

关键结果
研究对初始假设得出了明确的否定结论：

缺乏相关性： 基于 MLP 激活值的得分与上下文示例性能之间不存在可靠的相关性。在所有测试的任务和模型中，绝对 Spearman 相关系数最高仅为 0.33。
统计显著性： 许多实验显示出较低的 p 值（ $p < 0.001$ ），这表明这种“缺乏相关性”的情况在统计学上是显著的。
性能失配： 基于最大值、中位数或最小值进行示例选择并不能获得表现最好的示例。在某些情况下，基于这些指标进行的“最优”选择甚至导致性能跌破零样本（zero-shot）基准线。
鲁棒性： 这种缺乏相关性的现象在不同掩码策略（因果、无掩码或特定测试掩码）或特定指标（统计矩或最大激活值）下均持续存在。

意义与贡献
本文的主要贡献是对基于 MLP 激活值的 ICL 深度主动学习进行了迄今为止最全面的分析，通过提供一个关键的“负面结果”来引导未来的研究方向。

实证证据： 作者证明了即使通过大规模激活或统计矩来观察，原始 MLP 激活值也无法作为示例质量的代理指标。
关于叠加性（Superposition）的假设： 论文假设这些指标失效的原因在于叠加性，即模型表示的特征数量超过了其维度限制，导致特征在维度间发生纠缠。这表明线性或简单的统计指标无法解开这些复杂的非线性相互作用。
未来方向： 因此，作者认为从业者在应用主动学习策略之前，不应直接使用原始 MLP 激活值进行上下文示例采样。他们提出将**稀疏自编码器（Sparse Autoencoders, SAEs）**作为一种有前景的未来方向，用于在应用主动学习策略前分离出可解释的特征。

总之，虽然本研究并未验证基于激活值采样的 ICL 有效性，但它通过排除一类特定的方法并指出转向 SAEs 等特征解耦技术是未来进步的必要条件，提供了重要的见解。

核心理念：倾听学生的“脑电波”

实验：测试理论

结果：一个“负面”发现

为什么失败了？“叠加（Superposition）”类比

总结

类似论文