💬 NLP

When and How Unlabeled Data Provably Improve In-Context Learning

本文从理论上证明，虽然单层线性注意力模型无法利用无标签数据，但多层或循环 Transformer 可以通过隐式构建类似于期望最大化（EM）的迭代估计器来证明其在上下文学习能力的提升，这种能力在应用于现成的基础模型时，能转化为半监督表格学习中的显著性能增益。

原作者： Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yingcong Li, Xiangyu Chang, Muti Kara, Xiaofeng Liu, Amit Roy-Chowdhury, Samet Oymak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“聪明猜谜”游戏

想象你是一名正在试图破解谜团的侦探。你有一本充满线索的笔记本（提示词/Prompt）。

线索： 有些线索旁边写着清晰的答案（例如：“这个指纹属于管家”）。这些是有标签数据（Labeled data）。
谜团： 你有一个新的证据（查询/Query），需要猜出是谁干的。
缺失的信息： 在现实世界中，你通常拥有大量的线索，但其中许多线索还没有写下答案（例如：“这个脚印……[空白]”）。这些是无标签数据（Unlabeled data）。

上下文学习（In-Context Learning, ICL） 就像是一个超级聪明的侦探（Transformer 模型），它通过观察你的笔记本，试图找出解决新谜题的模式，而无需从头开始重新训练。

这篇论文提出了一个简单的问题：侦探仅仅通过观察那些没有写下答案的线索，就能变得更聪明吗？

主要发现：深度至关重要

研究人员发现，答案完全取决于侦探思考过程的“深度”。他们测试了两种类型的侦探：

1. 单层侦探（“表面阅读者”）

想象一个只看一眼笔记本的侦探。

他们的做法： 他们观察带有答案的线索，计算平均值，然后做出猜测。
问题所在： 如果他们看到一堆没有答案的线索，他们会完全忽略它们。对他们来说，空白页就是空白页。
论文的发现： 从数学上讲，单层模型学会了使用有标签线索的最佳方式，但它对隐藏在无标签数据中的信息是盲目的。这就像是在解谜题时忽略了一半的拼图碎片，尽管这些碎片就在桌子上。

2. 多层侦探（“深度思考者”）

现在，想象一个可以看笔记本、做出初步猜测、再次观察、完善猜测，然后再观察的侦探。这是一个多层或**循环（Looped）**模型。

他们的做法： 他们利用无标签的线索来帮助理解拼图的形状。
- 第一步： 他们根据已有的标签线索，为空白线索做一个猜测。
- 第二步： 他们将那个猜测视为真实的，并利用它来完善对整个群体的理解。
- 第三步： 他们重复这个过程，随着每一次迭代变得越来越聪明。
论文的发现： 这些更深的模型可以有效地“填补空白”。他们将无标签数据转化为有用的信息，从而非常接近完美的解决方案（“贝叶斯最优”分类器）。

核心机制：“多项式阶梯”

深层侦探究竟是如何做到的？论文使用了一个数学概念——**多项式（Polynomials）**来解释。

类比： 把无标签数据想象成一把梯子。
- 单层模型只能站在最底下的横档上（第一级台阶）。它无法到达更高的地方。
- 多层模型可以攀爬这把梯子。每一层都增加了一个新的横档。
- 论文证明，只需几层（或几次循环），模型就能爬得足够高，从而构建出一个复杂的结构（高次多项式），完美地结合有标签和无标签的数据。
结果： 模型的行为开始看起来像是一个著名的算法——期望最大化算法（Expectation-Maximization, EM）。这是统计学中常用的一种方法：先猜测缺失的值，利用该猜测更新模型，然后再进行猜测。论文表明，深层 Transformer 本质上是在自动执行这种“猜测与检查”的循环，而无需被显式地编程实现。

用于现实数据的“循环”技巧

研究人员并没有止步于理论。他们想看看这在现实数据上是否有效，特别是针对表格基础模型（Tabular Foundation Models）（旨在处理类似 Excel 表格这类结构化数据的 AI 模型）。

实验： 他们使用了一个预训练模型（TabPFN），并给它一个带有部分缺失答案的小型数据集。
策略（LoopTabFM）： 他们没有只是运行一次模型，而是运行模型，提取出对缺失答案的“软猜测（Soft guesses）”，将这些猜测重新加入笔记本，然后再次运行模型。他们进行了几次这样的“循环”。
结果： 这种简单的“循环”策略显著提高了模型在现实数据集上的准确性。这证明了通过让模型“重读”自己的猜测，它可以利用无标签数据变得更加聪明。

核心要点总结

单层是不够的： 如果你只有一个浅层模型，添加无标签数据是徒劳的。模型会忽略它。
深度是关键： 你需要一个更深的模型（或者具备循环模型的能力）来释放无标签数据的价值。
就像自我教学： 深层模型自然地模拟了一个“猜测缺失标签并重新学习”的过程，这使得它们能够利用所能获得的所有信息碎片。
现实世界的证明： 这不仅仅是数学理论；它在处理表格数据时确实有效。通过简单地循环运行模型几次，你可以在不需要更多有标签数据的情况下获得更好的结果。

简而言之，这篇论文证明了深度让 AI 能够“看见”无标签数据中隐藏的模式，将一堆空白的线索变成一个已解开的谜团。

技术摘要：无标签数据何时以及如何从理论上提升上下文学习

问题陈述

本文研究了 Transformer 执行半监督上下文学习 (Semi-Supervised In-Context Learning, SS-ICL) 的能力。具体而言，它探讨了这样一种场景：模型被提示一个包含特征-标签对 $(x_i, y_i)$ 的数据集，但其中一部分标签是缺失的（设为 0）。目标是在仅使用提供的上下文的情况下，预测查询特征 $x$ 的标签，且无需更新模型参数。

作者聚焦于一个规范的设定，即演示数据（demonstrations）是从二元高斯混合模型 (Gaussian Mixture Model, GMM) 中抽取的。在此设定下， $x_i \sim \mathcal{N}(\mu y_i, \sigma^2 I)$ ，其中任务均值 $\mu$ 是从先验分布中采样的。核心问题是：Transformer 何时以及如何能从无标签数据中进行上下文学习？

方法论

本研究采用严谨的理论框架，分析了 SS-ICL 设定下注意力机制的优化景观（optimization landscape）和表达能力。

数据模型： 输入提示由 $n$ 个演示组成，其中 $m$ 个标签是观测到的（ $y_i \in \{-1, 1\}$ ）， $n-m$ 个标签是缺失的（ $y_i = 0$ ）。查询 $x$ 及其真实标签 $y$ 的生成方式与之类似。
模型架构： 作者分析了线性注意力 (linear attention) 模型，其定义为机制 $att(Z; W) = (ZW_q W_k^\top Z^\top) M Z W_v$ 。他们研究了单层和多层（或循环）变体。
理论方法：
- 单层分析： 作者刻画了使用平方损失训练的单层线性注意力模型的全局最小值。
- 多层分析： 他们研究了更深的网络（或循环单网络）如何构建复杂的估计器。他们将估计器的形式推导为经验协方差矩阵 $X^\top X$ 的多项式。
- 与经典算法的联系： 论文将学习到的注意力机制与经典的半监督算法（特别是期望最大化 (EM) 和置信度传播 (Belief Propagation)）联系起来。

核心贡献

1. 单层线性注意力的局限性

论文证明，单层线性注意力模型无法利用无标签数据，即使数据中包含关于特征分布的信息。

定理 1： 在各向同性任务先验下，最优单层线性注意力模型恢复了监督插值 (Supervised Plug-in, SPI) 估计器： $\hat{\mu}_s = \frac{1}{|I|} \sum_{i \in I} y_i x_i$ 。
启示： 模型实际上忽略了无标签样本（即 $y_i=0$ 的样本）。理论分析表明，在元学习（meta-learning）设定下（即对随机任务求平均），无标签数据的样本协方差收敛于单位矩阵的标量倍数，无法为单层模型提供任务特定的信号。

2. 深度赋能半监督学习

与单层模型不同，多层（或循环）线性注意力可以有效地利用无标签数据。

多项式表达能力： 作者展示了一个 $L$ 层线性注意力模型可以实现如下形式的估计器：
$\hat{\mu} = \sum_{i=0}^{K} a_i (X^\top X)^i X^\top y$
其中 $K = O(3^L)$ 。这使得模型能够构建经验协方差矩阵的高次多项式。
对数深度充分性： 由于可表达的多项式次数随深度呈指数级增长，因此对数深度 ( $O(\log K)$ ) 足以表示实现最优半监督估计所需的高次单项式。
定理 3 & 4： 当样本数 $n \to \infty$ 时，多层注意力模型可以逼近最优半监督估计器（具体为向协方差矩阵的主特征向量投影），达到接近贝叶斯最优极限的分类误差。

3. 机制：EM 与置信度传播

论文提供了这些模型如何利用无标签数据的解释：

标签传播： 多层网络中的标签迭代更新模仿了 期望最大化 (EM) 算法。每一层执行一个“伪标签化”步骤（期望阶段），随后进行任务均值的重新估计（最大化阶段）。
Softmax 与线性： 虽然线性注意力实现了线性的 EM 式更新，但 Softmax 注意力 则实现了类似于 置信度传播 (Belief Propagation) 的非线性、基于相似度加权的更新。

4. 对表格基础模型的应用

受“循环可以提升性能”这一理论发现的启发，作者提出了 LoopTabFM，这是一种迭代应用现成的表格基础模型（例如 TabPFN）来生成无标签数据软标签的算法。

算法： 模型在一个循环中运行，其中无标签数据被分配软标签并添加到提示词中，然后重新评估模型。使用验证风险指标来选择最佳迭代。
实证验证： 在真实世界表格数据集上的实验表明，这种循环策略相比单次推理显著提高了测试准确率，特别是在少样本（few-shot）设定下。

结果

理论结果

单层： 性能与仅有监督信息的 SPI 估计器相同。增加无标签样本的数量并不会提高准确率（图 1b, 1c）。
多层： 性能随深度增加而提升。2 层模型明显优于 1 层模型，并接近 SSPI-1 估计器（使用协方差一次方的半监督插值）。5 层模型则接近 SSPI- $\infty$ （使用主特征向量），在渐进情形下非常接近贝叶斯最优误差。
架构比较： 在实验（图 2c）中，Transformer（MLP + Softmax）的表现优于线性注意力，而线性注意力又优于仅含 Softmax 的注意力。然而，所有架构都会随着 $n$ 的增加而趋向于贝叶斯最优曲线。

实证结果

合成数据： 在 GMM 上的实验证实，2 层和 5 层线性注意力模型随着无标签样本数量的增加，比 1 层模型获得了更高的准确率。
真实数据： 使用 TabPFN-v2 在 OpenML 数据集上的实验显示，LoopTabFM 算法（迭代伪标签化）在特定数据集（如 OpenML ID 1464）上相比基准（单次推理）实现了高达 19.38% 的相对提升。平均而言，该方法显示出 6.35% 的相对提升。大部分增益发生在最初的两轮迭代中。

意义与主张

本文声称提供了对 Transformer 中半监督上下文学习的首次理论刻画。其主要意义在于：

弥合差距： 它解释了为什么近期“多样本”ICL（通常包含无标签或弱标签数据）的经验成功是有效的：深度允许模型在不更新参数的情况下隐式执行如 EM 之类的半监督学习算法。
深度作为一种资源： 它确立了深度不仅是为了表征能力，对于从上下文窗口中提取无标签数据的信号也至关重要。
实践策略： 它提出了一种简单的、无需参数的策略（循环），通过增加深度/循环来增强现有基础模型的半监督能力，并证明了“适度的深度/循环足以”获得大部分理论收益。

作者指出了一些局限性，承认其核心理论结果是针对线性注意力的，并且对于一般非各向同性数据的最优半监督估计器仍是一个开放性问题。他们还观察到，虽然循环有所帮助，但由于噪声或类别不平衡，性能在某些特定真实数据集上可能会下降，这表明未来需要开发数据感知的循环算法。