🤖 machine learning

Learn from your own latents and not from tokens: A sample-complexity theory

本文从理论和实证两方面证明，训练生成模型预测其自身的潜在表示而非原始词元，能够实现相对于层级深度的恒定样本复杂度，从而相比传统的监督学习或词元级自监督学习提供显著的数据效率优势。

原作者： Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《从自身的潜在表示而非从词元中学习：一种样本复杂度理论》的通俗解释，辅以生动的类比。

核心难题：“数据饕餮”

想象你正在教一个机器人理解英语。为此，你喂给它人类写过的每一本书、每一个网站和每一条推文（数万亿个词）。这就是当前人工智能模型（如那些写文章或与你聊天的模型）的学习方式。它们观察单个词（“词元”），并试图猜测下一个词。

然而，人类儿童仅用极少量的数据就能流利地掌握语言。他们不需要阅读整个互联网；只需与父母和朋友交谈即可。

这篇论文提出了一个问题：为什么人工智能如此渴求数据？ 作者认为，这是因为人工智能试图学习错误的东西。它盯着原始的“像素”或“字母”（词元），而不是理解这些字母所代表的底层概念（潜在表示）。

类比：俄罗斯套娃

为了阐述其理论，作者使用了一个名为**随机层级模型（RHM）**的模型。你可以将其想象成一组俄罗斯套娃或一棵家族树。

叶子（词元）： 在最底层，是单个字母或声音。
中间层（潜在表示）： 这些字母组合成单词，单词组成短语，短语组成句子。每一层都是一个“潜在表示”（隐藏的概念）。
顶部（根）： 最终的含义或整个结构的“父级”。

旧方法（词元级学习）：
想象你试图弄清楚这棵家族树的结构，但只被允许观察最底层（叶子）。为了理解曾祖父母之间的关系，你必须沿着路径一直追溯到叶子，然后再折返向上。

问题： 随着树变深（意义层级增多），信号变得越来越弱。这就像站在摩天大楼底部试图听清顶层的耳语；噪音会将其淹没。
代价： 以这种方式学习深层层级，需要指数级的数据量。如果树有 4 层，你可能需要数百万个样本。如果它有 10 层，你可能需要比宇宙中存在的还要多的数据。

新方法（从自身的潜在表示中学习）：
现在，想象你被允许观察树的中间层。与其猜测下一个字母，不如猜测下一个概念。

解决方案： 如果你在第 2 层，你就预测第 3 层。你不必一直向下追溯到叶子。信号强劲且清晰，因为你正在与层级中的“邻居”进行交互。
结果： 无论树有多深，你都可以用恒定的数据量学会整个结构。你不需要数百万个样本；只需要足够多的数据来观察一两次模式即可。

三项实验

作者不仅做了数学推导，还构建了三个东西来证明其有效性：

聚类算法（侦探）：
他们构建了一个简单的计算机程序，充当侦探的角色。它观察单词组，查看哪些单词表现相似（同义词），并将它们分组以形成层级的下一层。
- 结果： 它利用极少量的数据成功重建了整个家族树，证明了如果你观察正确的层级，这项工作很容易。
堆叠神经网络（梯子）：
他们构建了一个深度神经网络，其中每一层都是一个小型团队。第一组团队将原始字母分组为单词。第二组团队将这些单词分组为短语。每个团队教导下一个团队。
- 结果： 该网络的学习效率与简单的侦探算法一样高。它证明了如果深度网络被构建为预测其自身的内部表示，它们确实可以高效地学习层级结构。
"Data2vec"分析（隐藏的智者）：
他们研究了一种流行的人工智能方法，称为Data2vec。该方法已经试图预测其自身的内部表示。作者表明，Data2vec 在隐式地做着与他们的“梯子”网络相同的事情。
- 结果： Data2vec 本身就是一个层级学习者！它不需要像某些近期理论建议的那样以复杂的方式堆叠；它自然地自行发现层级的层次。这意味着我们可能不需要构建复杂的新架构；我们只需要使用已经存在的方法，但要理解为什么它们有效。

核心结论

该论文声称，预测原始数据（词元）是低效的，因为信号在长距离传输中会被稀释。预测自身的内部概念（潜在表示）是高效的，因为信号保持强劲。

词元学习： 就像试图通过观察桌上的灰尘来拼凑一千块的拼图。你需要尝试一百万次才能找到正确的碎片。
潜在表示学习： 就像看着拼图盒上的图案。你只需尝试几次就能完成拼图。

作者总结道，生物学习者（如人类）之所以如此高效地利用数据，很可能是因为我们的大脑在不断预测自身对世界的内部模型，而不仅仅是死记硬背原始感官输入。通过将人工智能训练转向专注于“从自身的潜在表示中学习”，我们有可能构建出更智能的人工智能，使其用少得多的数据进行学习。

技术摘要：从自身潜在表示而非标记中学习：一种样本复杂度理论

问题陈述

生成式模型（包括扩散模型和大语言模型）已取得显著的实证成功，但其训练数据量级远超生物学习者所需。前沿大语言模型在 $10^{13}$ – $10^{14}$ 个标记上进行训练，远远超过了儿童达到成人水平能力所需的接触量。尽管已提出多模态和具身性等假设，但本研究探讨的假设是：学习在抽象潜在空间层面比在原始标记层面更高效。

具体而言，本文旨在填补理论空白，即理解那些预测自身潜在表示的自监督学习（SSL）方法（如 data2vec、JEPA）与那些预测原始标记的方法（如掩码语言建模、扩散模型）之间的差异。关键问题包括：

与标记级预测相比，预测自身潜在表示能在多大程度上提高数据效率？
将此类方法显式堆叠成多尺度层次结构（如 H-JEPA）是否存在理论优势？

为回答这些问题，作者利用了随机层次模型（RHM），这是一种简化的概率上下文无关文法（PCFG），它通过深度为 $L$ 的隐藏潜在变量树生成可见标记。RHM 使得对组合结构的样本复杂度分析变得可行。

方法论

作者分析了三种不同的方法来学习 RHM 的潜在层次结构：

迭代潜在聚类（ILC）： 一种算法方法，模型逐层恢复层次结构。在每一层 $\ell$ ，算法估计标记元组的经验上下文向量，并对它们进行聚类以识别同义词（共享同一父节点的元组）。这构建了 $\ell+1$ 层的潜在标签，随后作为下一层的输入。
堆叠潜在聚类（SLC）网络： 一种可微分的、端到端的神经架构，镜像了 ILC 算法。它由 $L-1$ 个模块堆叠而成，每个模块包含一个预测器（用于预测堂兄弟标记以估计上下文向量）和一个聚类器（通过对比目标将预测向量映射为离散潜在代码）。该网络通过梯度下降进行训练，可选择全局反向传播或局部学习规则（模块间使用停止梯度）。
data2vec 的理论分析： 作者分析了流行的自监督学习方法 data2vec，该方法采用教师 - 学生架构来预测被掩码输入的潜在表示。他们提出了一个理论框架，其中教师的预测目标隐式地携带了已学习的潜在信息，使学生能够归纳地进行层次潜在预测。

主要贡献与结果

1. 样本复杂度界限

本文确立了标记级目标与潜在预测目标之间在样本复杂度上的严格分离：

标记级 SSL（监督或掩码）： 要恢复深度为 $L$ 的潜在树，标记级目标所需的样本数量按 $P \sim m^{L+1}$ 缩放（其中 $m$ 是每个符号的产生规则数量）。由于信号必须通过整个层次结构传播，且每个未解析的规则将相关性信号衰减 $m$ 倍，因此这种缩放相对于深度 $L$ 是指数级的。
潜在预测（ILC、SLC、data2vec）： 作者证明，预测自身潜在表示将样本复杂度降低至 $P \sim m^3$ $P \sim m^{3}$ （忽略对数因子）。这种缩放独立于深度 $L$ 。
- 机制： 一旦某一层被恢复，条件对象和预测目标都会被提升到该潜在层级。后续每一层的问题都变为具有与第一步相同统计强度的局部同义词聚类问题，从而避免了噪声的指数级累积。

2. 算法与神经验证

ILC： 数值实验证实，迭代聚类算法能够恢复完整的非根层次结构，其精度按 $m^3$ 缩放，且独立于 $L$ 。
SLC： 端到端训练的 SLC 网络实现了相同的 $m^3$ 缩放。值得注意的是，作者表明，即使使用严格的局部学习规则（模块间使用停止梯度且无全局反向传播），这种缩放依然成立，这暗示了其生物学合理性。
data2vec： 作者提供了 data2vec 的首个样本复杂度分析。实证结果表明，RHM 上的 data2vec 也按 $m^3$ 缩放。理论上，他们论证 data2vec 隐式地执行了层次潜在预测：随着教师更新其权重，学生的目标逐渐融入更高层级的潜在表示，从而在没有显式架构堆叠的情况下，有效地将预测任务沿层次结构向上提升。

3. 对层次堆叠的启示

结果表明，显式堆叠潜在预测模块（如 H-JEPA 中所示）在很大程度上是冗余的。单个潜在预测模块（如 data2vec）能够隐式地发现并利用多尺度层次结构，无需复杂的人工堆叠架构即可实现最优的 $m^3$ 样本复杂度。

意义

本文将“标记级预测并非最优”这一直觉建立在坚实的定量基础之上。通过证明从自身潜在表示中学习相比标记级目标能带来样本效率的指数级提升，该工作为生成式建模向潜在空间预测的转变提供了理论依据。

此外，对 data2vec 的分析表明，当前最先进的自监督方法可能已经是隐式分层的，这挑战了显式层次监督方案的必要性。作者得出结论，开发如 RHM 这样的合成数据模型对于在将新架构扩展到自然语言和图像之前进行设计和理论理解至关重要。

该工作还突显了生物学合理的学习规则（局部更新、预测编码）在实现最优样本复杂度方面的潜力，从而弥合了机器学习效率与生物学习约束之间的差距。