💬 NLP

Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning

本文通过证明纯记忆模型可以根据输入分布模拟此类学习模式，挑战了大型语言模型在学习抽象知识之前先学习特定项目细节的说法，从而表明对于分布式表示而言，特定项目知识与抽象知识之间的区别可能定义模糊。

原作者： Zachary Nicholas Houghton, Vsevolod Kapatsinski

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zachary Nicholas Houghton, Vsevolod Kapatsinski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人说话。你有两个关于它如何学习的大理论。第一个理论，我们称之为“规则书理论”，它认为机器人首先理解了语言的宏观、抽象规则——比如所有表示“给予”含义的动词是如何协同工作的——然后才开始记忆具体的词汇。第二个理论，我们称之为“记忆册理论”，它认为机器人只是逐一记忆它听到的每一句话，直到后来通过比较其庞大的记忆堆叠才发现了模式。

长期以来，科学家们一直在争论哪一个是正确的。但最近，一项研究观察了大型人工智能模型（比如那些能写文章或与你聊天的 AI），并声称找到了证明“规则书理论”正确的证据。他们说这些 AI 在学习具体的词汇特性之前，就先学会了宏观规则。然而，这篇论文就像一位侦探介入其中，说道：“等等，让我们仔细观察一下线索。”作者们使用简单的计算机模拟运行了自己的实验，以观察证据是否真的证明机器人在进行规则思考，还是这仅仅是由于机器人关注新信息的方式所导致的。

大劫案：规则 vs. 记忆

在语言学习的世界里，存在着一场经典的拉锯战。在一方，你拥有抽象化（Abstraction）。这就像学习“水果”这个概念。一旦你知道什么是水果，即使你从未尝过，你也能猜出某种从未见过的奇特形状的东西很可能也是一种水果。在另一方，是范例（Exemplars）（或具体的记忆）。这就像记住你吃过的每一个苹果、香蕉和橙子。你不需要一个关于“水果”的规则；你只需要将新事物与你脑海中的苹果和橙子堆进行比较。如果它看起来像个苹果，你就称它为水果。

核心问题是：哪个在前？ 我们是先学习通用的规则，还是先堆积具体的记忆？

最近，研究人员观察了一个著名的 AI 模型（GPT-2）并发现了一些有趣的现象。他们观察了该 AI 随时间学习的过程。他们注意到，AI 在开始注意到不同词汇之间的微小差异（例如“给予”与“出售”在用法上的细微差别）之前，就已经开始将相似的动词（如“给予”和“出售”）归为一类了。他们称之为“抽象优先”学习。这似乎表明 AI 在填满它的记忆册之前，先构建了一本规则书。

剧情转折：“敏感度”开关

本文的作者 Zachary Nicholas Houghton 和 Vsevolod Kapatsinski 决定测试这种“抽象优先”模式究竟是规则书存在的真实迹象，还是仅仅是 AI 注意力机制的一个副作用。

为了做到这一点，他们在计算机模拟中构建了两个简单的、虚构的学习者。这些并不是拥有隐藏规则书的高级 AI。它们是纯粹的记忆者。它们没有创建抽象规则的方法；它们只能记住它们所看到的东西。

“零敏感度”学习者： 想象这个学习者是一个超级平滑、冷静的机器人。当它看到一个新词时，它不会感到兴奋或焦虑。它会将新信息缓慢且完美地融入其记忆中，忽略任何奇怪的一次性错误。这就像一位冷静的画家在画布上融合色彩，而不产生飞溅。
“可变敏感度”学习者： 这个学习者有点神经质。它会对看到的每一个新词做出强烈反应。如果它很早就看到了一个奇怪的词，它会对此感到非常兴奋。它的敏感程度取决于一个被称为 k 的设置（可以把它想象成一个“抖动旋钮”）。如果 k 很低，学习者会对每一个微小的细节都极其敏感。如果 k 很高，学习者就会非常冷静，忽略微小的细节，将其平滑处理。

重大发现

这篇论文揭示了一个魔术技巧：这些学习者“学习”的顺序完全取决于它们有多“神经质”，而不是取决于它们是否有规则。

当学习者很“神经质”时（低 k）： “记忆册”胜出。学习者会被它最早看到的几个奇怪词汇分散注意力。它在注意到这些词所属的大类之前，就开始注意到特定词汇之间的差异（如“给予” vs. “出售”）。这看起来像是“范例优先”学习。
当学习者很“冷静”时（高 k）： “规则书”胜出。因为学习者忽略了早期的噪声细节并等待模式的出现，它会在注意到微小差异之前，先将词汇进行归类。这看起来完全像是“抽象优先”学习。

论文显示，即使这些学习者是纯粹的记忆者，完全没有创造抽象规则的能力，只要它们足够冷静（高 k），它们仍然可以表现得像是先学习了规则。

这对 AI 意味着什么

作者们认为，之前声称 AI 先学习规则的研究可能受到了这一因素的影响。他们暗示，被分析的 AI 模型（GPT-2）可能只是在表现得像一个“冷静的记忆者”（高 k 学习者）。它并不一定是在构建一个秘密的规则书；它只是太好地平滑了其早期训练数据中的噪声，以至于在外观上呈现出了先学习宏观模式的迹象。

事实上，这篇论文指出，对于这类分布式系统，区分“记住一个特定词汇”和“了解一个通用规则”的界限可能是模糊的。“规则”可能只是所有记忆的平均值，而“记忆”可能只是这个平均值中的一个特定点。你无法真正将它们分开。

判决

那么，这篇论文证明了 AI 是先学习规则吗？没有。 事实上，它表明用来证明这一点的特定测试（观察模式出现的先后顺序）并不是一个可靠的测试。一个纯粹的记忆者只要足够冷静，就能通过这个测试。论文并未得出结论说这种模式一定是人为造成的伪影；相反，它得出的结论是，前一项研究提供的证据不足以区分真正的“抽象优先”学习与高敏感度的“范例模型”。作者指出，Transformer 模型是否真的是“抽象优先”的学习者仍是一个悬而未决的问题，但要回答这个问题，需要超越仅仅观察起始顺序的新方法。在此之前，“规则书 vs. 记忆册”的辩论仍然是一个开放式话题，而我们认为已经掌握的证据，可能仅仅是数据处理过程的结果。

技术摘要：伪装的范例：纯范例模型如何模拟抽象优先学习

问题陈述

语言学习和认知科学中的一个核心问题在于知识获取的时间顺序：学习者是先获得抽象的、类层级的泛化（例如，动词论元结构），还是先积累特定项的、特异性的知识（例如，特定的动词-标记共现）？Jian 和 Manning (22026) 最近的研究通过分析 GPT-2 的学习轨迹，得出结论认为抽象知识早于特定项知识出现（即“抽象优先”）。他们通过测量类间差异性的起始时间 ( $o_b$ ) 与类内分歧的起始时间 ( $o_w$ ) 来操作化这一过程，发现对于某些动词类， $o_b < o_w$ 。

然而，这一结论依赖于一个假设，即观察到的顺序能够诊断出对抽象的归纳偏置。本文作者认为，这种顺序可能更多是学习者对单个观测值的敏感性以及输入分布属性的产物，而非存在一种独特的抽象学习机制的证据。具体而言，他们质疑对于分布式表示而言，“特定项知识”与“抽象知识”之间的区别是否本身就是定义明确的，因为类层级的属性可能已经不可分割地嵌入在特定项的分布之中。

研究方法

作者通过受控模拟实验，使用了两个共享相同数据生成过程但估计动词分布方式不同的理想化学习者模型。至关重要的是，这两个模型都是纯记忆者（范例模型），不存在动词之间的信息流，也没有显式的类级表示。

数据生成：
- 模拟了两个动词类（分别为 35 和 36 个项目），词汇量为 1,000 个标记（tokens）。
- 每个动词的真实分布 ( $P_v$ $P_{v}$ ) 由三种类型的标记构建而成：
  - 跨类标记（Cross tokens）： 所有动词共有（背景）。
  - 类内标记（Within-class tokens）： 仅由同一类中的动词共有（编码类级偏好）。
  - 特异性标记（Idiosyncratic tokens）： 每个动词独有（编码项特异性偏好）。
- 参数控制了类间的重叠程度以及标记权重的方差 ( $\mu, \sigma$ )。
学习者模型：
- 零敏感度学习者 (ZSL)： 一个无噪声的解析基准。学习者的估计是均匀分布与真实分布 ( $P_v$ ) 之间的线性插值。它不受特定标记身份的影响，代表了消除观测层面噪声时的极限情况。
- 变敏感度学习者 (VSL)： 一个形式化为 add- $k$ $k$ 平滑的贝叶斯狄利克雷-多项式（Dirichlet-Multinomial）学习者。参数 $k$ $k$ 控制敏感度：
  - 低 $k$ 值： 学习者对早期可能不具代表性的观测值高度敏感（特异性噪声占主导）。
  - 高 $k$ 值： 学习者较为保守；先验会抑制早期的噪声，使稳定的类级模式得以逐渐积累。
起始标准：
- 类间起始时间 ( $o_b$ )： 当一个动词的分布与同类动词的相似度显著高于与异类动词的相似度时，判定为起始（使用 Mann-Whitney U 检验）。
- 类内起始时间 ( $o_w$ )： 当类内的平均 Jensen-Shannon 散度 (DJS) 超过固定阈值 (0.01) 时，判定为起始。
- 研究追踪学习轨迹以确定哪种起始时间先发生（ $o_b < o_w$ 或 $o_w < o_b$ ）。

核心贡献

证明了敏感度依赖的顺序性： 作者展示了 $o_b$ 和 $o_w$ 的顺序并非“抽象优先”与“范例优先”学习策略的固定属性。相反，它取决于学习者敏感度（由 $k$ 控制）与输入分布结构的相互作用。
无噪声基准： 零敏感度学习者的引入表明，当移除观测层面的噪声时， $o_b < o_w$ 会普遍成立，即使是在一个没有任何抽象能力的纯记忆者模型中。
通过平滑模拟“抽象优先”： 变敏感度学习者在低 $k$ （高敏感度）时复制了“范例优先”的顺序（ $o_w < o_b$ ），但在高 $k$ （低敏感度）时则转向了“抽象优先”的顺序（ $o_b < o_w$ ）。这表明，先前研究中观察到的“抽象优先”模式可能是由于高平滑度（低敏感度）导致的，而非源于一种抽象的归纳偏置。

结果

零敏感度学习者： 在 85% 的种子实验中产生了 $o_b < o_w$ 。该顺序在低噪声（ $\sigma=0.5$ ）下是普遍存在的，并在大多数参数组合下均成立，仅在类信号相对于噪声极弱时才会失效。
变敏感度学习者：
- 在低 $k$ 值（ $k \le 0.1$ ）时，约 99% 的种子实验中出现了 $o_w < o_b$ 。早期的特异性观测导致类内分歧在类级模式稳定之前就立即产生。
- 在高 $k$ 值（ $k \ge 1.0$ ）时， $o_b < o_w$ 占据主导地位。强大的先验抑制了早期噪声，使得系统性的类间差异在类内特异性累积到足以跨越绝对阈值之前就已经显现。
- 转换点出现在 $k=0.5$ 左右，此时两种顺序出现的概率相等。
鲁棒性： 结果在词汇量大小、动词频率分布（齐普夫分布扩展）以及用于检测起始时间的特定阈值变化下均表现出鲁棒性。

意义与主张

本文声称，“抽象优先”的顺序（ $o_b < o_w$ ）并不具备诊断性，即它不能用来判定是否存在抽象优先的学习策略。相反，它是对单个观测值敏感度较低的一种可预测的结果。

对 LLM 轨迹的重新解读： 研究结果表明，Jian 和 Manning (2026) 的结果并不证明 GPT-2 先学习抽象规则。一个具有足够平滑度（高 $k$ ）的纯范例记忆者也会产生相同的顺序。作者指出，Transformer 可能由于其自适应的部分聚合（adaptive partial pooling）机制而自然地表现得像高 $k$ 学习者，这种机制会抑制特异性噪声，但这并不一定意味着存在离散且可分离的抽象表示。
界限模糊的二分法： 作者认为，对于分布式表示而言，特定项知识与抽象知识之间的区别可能是不明确的。类级属性被嵌入在特定项的分布之中；学习特定动词的分布本质上就编码了其类成员身份。因此，将类间分歧与类内分歧视为可分离的学习事件，可能是在强加一种其表示本身并不支持的概念性区分。
方法论局限性： 目前通过排序起始标准的方法不足以区分“抽象优先学习”与“高 $k$ 范例学习”。要回答 Transformer 是否真的是抽象优先的学习者，需要超越起始标准排序的方法论。