🤖 AI

Emergent Analogical Reasoning in Transformers

本文通过范畴论函子的视角将 Transformer 中的类比推理形式化，并通过合成任务与机制分析证明，该类比推理源于关系结构的几何对齐与函子应用，且相关发现对预训练大语言模型同样成立。

原作者： Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Transformer 中的涌现类比推理》的解释，采用通俗易懂的语言和富有创意的比喻。

核心理念：AI 如何学会“懂笑话”

想象你在教一个机器人理解世界。你给它看一张太阳和围绕其运行的行星的图片。然后，你给它看一张质子和围绕其运行的电子的图片。

人类会立刻看到其中的联系：“哦！太阳就像质子，行星就像电子。”我们之所以能理解这一点，并不是因为太阳长得像质子（它们截然不同），而是因为它们在各自的系统中扮演着相同的角色。这被称为类比。

这篇论文提出了一个问题：AI 模型（Transformer）是如何学会进行这种逻辑“飞跃”的？ 它们仅仅是死记硬背事实，还是真正理解了底层结构？

实验：一个人工构建的游乐场

为了找出答案，研究人员为 AI 构建了一个“玩具世界”。

设置： 他们创建了两组独立的角色（我们称之为A 组和B 组）。
规则： 在 A 组中，每个角色与其他角色都有特定的关系（例如，“爱丽丝是鲍勃的老板”）。在 B 组中，角色是不同的（例如，“X 是 Y 的老板”），但关系的模式与 A 组完全相同。
测试： AI 在 A 组上进行训练。然后，研究人员问它：“如果爱丽丝是鲍勃的老板，且 X 是 Y 的老板，那么谁是 Z 的老板？”AI 必须仅通过观察关系的结构（而不是名字）来推断出"X"对应“爱丽丝”，"Y"对应“鲍勃”。

他们的发现：三阶段成长突增

研究人员观察了 AI 随时间的学习过程，发现它经历了三个截然不同的阶段，就像孩子成长一样：

死记硬背（机械学习者）： 首先，AI 只是死记硬背它看到的具体事实。如果它看到“爱丽丝是鲍勃的老板”，它就记住了这一对确切的关系。
组合（拼图解决者）： 接下来，它学会将事实串联起来。如果“爱丽丝是鲍勃的老板”且“鲍勃是卡罗尔的老板”，它就能推断出“爱丽丝是卡罗尔的老板”。
类比（富有洞察力的思考者）： 最后，也是最重要的是，它学会将 A 组的结构映射到 B 组。它意识到：“我不需要知道 X 是谁；我只需要知道 X 扮演的角色与爱丽丝相同。”

关键发现： 这种最后的“洞察”阶段非常脆弱。仅仅增大 AI 的规模并不会让它自动发生。它需要适量的数据、合适的训练速度以及特定的设置。如果训练过于混乱或数据过于稀疏，AI 就永远无法完成这种飞跃。

秘密配方：AI 实际上是如何做到的

研究人员不仅观察了 AI 如何解决问题，还深入其“大脑”（内部数学机制）查看它是如何解决的。他们发现模型内部发生了两个神奇的步骤：

1. “几何之舞”（结构对齐）

想象 AI 拥有一张巨大的 3D 地图，其中每个角色都是一个点。

学习之前： A 组和 B 组的点随机散布。它们看起来毫无关联。
学习之后： AI 重新排列了这些点。突然，代表“爱丽丝”的点和代表"X"的点在 3D 空间中靠得更近了。代表“鲍勃”的点和"Y"的点也靠得更近了。
比喻： 这就像两个独立的舞池。起初，舞者们随机移动。然后，音乐变了，两个舞池的舞者开始完美地镜像彼此的动作。AI 已经对齐了两个组的几何结构。

2. “魔法向量”（函子）

一旦点对齐，AI 就使用一个简单的数学技巧来解决谜题。

它将两组之间的关系视为一个向量（方向和距离）。
它本质上是在做这样的数学运算：目标角色 = 源角色 + 魔法方向。
比喻： 想象你有一张伦敦地图。你想知道巴黎相对于伦敦在哪里。你不需要背诵巴黎的每条街道。你只需要一个“翻译箭头”，上面写着“向东移动 200 英里”。AI 找到了这个“翻译箭头”（他们称之为函子），并将其加到源角色上以得出答案。

这在现实 AI 中会发生吗？

研究人员在巨大的预训练 AI 模型（如 Gemma 和 Llama）上测试了这一点，这些模型从未接受过他们特定的玩具游戏训练。

结果： 是的！即使这些大模型没有明确接受过玩具游戏的训练，当你要求它们解决类比问题时，它们也会经历相同的过程。
逐层旅程： 在玩具模型中，这是随着时间（训练步数增加）发生的。在大模型中，这是随着深度（数据在网络层中传递）发生的。早期层是混乱的，但当数据到达最终层时，“几何之舞”已经完成对齐，“魔法箭头”被应用以给出正确答案。

总结

这篇论文表明，类比推理不仅仅是 AI 的一种模糊的“感觉”。它是一个具体的、机械的过程，AI 在此过程中：

在其内部地图中对齐两个不同世界的形状。
找到一个简单的“翻译箭头”以在它们之间移动。
利用该箭头从一个世界跳跃到另一个世界。

这证明了现代 AI 不仅能死记硬背；它还能学会看到连接不同思想的隐藏结构，就像人类一样。

技术摘要：Transformer 中涌现的类比推理

问题陈述

尽管大型语言模型（LLM）在组合推理（即通过链接简单的局部步骤推导出复杂结论）方面取得了显著进展，但类比推理背后的机制仍知之甚少。类比推理在性质上不同于组合推理；它涉及识别不同领域之间共享的关系结构，以实现推理上的“飞跃”（例如，将太阳系映射到原子结构），而非链接局部关系。尽管类比被视为人类智力的核心能力和创造力的源泉，但 Transformer 架构何时、如何获得这种能力，或者它是否依赖于与组合推理相同的机制，目前尚不清楚。

方法论

作者受范畴论中函子（functors）概念的启发，提出了一个受控框架来研究类比推理的涌现。

1. 形式化与合成任务

作者将类比形式化为跨范畴实体间对应关系的推断。他们设计了一个合成任务，包含：

实体与关系：两个不相交的实体集合（ $E_1, E_2$ ）代表两个范畴。在 $E_1$ 上构建一个有向完全关系图。
函子映射：双射 $F: E_1 \to E_2$ 定义了一一对应关系，将关系结构从 $E_1$ 转移到 $E_2$ ，使得 $r(F(e_s), F(e_t)) = r(e_s, e_t)$ 。
事实类型：
- 原子事实：单一关系 $(e_s, r, e_t)$ 。
- 组合事实：由原子事实推导出的两跳关系。
- 类比事实：跨范畴映射 $(e_s, f, F(e_s))$ ，其中 $f$ 是特殊的函子标记。
评估：模型在分布内（ID）事实上进行训练，并在分布外（OOD）的组合事实和类比事实上进行评估。成功需要超越记忆，捕捉潜在的关系结构。

2. 实验设置

模型：用于机制分析的轻量级因果 Transformer（1 层，1 头），以及用于外部有效性的预训练 LLM（Gemma-2-2B/9B, LLaMA）。
训练：使用交叉熵损失在最终标记上进行训练。系统性地改变超参数（权重衰减、批量大小、学习率）和数据特征（实体数量、关系数量、OOD 比例）。
机制分析：作者采用：
- 狄利克雷能量（Dirichlet Energy）：量化表示空间中实体嵌入的几何对齐程度。
- Logit Lens 与线性探针：追踪 Transformer 各层中预测和表示结构的演变。
- 注意力分析：测量从源实体到函子标记的信息检索。

主要贡献与结果

1. 训练动态与敏感性

该研究揭示了类比推理独特的三阶段学习动态：

记忆：模型拟合分布内事实。
组合推理：模型学习链接关系。
类比推理：模型最终获得跨范畴映射的能力。

关键在于，与组合推理不同，类比推理的涌现对以下因素高度敏感：

数据特征：它需要足够的关系多样性（关系数量），如果 OOD 比例过高则会失败。随着实体数量的增加，其涌现时间会推迟。
优化：适度的权重衰减加速涌现，但过度的权重衰减会阻碍其发生。较大的批量大小通常有帮助。
模型扩展：性能不会随模型规模单调提升。非常宽的模型（例如 $d_{model}=512$ ）或更深的模型在默认设置下往往无法获得类比推理，这表明它依赖于特定的结构对齐，而不仅仅是容量。

2. 机制分解

作者将 Transformer 中类比的实现分解为两个几何组件：

结构对齐：在类比涌现之前，嵌入空间经历重组，不同范畴的实体根据其关系角色在几何上对齐。这通过狄利克雷能量的显著降低来量化。
函子应用：一旦对齐，Transformer 通过向量算术运算应用函子。该机制涉及：
- 函子标记 $f$ 关注源实体 $e_s$ 。
- 残差连接整合此信息，使得目标实体表示近似为 $e_t \approx e_s + f$ 。
- 这由 $f$ 到 $e_s$ 的注意力分数增加，以及向量差 $(e_t - e_s)$ 与函子嵌入 $f$ 之间的高度平行性所证实。

3. 在预训练 LLM 中的存在

该研究使用上下文学习在预训练 LLM（Gemma-2, LLaMA）中验证了这些发现：

逐层涌现：几何对齐（狄利克雷能量降低）和随后目标概率的上升并非发生在训练步骤中，而是随着网络层深度的增加而逐步发生。
鲁棒性：这些特征在不同模型家族和不同实体数量下持续存在，表明类比的几何机制是 Transformer 推理的基本属性。

意义与主张

该论文声称将类比的研究从抽象的认知概念推进到神经网络中具体的、基于机制的现象。

独特机制：该工作证明，类比推理在性质上不同于组合推理，它依赖于嵌入空间中的特定几何对齐，而不仅仅是增加模型容量或简单的权重范数正则化。
可解释性：通过将抽象的“函子”概念与具体的向量算术（ $e_t \approx e_s + f$ ）和注意力机制联系起来，该论文为 Transformer 如何执行跨域推理提供了机制性解释。
未来工作的基础：作者将这项工作定位为理解模型如何通过类比实现样本高效学习和创造力的初步步骤。他们承认局限性，例如合成任务中使用显式函子标记和完美的结构同构，指出现实世界的类比往往是部分的且缺乏明确线索。然而，他们认为已识别的几何特征为研究更自然的类比推理场景提供了基础。