🧬 biology

Relational reasoning and inductive bias in transformers and large language models

本文研究了 Transformer 如何执行传递性推理，揭示出权重内学习自然发展出用于稳健泛化的线性嵌入，而上下文学习通常依赖复制策略，除非在预训练阶段接触过线性任务或被明确提示构建线性心理地图，从而凸显了训练范式与表征几何对关系推理能力的关键决定作用。

原作者： Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在教一个机器人如何理解世界。你想知道它能否推断出：如果A 比 B 大，且B 比 C 大，那么A 一定比 C 大。这被称为“传递性推理”，是一个经典逻辑谜题，人类甚至猴子都能自然地解决。

本文研究了人工智能模型（具体为 Transformer）中两种不同类型的“学习”方式如何处理这一谜题。作者发现，机器人“如何”学习会改变它“学到”什么。

以下是他们研究发现的简要说明，使用了简单的类比：

1. 两种学习风格：“硬盘”与“抽认卡”

该研究比较了模型学习的两种途径：

权重内学习（IWL）——“硬盘”方法：
想象你为了考试而学习，通过死记硬背直到事实被永久刻入你的大脑（或硬盘）。一旦训练完成，机器人就“知道”了规则。
- 结果： 当机器人以这种方式学习时，它不仅仅记住了它看到的具体配对（A>B, B>C）。它构建了一个心理上的“数轴”。它理解了万物皆有等级。因为它拥有这张心理地图，所以它能轻松猜出那些它从未同时见过的物品之间的关系（比如 A 和 C）。它的表现就像人或猴子一样，随着列表中物品之间的距离越远，解决谜题的能力就越强。
上下文学习（ICL）——“抽认卡”方法：
想象你在参加考试，但允许你直接看着眼前的“小抄”（即上下文）。你没有死记硬背规则；你只是利用当下提供的例子来解决具体问题。
- 结果： 当机器人以这种方式学习时，它非常擅长照搬“小抄”上看到的内容。如果小抄上写着"A > B"，而问题是"A > B"，它就答对了。但如果问题是"A > C"（这不在小抄上），它就失败了。它没有构建心理地图；它只是在玩“匹配与复制”的游戏。只有当答案字面上写在提示词中时，它才能解开谜题。

2. “顿悟”时刻：教机器人用“线”思考

研究人员问道：我们能否诱骗那个“抽认卡”机器人像“硬盘”机器人那样思考？

他们尝试在另一项任务上对“抽认卡”机器人进行预训练：线性回归。把这想象成教机器人穿过一组点画一条直线。

神奇之处： 一旦机器人学会了画直线（一种线性关系），它突然开始完美地解决传递性推理谜题，即使它使用的是“抽认卡”方法。
为什么？ 因为画直线迫使你理解数字是有顺序的（1, 2, 3...）。一旦机器人理解了这种“线”的概念，它就能将其应用到新的谜题中。它不再只是复制，而是开始推理。

3. 现实世界测试：询问大型语言模型

最后，团队在巨大的现实世界人工智能模型（如你可能正在与之聊天的那些大型语言模型）上测试了这一点。他们给这些模型出了逻辑谜题，其中的事实要么：

符合现实（例如：“鲸鱼比鱼大”）。
违背现实（例如：“鱼比鲸鱼大”——迫使模型忽略其记忆，仅关注新事实）。

他们给模型提供了一个关于如何可视化问题的“提示”：

提示 A（数轴）： “想象这些物品排列在一条从最小到最大的直线上。”
提示 B（圆圈）： “想象这些物品排列在一个圆圈上。”

研究发现：

当模型被告知使用直线时，它们解决逻辑谜题的能力大大增强，尤其是那些需要它们忽略先前知识的棘手谜题。
当它们被告知使用圆圈时，它们则感到吃力。为什么？因为在圆圈上，“比……大”的规则会失效（如果你绕着圆圈走，A 可以比 B 大，B 比 C 大，但 C 可以绕回来比 A 大）。“圆圈”几何结构混淆了逻辑。

核心结论

该论文得出结论：几何结构至关重要。

如果人工智能模型学会将事实存储在其“大脑”（权重）中，它自然会构建一个线性的世界地图，从而能够进行逻辑推理。
如果人工智能模型仅依赖眼前的信息（上下文），除非经过专门训练以“线”的方式思考，否则它往往只是复制模式。
即使是巨大且聪明的人工智能模型，简单地告诉它们“想象一条直线”也比告诉它们“想象一个圆圈”更能帮助它们进行推理。

简而言之：要让人工智能像人类一样推理，你不仅需要给它更多的数据；你还需要给它正确的思考“形状”。

技术摘要：Transformer 与大语言模型中的关系推理与归纳偏置

问题陈述

基于 Transformer 的模型已展现出卓越的推理能力，但其底层关系推理（即推断间接相关项目之间关系的能力）的机制仍知之甚少。目前存在一个关键缺口，即难以区分模型在两种不同学习范式下如何执行传递性推理（例如，若 $A > B$ 且 $B > C$ ，则 $A > C$ ）：

权重内学习 (IWL)：信息在训练期间存储于模型参数中。
上下文学习 (ICL)：信息在推理时动态地提供在输入序列中。

尽管 ICL 已在分类和回归任务中得到研究，但其在关系推理任务中的行为尚不明确。由于预训练模型中训练数据的控制有限，很难确定大语言模型（LLMs）是依赖编码在权重中的先验知识，还是在进行真正的上下文推理。本文以传递性推理为原型任务，研究这两种学习模式在归纳偏置和泛化模式上的差异。

方法论

作者采用了一种多管齐下的方法，结合了对从头训练的小型 Transformer 的受控实验，以及对大语言模型（LLMs）的探测实验。

1. 传递性推理任务设置

核心任务涉及一个项目层级（例如， $A > B > C > \dots > G$ ）。

输入：带有标签的项目对（token），标签指示其相对顺序（若第一个 > 第二个则为 +1，否则为 -1）。
训练数据：模型仅在相邻对（符号距离 = 1，例如 $A>B$ , $B>C$ ）上进行训练。
评估：模型在非相邻对（符号距离 > 1，例如 $A>C$ ）上进行测试，以衡量传递性泛化能力。
架构：一个仅含注意力机制的两层 Transformer（为了解释性省略了 MLP），使用 Omniglot 图像的 ResNet18 嵌入作为输入特征。

2. 实验条件

该研究比较了三种特定的训练范式：

IWL（固定层级）：层级在所有训练序列中固定。上下文示例是随机且无关的，迫使模型将排序结构学习进其权重中。
标准 ICL（动态层级）：每个训练序列分配一个新的随机层级。上下文包含该特定序列的所有相邻对。模型必须从上下文中推断排序，从而阻止权重存储特定的层级。
带线性回归预训练的 ICL：模型首先在上下文线性回归任务（预测 $y = Wx $，其中权重$ W$ 随序列变化）上进行预训练。这迫使模型通过 ICL 学习潜在的线性表示，随后再在传递性推理任务上进行评估。

3. 机制分析

为了理解模型如何解决该任务，作者利用了：

主成分分析 (PCA)：可视化隐藏层表示的几何结构。
注意力模式分析：识别特定的电路机制，如“归纳头”（前一个 token 的注意力 + 归纳头）。
消融研究：系统性地移除注意力头以测试其因果重要性。

4. 大语言模型 (LLM) 探测

为了测试泛化性，作者使用 ReCogLab 数据集对预训练的 LLM（Gemini 和 Gemma 系列）进行了测试。他们采用了一种一致性范式：

一致：关系与现实世界知识相符（例如，鲸鱼 > 海豚）。
不一致：关系与现实世界知识相悖（例如，金鱼 > 海豚）。
几何支架：提示词被增强为指示将项目想象在线性数轴上（支持传递性）与圆形上（由于首尾相接而违反传递性）。

主要结果

1. IWL 与标准 ICL 的行为差异

IWL 模型：尽管仅在相邻对上训练，仍自然表现出传递性推理。它们展现出类似人类的行为效应：
- 符号距离效应：随着层级中项目间距离的增加，准确率提高。
- 末端项目效应：在层级两端的项目上表现更好。
- 表示：PCA 揭示了一种连续的、线性的嵌入，其中项目按有符号的符号距离排列。
标准 ICL 模型：仅在相邻对上训练时，无法进行传递性泛化。
- 它们在相邻对（记忆）和末端项目上达到高准确率，但在内部非相邻对上的表现处于随机水平。
- 机制：它们依赖归纳电路（匹配 - 复制策略），而非学习关系结构。PCA 显示没有基于距离的表示；如果上下文存在该对，模型 simply 复制标签。
- 注意：如果 ICL 模型显式地在非相邻对上训练，它们可以学习传递性，但它们不会表现出 IWL 中看到的符号距离效应。

2. 线性预训练的作用

在上下文线性回归上对 ICL 模型进行预训练，从根本上改变了它们的行为。
这些模型确实在随后的传递性推理任务中表现出传递性推理、符号距离效应和末端项目效应。
机制：归纳电路消失。相反，模型发展出捕捉层级关系（类似于 IWL 模型）的分布式表示。线性回归任务诱导了一种加性的表示结构（标量秩），其中传递性在数学上自然涌现（ $rank(A) > rank(B) \land rank(B) > rank(C) \implies rank(A) > rank(C)$ ）。

3. 大语言模型中的发现

一致性：LLMs 在一致的关系推理探测（利用存储的类 IWL 知识）上的表现优于不一致的探测（需要纯粹的 ICL）。
几何支架：当提示不一致的任务时，线性几何提示（“想象一条数轴”）比圆形提示（“想象一个圆圈”）显著提高了传递性推理能力。
这种效应在不一致条件下最为明显，并随模型规模（在 Gemma 模型中）扩大而增强，表明 LLMs 拥有潜在的线性表示，可以通过适当的几何框架激活。

主要贡献

归纳偏置的表征：本文证明，IWL 和 ICL 导致了截然不同的计算策略。IWL 自然诱导了一种线性的、传递性的偏置，而标准 ICL 默认采用匹配 - 复制策略，除非训练数据或预训练明确要求关系泛化。
机制解释：作者指出，标准 ICL 缺乏传递性泛化是由于形成了归纳电路（模式匹配），而非学习关系结构。相反，线性回归预训练抑制了这些电路，转而支持分布式线性表示。
连接小模型与 LLMs：通过使用几何提示，该研究表明受控的小规模实验发现可推广至现代 LLMs。这提供了证据，表明 LLMs 执行传递性推理的能力取决于访问适当结构的表示，无论是存储在权重中还是通过上下文激活。

意义与主张

本文主张，Transformer 中传递性推理的能力并非固定不变，而是关键地取决于：

训练范式：信息是在权重中学习还是在上下文中学习。
表示的几何结构：诱导的表示是线性的（支持传递性）还是依赖于模式匹配。

作者得出结论，虽然 Transformer 可以执行传递性推理，但在相邻对上的标准 ICL 并不会自动产生这种能力。相反，它需要特定的预训练（如线性回归）来诱导线性表示，或者在 LLMs 中通过几何提示激活潜在的线性结构。这项工作强调，LLMs 中的“推理”往往反映了它们被迫使用或访问的表示的几何结构，而非固有的逻辑推导机制。