🔬 applied physics

Adaptive inference and function vectors in deep transformers

本文引入了一种将深度 Transformer 视为分布式推理系统的平均场理论，该系统利用内部“函数向量”来层级化地推断潜在上下文变量，证明了前馈块和深度能够实现比以往理解中更丰富的自适应上下文学习算法类。

原作者： Ravin Raj, Gautam Reddy

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ravin Raj, Gautam Reddy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图破解一个谜题，但你手里只有一些零散的线索（即“上下文”）和一个需要回答的特定问题（即“查询”）。你需要找出连接所有线索与答案的隐藏规则。

这篇论文提出了一种理解 Transformer（聊天机器人等工具背后的 AI 大脑）如何破解这些谜题的新方法。作者没有仅仅从数学角度切入，而是将 Transformer 视为一个协同工作的侦探团队来破解案件。

以下是使用简单类比对该理论进行的拆解：

1. 侦探团队（Token/标记）

想象一个挤满了侦探的房间（这些就是“token”或数据片段）。他们每个人都掌握着关于案件的一点点信息，但没有人拥有全貌。他们的目标是查明那个能解释一切的“隐藏规则”（称为潜在上下文/latent context）。

在标准的 AI 中，这些侦探可能只是同时大声喊出各自的想法。但本论文指出，深层 Transformer 的工作方式更像是一场接力赛或一场多阶段调查。

2. “函数向量”（共享笔记本）

核心概念是一个叫做函数向量（Function Vector）的东西。你可以把它想象成一个在房间里传递的共享笔记本。

第一轮： 每个侦探观察自己的线索，并在笔记本上写下一份简短的摘要。
第二轮： 他们阅读笔记本，意识到自己遗漏了一些东西，于是添加了一条更精炼的新笔记。
第三轮： 他们再次阅读更新后的笔记本，并添加更多细节。

通过这个过程，这个笔记本（函数向量）包含了关于团队所学到的隐藏规则的压缩且完美的总结。当最后的侦探（“查询”）询问答案时，他们只需阅读这份笔记本即可。

3. 两种类型的工人（MLP 与 Attention）

论文解释了 Transformer 拥有两种轮流工作的工人：

局部思考者 (MLP)： 这是指观察自己的线索并结合当前笔记本进行思考的个体侦探。他们会决定：“基于我已知的信息和笔记本里的内容，我应该添加的最重要的、新的信息是什么？”他们扮演着**路由（router）**的角色，决定哪些信息值得分享。
群体混合者 (Attention)： 这是指将所有人的新笔记收集起来，并将其融合为一个单一的、更新后的摘要，供下一轮使用的角色。

4. 重大发现：为什么“深度”很重要

研究人员测试了两种场景，以观察拥有许多层（“深层”团队）是否比只有一个巨大的层更好。

场景 A：平滑的山丘（高斯先验/Gaussian Prior）
想象隐藏规则位于一座平滑、平坦的山丘上。你只需要从一个角度观察就能找到顶端。

结果： 无论你是让 10 个人传递笔记本，还是让一个超级聪明的人一次性完成，结果都一样。在这种情况下，“深度”并没有起到作用。

场景 B：迷宫（树状先验/Tree Prior）
现在，想象隐藏规则位于一个有着许多转弯的复杂迷宫中（一种“树”结构）。要找到出口，你必须做出一系列选择：向左还是向右？然后是向上还是向下？

“浅层”团队（非自适应型）： 这个团队试图一次性猜出整个路径。他们可能在前几次转弯时猜对了，但因为无法根据新信息调整计划，很快就会迷失方向。
“深层”团队（自适应型）： 这个团队循序渐进地移动。
- 第 1 步： 他们检查第一个交叉路口。
- 第 2 步： 根据该结果，他们决定下一步该检查哪条路径。
- 第 3 步： 他们再次进行调整。
- 结果： 因为他们可以在每一步都调整策略（利用函数向量来记住自己所处的位置），所以他们比浅层团队能更好地导航迷宫。

5. 证明：“键值修补”（Key-Patching）实验

为了证明这一点，研究人员对 AI 进行了“手术”。他们从一个解决了不同迷宫的侦探那里提取了“键”（决策笔记），并强行将其放入当前侦探的笔记本中。

发生了什么？ 如果他们在过程的早期交换了笔记，侦探就会感到困惑并失败；如果他们在后期交换，则影响不大。
为什么？ 这证明了 AI 并非仅仅是在记忆一个静态答案。它是在逐层主动构建策略，正如该理论所预测的那样。

核心结论

这篇论文认为，深层 Transformer 不仅仅是高级的模式匹配器。它们是自适应推理机器。

当问题很简单时，浅层方法就足够了。但当问题复杂且具有层级结构时（例如具有许多分支的树），Transformer 会利用其深度和内部笔记（函数向量），像一名聪明的侦探一样行动：它收集线索，更新理论，并决定下一步该寻找什么——这一切都在单次读取数据的过程中完成。这使得它们能够解决那些更简单的“浅层”模型无法处理的复杂谜题。

问题陈述
Transformer 已成为在不同领域学习复杂相关性的通用基底，然而其上下文学习（In-Context Learning, ICL）的内部机制仍然是一个谜。虽然实证研究已识别出 ICL 的两种主要模式——实现特定算法（如复制、梯度下降）的注意力电路，以及“函数向量”（Function Vectors，任务的内部表示）的形成——但关于后者的理论理解仍然有限。具体而言，目前尚不清楚深度 Transformer 如何利用函数向量来进行推理，以及深度和前馈（MLP）模块在这一过程中扮演了哪些具体的计算角色。现有的理论通常侧重于基于注意力的电路，而对由注意力与 MLP 之间的多层交互所实现的机制探讨不足。

方法论
作者提出了一个将深度 Transformer 建模为实现分布式贝叶斯推理的平均场相互作用系统的理论框架。该模型受到关于通信（通道维度 $d$ ）、局部性和深度（ $L$ ）的架构约束。

理论模型： 该框架假设 Transformer 处理一组通过潜在上下文变量 $\theta$ 耦合的 token。推理是通过“函数向量”（ $\Phi_\ell$ ）来介导的，这些向量充当压缩的状态变量。
- 在每一层 $\ell$ ，局部非线性（MLP）处理一个 token 以及当前状态 $\Phi_\ell$ ，以生成嵌入 $\lambda_{\ell+1}$ 。
- 类注意力操作在这些嵌入之间进行聚合，以形成一个新的统计量 $\phi_{\ell+1}$ 。
- 状态通过直和进行更新： $\Phi_{\ell+1} = \Phi_\ell \oplus \phi_{\ell+1}$ 。
- MLP 模块被假设为“路由器”（选择要传递哪些信息）和解码器，而注意力机制则负责聚合信息。
优化策略： 作者将嵌入的选择建模为一个动态规划问题。最优策略在第 $\ell$ 层最小化第 $L$ 层的期望损失，从而将嵌入的选择视为一种用于自适应推理的实验设计策略。
分析案例： 该理论在两种潜在变量 $\theta$ 的先验分布下进行了分析：
- 高斯先验（Gaussian Prior）： 潜在变量遵循标准正态分布。
- 树状先验（Tree Prior）： 一种层次化结构的先验，其中 $\theta$ 是基于平衡二叉树中的路径构建的。这种结构测试了深度在解析日益精细尺度的潜在变量方面的优势。
实证验证： 理论通过三种配置的受限线性注意力 Transformer 架构进行了测试：
- 模型 A： 一个深层（ $L=M$ ）模型，通道维度 $d=1$ ，且每一层都有 MLP 模块。
- 模型 B： 一个单层模型，通道维度为 $M$ ，并具有相同的 MLP。
- 模型 C： 一个单层模型，通道维度为 $M$ ，且没有 MLP（仅线性注意力）。
- 因果扰动（Causal Perturbation）： 进行了一项“键值修补”（key-patching）实验，即将来自“捐赠者”上下文的键矩阵插入到“目标”上下文的特定层中，以测试路由机制。

核心贡献

函数向量理论： 本文提供了一个正式理论，将函数向量定义为压缩上下文信息以进行预测的内部状态表示。它证明了这些向量允许模型在不同层级上，以日益精细的尺度推断潜在的上下文变量。
深度与 MLP 的作用： 理论预测，对于非高斯、层次化的先验，深度和 MLP 模块对于实现优于非自适应、单层方法的自适应推理策略至然重要。相反，对于高斯先验，深度相对于具有等效总通信预算的单层模型并无优势。
机制映射： 该工作将理论组件映射到 Transformer 架构中，将 MLP 分配为选择测量统计量的“路由器”，并将注意力机制分配为聚合这些统计量的角色。
实验确认： 数值实验证实，带有 MLP 的深层 Transformer（模型 A）可以在层次化树状先验上学习自适应推理策略，显著优于优化的单层非自适应策略（模型 B）和线性注意力模型（模型 C）。

结果

高斯先验： 在高斯先验的情况下，均方误差（MSE）损失与函数向量的具体实现无关，仅取决于测量策略。理论和实验表明，深层模型（模型 A）在性能上并不优于具有等效通道容量的单层模型（模型 B）。
树状先验： 对于层次化树状先验，理论预测，自适应策略（根据之前的结果测量一个坐标）产生的 MSE 损失随深度呈指数级缩放（ $\alpha^M$ $α^{M}$ ），而非自适应策略则按 $M$ $M$ 的幂次缩放。
- 实验显示，模型 A 实现了比模型 B 显著更低的 MSE 损失，证实了该模型学习到了自适应推理策略。
- 模型 C（无 MLP）的表现与非自适应理论基准相似，证实了 MLP 对于自适应路由机制的必要性。
因果扰动： 键值修补实验表明，如果路径在树的早期发生分叉，且干预发生在网络早期，则将来自捐赠者上下文（叶节点 $\sigma'$ ）的键插入到目标上下文（叶节点 $\sigma$ ）会导致损失大幅增加。这证实了模型的内部状态（函数向量）会根据特定的上下文路径进行自适应演化。

意义
本文声称调和了两种关于上下文学习的观点：即 ICL 是对潜在变量进行贝叶斯推理的观点，以及 ICL 是算法执行（如梯度下降）的机械论观点。通过展示深度 Transformer 可以通过由函数向量介导的分布式、自适应、逐层过程来实现贝叶斯推理，作者证明了深度和 MLP 模块能够实现比此前描述的（如预处理梯度下降）更丰富的 ICL 算法类别。这项工作将函数向量置于电路级框架内，表明数十亿参数模型的组织方式倾向于这种结构，因为这使得在通信受限的情况下进行高效、自适应的推理成为可能。作者指出，尽管其理论使用了线性聚合，但它尊重交换律，并且在 softmax 注意力并非 ICL 主要驱动力的场景下，该理论可能是充分的。