🤖 machine learning

Transformers with Selective Access to Early Representations

本文介绍了 SATFormer，这是一种 Transformer 变体，它通过采用上下文相关的门控机制来选择性地访问第一层值投影，将早期表示复用视为检索问题，从而在保持基线吞吐量的同时，相较于静态残差方法实现了更优越的性能和效率。

原作者： Skye Gunasekaran, Téa Wright, Rui-Jie Zhu, Jason Eshraghian

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Skye Gunasekaran, Téa Wright, Rui-Jie Zhu, Jason Eshraghian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个 Transformer 模型（现代 AI 聊天机器人背后的“大脑”）是一座巨大的、多层的工厂装配线。当一条信息（一个词或“令牌”）从底层移动到顶层时，它在每一层都会经过处理、打磨和转化。

问题：丢失原始蓝图
作者们发现了一个问题：当信息穿过许多层向上流动时，来自最底层的原始、未经处理的细节（例如单词的基本拼写或简单含义）可能会被“稀释”或丢失。这就像试图在汤被搅拌、调味并烹煮了一个小时后，回忆起某种特定的食材；原始风味变得难以寻觅。

为了解决这个问题，先前的研究人员尝试了两种主要方法：

“静态管道”（ResFormer）： 他们添加了一根简单的、开放的管道，将第一层直接连接到每一层上方。这根管道不断将原始成分倒入混合物中。这种方法廉价且快速，但它会将相同数量的原始信息倒入每一个“锅”中，即使某些“锅”并不需要它。
“超级连接器”（DenseFormer 等）： 他们构建了复杂且昂贵的管道网络，将每一层连接到每一其他层。这使 AI 能够访问所有历史信息，但速度慢、耗电量大（占用内存多），且难以管理。

解决方案：SATFormer（智能守门人）
作者们引入了SATFormer，他们将此问题描述为一个检索任务，而不仅仅是一个管道问题。

SATFormer 没有使用恒定的开放管道或庞大的连接网络，而是在每一层上的每一个工作站（令牌）和每一个特定工人（注意力头）处安装了一个智能、自动的守门人。

工作原理： 这位守门人会审视当前的情况。如果某个特定的词需要记住其原始拼写或含义以完成工作，守门人就会大开，让早期信息进入。如果该词正在处理不需要原始信息的工作，守门人则保持关闭。
类比： 想象一个图书馆，你不需要带着整本百科全书去每一个房间。相反，你拥有一个神奇的、即时搜索按钮。如果你正在写一首关于“苹果”的诗，你会立即从第一层调取“苹果”的定义。如果你在进行数学计算，你则完全忽略图书馆。你只在你真正需要的时候，fetch 你需要的东西。

为何更优（结果）
该论文声称，SATFormer 在另外两种方法之间找到了一个“甜蜜点”：

更智能： 它优于“静态管道”方法。因为它能够选择何时使用早期信息，所以在需要记住句子开头特定细节的任务（如回答常识性问题或阅读理解）中表现更好。在这些测试中，它比静态方法高出约 1.5 分。
更经济： 它的速度几乎和简单的“静态管道”方法一样快，使用的内存也几乎一样少。它不需要“超级连接器”那种笨重、缓慢的机械装置。
具有选择性： 当研究人员检查模型内部时，他们发现这些门并非随机开启。它们主要在较后的楼层开启，并且主要针对特定类型的词（如语义含义），而非结构性的词。这证明了模型实际上是在学习如何做出选择，而不是盲目地复制所有内容。

总结
SATFormer 教导 AI 停止盲目地将旧信息倒入混合物中，或者为数据建造昂贵的超级高速公路。相反，它赋予 AI 一个智能的、按需检索系统，仅在早期记忆真正有用时才将其调取。这使得 AI 更快、更高效，并且在记住正确回答问题所需的重要细节方面表现更佳。

技术摘要：选择性访问 Transformer（SATFormer）

问题陈述

在深度 Transformer 架构中，早期层计算的底层词汇和结构特征，随着残差流反复经过注意力、归一化和前馈层的变换，往往变得难以恢复。为了缓解这种“信息稀释”，近期研究引入了跨层路径，使后续层能够接触到早期表示，特别是第一层的值投影（ $V_1$ ）。

现有解决方案分为两类，各有不同的权衡：

静态值残差（例如 ResFormer）： 这些方法添加一个可学习的标量系数，以在层内所有 token 和注意力头上均匀地暴露 $V_1$ 。虽然计算成本低，但它们缺乏粒度，无论上下文如何，都应用相同量的早期信息。
稠密或动态替代方案（例如 DenseFormer、MUDDFormer、HyperConnections）： 这些方法聚合更广泛的层历史或生成动态路径，以恢复更细粒度的访问。然而，它们会导致显著更高的内存成本和更低的吞吐量。

本工作解决的核心问题是：如果模型能够学习控制何时以及何处使用该路径，而不是将跨层重用纯粹视为连通性问题，那么单一早期值路径是否具有竞争力？

方法论：SATFormer

作者提出了选择性访问 Transformer（SATFormer），它将早期表示的重用重新框架化为一个由上下文相关门控控制的检索问题，而非需要稠密路径的连通性问题。

架构

SATFormer 保留了 ResFormer 的单一早期值路径，但用每个 token、每个头的门控取代了静态的、逐层标量系数。

门控计算： 对于第 $n$ 层的 token $t$ 和 KV 头 $j$ ，门控 $\alpha^{(n)}_{t,j}$ 通过对当前归一化隐藏状态 $x^{(n)}_t$ 进行单次线性投影计算得出：
$\alpha^{(n)}_{t,j} = \left[ \text{ReLU}\left( x^{(n)}_t W^{(n)}_\alpha \right) \right]_j$
其中 $W^{(n)}_\alpha$ 是一个可学习的投影矩阵。ReLU 激活函数确保非负性，并允许门控精确为零。
值修改： 注意力中使用的值向量是当前层的值（ $V_{t,j,r}$ ）与第一层值（ $V^{(1)}_{t,j,r}$ ）的混合：
$V'_{t,j,r} = V_{t,j,r} + \alpha^{(n)}_{t,j} \cdot V^{(1)}_{t,j,r}$

设计原理

该设计通过三个最小化选择来确保效率：

粒度： 门控是每个 token 和每个头的，承认 $V_1$ 的效用在这两个轴上各不相同（例如，特定 token 可能需要词汇信息，而其他则不需要）。
参数效率： 门控是通过对当前隐藏状态进行单次线性投影计算的，增加的参数（每层 $d_{model} \times N_{kv}$ ）和运行时成本微乎其微。
稀疏性： ReLU 门控允许模型在早期信息无用时完全脱离 $V_1$ （设为零），从而促进稀疏访问模式。

主要贡献

基于控制的框架： 本文将早期表示重用的范式从“连通性”（有多少路径）转变为“控制”（如何门控单一路径）。
SATFormer 架构： 一种计算成本低廉的机制，用输入依赖的门控取代静态标量，增加可忽略的开销。
帕累托有利的扩展： SATFormer 在从 1.3 亿到 13 亿参数的各个规模上，均优于标准 Transformer 和 ResFormer 的验证损失和零样本准确率。
机制证据： 分析表明，学习到的门控是稀疏的、依赖于深度的、特定于头的，并且对 token 类别敏感（偏向语义特征），证实模型学习的是选择性重用而非均匀复制。

实验结果

检索密集型基准测试

在需要上下文检索的任务（TriviaQA、SWDE、SQuAD、NQ、FDA、DROP）上，SATFormer 在评估架构中取得了最高平均分（29.86）。

它比 ResFormer 高出约 1.5 个平均分数。
它略微超过了 MUDDFormer（29.855），同时保持了显著更高效的计算概况。

效率与吞吐量

SATFormer 保持了接近基准 Transformer 和 ResFormer 的计算概况，避免了稠密方法的减速。

吞吐量： 在 7.6 亿参数规模下，SATFormer 的吞吐量比 HyperConnections 高出 约 1.75 倍，比 MUDDFormer 高出 约 1.82 倍。
内存： 它比 HyperConnections 少用 31% 的内存，比 MUDDFormer 少用 5%。
挂钟训练时间： 以挂钟时间衡量，SATFormer 比稠密替代方案更快地达到更低的训练损失。

通用语言建模与扩展

验证损失： SATFormer 在所有规模（1.3 亿、3.4 亿、7.6 亿和 13 亿）上均一致地改进了相对于 ResFormer 的最终验证损失。
零样本准确率： SATFormer 在 1.3 亿、3.4 亿和 13 亿规模上提高了相对于 ResFormer 的平均零样本准确率。最大增益出现在 13 亿（XL）规模，平均准确率提高了 +0.67。
与稠密方法的比较： 虽然 SATFormer 并未在所有指标上全面主导稠密替代方案（例如，HyperConnections 和 MUDDFormer 在某些指标的中大型规模上取得了更高的零样本分数），但它提供了适应性、模型质量和训练效率之间更优越的权衡。

机制分析

稀疏访问： 发现门控激活是稀疏的，早期/中间层的大多数头对 $V_1$ 分配了接近零的权重。访问集中在后期层头的子集中。
深度依赖性： 最强的增益出现在更深的模型（13 亿）中，表明选择性访问受益于有更多层来应用控制机制。
类别敏感性： 后期层头对“语义”特征的访问强于对“结构”或“功能”特征的访问，支持了模型选择性重用承载内容的早期表示这一假设。
干预： 消融门控（将其置零或替换为均值）会增加困惑度，证实 $V_1$ 路径和学习到的门控结构在功能上都是重要的。

意义与主张

本文主张，早期表示无需通过稠密连通性即可变得有用。 SATFormer 占据了架构设计空间中的一个特定点：它比稠密跨层路由便宜得多，比静态值残差更具适应性，并且在面向检索的设置中特别有效。

通过将跨层重用重新框架化为选择性访问而非最大连通性问题，SATFormer 为未来的 Transformer 架构提供了一个简单、计算高效的切入点。作者强调，他们的模型旨在用于受控的经验分析，且这项工作旨在提高 Transformer 中信息流的效率和可解释性，而无需显著更稠密或计算成本更高的连通性。