🤖 AI

Full-bandwidth transformer

本文介绍了一种全带宽 Transformer，这是一种通过将前一层隐藏状态经由潜在反馈重新馈送回模型，从而增强自回归解码的新型架构，该架构在提升各种任务性能的同时，保持了标准的效率，且比传统 Transformer 所需的训练数据显著减少。

原作者： Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解决一个非常棘手的谜题，但你有一个非常严格的规则：你一次只能向未来的自己低声说出一个单词。如果你想出了计划中一个复杂的步骤，你必须把它写成一个单词，等待未来的自己阅读，然后重新开始。这就是当今大多数人工智能聊天机器人的工作方式。它们在阅读和写作方面非常出色，但当它们思考时，被迫一个词一个词地将想法“大声说出来”，即使这些想法是非常复杂的概念。这就像是试图背着一个沉重的背包携带信息，但你每一步只能给未来的自己递一张来自背包的明信片。

科学家们称这些人工智能模型为“Transformer”。它们是支撑我们每天使用的智能聊天机器人的引擎。这些模型有两个方向的工作模式：它们横向阅读页面上的单词，并纵向通过堆叠在一起的多层“神经元”处理信息。问题在于，虽然它们可以看到自己已经写下的所有单词，但它们无法轻易地将深层、复杂的内部想法传回大脑的底部进行再次处理。一旦一个想法转化成了一个单词，那个想法丰富的、隐藏的细节大部分就丢失了，导致人工智能要么写出冗长的文字解释，要么从头开始重新计算。研究人员想知道：我们能否让 AI 保留它的“秘密笔记”，并在不将其转化为文字的情况下，将其传回大脑的起点？如果我们能做到这一点，AI 可能会思考得更快、更聪明，并且使用更少的词汇。

这篇论文介绍了一种新型的人工智能，称为“全带宽 Transformer”（full-bandwidth transformer）。研究人员在微软和顶尖大学工作，他们找到了一种拓宽那个狭窄“耳语”通道的方法。与其只向开头发送一个单词，不如让 AI 发送它的整个“隐藏状态”——一个关于它目前所思考之所有内容的庞大且复杂的总结——回到大脑的底部。他们通过一种被称为“潜变量反馈”（latent feedback）的巧妙技巧来实现这一点。想象一下，如果你不是递给未来的自己一张明信片，而是可以瞬间将你的整个笔记背包传送回起点，但你仍然保留那张明信片作为你所说内容的记录。AI 将其深层的内部总结与它刚刚生成的单词进行融合，为下一步创造了一个超级强化的输入。

团队使用一种特殊的调度方案来训练这些新模型，在学习阶段缓慢地引入这种“传送”能力。他们使用多达 4000 亿个 token 的海量文本，对拥有 10 亿参数的模型进行了测试。结果表明，这种方法效果惊人地好。该 AI 不仅在数学和编程方面变得更强，它还开始以更短、更高效的方式进行思考。在许多测试中，全带宽 Transformer 的表现与使用两倍数据量训练的标准模型一样出色，有时甚至能与使用五倍数据量训练的模型相媲美。或许最令人兴奋的是，在解决数学问题时，这些新模型通常会产生更短的答案，同时得到正确的结果，这表明它们是在“脑海”中进行深度思考，而不是浪费词汇去解释它。研究人员发现，这种方法几乎不会增加 AI 的速度成本，这为构建更聪明、更高效的人工智能提供了一条无需无穷无尽新数据的极具前景的路径。

技术摘要：全带宽 Transformer (Full-Bandwidth Transformer)

问题陈述

自回归 Transformer 在两个维度上进行计算：横向跨越生成的 Token，以及纵向通过模型深度。虽然稠密注意力机制提供了广泛的横向历史访问能力，但解码步骤之间的纵向反馈通道仍然很窄。在标准解码中，模型将其整个 $D$ 维顶层隐藏状态压缩为一个单一的离散 Token（携带的信息最多仅为 $\log_2 |V|$ 比特），以作为下一步的输入。因此，非言语化计算（中间激活值、不确定性、部分计划）被“深度冻结”在 KV Cache 中；它们对于其产生点之上的层级仍然可见，但无法返回到底层堆栈进行进一步处理。这迫使模型要么将中间状态逐个 Token 地言语化，要么从头开始重新计算，从而限制了每个 Token 的有效推理深度。

方法论：潜变量反馈解码 (Latent Feedback Decoding)

作者提出了 Full-Bandwidth Transformer，通过将前一步的顶层隐藏状态与采样的 Token 嵌入一起反馈到输入端，从而拓宽了步间反馈通道。

1. 潜变量反馈机制

在每个解码步骤 $t$ ，输入 $u_t$ 通过将采样的 Token 嵌入 $e_t$ 与前一时刻的顶层隐藏状态 $h^L_{t-1}$ 进行融合而成：
$u_t = e_t \otimes h^L_{t-1}$
融合算子 $\otimes$ 是一个门控线性单元 (GLU)：
$e_t \otimes h^L_{t-1} = (W_U h^L_{t-1}) \odot \sigma(W_G e_t)$

非对称性： 隐藏状态占据了数值路径（value pathway），而 Token 则充当乘法门控。这种设计防止了模型学习忽略状态路径（这是一种潜在的对称融合捷径），强制其利用完整的隐藏状态。
架构： 这在每个 Token 生成时仅增加了两个 $D \times D$ 的矩阵乘法。标准的 Transformer 架构、KV Cache 布局和推理栈保持不变。
效果： 这允许非言语化状态以全新的深度预算重新进入堆栈底部。每一层（包括最浅层）现在都可以访问经过整个堆栈处理后的完整历史信息，而不仅仅是其下方的层级。

2. 并行训练策略

直接对这种递归进行训练会丧失并行教师强制（teacher forcing）的优势，因为位置 $t$ 的输入依赖于 $t-1$ 的输出。作者引入了一种多轮（multi-pass）目标函数来解决这个问题：

时间并行性： 模型不是在 Token 上进行顺序展开，而是对序列进行 $K$ $K$ 次并行前向传递。
- 第 1 轮 (Pass 1)： 使用普通 Token 嵌入的标准前向传递。
- 第 $k$ 轮 (Pass $k$ , $k > 1$ )： 将第 $k-1$ 轮的隐藏状态向右偏移一位，与 Token 嵌入融合，并并行反馈回堆栈。
损失函数： 该目标函数结合了第一轮中的标准下一 Token 预测 (NTP) 损失以及后续轮次的辅助 NTP 损失。来自后续轮次的梯度会回传到早期的潜变量状态中，鼓励这些状态具有可重用性。
调度策略： 为了确保稳定性并管理计算成本，作者使用了渐进式调度：
- 训练始于标准的单轮目标函数。
- 在训练中期引入潜变量反馈（例如，使用 2 轮 batch）。
- 混合加入极小比例（例如 3%）的高轮次（例如 3 轮）batch。实验证明，这一小部分数据能稳定学习到的反馈映射，使其成为一个向不动点收敛的映射，即使在推理阶段外推到长时程（数百轮）时也能保持稳定。
前缀混入 (Prefix Mix-in)： 为了处理训练（完全融合输入）与推理（纯 Prompt + 融合生成）之间的分布差异，训练过程随机化了融合输入开始的位置，以匹配“先 Prompt 后生成”的结构。

3. 稳定性技术

为了防止长时程推理过程中的发散，作者采用了以下技术：

深度缩放 (Depth Scaling)： 确保顶层状态的范数保持在 $O(1)$ ，而不是随深度增长。
权重绑定 (Weight Tying)： 绑定嵌入层和输出层权重，以确保纯 Token 输入与融合状态输入之间的兼容性。
噪声正则化 (Noise Regularization)： 在训练期间向携带的隐藏状态添加微小的抖动噪声，以提高鲁棒性。

关键结果

作者训练了参数量达 1B 的模型，训练量高达 400B 个 Token，并将其与使用 100B 到 1T 个 Token 训练的标准 Transformer 进行对比。

数据效率： Full-Bandwidth Transformer 的表现达到或接近于使用约 1.5 倍至 2 倍更多 Token 训练的标准 Transformer。例如，一个 200B Token 的 Full-Bandwidth 模型可以接近 400B Token 标准基线的性能。
性能提升：
- 验证损失 (Validation Loss)： 在各种规模下均有所改善。
- 推理与编程： 在自由形式生成任务（GSM8K, Math500, HumanEval, MBPP）上，潜变量反馈解码（SOFT 和 FUSED 模式）始终优于相同权重的标准解码。
  - SOFT (潜变量反馈)： 在数学任务中表现最佳，表明隐藏状态比言语化 Token 能更好地承载推理过程。
  - FUSED (多轮预填充/Prefill)： 在编程任务中表现最佳，表明精炼的 Prompt 表示至关重要。
- 指令微调： 在长上下文扩展和指令微调后，性能增益依然存在。
简洁性： 在基座模型（预指令微调）上，潜变量反馈在达到同等或更好准确率的前提下，生成的推理轨迹明显更短。模型通过隐藏状态进行“静默”计算，而不是通过逐个 Token 进行叙述。这种效应在指令微调后会减弱，可能是因为微调数据模仿了冗长的标准推理方式。
状态可及性： 探测实验证实，递归预填充比标准预填充能更有效地将全局状态信息暴露给浅层（第 0 层），验证了“全带宽”的说法。

意义与主张

论文声称，Full-Bandwidth Transformer 为大语言模型提供了一个新的缩放维度：为每个 Token 分配更多的计算量，而非仅仅增加 Token 数量或参数量。

重新审视缩放 (Scaling)： 随着高质量独特数据的日益稀缺，作者认为应致力于从每个 Token 中提取更多的学习信号。Full-Bandwidth Transformer 通过允许模型在不通过言语化瓶颈的情况下迭代其内部状态，实现了这一点。
推理效率： 该方法带来的性能提升伴随着极低的单 Token 解码开销（仅增加两个矩阵乘法）。额外的计算主要发生在可选的多轮预填充或训练阶段，而非在每个 Token 的顺序生成过程中。
架构极简主义： 该方法保留了标准的 Transformer 架构和 KV Cache，仅需修改输入构建方式和特定的训练调度。
稳定性： 该工作证明了可以使用并行多轮目标函数有效地训练带有递归反馈循环的 Transformer，克服了通常与训练递归网络相关的稳定性问题。

作者总结道，Full-Bandwidth Transformer 代表了一种范式转移：从单纯依赖数据规模，转向利用基于反馈的递归计算来提升表示质量和推理效率。