💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

本文介绍了隐藏解码（Hidden Decoding），这是一种通过流分解在序列长度维度上扩展标记计算的新型缩放方法，旨在增强大语言模型，从而在不修改固定的 Transformer 主干网络或产生高昂训练成本的情况下，实现前沿规模下的显著性能提升。

原作者： Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人大脑（大型语言模型），它已经非常出色了。通常，为了让它变得更聪明，科学家们尝试把大脑做得更大——增加更多的层数、更多的神经元、更多的一切。但这就像是在摩天大楼之上再盖一座摩天大楼：这不仅耗资巨大，而且需要很长时间，有时连施工队（训练计算机）都无法承受这种规模。

微信 AI 团队提出了一个不同的问题：如果我们保持大脑的大小完全不变，但给它更多的时间来思考每一个词呢？

“循环”的问题

一些研究人员曾尝试通过让机器人“循环”思考来解决这个问题。想象一个学生在阅读一个句子，然后读一遍，再读一遍，利用相同的脑细胞反复进行，以获得更好的答案。这被称为“循环”或“递归”模型。

但问题在于：当你试图训练那些最大的机器人（拥有数千亿参数的模型）时，这种循环的想法会破坏流水线。训练这些模型的计算机工作在一种管道模式中，其中大脑的每个部分各司其职一次并传递接力棒。如果你让机器人停下来重新阅读同一个句子，整个流水线就会停滞，昂贵的计算机就会处于闲置状态。这就像工厂的传送带因为工人要重新拧一颗螺丝而不断停止，导致整个工厂陷入瘫痪。

解决方案：“隐藏解码”（秘密的流水线）

微信团队想出了一个聪明的技巧，叫做隐藏解码（Hidden Decoding）。与其让机器人通过循环来反复阅读同一个词，不如让机器人同时多次阅读这个词，但通过秘密的并行车道进行。

你可以把它想象成一支赛车队。与其让一辆赛车绕赛道跑三圈以获得最佳圈速，不如同时派出四辆完全相同的赛车（流）下赛道。

设置： 当机器人看到一个词（比如“apple”）时，它不仅仅将其转化为一个代码，而是将其转化为四个不同的代码，每个代码进入自己的秘密车道。
秘密工作： 这四条车道运行通过大脑的各个层。前三条车道是“隐藏”的。它们负责所有的重活、思考和推理，但它们还不能说出答案。它们就像是后台的头脑风暴团队。
最终决定： 只有第四条车道（最后的流）被允许喊出下一个词。大脑只根据这个最终答案进行评分。
记忆： 至关重要的是，大脑会记住前三条车道所思考的内容。它保留了它们的笔记（称为“键值缓存/Key-Value caches”），以便下一个词可以阅读前一个词的头脑风暴笔记。

这样，机器人对于每个词都获得了四倍的思考能力，但它不需要构建更大的大脑，也不需要停止流水线。它只是在一次处理中处理了更长的数据序列。

让它负担得起：“流因子化”技巧

你可能会想：“等等，如果我有四条互相交谈的车道，那数学计算会不会变得极其复杂？”如果每条车道在每一步都试图与所有其他车道交谈，成本将会爆炸式增长（会上升到 16 倍！）。

为了解决这个问题，团队使用了一种名为**流因子化注意力（Stream-Factorized Attention）**的方法。

大部分时间： 车道保持在各自的泡泡里。车道 1 与车道 1 交谈，车道 2 与车道 2 交谈。它们互不干扰。
有时： 只有少数特定的层会让车道交换笔记并混合它们的想法。

这保持了低成本。成本并没有上升 16 倍，而仅仅上升了大约 4.4 到 5.1 倍（这接近于 4 倍的车道增加量）。这使得训练这些超大规模模型成为可能，而不至于破产。

效果如何？

团队在两个巨大的模型上进行了测试：一个拥有 800 亿参数的模型，以及一个巨大的 6170 亿参数的模型。他们没有改变大脑的大小，只是开启了“4 车道”模式。

结果： 模型变得更聪明了。在困难的数学和科学测试中，6170 亿参数模型在 “GPQA Diamond” 测试中的得分从 89.1 提升到了 91.2。在 “PHYBench” 物理测试中，从 75.3 提升到了 76.3。
趋势： 他们还测试了 2 条车道、4 条车道和 8 条车道的情况。随着车道的增加，分数也持续上升。这表明增加“思考车道”是让模型变得更聪明的一种真实有效的方法，而无需重建模型。

他们排除了哪些可能性

团队非常谨慎地检查了这是否仅仅是一个巧合。他们尝试了使用额外车道的其他方式：

强迫每条车道都进行预测： 如果他们让前三条车道也尝试预测答案（而不是仅仅让最后一条预测），模型的效果反而变差了。
混合答案： 如果他们只是将所有四条车道的想法取平均值，效果也没有让最后一条车道决定得那么好。
共享笔记： 如果他们让车道共享相同的记忆笔记而不是保留各自的笔记，模型的准确性也会略微下降。

这证明了其中的秘诀在于让前几条车道进行沉默、私密的思考，并保持它们的笔记独立，从而让最后一条车道能够利用这种深度的、积累的智慧做出最好的判断。

核心结论

隐藏解码表明，你并不总是需要一个更大的大脑才能变得更聪明。有时，你只需要给大脑更多并行思考的时间。通过将单个词转化为一条秘密的思考流水线，微信团队发现了一种方法，可以在不构建全新的、更大的模型的情况下，提升前沿规模模型的智能水平。这是一种实用且符合工程逻辑的方法，能从现有的模型中榨取更多的智慧。

技术摘要：大规模隐藏解码 (Hidden Decoding at Scale)

问题陈述

扩展大型语言模型 (LLM) 传统上依赖于扩大 Transformer 主干网络，但这需要昂贵的预训练轮次并增加了推理成本。对于已经足够强大的基础模型而言，进一步扩大主干网络往往是不切实际的。虽然最近的研究表明，在固定参数的情况下，为每个 token 分配更多的计算量可以提高推理和准确性，但现有方法面临着显著的可扩展性障碍：

深度循环（循环式）Transformer： 这些模型在每个 token 上重复使用相同的 Transformer 块以增加计算量。然而，它们难以扩展到前沿模型（例如 100B+ 参数），因为循环计算的迭代性质破坏了用于训练超大规模模型的流水线并行假设，导致 GPU 空闲等待。
序列长度扩展： 仅仅输入更长的序列与标准训练流程兼容，但需要一种能够在不单纯增加相同 token 上上下文窗口的情况下，实现计算量扩展的方法。

本文旨在解决如何在不改变主干网络深度或宽度的情况下，通过增加单 token 计算量来改进现有 Transformer 主干网络，同时保持与流水线并行和大规模训练基础设施的兼容性。

方法论：隐藏解码 (Hidden Decoding)

作者提出了 隐藏解码 (Hidden Decoding)，这是一种应用于持续预训练 (CPT) 的序列长度缩放方法。其核心机制是将每个输入 token 扩展为 $n$ 个并行流，并在单次前向传播中进行处理。

1. 多流 Token 扩展

嵌入扩展 (Embedding Expansion)： 模型不再使用单一的词表嵌入表，而是利用 $n$ 个独立的嵌入表 ( $E_1, \dots, E_n$ )。一个输入 token $x_i$ 被扩展为由 $n$ 个表示组成的序列： $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ 。
序列构建： 这些表示被交错排列，形成长度为 $nL $的扩展序列（其中$ L$ 是原始序列长度）。
训练目标： 仅对最后一个流 ( $E_n$ ) 进行监督。模型基于最后一个流位置的隐藏状态来预测下一个 token $x_{i+1}$ 。前 $n-1$ 个流充当“潜在计算状态”，没有直接的损失函数，从而允许它们在最终预测前进行内部表示的精炼。

2. 流因子化注意力 (Stream-Factorized Attention)

为了防止注意力成本随扩展后的序列长度呈平方级增长 ( $O(n^2 L^2)$ )，作者引入了 流因子化注意力：

流内层 (Intra-Stream Layers)： 大多数层将注意力限制在同一流内的位置。这使得复杂度降低到大约 $O(nL^2)$ 。
跨流层 (Cross-Stream Layers)： 一小部分层（例如来自基础模型的全注意力或滑动窗口层）允许流之间的信息混合。
效率： 这种设计使增加的注意力成本相对于 $n$ 接近线性而非平方级，使得该方法在处理超过 100B 参数的模型时依然具备可训练性。

3. 渐进式扩展与初始化

为了管理大规模扩展因子的训练，作者采用了 渐进式扩展（例如， $n=1 \to 2 \to 4 \to 8$ ）。他们使用了 循环复制初始化 (Cyclic Replication Initialization)，即通过复制现有的嵌入表来初始化新的嵌入表（例如， $E_{n+k} \leftarrow E_k$ ）。这使得模型能够首先复现较小配置的行为，然后平滑地进行适应。

4. 架构优化 (针对 WeLM 特有)

对于 WeLM 主干网络，作者利用了 KV-镜像 (KV-Mirror) 设计。由于中间流不携带损失且仅通过 Key 和 Value 提供上下文，镜像层（即从前一层计算 KV 的层）可以完全跳过对中间流的处理。这在 80B 模型的设置中进一步减少了约 20% 的训练时间。

核心贡献

前沿规模的固定主干扩展： 本文展示了在 100B+ MoE 规模下成功应用序列长度扩展的首次案例。作者训练了 WeLM-HD4-80B 和 WeLM-HD4-617B（ $n=4$ ），在不扩大 Transformer 主干网络的情况下，实现了优于其非 HD 版本（non-HD counterparts）的性能提升。
高效的序列长度扩展： 流因子化注意力 的引入使得扩展序列的训练成本与 $n$ 呈近线性关系（例如，4 倍扩展的成本约为 4.4x–5.1x，远低于密集注意力的 16x 成本）。
扩展因子缩放： 实验表明，增加扩展因子 $n$ （从 2 到 8）能持续改善语言建模损失和下游任务准确率，验证了 $n$ 是固定主干网络的一个实用的缩放维度。

实验结果

作者在规模达到前沿水平的 MoE 模型和密集（dense）基准模型上评估了隐藏解码：

前沿规模性能 (WeLM-HD4-80B & 617B)：
- WeLM-HD4-80B 在九个共享的硬核基准测试中均优于 WeLM-80B，在 SciCode (+4.2)、PHYBench (+4.0) 和 FrontierMath (+3.2) 方面取得了显著增益。
- WeLM-HD4-617B 在所有九个基准测试中均优于 WeLM-617B，包括 GPQA Diamond (+2.1)、HLE (+1.8) 和 FrontierMath (+2.0)。
- 这些模型采用了早期的仅 SFT 后训练方案进行训练，以确保对比受控，从而隔离出隐藏解码的效果。
随扩展因子 ( $n$ ) 的缩放：
- 在密集模型 Qwen3-8B-Base 上，将 $n$ 从 1 增加到 8 导致平均准确率呈单调提升（例如，MMLU 从 78.2 提高到 81.6）。
- 在 80B MoE 上，将 $n$ 从 1 增加到 8 使 MMLU 从 85.0 提升至 87.5，并将 Pile-test BPB 从 0.386 降至 0.378。
消融实验：
- 监督设计： 仅对最后一个流进行监督比对所有流应用损失或对流输出求和效果更好。
- KV 保留： 为每个流保留独立的 KV 缓存（而非共享）提高了准确率，证实了中间流提供了独特且有用的上下文。
- 注意力组合： 仅包含少量全跨流层（例如 27 层中的 4 层）的模型表现几乎与所有层都进行全跨流混合的模型一样好，这验证了流因子化注意力的有效性。
推理吞吐量：
- 隐藏解码在延迟敏感的小 Batch 场景下保持了较高的吞吐量（在 Batch Size 为 1 时保留了基准模型 83–88% 的吞吐量）。
- 在长上下文、高 Batch 的场景下，吞吐量会下降（在 Batch Size 为 32 且输入为 32k 时下降至约 27%），这反映了单 token 计算量的增加。

意义与主张

本文声称，当进一步扩大主干网络成本过高时，隐藏解码 为扩展前沿 LLM 提供了一条具有实际工程可行性的路径。

兼容性： 与循环式 Transformer 不同，隐藏解码能自然地适配流水线并行和标准的大模型训练栈，因为额外的计算体现为更长的序列，而非迭代深度。
有效性： 这是第一个证明成功将序列长度扩展应用到 100B+ MoE 规模的方法，并带来了推理和知识基准测试的显著提升。
可扩展性： 该方法证明了扩展因子 $n$ 是一个有效的缩放轴，可以在不需要新架构或大规模重训主干网络的情况下，随着 $n$ 的增加提供性能收益。

作者将这项工作定位为解决强基础模型所面临的“缩放墙 (scaling wall)”问题的方案，通过高效的潜在计算，从现有参数中提取更多能力。