🤖 AI

MUX: Continuous Reasoning via Multiplexed Tokens

本文介绍了 MUX，这是一种通过将离散推理步骤蒸馏为无损、多路复用的潜层标记（latent tokens），从而实现语言模型高效且高带宽连续推理的方法，旨在克服自然语言表达带来的计算瓶颈，同时保持可解释性并超越现有基准。

原作者： Ayhan Suleymanzade, Halil Alperen Gozeten, Michael Bronstein, żsmail żlkan Ceylan, Jinwoo Kim

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Ayhan Suleymanzade, Halil Alperen Gozeten, Michael Bronstein, żsmail żlkan Ceylan, Jinwoo Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机就像是极其快速、超级聪明的图书管理员，能够回答你提出的任何问题。但问题在于：为了解决一个真正的难题，比如复杂的数学问题或棘手的逻辑谜题，这些图书管理员通常必须“大声思考”。他们在给出最终答案之前，必须用冗长的句子写下每一个微小的思考步骤。虽然这行得通，但就像试图一次搬运一块砖头来完成一项重活一样；这既费时又费力，因为计算机一次只能搬运一个“砖块”（即一个微小的词片）。科学家们一直在寻找让这些计算机思考得更快、更高效的方法，不仅仅是通过把它们做大，而是通过教它们在单个紧凑的步骤中携带更多信息。这就是核心问题：我们能否教会计算机进行这种沉重的思考，而且是静默且快速地进行，而不需要写出每一个单词？

于是，MUX 出现了——这是研究人员提出的一种新方法，试图通过改变计算机思考的方式来解决这个问题。MUX 不再让计算机写下一长串冗长的思维链，而是教它将多个推理步骤打包进一个单一的、隐形的“思维气泡”中。把它想象成一个广播电台。通常情况下，广播电台一次只播放一首歌。但如果你能调到一个频率，在那里有三首不同的歌同时在播放，并且完美地混合在一起，而一个特殊的解码器稍后可以将它们重新分离出来呢？这本质上就是 MUX 所做的。它将一段连续的推理步骤（例如“5 加 3 等于 8”）融合进一个单一的、连续的信号中。计算机学习预测这种融合后的信号，并且由于这种融合是以一种非常特定的数学方式进行的，原始的步骤稍后可以被完美地还原。论文指出，这种方法允许计算机同时探索多种不同的解决方案，就像同时检查迷宫中的多条路径，而不是走完一条路，撞到死胡同，然后不得不重新开始。

研究人员发现，这种“多路复用”的小技巧效果出奇地好。他们对四种不同的计算机模型和 32 个不同的数学挑战进行了测试。结果表明，MUX 在解决这些问题时比其他尝试做类似事情的高级方法表现得更好。事实上，在许多情况下，MUX 方法甚至比教计算机“大声思考”的标准方法效果更好，但它达到目标所需的步骤要少得多。论文从数学上证明了，如果你用正确的权重（比如一种特定的衰减重要性的模式）来混合这些“思维砖块”，你就永远不会丢失原始信息。这防止了计算机变得懒惰或混乱，而这种情况通常发生在它试图过于粗略地压缩思想时。此外，这项研究表明，由于这些思维气泡可以同时容纳多种可能性，计算机自然会在“搜索”正确答案方面变得更擅长，这有点像拥有一支由探险家组成的团队在同时检查不同的路线，而不是只派一个人去。

简而言之，论文认为，通过教计算机将它们的思想融合进紧凑且可恢复的信号中，我们可以让它们变得更聪明、更快、更高效，而无需建造更大的机器。作者们指出，这种“无损融合”的简单想法是下一代人工智能的关键要素，使之能够处理复杂的任务，而不会陷入无休止的冗长解释之中。

技术摘要：MUX —— 通过多路复用 Token 实现连续推理

1. 问题陈述

现代自回归语言模型通过在自然语言中阐述中间推理步骤（思维链，Chain-of-Thought）来解决复杂问题（数学、编程、常识）。虽然这种方法很有效，但其计算效率较低。每个推理步骤仅传输一个子词（subword），这造成了严格的带宽瓶颈。此外，许多推理 Token 是冗余的，它们反映的是人类沟通模式而非优化的计算过程。

连续潜空间推理（Continuous latent reasoning）提供了一种替代方案，即模型预测连续向量而非子词，理论上允许通过在叠加（superposition）中同时编码多个子词来实现更高的带宽。然而，现有的潜空间推理方法面临重大障碍：

全局方法（仅监督最终答案或轨迹终点）往往会导致“捷径行为”，使潜 Token 变成无信息的占位符。
局部方法（将每个潜 Token 与一段离散推理进行监督）通常需要复杂的辅助架构（例如自回归解码器），或者难以维持搜索任务所需的多种假设。

核心挑战在于：如何定义一个既忠实于离散推理，又能防止潜空间坍缩（latent collapse），并支持并行探索，且不具备过度架构复杂性的连续潜空间推理监督目标。

2. 方法论：MUX

作者提出了 MUX，一种局部蒸馏方法，旨在训练语言模型使用**多路复用 Token（multiplexed tokens）**进行连续潜空间推理。

核心概念

MUX 将局部蒸馏任务视为学习一个固定的、维度的连续信号，该信号编码了一个变长的类别信号（即一段离散推理步骤）。借鉴通信系统中码分多路复用（code-division multiplexing）的思想，MUX 将一段离散子词表示为词表空间中其独热编码（one-hot encodings）的加权线性叠加。

技术实现

多路复用目标： 对于离散推理跨度 $r_i = (r^1_i, \dots, r^{S_i}_i)$ ，学习目标构建为：
$\text{mux}(r_i) := \sum_{j=1}^{S_i} \alpha^{(i)}_j \cdot \text{onehot}(r^j_i)$
其中 $\alpha^{(i)}_j$ 是归一化的正向位置权重。
位置加权： 为了确保叠加是无损的（即可以唯一恢复原始跨度），作者提出了特定的加权方案：
- 几何加权（Geometric）： $w_j = \rho^{j-1}$ （指数衰减）。
- 正弦加权（Sinusoidal）： 基于在跨度末端达到峰值的正弦函数。
- 旋转加权（Rotary）： 基于类似于旋转位置嵌入（RoPE）的平均余弦分量。
- 理论保证： 这些加权方案满足“子集和分离条件”（subset-sum separation condition），确保不同的位置集合会对任何子词产生不同的总质量，即使某个子词出现多次也不会产生歧义。
训练目标： 模型使用线性 Softmax 头和 KL 散度损失（ $L_{local}$ ）来匹配这些多路复用目标。这与标准的答案预测损失（ $L_{answer}$ ）以及可选的轨迹级损失（ $L_{global}$ ）相结合，以将隐藏特征与离散推理模型对齐。
推理： 在推理过程中，模型在隐藏空间内自回归生成潜 Token。词表投影仅在训练期间用于监督，而不用于生成最终的输出 Token。

3. 核心贡献

(1) 通过多路复用 Token 进行潜空间推理

MUX 引入了一个简单的局部蒸馏框架，其中潜 Token 通过加权线性叠加表示离散推理跨度。与之前的局部方法不同，它不需要辅助的自回归解码器或压缩缓存目标，而是依赖于词表空间的投影。

(2) 无损多路复用

论文提供了理论证明，说明特定的位置加权（几何、正弦、旋转）能够保证无损多路复用。这意味着离散推理跨度被完整地保留在连续表示中。作者证明了这种无损性可以防止潜空间坍缩（即 Token 变得语义同质化），这是全局潜空间推理方法中常见的失效模式。

(3) 通过叠加实现并行搜索

在理论上，作者证明了多路复用 Token 可以自然地实现并行广度优先搜索（BFS）。由于 Token 是叠加的，单个潜 Token 可以同时表示并更新一组假设（搜索前沿）。这使得模型能够在串行监督框架内，并行地探索多个解题路径。

(4) 实验优越性

在涵盖四种语言模型、两种训练语料库和四个测试集的 32 个评估设置中，MUX 在离散和连续推理方面均优于强基线模型。值得注意的是，尽管使用的 Token 数量显著减少（约 2.4 倍至 5.9 倍），MUX 通常能超越其所蒸馏的离散思维链（SFT-CoT）基线。

4. 实验结果

数学推理： 在 GSM8K-AUG、GSM8K-AUG-NL、SVAMP、GSM-Hard 和 MultiArith 上，MUX 在 GPT-2、LLaMA 3.2 1B、3B 和 3.1 8B 模型上均取得了最佳的潜空间推理性能。它经常优于 SFT-CoT，证明了紧凑的叠加推理比原始离散轨迹具有更好的泛化能力。
搜索基准测试： 在最小非负和（MNNS）和 24 点游戏（Game of 24）任务中，MUX 显著优于基线（包括 Coconut 和 CoT2），验证了多路复用 Token 能够实现并行搜索能力的理论主张。
消融实验：
- 局部损失： 移除全局损失（ $\gamma=0$ ）并仅依赖多路复用的局部损失，仍能获得优于 SIM-CoT 的结果，证实了局部目标的有效性。
- 加权方式： 无损加权（几何、正弦、旋转）始终优于有损的均匀加权，尽管在高度结构化的数据集上差距较小。
- 分块（Chunking）： 将离散跨度随机分块为潜 Token 的表现最好，这起到了结构化数据增强的作用。

5. 重要性与主张

论文声称，将无损叠加作为局部学习目标构成了实现强大、高效且可解释的连续潜空间推理的充分条件。

效率： MUX 以比离散 CoT 更少的推理步骤实现了高性能，解决了计算带宽瓶颈问题。
简洁性： 该方法避免了以往局部蒸馏方法（如辅助解码器）的架构复杂性，同时保持或提升了性能。
可解释性： 探测分析确认，学习到的潜 Token 编码了忠实且可解释的推理内容，反驳了认为潜空间推理仅仅是不可解释占位符的观点。
并行性： 结果表明，在使用多路复用目标时，并行搜索动力学可以自然地从串行监督中涌现，为改进语言模型的规划和搜索提供了新途径。

作者总结道，简单的、可解释的局部目标可以使潜空间推理变得更强且更易于训练，从而弥合了连续空间的效率与离散推理的保真度之间的差距。