🤖 AI

Turbo Connection: Reasoning as Information Flow from Higher to Lower Layers

本文介绍了一种名为 Turbo Connection (TurboConn) 的新颖架构，该架构通过将多个残差连接从高层向低层进行路由，增强了预训练大语言模型（LLM）的推理能力，从而克服了固定深度的计算限制，并在无需对模型进行完整重训练的情况下，显著提高了在复杂多步任务上的准确性。

原作者： Mohan Tang, Sidi Lu

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohan Tang, Sidi Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常棘手的谜题，比如一道数学题或逻辑谜题。通常，你会循序渐进地进行：思考第一步，把它写下来，利用那个答案来推导第二步，以此类推。这就是人类推理的方式。但长期以来，被称为“Transformer”（AI聊天机器人背后的引擎）的大型计算机大脑在处理这类问题时一直显得有些笨拙。它们就像一条超快速的工厂流水线，每个工人（一个“层”）将包裹传递给下一个工人，但一旦包裹离开了一个工人的手，就再也无法返回。

这产生了一个问题：“思考路径”被固定了长度。无论你的谜题有多长，计算机只能进行固定数量的步骤，然后就必须给出答案。这就像是在爬一把梯子，无论你需要爬多高，梯子都会在半空中突然中断。

“涡轮连接”（Turbo Connection）修复方案

该论文的作者 Mohan Tang 和 Sidi Lu 决定通过“黑客手段”来改造这把梯子。他们引入了一种名为 Turbo Connection (TurboConn) 的新架构。

这里的魔力在于：他们并没有仅仅将信息从模型的底部向上层层传递，而是增加了“向下电梯”。当计算机处理下一个谜题碎片（token $t+1$ ）时，它可以回溯并抓取来自前一个碎片（token $t$ ）的高层思维片段——而这个片段是在更高的层级中被处理的。

你可以把它想象成一场接力赛，领先的跑者不仅把接力棒交给下一个人，还向下一个跑者投掷了一份包含最佳策略的“小抄”。这使得计算机的“有效深度”（它实际能思考多少步）可以随着谜题本身的长度而增长。如果谜题变长，思考路径也会随之变长。

他们没有做的事（以及为什么这很重要）

你可能会想：“好吧，所以他们只是通过让模型在同一个 token 上反复循环来让计算机思考得更久。”但论文明确反对这种方法。

其他一些方法试图通过对单个 token 反复运行层来让其“思考”（例如 Universal Transformer）。作者认为这太慢且成本太高。这就像是要求一个人通过一遍又一遍地阅读同一页内容来读完一整本书，然后再翻页。这既耗时又极其消耗能量。

TurboConn 与此不同。它并没有让计算机重读同一页，而是让计算机利用前一页的高层见解来辅助处理当前页。这是一种在不产生巨大时间惩罚的情况下获得更深度的聪明做法。

结果：加速大脑

团队在一些高难度的推理任务上测试了该模型，例如：

奇偶校验（Parity）： 计算一长串数字中 1 的个数是奇数还是偶数。
多步算术（Multi-step Arithmetic）： 解决具有许多步骤的数学问题。
GSM8K： 小学水平的数学应用题。

他们采用了现有的预训练模型（如 Llama 3 和 Qwen 3），并仅仅添加了这些“向下电梯”。他们不需要从头开始重新训练整个模型。

结果令人惊喜：

在 Parity 任务上，一个小型 17 亿参数模型（Qwen-3-1.7B）通常只能达到 53.78% 的准确率。但在使用 TurboConn 后，它达到了 100%。这是一个从失败到完美的巨大飞跃。
在 多步算术 任务上，他们在不同模型中看到了从 0.9% 到超过 10% 的准确率提升。
甚至一个带有 TurboConn 的微型 10 亿参数模型，在 Parity 任务上的表现都击败了一个没有该技术的 80 亿参数大型模型。这表明，比起单纯扩大模型规模，更好的“信息流”有时更为重要。

权衡：稍慢，但更聪明

有代价吗？是的。因为计算机必须等待前一步完成，才能抓取来自上方的“小抄”，所以它不能像普通计算机那样一次性处理整个句子。它必须分组进行。

论文对此进行了仔细测量。如果他们以 4 个 token 为一组进行处理，Parity 任务的训练时间增加了约 4.87 倍。但如果使用更大的组（如 16 个），时间仅增加了 1.36 倍，同时仍能赋予模型更深的“思考路径”。

至关重要的是，一旦模型训练完成并让你生成答案（比如写故事或解题）时，生成速度本身并不会变慢，因为模型本身就是逐个 token 进行处理的。不过，在“预填充”（prefill）阶段（即模型在开始生成之前阅读整个提示词的阶段）存在一个问题。由于存在向下连接，模型必须按组顺序处理提示词，而不是一次性处理，这可能会为长输入引入延迟瓶颈。

“顿悟时刻”

最令人兴奋的部分不仅是分数，还有模型是如何“思考”的。作者发现 TurboConn 模型变得更擅长“判别式过滤”（discriminative filtering）。这意味着它们变得非常擅长自信地排除错误答案。

例如，面对一道数学题，普通的模型可能会在几个数字之间进行猜测。然而，TurboConn 模型似乎能“知道”哪些数字是不可能的，并将它们从脑海中剔除，只留下正确答案。这表明模型不仅仅是在猜测，它实际上正在构建一种更稳健的内部逻辑。

简而言之，论文表明，AI 难以处理复杂推理的原因不仅仅是因为它需要更多的数据或参数。而是因为它的“思考梯子”太短了。通过添加一些向下连接，他们证明了无需从头构建庞大的新计算机，就能让这些模型变得显著更聪明、更高效且更准确。

技术摘要：Turbo Connection（涡轮连接）：作为从高层向低层信息流的推理

1. 问题陈述

本文探讨了标准 Transformer 类大语言模型（LLM）的一个根本性局限：其推理能力受限于固定的最大计算深度。在标准架构中，信息严格地从低层向高层流动，这意味着任何计算路径的最大长度都受限于模型固定的层数（ $L$ ），而与输入序列的长度无关。

作者认为，这种固定深度的约束限制了模型解决本质上具有序列性问题（例如多步算术、逻辑谜题）的能力，这些问题的计算路径长度需要随输入规模进行缩放。虽然现有的解决方案如思维链（CoT）提示或“循环”Transformer 试图增加有效深度，但它们通常会产生显著的计算成本，需要专门的训练数据，或者由于增加推理延迟和内存使用量而面临可扩展性问题。

2. 方法论：Turbo Connection (TurboConn)

作者提出了 Turbo Connection (TurboConn)，这是一种新颖的架构修改方案，它将来自标记 $t$ 的高层信息路由到后续标记 $t+1$ 的低层。这种设计创建了“向下连接”，使得有效推理深度能够随序列长度线性缩放，而不是保持恒定。

核心架构

跨标记、自顶向下流： 与标准残差连接（在标记内部进行垂直流动）或自连接（会产生循环依赖）不同，TurboConn 将标记 $t$ 的更高层隐藏状态连接到标记 $t+1$ 的更低层。
数学公式： 标记 $i$ 在第 $l$ 层的隐藏状态 $h^{(i)}_l$ 修改如下：
$h^{(i)}_l = \text{LayerBlock}_l(h^{(i)}_{l-1}; \dots) + \alpha \cdot \mathcal{D}(h^{(i-1)}_s)$
其中 $\mathcal{D}(\cdot)$ 是一个可学习的线性投影（初始化为零）， $\alpha$ 是缩放连接强度的乘数。
因果律保持： 通过执行 $t \to t+1$ 的连接，该架构避免了循环依赖，允许模型顺序处理标记，而无需对每个标记进行多次前向传播。

分组策略

为了减轻失去完全并行性的影响（因为标记必须按顺序或按组处理），作者引入了一种分组机制。标记按大小为 $g$ 的组进行处理。在组内，计算保持并行，但向下连接是从前一个组应用的。这通过将序列深度从 $k$ （序列长度）降低到 $k/g$ ，在推理深度与训练效率之间取得了平衡。

训练与兼容性

微调： 该方法旨在通过微调集成到预训练的 LLM 中。它不需要对标准损失函数或预训练目标进行任何修改。
参数效率： 向下连接使用低秩线性映射（LoRA）实现，确保可训练参数的数量与标准基准线相当。
推理： 在自回归生成期间，该方法引入了可以忽略不计的延迟，因为向后连接被集成到模型的单次前向传播中，这与每个标记需要 $D$ 次递归传递的 Universal Transformers 不同。

3. 主要贡献

新颖架构： 引入了 TurboConn，它通过将高层信息从标记 $t$ 路由到标记 $t+1$ 的低层，增加了 LLM 的有效推理深度。
效率： 该方法在不显著增加 GPU 显存消耗或自回归生成时的推理延迟的情况下实现了这些增益。
稠密 vs 稀疏： 本文证明了这些连接的密度至关重要。稠密交互（传递多个隐藏状态）的表现显著优于仅传递单个向量或软标记分布的“稀疏”替代方案。
经验验证： 该方法使预训练模型能够克服特定任务的性能瓶颈，而无需从头开始重新训练或复杂的课程学习。

4. 实验结果

作者在 Llama 3 (1B 和 8B) 和 Qwen 3 (1.7B) 模型上针对三个推理密集型基准测试进行了评估：奇偶校验 (Parity)、多步算术 (Multi-step Arithmetic) 和 GSM8K（不使用 CoT）。

准确率提升： TurboConn 在各种模型和任务中带来了 0.9% 到超过 10% 的准确率提升。
- 值得注意的是，经过微调的 Qwen-3-1.7B 模型在奇偶校验任务上仅获得 53.78% 的准确率，但使用 TurboConn 后达到了 100% 的准确率。
- 在奇偶校验任务上，带有 TurboConn 的 1B 模型表现优于没有连接的 8B 基准模型，这表明改进的信息流比单纯扩展参数规模更为有效。
长度泛化： 在模型在短序列（长度 $\le$ 10）上训练并在长序列上测试的实验中，TurboConn 模型在长度达到 30 时仍能保持完美的准确率，而标准的 Transformer 和“软标记”基准模型则失败了，这表明 TurboConn 学习到了更鲁棒的算法。
判别式过滤： TurboConn 模型展示了增强的消除输出分布中错误候选者的能力（例如，为错误的数字分配接近零的概率），这种能力是单纯通过参数缩放无法实现的。
与 CoT 的协同作用： 当与显式的思维链（CoT）推理结合时，TurboConn 起到了错误纠正机制的作用，提高了模型从不完美的推理链中得出正确最终答案的能力。

5. 重要性与主张

本文声称提供了强有力的经验证据，证明计算路径的深度是 LLM 推理能力的关键限制因素。

打破固定深度约束： 这项工作挑战了推理仅仅是总计算量问题的观点。相反，它认为信息流的结构（特别是随输入长度线性扩展计算路径的能力）对于解决序列问题至关重要。
架构转变： 作者指出，标准 Transformer 的固定计算深度是并行训练范式的必然结果。TurboConn 提供了一种超越纯并行设计的方法，探索顺序或非并行训练范式以解锁更深的推理能力。
实际可行性： 该方法被呈现为一种实用的解决方案，它在不产生递归深度（如 Universal Transformers）的高昂成本或 CoT 训练的高数据需求的情况下，增强了推理能力。

作者总结道，虽然目前的工作侧重于微调，但该架构具有集成到预训练阶段的潜力，以培养更基础、通用的推理技能。