💬 NLP

MACRO: Markov Chain Routing of Transformer Layers

该论文介绍了 MACRO，这是一个通过利用马尔可夫链学习特定任务的动态层路由策略来增强大语言模型的框架，该框架在不修改模型权重的情况下，实现了比现有方法显著更高的准确率和更快的搜索速度。

原作者： Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人，它能阅读书籍并回答问题。为了完成工作，这个机器人有一条由 28 或 32 个微小工人（称为“层”）组成的漫长流水线。在标准设置中，每一条信息都必须走过每一个工人，从第一个到最后一个，遵循一条严格且不可改变的直线。这就像一辆校车，即使乘客只需要在三条街后下车，也必须停靠街道上的每一户人家。这就是当今大多数人工智能模型的工作方式：无论问题多么简单或困难，它们都遵循一个僵化的时间表。

但如果这个机器人可以变得更灵活一点呢？如果它不仅仅是向前行进，而是可以决定跳过一个不需要的工人，甚至可以回头请求之前的工人复核一下他们的计算呢？这种想法被称为“动态路由”。这就像是一个 GPS，它不只是遵循一张预印好的地图，而是可以即时绕开交通拥堵或寻找捷径。科学家们一直试图教会人工智能这样做，但大多数尝试就像是在每次遇到新路时都要重新改装引擎，或者为每一位乘客雇佣一名昂贵的向导来大声指路。这既缓慢又昂贵，而且经常会让机器人的大脑“崩溃”。

这就是名为 MACRO 的一项新研究的由来。研究人员提出了一个简单的问题：我们能否教会一个“冻结”的机器人（即我们不允许改变其大脑的模型）在不破坏任何东西的前提下，在它自己的工人之间找到一条更好的路径？他们发现，通过将机器人的路径视为一场基于一套简单的概率规则（称为马尔可夫链）的“选择你自己的冒险”游戏，他们可以找到一条更聪明的路线。与其重新训练机器人，或使用昂贵的向导，不如让机器人在一些练习题上探索不同的路径，学习一套针对特定任务的简单导航规则，然后使用一种巧妙的数学技巧来确定该特定任务的最佳路径。这种最佳路径随后被统一用于该任务中的所有问题，而不是为每一个新问题都计算一条新路径。

结果非常令人惊喜。在各种棘手的数学和科学测试中，MACRO 让机器人变得明显更聪明了。例如，在一个名为 GSM8K 的困难数学基准测试中，一个小型机器人模型的正确率从 43.4% 跳升到了 69.5%——这是一个巨大的飞跃——仅仅是通过改变它访问工人的顺序。研究人员发现，这种方法比之前的方法设置起来要快得多。其他方法需要近 15 小时才能确定一个任务的最佳路径，而 MACRO 只用了 1.6 小时。

核心洞察在于：机器人其实已经知道答案了；它只是需要一种更好的方式来“倾听”它自己的内在想法。通过允许机器人跳过不必要的步骤或循环回退以检查其工作，研究人员在没有改变机器人大脑中任何一个权重的情况下，释放了其隐藏的潜力。这就像是他们并没有教给机器人新的知识，而仅仅是教会了它如何更高效地思考。这项研究表明，对于许多复杂的任务，答案其实已经在模型内部了；我们只是需要一张更好的地图来找到它。

技术摘要：MACRO —— Transformer 层级的马尔可夫链路由

问题陈述
标准的语言大模型（LLMs）按顺序执行从第一层到最后一层的 Transformer 块，遵循固定的计算调度。这种静态方法忽略了动态计算路径的潜力，而这些路径可以在不修改模型底层权重的情况下提高复杂任务的推理准确性。虽然先前的研究主要针对推理加速（如早期退出、结构化层丢弃）探索了自适应深度，但通过重构冻结模型的执行路径来增强性能仍是一个具有挑战性的前沿领域。现有的动态路由方法面临显著瓶颈：一些方法需要昂贵的离线蒙特卡洛树搜索（MCTS）进行数据生成和训练（如 Dr.LLM），另一些则在推理期间需要真值标签，还有一些依赖于每样本搜索循环，这在计算上是难以承受的。

方法论
作者提出了 MACRO（Transformer 层的马尔可夫链路由），这是一个在冻结的 LLM 架构上学习特定任务执行路径的框架。MACRO 将层路由建模为一个上下文相关的马尔可夫策略 $\pi_\theta(a_t | s_t)$ ，该策略决定了层应用的序列、跳过、重复以及隐藏状态的叠加。

状态与动作空间： 状态 $s_t$ 是一个紧凑的摘要，包含当前层索引 ( $\ell$ )、剩余计算预算阶段（早期/中期/后期）、传入层的位移 ( $\delta$ ) 以及算子上下文（当前隐藏状态是由普通层产生的还是由加法产生的）。动作空间包括：
1. 局部层移动： 应用一个附近的层 $\ell + \Delta$ （允许跳过、重复或向后回访）。
2. 相加并应用（Add-and-Apply）： 在应用局部层之前，将之前的隐藏状态 $h_{t-b}$ 与当前状态 $h_t$ 相加（系数为 $\gamma > 0$ ）。
3. 重连（Rejoin）： 终止学习到的前缀，并执行剩余的标准 Transformer 后缀。
  可行性掩码确保所有采样的程序都保持在层边界和预算限制内。
学习过程： MACRO 采用一种分布估计方法。从一个前向偏置的先验开始（其中标准顺序路径概率最高），该框架迭代地采样候选路由程序，在训练数据的子集上评估它们，并使用加权极大似然法更新马尔可夫转移矩阵。高性能的路由会被赋予指数级的权重，以精炼策略。经验回放缓冲区通过保留先前迭代中样本的覆盖范围来确保稳定的收敛。
解码与选择： 不同于依赖随机采样或每测试时搜索的方法，MACRO 使用 Top-k Viterbi 算法 从学习到的策略中确定性地解码出概率最高的有效路由程序。结构可行性掩码被集成到 Viterbi 递归中。最终路由通过在留出验证集上评估 Top-k 候选者来选择，选取准确率最高的路径。

核心贡献

参数高效型框架： MACRO 为冻结和量化 LLM 中的自适应层路由引入了一种轻量级、上下文相关的马尔可夫策略，无需更新模型的权重。
精确解码方案： 本文提出了一种配备结构可行性掩码的精确 Top-k Viterbi 解码方案。这消除了对每样本测试时搜索、辅助神经网络训练或真值推理预言的需求。
经验优越性： 该框架在多种推理和知识基准测试中，相对于非路由基线和现有的动态路由方法展现出一致的性能提升。

结果
在多个开源 LLM（包括 Qwen3 变体、Mixtral 和 DeepSeek-R1-Distill）以及 GSM8K、MATH500、MedQA 和 MMLU-Pro 等基准测试上的评估结果如下：

准确率增益： MACRO 相比未路由基线实现了平均 +5.0% 的准确率提升。在较小模型上增益最为显著（例如，Qwen3-1.7B 提升了 +12.68%）。
与 SOTA 对比： MACRO 在平均准确率上比领先的动态路由方法 Dr.LLM 高出 +7.2%。
效率： 路由搜索过程显著更高效，与 Dr.LLM 相比，搜索时间减少了 9.4 倍（从每个基准测试 14.8 小时降至 1.6 小时）。
鲁棒性： 统计显著性检验确认，MACRO 在提升性能的同时，并未降低任何测试模型的性能。
机制洞察： Logit-lens 分析表明，路由提升性能并非通过改变模型的内部推理能力，而是通过更好地暴露已经存在于内部的答案，防止其在输出端附近被抑制。

意义与主张
本文声称 MACRO 是使动态计算在冻结 LLM 中变得实用的重要一步。通过将路由形式化为马尔可夫过程，作者克服了以往方法（如 MCTS 驱动的训练）的计算成本和数据需求。该工作认为，路由是一种更有效地“诱导”内部已存在答案的机制，而非从根本上改变模型的学习表示。作者认为，这种方法应进一步扩展到实现输入依赖的动态路由，从而为 LLM 提供一个新的灵活的测试时缩放维度。该方法在提升小模型性能以及与量化模型兼容性方面的表现尤为显著，表明其在资源受限环境中的广泛适用性。

技术摘要：MACRO —— Transformer 层级的马尔可夫链路由

类似论文