🤖 AI

When to Think Fast and Slow? AMOR: Adaptive Entropy Gate for Hybrid Models

本文介绍了 AMOR，一种自适应混合架构，它仅在循环主干网络的预测不确定性较高时选择性地调用注意力块，从而在仅对约 22% 的 token 使用注意力的情况下，提高了各种基准测试中的效率和鲁棒性。

原作者： Haoran Zheng, Chen Shani

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoran Zheng, Chen Shani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《AMOR：混合模型的自适应熵门》的通俗解释，辅以日常类比。

核心难题：“全天候”的大脑

想象你在读一本书。大多数时候，故事流畅易读。你知道下一个词是什么，因为它是常见短语，比如“天空是……"（你会立刻猜到“蓝色”或“灰色”）。你不需要停下来苦思冥想；你的大脑处于“自动驾驶”模式。

然而，有时你会遇到棘手的句子、生僻的词汇或复杂的情节转折。突然间，你的大脑必须停下来，集中注意力，并深入记忆库去弄清楚接下来会发生什么。

当前的 AI 模型（如驱动聊天机器人的那些）并不真正这样做。它们以完全相同的方式处理每一个单词。即使答案显而易见，它们仍会为每个单词运行其最昂贵、最耗能的“思考”过程（称为注意力机制）。这就像用强大的搜索引擎去找你明明知道放在哪里的家门钥匙。虽然能行，但这浪费了时间和能量。

另一方面，存在更简单、更快速的 AI 模型（称为循环模型），它们非常擅长“自动驾驶”。它们运行速度快且成本低。但它们有一个缺陷：当故事变得过于复杂，或需要记住 100 页之前的内容时，它们会感到困惑并犯错，因为它们的“短期记忆”太小了。

解决方案：AMOR（智能交通指挥）

作者创建了一个名为AMOR（自适应元认知输出路由器）的新系统。将 AMOR 想象成一名智能交通指挥，或者一位位于快速“自动驾驶”与缓慢、强大的“搜索引擎”之间的“元认知”（关于思考的思考）管理者。

以下是其工作原理，分步说明：

1. “不确定性计”（熵门）

在 AI 决定如何处理一个单词之前，AMOR 会问一个简单的问题：“我对接下来的内容有多确定？”

高置信度：如果 AI 有 99% 的把握在“天空是”之后是“蓝色”，它就会说：“没必要调用重型机械。直接使用快速自动驾驶即可。”
低置信度：如果 AI 感到困惑（高“熵”或不确定性），它就会说：“这很棘手！我们需要暂停并动用强大的搜索引擎（注意力机制）来弄清楚。”

2. “混合”团队

AMOR 结合了两种类型的 AI：

短跑选手（循环骨干）：一个快速、轻量级的模型，负责处理简单内容。它就像一名能不知疲倦地奔跑的短跑运动员。
侦探（注意力块）：一个强大、重型的模型，可以回顾整个文本历史来解决难题。它就像一名能查阅案件中所有档案的侦探，但这需要很长时间且成本高昂。

AMOR 让短跑选手完成 75%–80% 的工作。它仅在短跑选手卡住的剩余 20%–25% 的单词上调用侦探。

为何这意义重大

1. 它就像“系统 1"和“系统 2"思维

该论文借鉴了人类心理学（出自丹尼尔·卡尼曼的著作《思考，快与慢》）：

系统 1：快速、自动且毫不费力（短跑选手）。
系统 2：缓慢、深思熟虑且合乎逻辑（侦探）。
AMOR 模仿了人类实际的思考方式。我们不会为每一个念头都动用全部脑力；只有遇到难题时，我们才会切换到“深度思考”。

2. 它在节省能量的同时不失智能

研究人员在不同规模的 AI 模型上测试了这种方法。他们发现：

速度：由于 AI 大部分时间都跳过了繁重的“侦探”工作，因此运行得更快、成本更低。
智能：令人惊讶的是，它并没有变笨。事实上，它往往比那些试图对所有内容都使用“侦探”的模型更“聪明”。通过将深度思考保留给困难部分，该模型在逻辑谜题和长故事上的表现更好。
长记忆：当阅读非常长的文本（如整本小说）时，其他混合模型往往会感到困惑并迷失方向。AMOR 保持稳定，因为它没有将“注意力”浪费在显而易见的单词上，而是将能量保留给了真正重要的部分。

论文中的现实世界示例

想象这句话：“埃菲尔铁塔是位于巴黎战神广场的一座格构式铁塔。”

简单部分：像“埃菲尔”、“是”、“一座”、“在”和“巴黎”这样的词非常可预测。AMOR 的门保持关闭。快速短跑选手瞬间处理这些词。
困难部分：像“格构式”（一种特定结构）或“战神广场”（一个特定地点）这样的词较难预测。AMOR 的门打开。它启动“侦探”回顾上下文，确保它理解塔与地点之间的关系。

结论

该论文认为，何时动用大脑的重负荷能力，与动用多少同样重要。

AMOR 是一个简单而巧妙的开关，它告诉 AI：“不要过度思考简单的事情。将你的深度思考留给困难的事情。”这使得 AI 更快、更便宜，且出人意料的更稳健，而无需教导 AI 新的学习方式——只需一种新的思考时机决策方式。

技术摘要：AMOR（自适应元认知输出路由器）

问题陈述

循环注意力混合模型旨在结合线性循环状态空间模型（SSM）的推理效率与注意力机制的表达能力。然而，现有的混合架构通常依赖固定调度策略，即对所有 token 统一应用注意力，或在预定义的层（例如每 $N$ 层）应用注意力。这种方法即使在循环状态本身已足以以高置信度预测下一个 token 时，仍会承担注意力机制的全部二次方成本（ $O(N^2)$ ）。因此，这些模型未能充分利用 SSM 的效率增益，特别是在长上下文场景中，不必要的注意力块带来的计算开销成为瓶颈。此外，固定混合模型在分布偏移（例如长度外推）下往往表现退化，因为它们强制使用了可能未针对特定输入难度进行校准的注意力机制。

方法论：AMOR 架构

作者提出了AMOR（自适应元认知输出路由器），这是一种后验混合架构，它基于预测不确定性而非固定位置动态分配注意力。

核心架构

AMOR 构建于标准循环骨干网络之上（在 Mamba2 和 Gated DeltaNet 上进行了测试），并在循环层之后、最终语言模型头（LM head）之前附加了 $K$ 个（通常为 3 个）由熵门控的注意力块。

骨干网络：循环混合器处理整个序列，维持固定大小的状态。
后验块：与替换循环层的串行混合模型不同，AMOR 块是累加式的。它们作用于骨干网络的归一化输出。
非对称性：第一个 AMOR 块（Block 0）直接作用于骨干网络的最终归一化残差（后归一化），而后续块（1 和 2）采用标准的预归一化公式。这种设计将骨干网络保留为一个独立的、有效的语言模型，将 AMOR 块视为条件性细化。

熵门控机制

核心创新是一种受认知科学中系统 1/系统 2 区分（Kahneman, 2011）启发的硬性、无梯度门控机制。

不确定性估计：对于每个 token，共享的语言模型头计算 logits。从 softmax 分布中计算归一化输出熵（ $H_t$ ）。
自适应阈值：动态阈值 $\tau$ 计算为批次中位数熵（ $\mu$ ）的指数移动平均（EMA）加上缩放后的标准差（ $\kappa\sigma$ ）：
$\tau = \mu + \kappa\sigma$
这使得阈值能够在训练期间跟踪模型不确定性分布的偏移，而无需学习路由器参数。
条件执行：
- 如果 $H_t > \tau$ ，门控触发（ $g_t=1$ ）：该 token 经过带有 RoPE 的因果注意力（SDPA），其输出通过一个可学习的每通道缩放因子 $\alpha$ 添加到残差中。
- 如果 $H_t \le \tau$ ，门控保持非激活（ $g_t=0$ ）：跳过注意力计算，token 原样通过。
梯度流：门控是不可微的。梯度仅通过触发位置的注意力权重（ $W_Q, W_K, W_V, W_O$ ）流动。关键在于， $W_K$ 和 $W_V$ 接收来自未来触发位置的梯度，以确保即使当前 token 跳过了注意力，KV 缓存对于检索仍然有效。

训练与推理

训练：AMOR 使用 FlashAttention-2 以“带掩码的稠密”模式进行训练，在数学上等同于真正的稀疏执行。阈值 $\tau$ 在推理时冻结。
推理：模型执行条件跳过。当门控关闭时，昂贵的 $Q$ 投影、注意力计算和 $O$ 投影被绕过，从而节省计算量。然而， $K$ 和 $V$ 投影及缓存更新始终发生，以维持上下文连续性。

主要贡献

不确定性驱动的路由：AMOR 引入了一种简单的后验机制，仅当循环骨干表现出高预测不确定性（高熵）时才选择性地调用注意力，而不是依赖固定的层调度。
参数高效的混合化：该方法仅增加了极少的参数开销（门控和注意力块约为 <5%），同时实现了与固定调度混合模型相当甚至更优的性能。
对分布偏移的鲁棒性：通过依赖循环骨干处理低不确定性 token，AMOR 减轻了固定混合模型在长度外推期间出现的性能退化，而在这些情况下，注意力机制往往受位置漂移的影响。
无梯度门控：该方法避免了学习路由器或强化学习的复杂性，使用源自模型自身输出分布的统计阈值。

实验结果

作者在三个规模（1.8 亿、4.4 亿、15 亿参数）上评估了 AMOR，使用 Mamba2 和 Gated DeltaNet 骨干网络，与纯循环模型、纯 Transformer 以及固定调度的串行/融合混合模型进行了比较。

常识推理：在所有规模和基准测试（LAMBADA、HellaSwag、PIQA、ARC 等）中，AMOR 始终与纯循环骨干和固定调度混合模型持平或超越它们。
上下文内检索：虽然纯循环模型在精确复制检索方面表现挣扎，但 AMOR 在其骨干基础上大幅改进，在仅激活约 22% 的 token 进行注意力的情况下，取得了与固定混合模型具有竞争力的结果。
长上下文性能：在 LongBench 基准测试中，随着上下文长度增加，AMOR 保持了稳定的性能。相比之下，固定调度混合模型和纯 Transformer 由于 RoPE 分布偏移和内存限制而显著退化。AMOR 跳过可预测 token 的注意力的能力使其能够更优雅地扩展。
推理效率：AMOR 在长上下文区域表现出更好的解码吞吐量扩展性。理论分析和实证基准测试（高达 448K 上下文）表明，一旦上下文长度超过某个交叉点（4.4 亿参数模型约为 256K），跳过注意力带来的节省将超过熵计算的开销。

意义与主张

该论文认为，何时应用注意力与应用多少同样关键。作者声称：

效率与表达能力并非权衡关系：通过将计算分配视为基于输入难度的路由问题，模型可以在不付出注意力全部成本的情况下实现高表达能力。
简单性即有效：不需要复杂的学习路由器或辅助目标；一个简单的、输出驱动的熵门控可以有效地协调混合架构。
自适应计算：AMOR 指向一类能够根据输入难度动态匹配计算的模型，既保留了轻量级状态空间骨干的优势，又仅在模型不确定时选择性部署重型注意力机制。

结果表明，基于预测不确定性的选择性注意力分配为均匀或固定路由策略提供了一种稳健的替代方案，特别适用于长上下文生成和检索任务。