💻 computer science

Dynamic Sparse Attention and Mixture-of-Experts for Iterative Visual Classification

本文提出了一种用于迭代视觉分类的动态稀疏注意力与混合专家（Mixture-of-Experts）Transformer，该模型通过递归细化和条件计算，在标准基准测试上实现了具有竞争力的准确率，同时显著减少了活跃参数量和训练时间。

原作者： Ahsan Umar

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahsan Umar

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个棘手的谜题，比如弄清楚一张模糊照片中隐藏着什么动物。大多数计算机程序表现得就像一个人，只是扫一眼照片，快速做出一个猜测，然后立即把这个想法锁进脑海。它们不会回头看，即使感到不确定也是如此。这篇论文生活在计算机视觉（Computer Vision）的世界里，在那里，科学家们教机器如何“看”并理解图像。这里的大核心思想是迭代优化（Iterative Refinement），这只是一个高级说法，意思就是“尝试、思考、再尝试”。与其进行一次性的猜测，不如让计算机保持一份不断更新的想法清单，检查自己的工作，并逐步更新答案，就像侦探随着新线索的出现而不断修正理论一样。该论文还解决了**条件计算（Conditional Computation）**的问题，这是一个关于系统不会一次性动用所有脑力的概念；相反，它只唤醒处理当前任务所需的特定大脑部分，从而节省能量和时间。为什么这很重要？因为随着图像变得越来越复杂，如何在不让计算机变慢或变贵的前提下让其思考得更深入，是构建更智能、更高效人工智能的关键。

这项研究引入了一种巧妙的新方法，让计算机可以玩这种针对图像的“猜想与检查”游戏。研究人员构建了一个模型，它表现得像一个带着一本不断增长的笔记本的侦探。每当模型采取一步来优化其猜测时，它都会在历史记录中添加一条新笔记。但问题在于：随着笔记本变得越来越长，阅读每一条笔记会变得既缓慢又乏味。为了解决这个问题，论文使用了两个特别的技巧。首先，它采用了动态稀疏注意力机制（Dynamic Sparse Attention, DSA）。想象一下这位侦探有一个规则：“除非笔记本比六条短，否则只读最后六条笔记。”随着侦探工作时间的延长，这个规则就会生效，迫使他们忽略那些较旧且不太相关的笔记，只专注于最重要的部分。这节省了大量的精神能量。其次，该模型使用了混合专家模型（Mixture-of-Experts, MoE）。把这想象成一个由四位专家组成的团队在共同破案。与其在每一个线索面前都询问所有四位专家，不如让模型充当一名聪明的经理，每次只针对特定的线索请出其中的两位。这意味着计算机不需要做那么多数学运算就能完成任务。

研究人员在四种不同的图像谜题上测试了这个“拥有选择性记忆的侦探”：CIFAR-10、CIFAR-100、MNIST 和 FashionMNIST。他们将这种新方法与那些每次都要阅读所有笔记并动用所有四位专家的标准模型进行了对比。结果表明，这种新方法非常高效。在 CIFAR-10 数据集上，新模型的准确率达到了 92.3%，比标准模型略高。更重要的是，它在实现这一目标时使用的“活跃”脑力显著减少。论文指出，新模型将活跃参数的数量从 1313 万减少到了 710 万。在原始计算量方面，新模型在每个处理块所需的乘加运算次数仅为标准模型的 0.52 倍。在现实世界中，这转化为了更快的训练时间，从每轮（epoch）的 180 秒降至 165 秒。

然而，论文也谨慎地表示，这并非一场完美的胜利。作者指出，虽然改进是积极的，但幅度很小，并且仅使用了一个“种子”（即计算机中随机数的一个特定起始点）进行了测量。这意味着微小的准确率差异可能仅仅是运气，而非保证的规律。他们还发现，对记忆过于吝啬并不会奏效；如果他们告诉模型只能看最后 2 条笔记（预算为 k=2），那么 CIFAR-10 的准确率会下降 3.2 个百分点。但一个适度的 6 条笔记预算效果最好，在不影响最终得分的情况下创造了 36% 的平均稀疏度。研究结论认为，虽然这种递归式、条件化的方法在保持高准确率的同时减少工作量方面展现出了前景，但仍需要通过不同的起始点进行更多测试以证明其真正的可靠性。这是一个强烈的暗示，即更聪明、更具选择性的思考是可能的，但最终的定论尚未盖棺定论。

技术摘要：用于迭代视觉分类的动态稀疏注意力与混合专家模型

问题陈述

标准的视觉分类器通常进行单次前向传播，将图像转换为标签，而无法在形成不确定预测后对其进行修正。虽然迭代细化在循环网络和结构化预测中已被证明有效，但在应用于自然图像时存在两个特定挑战：

表示（Representation）： 模型需要一种足够紧凑的视觉表示，以便在不产生过度内存开销的情况下被重复访问。
计算效率（Computational Efficiency）： 对不断扩张的潜状态历史进行重复注意力计算，除非模型能够在每一步中选择性地关注相关的状态和参数，否则计算成本会呈二次方增长。

现有的递归模型通常依赖自回归解码或固定长度序列，这在扩展性方面可能效率不高，也无法为视觉任务提供透明的推理轨迹。

方法论

本文提出了一种递归视觉分类器，通过紧凑的 Transformer 架构在多个步骤中细化类别假设。其核心设计集成了三个关键组件：

1. x/y/z 递归公式

模型维护三个不同的信息流：

$x_{feat}$ ： 由轻量级卷积编码器（三个卷积池化阶段后接全局平均池化）生成的全局图像嵌入。
$y_t$ ： 在每一步更新的类别预测标记（token）。
$Z_t$ ： 包含先前潜状态序列 $(z_0, \dots, z_t)$ 的潜在历史缓冲区。

在每个递归步骤 $t$ ，Transformer 的输入是全局嵌入、前一个预测标记以及整个累积的潜在历史的拼接： $h_t = [x_{feat}; y_{t-1}; Z_{t-1}]$ 。因此，序列长度随递归深度线性增长（ $L_t = t + 2$ ）。

2. 动态稀疏注意力 (Dynamic Sparse Attention, DSA)

为了管理不断增长的序列长度，作者引入了 DSA，这是一种基于相关性得分选择注意力子集的机制。

机制： 一个轻量级的索引网络根据头平均查询表示（head-averaged query representation）对序列中的每个标记进行评分。得分最高的 top- $k$ 个标记被选中进行注意力计算。
动态稀疏性： 由于序列长度 $L_t$ 会增长，当 $L_t \le k$ 时，注意力机制是稠密的（选择所有标记）。只有当历史记录超过注意力预算 $k$ 时，它才会变为真正的稀疏。这使得模型在早期步骤中进行稠密细化，而在后期步骤中进行选择性细化。
实现： DSA 在不同注意力头之间使用共享的键（Key）和值（Value）投影（类似于多查询注意力 Multi-Query Attention 风格），以进一步降低投影成本。

3. 混合专家模型 (Mixture-of-Experts, MoE)

Transformer 块的前馈子层被替换为 MoE 层，以减少活跃计算量。

配置： 该层包含 $E=4$ 个专家，每个专家的隐藏宽度等于嵌入维度 $d$ 。门控机制将每个标记路由至 top $m=2$ 个专家。
负载均衡： 应用辅助损失函数以防止路由塌陷，确保专家的均匀利用。

4. 评估变体

研究在 CIFAR-10、CIFAR-100、MNIST 和 FashionMNIST 上对比了三种配置：

SA-MLP： 标准稠密注意力配合稠密前馈层（基准模型）。
SA-MoE： 标准稠密注意力配合 MoE 前馈层。
DSA-MoE： 结合了动态稀疏注意力的 DSA 与 MoE。

核心贡献

维度明确的递归模型： 一种统一的架构，连接了全局图像表示、预测标记和不断增长的潜在历史，继承了先前工作（TRM）中的 $x/y/z$ 递归特性，但将其适配于视觉嵌入。
动态稀疏注意力公式： 一种新型注意力机制，其中稀疏性是递归深度的函数，并提供了关于机制何时从稠密过渡到稀疏的精确交点分析。
统一的效率分析： 对稠密注意力、专家路由及其组合进行了全面的比较，区分了存储参数、活跃参数、理论乘加次数（multiply-add counts）以及实测训练时间。
内部轨迹的可解释性： 对标记角色交互和路由动态进行了分析，阐明了模型是基于标记角色（图像摘要、假设、历史）而非空间图像区域来细化预测，这是由于使用了全局池化。

实验结果

实验是在单张 RTX 3090 GPU 上使用单一随机种子（42）进行的。

准确率： 所选的 DSA-MoE 运行点（16 个递归步、硬嵌入、 $k=6$ ）在所有数据集上均实现了最高的单种子准确率：
- CIFAR-10： 92.3%
- CIFAR-100： 69.2%
- MNIST： 98.7%
- FashionMNIST： 92.3%
- 注：与稠密基准（SA-MLP）相比，这些增幅较小（0.2–0.7 个百分点），且运行点在深度和嵌入策略上有所不同。
效率：
- 活跃参数： DSA-MoE 将理想的活跃参数从 13.13M（SA-MLP）降低至 7.10M。
- 计算量： Transformer 块的理论乘加比相对于稠密基准降低至 0.52×。
- 训练时间： 实测训练时间从 180 秒/轮（SA-MLP）降至 165 秒/轮（DSA-MoE），降幅约为 8.3%。
消融实验发现：
- 稀疏预算 ( $k$ )： 中等的预算 $k=6$ 提供了最佳的权衡，提供了 36% 的平均稀疏度。将 $k$ 减少到 2 会使稀疏度增加到 75%，但会导致准确率大幅下降（在 CIFAR-10 上下降了 3.2 个百分点）。
- 递归深度： 性能通常从 4 步到 8–12 步呈现提升趋势，且 DSA-MoE 在高达 16 步时仍能持续改善。

意义与主张

本文提出了一个适度但集中的主张：递归条件计算可以在保持竞争性分类准确率的同时，减少活跃计算量。

作者强调：

准确率的提升较小，在统计学上需要多种子验证来确认。
主要优势在于减少活跃计算（参数和 FLOPs），而非实现原始准确率的巨大飞跃。
“增长序列”的设计至关重要；如果没有不断扩张的历史，top- $k$ 机制将保持稠密，从而无法提供效率增益。
内部轨迹揭示了标记角色之间的交互（例如，对图像摘要 vs. 历史的依赖），但由于前端使用了全局池化，因此无法提供空间归因。

研究结论认为，虽然特定的 DSA-MoE 配置表现出良好的结果，但其收益幅度很大程度上取决于递归深度、稀疏预算和路由配置。未来的工作应侧重于多种子统计验证、支持区域级注意力的空间标记化（spatial tokenization）以及自适应停止机制。