🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

本文介绍了 SEMA，这是一种可扩展且高效的注意力机制，它结合了用于防止权重分散的标记定位（token localization）与用于捕捉全局上下文的算术平均法，从而在图像分类任务中超越了现有的线性注意力模型和视觉 Mamba 模型。

原作者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别照片中的猫。为了做到这一点，机器人使用了一种叫做“注意力”（attention）的特殊工具，它就像一束聚光灯。这束聚光灯会扫描整个图像，决定哪些像素是重要的（比如猫的耳朵），哪些只是背景噪声（比如模糊的树木）。问题在于，随着照片变得越来越大，聚光灯必须检查每一个像素与所有其他像素之间的关系。如果照片很小，这很快；但如果照片巨大，机器人就会不堪重负，在还没来得及说出“猫”这个词之前，就因为花费太多时间建立连接而耗尽了电池。

科学家们曾尝试通过让聚光灯变成“线性”来解决这个问题，即让它以一种更简单、更快速的直线方式进行检查。但这里有一个陷阱：这些快速的聚光灯往往会失去焦点。随着图像变大，它们开始把每一个像素都视为同样重要，就像一盏亮度被调得极低的电筒，只是在整个房间里均匀地散发着微光。机器人不再能看到猫，而是看到了一团灰色的模糊影象。这篇由加州大学欧文分校和高通人工智能研究中心的研究人员撰写的论文，正是针对这一问题展开研究的。他们想要构建一个既能处理巨型图像，又能保持细节清晰的聚光灯。

由 Nhat Thanh Tran 及其同事领导的研究团队发现了一个解释为什么这些快速聚光灯会失效的数学真理：当像素（或称“标记/tokens”）的数量趋向于无穷大时，注意力机制会自然地扩散并变得毫无用处。他们将这种现象称为“弥散”（dispersion）现象。这就像是在体育场里试图听清一声耳语；如果你试图同时倾听所有人，最终只会听到一片噪音。论文证明了，无论你如何调整这些快速注意力工具的数学公式，只要图像变得足够大，它们最终都会失去焦点。

为了解决这个问题，该团队发明了一种名为 SEMA（可扩展且高效的类 Mamba 注意力机制）的新方法。他们并没有与数学规律对抗，而是决定顺应它。他们意识到，虽然聚光灯应该聚焦于特定细节，但它也需要一种理解“大局”而不至于迷失的方法。因此，他们设计了一个由两部分组成的系统。首先，他们使用了标记局部化（Token Localization），这就像是给聚光灯开了一个小窗口进行观察。它一次只关注一小片邻近的像素，确保自己既不会被压垮，也不会被分心。这保持了焦点的锐利。

但通过小窗口观察也有缺点：如果机器人只看一只爪子，它可能会错过整只猫。为了解决这个问题，SEMA 添加了第二步：平均化（Averaging）。这就像是对整个房间进行一次快速、模糊的快照，并将其与细节视图相结合。研究人员在数学上证明了，当图像变得巨大时，捕捉图像“全局”感的最佳方式就是简单地将所有内容进行平均。通过将锐利的局部窗口视图与这种简单的全局平均相结合，SEMA 兼顾了两者的优点。

论文显示，这种方法效果极佳。当他们在 ImageNet-1K 等标准图像数据集上测试 SEMA 时，它的表现优于包括近期出现的“Mamba”模型在内的其他流行模型，尤其是在处理超大图像时。例如，当图像尺寸增加到 1024x1024 像素时，其他模型表现挣扎，准确率大幅下降，而 SEMA 不仅保持强劲，甚至还有所提升。研究人员还发现，SEMA 比竞争对手更快，处理大图像所需的时间更短。

论文中最有趣的部分之一是他们如何处理“弥散”问题。他们没有试图强行让注意力保持锐利（这会破坏数学逻辑），而是接受了对于巨型图像而言，注意力应当扩散的事实。他们利用这种扩散特性，通过使用简单的平均值来代表全局信息。这有点像意识到，如果你有一百万个朋友，你无法记住每一个人的每一个细节，但你可以记住这个群体的整体氛围。SEM 会记住即时邻域的细节和整个群体的整体氛围，从而让它无论照片有多大，都能完美地识别出那只猫。

作者在各种任务中测试了他们的想法，从识别物体到寻找图像中的特定部分（分割）。在每种情况下，SEMA 都展示了它能在不“发疯”的情况下扩展到更大的图像。他们甚至表明，随着图像变大，“平均化”部分变得越来越重要，这证明了他们的理论：这个简单的步骤对于处理海量数据至关重要。虽然论文的重点是计算机视觉，但团队表示，这个想法可以帮助解决涉及长序列数据的其他问题，例如分析巨大的医学扫描图像。

简而言之，SEMA 是一个聪明的技巧，它承认当聚光灯变得过宽而不再有用时，应切换到另一种策略：仔细观察附近的细节，并对剩余部分进行快速、简单的平均。这是一种可扩展、高效且符合数学逻辑的方法，能帮助计算机即使在世界变得非常宏大时，依然能清晰地观察世界。

技术摘要：SEMA —— 一种通过令牌局部化与平均化实现的可扩展且高效的类 Mamba 注意力机制

1. 问题陈述

本文解决了将注意力机制应用于计算机视觉任务时的两个主要挑战：

计算复杂度： 传统的全量注意力（基于 softmax）表现出相对于输入规模的二次方计算复杂度（ $O(n^2)$ ），这对于高分辨率图像来说是难以承受的。
弥散现象（The Dispersion Phenomenon）： 旨在实现线性复杂度的线性注意力变体，往往面临无法聚焦相关信息的问题。随着令牌数量（ $n$ ）的增加，这些机制往往会发生“弥散”，即向所有键（keys）分配几乎相等的权重，从而失去了 softmax 注意力固有的判别能力。

虽然最近的工作如 Mamba（状态空间模型）和 MILA（受 Mamba 启发的线性注意力）试图解决这些问题，但作者观察到，线性注意力机制仍然缺乏表达性的聚焦能力，且现有的解决弥散的方法（例如自适应温度或微分注意力）通常是启发式的，或者在理论上仍会在极限情况下受到弥散的影响。

2. 方法论

2.1 理论基础：广义注意力与弥散

作者首先建立了一个涵盖了传统 softmax 注意力和线性注意力的广义注意力框架。他们定义了一个 $\Phi$ -归一化注意力机制，其注意力系数由连续归一化函数 $\phi$ 决定。

核心理论结果（弥散定理）：
论文证明，对于任何连续归一化函数 $\phi$ ，当令牌数量 $n$ 趋于无穷大时，注意力系数不可避免地会弥散。也就是说，分配给任何特定键的注意力权重趋于零（ $\Theta(1/n)$ ），实际上是将权重等同地分配给了所有令牌。

这对于 vanilla softmax ( $\phi(x) = \exp(x)$ ) 和线性注意力 ( $\phi(x) = x$ ) 均成立。
该证明依赖于输入特征空间的紧致性和相关函数的连续性。
作者指出，尽管微分注意力试图减轻噪声，但在理论上仍受制于弥散效应（ $\Theta(1/n)$ ）。

2.2 提出的解决方案：SEMA

受证明的弥散属性启发，作者设计了 SEMA（Scalable and Efficient Mamba-like Attention，可扩展且高效的类 Mamba 注意力）。其核心理念是在拥抱全局注意力渐近行为（弥散）的同时，保留局部聚焦能力。

SEMA 结合了两个组件：

令牌局部化（窗口注意力）： 为了在局部上下文中保持 vanilla 注意力对高频特征的“聚焦”特性，SEMA 采用了局部窗口注意力机制。它限制每个查询（query）仅与预定义窗口内的固定数量的键进行交互，从而防止在该局部语境内发生弥散。
理论平均化（全局近似）： 为了在不引入二次方复杂度或遭受全量线性注意力弥散影响的情况下捕捉全局注意力，SEMA 引入了一个算术平均项。
- 基于渐近分析，作者认为在 $n$ 很大的极限情况下，全量注意力的全局部分可以通过所有值向量（values）的简单平均（ $\frac{1}{n}\sum v_j$ ）来近似。
- 这作为一个“同质混合”或低通滤波器，能够高效地聚合全局信息。

公式表示：
对于查询 $q$ 、键 $K$ 、值 $V$ 以及窗口大小 $w$ ，SEMA 注意力定义为：
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
其中 $A_{\Phi}$ 是窗口化注意力（使用 softmax 或线性变体），第二项是广播的全局平均值。

2.3 架构

SEMA 被集成到一个类 Mamba 的宏观架构中（类似于 MILA）。作者使用 SEMA 块替换了 MILA 中的线性注意力块。与 MILA 不同，SEMA 包含了对值 $V$ 的线性投影，作者发现这对于性能是必要的，虽然略微增加了参数量，但保持了效率。

3. 核心贡献

弥散性的理论证明： 论文提供了严谨的数学证明，证明了无论使用何种特定的连续归一化函数，广义注意力（包括 softmax 和线性变体）在令牌数量趋于无穷大时都会发生弥散。
SEMA 设计： 一种新型注意力机制，利用令牌局部化来避免局部弥散，并利用算术平均在理论上近似全局方面，提供了一种可扩展的线性注意力替代方案。
实验验证： 证明了 SEMA 在标准基准测试中（特别是在图像分辨率增加时）优于近期的视觉 Mamba 模型（如 VMamba）和线性注意力基线（MILA）。

4. 实验结果

4.1 ImageNet-1K 分类

标准分辨率 (224²): SEMA-T 实现了 83.7% 的 Top-1 准确率，在参数量相近（~26M）的情况下优于 MILA-T (83.3%) 和 DefMamba (83.5%)。
可扩展性（更高分辨率）： 最显著的提升出现在更高分辨率下。
- 在 1024² 分辨率下，VMamba-T 显著下降（不进行微调为 74.7%，进行微调为 83.4%），而 SEMA-T 保持了鲁棒性（不进行微调为 75.4%，进行微调后为 84.2%）。
- 在不进行微调的情况下，SEMA 与 VMamba 之间的差距在 1024² 时扩大到了 7.3%，表明 SEMA 对令牌数量增加具有更强的抵抗力。

4.2 下游任务

COCO（实例分割）： 使用 Mask R-CNN，SEMA-T 在 1x 和 3x 训练计划下的所有指标（AP, AP50, AP75）中均达到了最先进或前二的性能，超越了 MILA-T 和 VMamba-T。
ADE20K（语义分割）： SEMA-T 实现了 48.2 mIOU（单尺度），优于 VMamba-T (47.9)，并在多尺度设置下保持竞争力。

4.3 效率

推理时间： SEMA 展示了卓越的运行时可扩展性。在 1024² 分辨率下，SEMA 比 MILA 快约 33%。在 2048² 分辨率下，这种加速效果更加明显，证实了其平均化组件具有线性复杂度的优势。

4.4 消融实验

值投影（Value Projection）： 移除值投影层会导致准确率下降约 0.8%，凸显了其重要性。
平均化组件： 在 224² 分辨率下，平均化项的贡献极小（约 0.2%）。然而，随着分辨率增加到 672²，其贡献显著增长（不进行微调时提升了 2.2%），验证了作者的理论主张，即随着令牌数量上升和弥散效应加剧，平均化变得至关重要。

5. 意义与主张

论文声称 SEMA 为线性注意力的弥散问题提供了一个有理论依据的解决方案。通过证明弥散是全局注意力在极限情况下的固有属性，作者证明了使用算术平均作为有效的全局近似是合理的。

SEMA 的意义在于其能够：

有效缩放： 它在图像分辨率（及令牌数量）增加时能保持性能和效率，而这正是当前基于 Mamba 的视觉模型的已知弱点。
平衡局部与全局： 它成功地将窗口注意力的聚焦能力与平均化的全局上下文结合起来，既避免了全量注意力的二次方成本，也避免了纯线性注意力带来的“模糊”聚焦。
提供鲁棒的替代方案： 它为计算机视觉任务提供了一个可扩展且高效的替代方案，特别是在涉及大型输入或长序列（例如医学影像）的场景中，这些场景下的令牌数量可能比标准图像分类高出几个数量级。

作者总结道，虽然平均化组件在标准分辨率下作用有限，但在大令牌量级下，它提供了一个关键的“安全网”和性能提升，使得 SEMA 成为可扩展视觉架构的鲁棒选择。