💻 computer science

Sparse Attention for Dense Open-Vocabulary Prediction in CLIP

本文提出通过将 CLIP 最终视觉自注意力层中的标准 softmax 替换为稀疏 $\alpha$ -entmax 变换，以消除来自无关标记的噪声，从而显著提升在语义分割和细粒度检索等密集开放词汇预测任务上的性能。

原作者： Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Fatimah Zohra, Chen Zhao, Shuming Liu, Bernard Ghanem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：过度热情的 AI

想象你有一个非常聪明的 AI 助手（叫做 CLIP），它读过数百万本书，也看过数百万张照片。它非常擅长理解图像的整体“氛围”。如果你给它看一张马的照片，它知道：“啊，这是一匹马！”

然而，这篇论文指出一个特定的问题：CLIP 太“礼貌”了。

当 AI 观察图像以寻找特定细节（比如“马蹄的具体位置在哪里？”）时，它试图同时关注图像中的所有内容。这就像一个正在参加考试的学生，不去专注于具体的题目，而是试图同时阅读教科书里的每一个字。结果呢？重要的细节被淹没在由无关背景噪声（如天空、草地或骑手）组成的海洋中。

问题所在：“Softmax”式的人群控制

在 AI 的大脑中，有一个名为 Softmax 的机制。把 Softmax 想象成一位严厉的老师，她强迫 AI 将其“注意力点”（比如 100 美元的预算）分配到图像的每一个部分。

问题在于： 即使图像中的某一块只是蓝天的一片模糊区域，老师也会说：“你必须至少给它一分钱的注意力。”
结果： AI 的注意力变得“弥散”了。它把钱分得太薄，以至于根本无法真正专注于马蹄。信号在噪声中丢失了。

解决方案：“Entmax”过滤器

作者提议用一个新的规则替换掉那位严厉的老师（Softmax），这个新规则叫做 $\alpha$ -entmax（或者简称 Entmax）。

把 Entmax 想象成一个聪明的保安或一副降噪耳机。

它不再强迫 AI 关注所有事物，而是观察需要关注的对象列表。
它会说：“好吧，这块蓝天部分的得分非常低。它不重要。零注意力。”
它完全切断了那些低相关性项的“尾巴”。
然后，它将原本浪费在背景上的所有注意力点重新分配给那些真正重要的事物（即那匹马）。

神奇之处在于： 这一切都是自动发生的。AI 不需要重新训练或学习新课。我们只是改变了它在思考过程最后阶段分配注意力的规则。

类比：“嘈杂的房间” vs. “安静的图书馆”

旧方法 (Softmax)： 想象你在一个嘈杂的房间里试图听朋友说话。每个人都在说话，房间里非常吵，以至于你听不清朋友的声音。你试图听清所有人，结果什么也没听清。
新方法 (Entmax)： 现在，想象有一个过滤器，能瞬间让除了你朋友以外的所有人都保持沉默。突然间，房间安静下来，你朋友的声音变得清晰无比。你并没有改变你的朋友，你只是移除了背景噪声。

他们的研究发现了什么？

研究人员在两个主要任务上测试了它：

逐像素绘画（分割）： 尝试精确地涂色，标出物体的确切位置。
细粒度搜索： 根据微小的细节寻找特定物体（例如，“红色的马”对比“棕色的马”）。

结果：

当 AI 感到困惑时，效果最好： 如果 AI 本身已经把注意力分散到了到处都是（像一个乱糟糟的房间），Entmax 能完美地清理它，让 AI 更擅长寻找物体。
如果 AI 已经很专注，则帮助不大： 如果 AI 本来就在看正确的地点，使其变得更“稀疏”并不会带来太多帮助。
越大越好： 图像越详细（分辨率越高），“噪声”就越多。Entmax 在高分辨率图像上表现最为出色，因为那里有更多的噪声可以被剔除。

“自相关”的转折

论文还尝试了一个聪明的技巧。他们不再问 AI：“这个区域与其它所有区域相比看起来如何？”（这会导致噪声），而是问：“这个区域与其自身及邻近区域相比看起来如何？”

当他们将这种“自我聚焦”的视角与新的“Entmax”过滤器结合时，结果变得更加出色。这就像是在告诉 AI：“不要看整个人群；只看你自己的群体，然后忽略其他人。”

总结

这篇论文表明，少即是多。通过强制 AI 忽略无关的背景噪声，并只关注图像中最重要的部分，我们可以让它在寻找特定物体或绘制精确轮廓等细节任务上表现得更好——而且无需重新训练 AI 或在其大脑中添加任何新的组件。我们只是改变了“音量旋钮”，调低了静电噪音。

技术摘要：用于密集开集预测的 CLIP 稀疏注意力机制

问题陈述

对比语言-图像预训练（CLIP）及其大规模变体（如 EVA-CLIP、SigLIP）由于采用了对比训练目标，在全局图像级语义方面表现出色。然而，当应用于语义分割或细粒度区域检索等密集预测任务时，它们在空间定位方面表现较差。核心问题在于视觉编码器最后一层所使用的**密集 Softmax 型自注意力（dense softmax-based self-attention）**机制。

Softmax 会为每一对 Token 分配严格大于零的概率质量，包括语义无关的背景 Token。虽然这种“密集”分布在预训练期间对于收集广泛的上下文信息非常有效，但它会将注意力分散到低显著性的 Token 上，从而产生噪声，掩盖了像素级或区域级任务所需的精细、空间局部化的线索。现有的通过修改注意力“来源”（例如，从查询-键 $Q-K$ 切换为自相关 $Q-Q$ 或 $V-V$ ）的无需训练的方法虽然改善了定位能力，但未能解决 Softmax 归一化器（softmax normalizer） 在全局范围内扩散质量这一根本问题。

方法论

作者提出了一种无需训练、推理时替换的方法，即在冻结的 CLIP 编码器最后的视觉自注意力层中，用 $\alpha$ -entmax 变换替换行向 Softmax 归一化器。

$\alpha$ -entmax 变换

与基于香农熵正则化的 Softmax 不同， $\alpha$ -entmax 是由 Tsallis $\alpha$ -熵正则化项（ $\alpha \in (1, 2]$ ）推导而来的。

机制： 它对注意力分数应用一个数据依赖的阈值 $\tau$ 。低于该阈值的分数被精确映射为零，而剩余的分数则被重新归一化以求和为一。
效果： 这起到了隐式去噪器的作用，将上下文无关的依赖关系（即“长尾”部分的低相关性背景 Token）归零，并将概率质量重新分配到最相关的 Token 上。
参数： 该方法不引入可学习参数，且不对架构和预训练权重进行任何修改。当 $\alpha \to 1$ 时，它能平滑地泛化为 Softmax。

实验设置

本研究在两个主要任务上评估了这种替换方案：

密集语义分割： 在 Pascal VOC、Pascal Context 和 ADE20K 上的像素级预测。
细粒度开集目标检测（FG-OVD）： 侧重于属性辨别（颜色、材质、图案）的区域级识别。

作者测试了多种不同的注意力分数来源：

标准型 ( $QK^\top$ )： 原生的查询-键注意力。
自相关 ( $SS^\top$ )： 使用查询（ $Q$ ）、键（ $K$ ）或值（ $V$ ）投影的自乘积来替换查询-键乘积（例如， $Q-Q$ 、 $K-K$ 、 $V-V$ 以及它们的组合）。

实验是在冻结的 CLIP ViT-B/16 和 ViT-L/14 骨干网络上进行的。

核心贡献

无需训练的稀疏化： 本文通过实证评估了在冻结的 CLIP 编码器最后层中用 $\alpha$ -entmax 替换 Softmax 的效果，在不修改模型架构或权重的情况下，将注意力密度作为一个单一变量进行隔离研究。
注意力稀疏性分析： 作者建立了一个核心发现：稀疏化带来的性能提升与基准注意力的弥散程度成正比。
- 如果基准注意力已经集中在目标类别上，entmax 的收益很小，甚至可能因为丢弃了有用的质量而导致性能下降。
- 如果基准注意力是弥散的（将质量扩散到非类别 Token 上），entmax 则通过剪枝无关的尾部显著提升性能。
分辨率与骨干网络缩放： 研究表明，随着输入分辨率提高和骨干网络增大（如 ViT-L/14），稀疏化的收益会随之增加，因为这些条件增加了 Token 数量以及 entmax 可以剪枝的“噪声尾部”的范围。

结果

评估揭示了不同注意力分布下的不同行为：

自相关 + Entmax： 自相关注意力（如 $Q-Q$ $Q - Q$ 、 $K-K$ $K - K$ 、 $V-V$ $V - V$ ）与 $\alpha$ $α$ -entmax 的结合产生了持续且显著的增益。
- 在 ADE20K（ViT-B/16, $Q-Q$ ）上，mIoU 从 5.69 提升至 12.90。
- 在 FG-OVD（ViT-B/16, $Q-Q$ ）上，mHME 从 9.96 提升至 17.50。
- 增益在不同数据集和模型规模上呈现单调性。
标准 $QK$ 注意力： 虽然 entmax 改善了标准 $QK $注意力，但其绝对得分仍低于自相关方法。这是因为标准$ QK$ 注意力本质上是全局弥散的；entmax 只能减少一个已经存在噪声的分布的尾部，但底层的聚合算子对于定位而言仍然不是最优的。
仅值（ $V-V$ ）异常： 在较小的 ViT-B/16 骨干网络上， $V-V$ 分布已经很好地将质量集中在相关 Token 上。在此处应用 entmax 反而会导致性能下降（例如在 VOC 上下降了 2.8 mIoU），因为阈值处理丢弃了有用的质量。然而，在更弥散的 ViT-L/14 上， $V-V$ 从 entmax 中受益，这证实了“增益与弥散度成正比”的假设。
分辨率缩放： 随着分辨率增加（224 $\to$ 448），自相关分布中 Softmax 与 entmax 之间的差距单调扩大，因为增加的 Token 数量扩大了 entmax 所能移除的噪声尾部。

意义与主张

本文声称，注意力稀疏性是一个相关但很大程度上被忽视的因素，它是解决 CLIP 在密集预测任务中局限性的关键。

去噪 vs. 稀疏化： 作者强调，收益不仅来自于使分布稀疏化，更来自于内容感知的噪声移除。具有相同稀疏水平的随机掩码并不能产生类似的增益；entmax 特有的数据依赖型阈值对于识别并归零无关 Token 至关重要。
变量分离： 通过保持架构冻结并仅改变归一化器，本研究将分数来源（如 $QK $与$ VV$）的效果与归一化函数（Softmax 与 entmax）的效果进行了分离。这阐明了虽然自相关提高了定位能力，但 Softmax 归一化器仍会将质量全局扩散，必须依靠 entmax 才能充分实现局部化特征的潜力。
研究范畴： 作者将这项工作定位为一项系统性分析，而非一种新的 SOTA 训练流水线。该方法严格属于推理时且无需训练，旨在解释在哪里以及为什么注意力稀疏化会有帮助，而不是提出一种新的训练范式。