🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

本文揭示了尽管 MambaOut 主要将类别判别信息编码在前景标记的幅度中，但 VMamba 则独特地将语义证据分布在标记方向和背景区域中，这种独特的编码策略使其在高分辨率密集预测任务中具有卓越的稳定性和性能。

原作者： Jin Yu, Juyoun Park

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Jin Yu, Juyoun Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人通过照片识别出一只猫。长期以来，识别猫的最佳方法是让机器人观察每一个像素，并将每一个像素与所有其他像素进行对比，就像一名侦探在检查每一个线索是否与所有其他线索相符。这种方法功能强大，但速度很慢，尤其是在处理超高清的大型照片时。最近，科学家们发明了一种更快速的新方法，叫做“Vision Mamba”。你可以把它想象成一个像读书一样阅读图片的机器人，它逐行扫描图片以理解其中的故事，而不会感到应接不暇。但随后，另一个团队建造了一个根本不读“书”的机器人，它使用一种不同的“门控”过滤器来发现猫。令人惊讶的是，这个新机器人识别标准尺寸照片中的猫时同样出色。这给科学家们留下了一个巨大的谜团：如果这两个机器人都能完成任务，那么它们看到的真实世界方式真的相同吗？或者其中一个机器人拥有另一个所缺失的某种秘密超能力？这个问题至关重要，因为随着我们从小型照片转向大规模、高细节的图像（如卫星地图或医学扫描）时，这些机器人“看”世界的方式可能会决定它们能否胜任工作，或者它们是否会开始感到困惑。

这篇题为《规范还是方向？解码用于高分辨率视觉的 Vision Mambas》的论文深入探讨了这个谜团，旨在研究 VMamba 和 MambaOut 这两个特定的机器人大脑究竟是如何处理信息的。研究人员发现，虽然这两个模型在识别物体方面都很出色，但它们存储关于所见物体的“线索”的方式却完全不同。

把一个“标记”（即机器人分析的图像微小部分）想象成一个带着便条的小信使。每个信使都拥有两样东西：他们喊叫的声音有多大（他们的“量级”或强度）以及他们指向的方向（他们的“方向”）。研究发现，MambaOut 更像是一个由大嗓门组成的团队。它将所有重要的信息集中在少数几个声音非常响亮、能量极高的信使身上，而这些信使正好站在物体（那只猫）的正上方。如果你让背景中那些安静的信使保持沉默，MambaOut 依然表现良好，因为那些大嗓门正在承担所有的工作。

相比之下，VMamba 更像是一个合唱团。它并不依赖于少数几个大嗓门，而是将重要的信息分散到整个房间，包括背景。VMamba 团队中那些大声喊叫的信使往往站在背景中（比如天空或草地），而不是站在猫的身上。如果你仅仅观察谁喊得最响，你可能会认为 VMamba 搞混了。但这里有一个转折：信使们指向的“方向”隐藏着秘密。即使你调低所有信使的声音，让他们都变成耳语，VMamba 仍然能告诉你那是一只猫，因为他们耳语的方向是完美对齐的。然而，MambaOut 如果你调低音量，它就会崩溃；它需要大声喊叫才能工作。

研究人员通过让机器人观察更大、分辨率更高的图片来测试这一点。当图像变得巨大时，会有成千上上个更多的信使需要管理。依靠少数几个大嗓门的 MباحOut 开始踉跄蹒跚，因为要在成千上万人的拥挤人群中挑选出正确的几个大嗓门变得非常困难。而拥有“方向性耳语”合唱团的 VMamba 则能更好地应对人群。它将证据分散开来，使得它在图像变大时更加稳定和可靠。

当机器人被要求执行一项更难的任务时，这种差异变得更加明显：不仅要说“那里有一只猫”，还要指出猫在图片中的确切位置（这项任务被称为分割）。当研究人员让这些机器人从零开始学习这些细节任务时，VMamba 脱颖而出。事实证明，VMamba 重新组织其“方向性”线索的能力，使其更容易被教导如何指向图像的具体部分。而依赖于特定位置“响度”的 MambaOut，在学习这些细节工作时则显得更加困难。

该论文指出，构建更强大的高分辨率任务机器人的秘诀不在于扫描机制（即“Mamba”部分），而在于它们如何组织信息。对于大规模、高细节的任务，依赖数据的“方向”似乎比依赖“响度”（量级）更强大。作者建议，未来的机器人大脑设计应该更多地关注这些方向性线索，或许可以通过训练它们更好地在整个图像中组织信息，而不仅仅是专注于最响亮的地点。虽然论文并未声称已经解决了所有问题（他们承认并不百分之百确定是机器人大脑中的哪个具体部分导致了这种背景噪音），但证据有力地表明，将焦点从“声音多大”转向“朝向何方”是解锁更高分辨率图像视觉能力的钥匙。

技术摘要：范数还是方向？解码用于高分辨率视觉的 Vision Mamba

问题陈述

Vision Mamba 模型（如 VMamba）通过使用线性复杂度的选择性状态空间模型（SSM）取代二次方自注意力机制，已成为高效的视觉骨干网络。然而，最近的研究（MambaOut）表明，门控 CNN 模块在标准图像分类任务上的表现可以媲美甚至超过 VMamba，这挑战了 SSM 在视觉任务中的必要性。这产生了一个根本性的歧义：VMamba 和 MambaOut 在表示层面上是否以不同的方式编码视觉信息？如果是这样，这些差异如何影响高分辨率和密集预测任务（如语义分割）的表现？虽然 MambaOut 认为 SSM 对于分类（一种非自回归、短序列任务）是不必要的，但 VMamba 在空间序列较长的密集预测基准测试中仍保留了优势。核心问题在于解码这些模型的内部表示策略，以理解 VMamba 在高分辨率设置下的优势来源。

研究方法

作者采用多维度的分析方法，对 VMamba-T 和 MambaOut-T（Tiny 版本）进行了对比研究：

跨模型与模型内 CKA 分析： 作者应用中心化核对齐（CKA）来衡量不同阶段之间、两个模型之间，以及分类预训练版本与分割微调版本之间的表示相似度。
Token 分解（范数 vs. 方向）： 将空间 token 分解为 $\ell_2$ 范数（模长/大小）和单位向量（方向）。研究调查了高激活出现在何处，以及类判别信息是编码在模长中还是方向中。
归因与定位：
- Grad-CAM： 用于比较 token 激活图与类别归因热力图。
- Token 替换归因： 一种基于扰动的方法，通过将单个 token 替换为图像均值，来衡量其对目标类别逻辑值（logit）的贡献。
- 单位向量评估： 在归一化（单位范数）token 上测试分类器，以隔离纯粹由 token 方向所包含的信息。
- 高范数 Token 测试： 使用仅包含前 k 个最高范数 token 的数据来训练或评估分类器，以测试模长本身是否携带类别信息。
特定任务评估： 模型在以下场景进行评估：
- 高分辨率分类： 在 768×768 分辨率下对 ImageNet-1k 进行微调。
- 语义分割： 在 ADE20K 和 Pascal VOC 2012 下，分别在冻结骨干网络和全量微调两种机制下进行训练。
- 消融实验： 通过移除 SS2D 模块来测试其对观察到的现象的具体贡献。

核心发现

1. 差异化的表示策略

CKA 差异： VMamba 的最终阶段模块形成的表示在性质上既不同于 MambaOut，也不同于其自身的先前模块。相比之下，MambaOut 在各层之间保持了连贯的表示。VMamba 在最终阶段也表现出对监督变化（分类 vs. 分割）更高的敏感性。
模长 vs. 方向：
- MambaOut： 将类判别信息集中在一组高范数前景 token 中。这些 token 在空间上与 Grad-CAM 归因对齐。移除模长（对 token 进行归一化）会导致性能大幅下降（单 token 准确率降至约 31.5%）。
- VMamba： 主要在背景区域产生高范数 token，而这些区域与 Grad-CAM 的前景关注点不一致。然而，判别信号主要保留在 token 方向中。归一化 token 后，性能下降幅度较小（单 token 准确率仍保持在约 52.5%，显著高于 MambaOut）。

2. 证据聚合与分辨率

Token 替换： VMamba 将逻辑值支持广泛分布在物体区域，而 MambaOut 则依赖于稀疏且占主导地位的 token。
高分辨率影响： 在标准分辨率（224×224）下，MambaOut 略优于 VMamba。然而，在高分辨率（768×768）下，VMamba 超越了 MambaOut。作者将其归功于 VMamba 广泛证据聚合的稳定性，相比于 MambaOut 依赖稀疏峰值的模式，VMamba 的这种模式在 token 数量增加时对空间采样变化不那么敏感。

3. 密集预测与微调

冻结骨干网络： MambaOut 在冻结骨干网络的分割任务中表现稍好，这可能是因为其模长对齐的前景线索能被新的头部立即利用。
全量微调： 当骨干网络进行全量微调时，VMamba 显著优于 MambaOut。
方向鲁棒性： 在“单位 token 解码器”测试（即移除模长）中，VMamba 的分割性能保持基本不变（47.9 $\to$ 47.5 mIoU），而 MambaOut 则大幅下降（47.1 $\to$ 41.5 mIoU）。
空间重组： 在密集监督下，VMamba 的基于方向的编码会重组为更清晰的空间选择性，而 MambaOut 基于模长的编码则几乎没有变化。

核心贡献

解码编码策略： 本文指出 VMamba 和 MambaOut 依赖于根本不同的编码策略：MambaOut 使用模长对齐的前景集中化，而 VMamba 则利用跨空间 token 的基于方向的分布。
解释高分辨率优势： 作者证明了 VMamba 在密集预测和高分辨率任务中的优势不仅源于 SSM 机制或序列长度，更源于语义证据在 token 模长与方向上的组织方式。
Token 方向的作用： 本研究确立了 token 方向是一个关键且常被忽视的视觉表示维度，特别是在需要跨多个 token 进行稳定聚合的密集监督任务中。

意义与主张

论文得出结论，Vision Mamba 模型在高分辨率和密集预测设置中的成功，根植于其方向性编码策略。该策略实现了：

稳定聚合： 随着 token 数量增加（高分辨率），实现更稳健的证据聚合。
适应性： 在密集监督（分割）下具有更强的重组空间选择性的能力。

作者建议，未来的视觉骨干网络设计应将 token 模长与方向结构视为关键维度。具体而言，他们提出前景对齐的模长正则化可以改进标准分类，而角度正则化或 token 级的对比学习目标可以增强密集和高分辨率任务的表现。

论文对于导致该现象的具体架构组件保持审慎，指出虽然 SS2D 模块是一个候选因素，但即使移除 SS2D，该现象依然存在，这表明该效应源于更广泛的模块结构，而非仅仅是选择性扫描机制本身。