💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

本文介绍了视觉非因果梯形 Mamba (VNCT)，这是一种二阶非因果状态空间模型，它通过消除方向性标记扫描来实现具有方向鲁棒性的表示，并在保持低推理延迟的同时，在各种视觉任务中取得了卓越的性能。

原作者： Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一个由数千个微小的图像碎片（即 token）组成的巨大且复杂的拼图。长期以来，计算机视觉模型表现得像是一条非常严格的单行道。它们必须按照特定的顺序观察这些碎片：从左到右，从上到下，或者遵循某种固定的路径。这被称为定向扫描（directional scanning）。这就像读一本书，你不能向前看，也不能翻回后页；你必须读完一行中的每一个词，才能移动到下一行。

这篇论文介绍了一种名为 Vision Non-Causal Trapezoidal Mamba (VNCT) 的新模型。其核心发现是，这种严格的“单行道”规则对于实现良好的视觉效果其实并非必要。事实上，取消这个规则会让模型变得更快、更聪明。

旧方法 vs. 新方法

想象一下，旧的模型（如许多 Vision Transformer 或早期的“Mamba”模型）就像是一组侦探，他们必须排成单列纵队走过一个博物馆房间。他们只能看到面前的一幅画，然后是下一幅，依此类推。如果他们因为专注于右侧而忽略了左侧的细节，他们可能要绕一圈回来才能重新捕捉到它，这会浪费额外的时间。这会产生一种偏差；模型会变得“习惯于”朝特定的方向观察。

VNCT 废除了这条规则。它不再让大家排队行走，而是让每一块图像碎片在一次处理中同时与所有其他碎片进行交流。这就像打开了一个巨大的、瞬间照亮的聚光灯，同时照亮了整个博物馆房间。每一位侦探都能瞬间看到所有的画作，无需等待轮到自己。论文表明，这种“全方位同步”的方法消除了因排队行走而产生的奇怪偏差。

核心秘诀：二阶动力学（Second-Order Dynamics）

但它是如何如此快速地与所有人沟通而不产生混乱呢？作者使用了一个巧妙的数学技巧，称为二阶动力学（具体来说是“梯形”动力学）。

想象一下你在尝试猜测房间的温度。

一阶（旧方法）： 你检查一次温度计，并根据那一次单一的读数进行猜测。
二阶（VNCT 的方式）： 你不仅检查温度计，还会观察就在前一瞬间温度变化的快慢。你会取“现在”和“刚才”的平均值。

这种“梯形”方法（通过对步骤的起点和终点取平均值）赋予了模型对图像更丰富、更细致的理解。论文指出，这种额外的细节层有助于模型比以往使用简单单步方法的模型更好地理解形状和边界。

论文驳斥了什么

论文明确反对了认为视觉模型需要定向扫描才能正常工作的观点。许多之前的模型试图通过增加更复杂的路径（例如走之字形或螺旋线）来解决“单行道”问题，但作者表明，你根本不需要去修复路径——你只需要直接移除路径。他们否定了顺序扫描对于高性能视觉的必要性。

结果：更快、更强、更鲁棒

作者在多个大型挑战赛上对模型进行了测试，结果非常明确：

速度： 因为它不需要等待队伍排好，所以 VNCT 更快。在处理单张图像时，“Micro”版本进行预测仅需 5.25 毫秒，“Tiny”版本为 7.31 毫秒。这比之前的非因果模型 (VSSD) 更快，后者分别需要 5.80 ms 和 8.01 ms。
准确率： 它在标准测试中获得了更高的分数。在 ImageNet-1K 测试中，“Tiny”版本的准确率达到了 84.2%，击败了之前表现最好的非因果模型 (VSSD-Tiny)，后者的得分为 83.7%。
旋转与翻转： 最酷的发现之一是关于“方向鲁棒性”。如果将图像颠倒或旋转，旧模型会变得有些困惑，准确率会下降。VNCT 则对此表现得非常淡定。当图像被旋转或翻转时，平均准确率下降仅为 0.3%，而 VSSD 为 0.9%，定向扫描模型则为 1.6%。这表明该模型是将物体作为一个整体来观察，而不仅仅是一个像素序列。
边界： 在绘制物体轮廓（例如区分汽车与道路）时，VNCT 的表现更锐利。与 VSSD 相比，它在 Cityscapes 数据集上的“Boundary IoU”（衡量边缘匹配程度的分数）提升了高达 3.7 个点。

总结

论文不仅建议这可能有效，还通过分类、目标检测和分割任务进行了测量。作者得出结论：定向扫描的“单行道”是试图将序列模型强加于图像时的产物，而一种二阶、非因果的方法是一种更简单、更高效且更鲁棒的构建视觉 AI 的方式。他们不仅仅是微调了旧系统，而是彻底更换了交通规则，而现在的车行驶得更快，也开得更直。

技术摘要：视觉非因果梯形 Mamba (VNCT)

1. 问题陈述

状态空间模型 (SSMs) 已成为建模长程依赖关系的有效替代方案，能够实现线性时间复杂度的视觉 Transformer (ViTs)。然而，大多数现有的视觉 SSM（如 ViM、VMamba）都继承了来自因果序列建模的定向标记扫描 (directional token scanning) 特性。为了将一维 SSM 应用于二维图像，必须沿着预定义的路径（水平、垂直或多方向）对标记进行序列化。

作者指出了这种方法存在的三个关键局限性：

空间偏差 (Spatial Bias)： 定向扫描强加了一种并非视觉数据固有的人工遍历顺序，从而产生了对方向敏感的特征交互。
低效性 (Inefficiency)： 聚合双向上下文通常需要多次扫描过程，增加了推理延迟。
失配 (Misalignment)： 视觉场景是非因果的；空间关系独立于标记顺序而存在。

虽然最近的研究（如 Vision State Space Duality, VSSD）引入了非因果聚合，但仍局限于一阶动力学 (first-order dynamics)。本文对视觉 SSM 是否必须依赖定向扫描提出了质疑，即定向扫描究竟是实现高性能视觉 SSM 的必要条件，还是仅仅是将序列模型适配到图像时的产物。

2. 方法论：视觉非因果梯形 Mamba (VNCT)

作者提出了 VNCT，这是一种基于二阶非因果状态空间公式的分层视觉骨干网络。其核心创新在于 NC-M3 (Non-Causal Mamba-3) 层。

2.1. 核心机制：NC-M3

NC-M3 层将 Mamba-3 的指数-梯形动力学 (exponential-trapezoidal dynamics) 重新表述为一个全局、非因果的聚合算子。

二阶动力学 (Second-Order Dynamics)： 不同于使用单步更新的标准 SSM，Mamba-3 利用梯形求积规则，对两个积分端点（左侧和右侧）进行平均。其表达式为：
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
其中 $\beta$ 和 $\gamma$ 分别对左端点和右端点的观测值进行加权。
非因果提升 (Non-Causal Lift)： 作者将这种因果递推转换为一个置换不变 (permutation-invariant) 的算子。他们不再使用下三角因果转移矩阵，而是将其替换为一个全稠密、归一化的交互核 (fully dense, normalized interaction kernel)。
全局聚合 (Global Aggregation)： 交互通过全局充分统计量进行计算。对于输出标记 $i$ $i$ ，其状态源自所有输入标记 $j$ $j$ 的全局总和，并由投影到交互空间中的数据依赖参数 ( $\alpha, \beta, \gamma$ $α, β, γ$ ) 进行加权。
- 该聚合规则经过因子分解以避免构建 $L \times L$ 的交互矩阵，从而保持了线性时间复杂度 ( $O(L)$ )。
- 这使得所有图像标记可以在单次通过 (single pass) 中完成交互，而无需进行定向扫描。

2.2. 架构组件

低秩 MIMO 参数化 (Low-Rank MIMO Parameterization)： VNCT 结合了低秩多输入多输出 (MIMO) 机制，以高效地联合建模空间和通道维度的交互。
二维旋转位置编码 (2D RoPE)： 由于聚合是与顺序无关的，因此通过应用于源和查询投影的 2D RoPE 来注入空间信息，从而编码相对空间位移。
分层骨干网络 (Hierarchical Backbone)： 该模型遵循四阶段架构（类似于 Swin 或 ConvNeXt），具有渐进式下采样功能。第 1–3 阶段使用 NC-M3 模块，而第 4 阶段在最低分辨率的特征图上采用多头自注意力机制 (MHSA)，以处理二次方成本可以忽略不计的全局上下文。
局部感知 (Local Perception)： 使用深度卷积的局部感知单元 (LPU) 在全局聚合之前注入局部空间归纳偏置。

3. 主要贡献

NC-M3 层： 一种二阶非因果状态空间层，消除了定向扫描，实现了所有图像标记之间的单次通过交互。
VNCT 骨干网络： 一种结合了二阶非因果动力学与低秩 MIMO 参数化的分层视觉骨干网络。
实证验证： 证明了消除定向扫描可以提高推理延迟、方向鲁棒性和边界保持能力，且一致优于定向扫描 SSM 和一阶非因果 SSM。

4. 实验结果

作者在 ImageNet-1K（分类）、COCO（目标检测和实例分割）以及 ADE20K（语义分割）上对 VNCT 进行了评估。

分类 (ImageNet-1K)： VNCT 在 Micro、Tiny、Small 和 Base 规模下均实现了最先进的 Top-1 准确率。
- 示例： VNCT-Tiny 实现了 84.2% 的 Top-1 准确率，优于 VSSD-T (83.7%) 和 VMamba-T (82.5%)。
- 效率： 在 Micro、Tiny 和 Small 规模下，VNCT 展示了比 VSSD 更低的单图像推理延迟。
密集预测 (COCO & ADE20K)：
- 检测/分割： VNCT-T 在 COCO 的 Box AP 和 Mask AP 上均超越了所有基准模型，并在 AP75 处有显著提升（表明定位精度更高）。
- 语义分割： VNCT 在所有模型规模下均在 ADE20K 上取得了最高的 mIoU（例如，VNCT-S 达到 50.1% mIoU，而 VSSD-S 为 49.2%）。
边界保持 (Boundary Preservation)： VNCT 显著提高了 边界 IoU (BIoU)。
- 在 ADE20K 上，VNCT-T 比 VSSD-T 提高了 +2.3 个点。
- 在 Cityscapes 上，提升为 +3.7 个点。
- 定性分析显示，VNCT 能够产生更完整且几何形状更准确的轮廓。
方向鲁棒性 (Orientation Robustness)： VNCT 在无需重新训练的情况下，对几何变换（翻转和旋转）表现出卓越的鲁棒性。
- 在 ImageNet-1K 上，VNCT-T 在四种变换下的平均准确率下降仅为 0.3%，而 VSSD-T 为 0.9%，VMamba-T 为 1.6%。
感受野分析： 有效感受野 (ERF) 可视化表明，与 VMamba 中的定向伪影或 VSSD 的不规则覆盖不同，VNCT 产生了一个平滑、对称且全局均匀的感受野。

5. 重要性与主张

本文认为，定向扫描对于高性能视觉 SSM 是没有必要的。作者声称，以往视觉 SSM 的局限性源于因果定向扫描，而非状态空间建模本身。

通过使用二阶非因果状态空间建模取代因果扫描，VNCT 提供了一个简单、高效且鲁棒的替代方案，用于视觉识别。结果表明：

全局非因果聚合结合二阶动力学，能为密集预测任务提供更强的空间表示。
消除定向偏差会带来更具方向鲁棒性的特征和更好的边界保持能力。
无需多次扫描过程的计算开销或全注意力机制的二次方复杂度，即可实现高性能的视觉骨干网络（除最后阶段外）。

作者总结道，这种方法证明了非因果、高阶状态空间算子是未来视觉骨干网络的一个极具前景的方向。