Partial Ring Scan: Revisiting Scan Order in Vision State Space Models
本文介绍了 PRISMamba，这是一种旋转鲁棒的视觉状态空间模型，它通过将固定的线性扫描顺序替换为基于同心环的遍历和部分通道滤波，从而提高了准确性、效率和几何稳定性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过电话线向一位朋友描述一张复杂的图片，比如一张狗在追兔子照片。你一次只能发送一个词。描述图片的顺序至关重要。
如果你按行描述图片（从左到右，从上到下），你可能会说：“狗的耳朵……狗的鼻子……兔子的耳朵……狗的尾巴。”如果你将图片旋转 90 度，你的逐行描述突然间就变得一团糟。原本属于“狗的耳朵”和“狗的鼻子”的信息现在在你的列表中变得相距甚远，而兔子的耳朵可能会被夹在狗的尾巴和背景之间。你的朋友（计算机模型）会感到困惑，因为在图片中本该属于一体的事物，在你的描述中却被分开了。
这篇题为**《Partial Ring Scan: Revisiting Scan Order in Vision State Space Models》（部分环形扫描：重新审视视觉状态空间模型中的扫描顺序）**的论文指出，现代人工智能“阅读”图像的方式过于僵化。作者提出了一种更聪明的新型图像阅读方式，即使在图片旋转时也能保持冷静。
以下是他们思想的拆解，使用了简单的类比：
1. 问题所在：“蛇形” vs. “目标”
目前的 AI 模型（如 VMamba）通常像一条在网格上爬行的蛇一样阅读图像。它们左右移动，然后向下移动，再向左向右移动。
- 问题： 如果旋转图像，“蛇”的路径就会被切断。AI 必须跳过空白区域（填充）或者跳到图片的错误部分。这就像是在读一本书，但有人把书页旋转了；句子不再连贯，因为单词的顺序乱了。
- 结果： 当图像旋转时，由于失去了对物体连接关系的追踪，AI 的性能会下降。
2. 解决方案：“洋葱”策略（环形扫描）
作者 Yi-Kuan Hsieh 及其同事建议了一种不同的阅读图片方式：环形扫描（Ring Scan）。
想象这张图片是一个洋葱或一个靶盘。
- 第 1 步： AI 不再按行读取，而是以同心圆环的形式剥开图像，从最中心开始向外移动。
- 第 2 步： 在每个环内，AI 不关心具体的顺序（顺时针还是逆时针）。它只是将该环内的所有信息聚集在一起。
- 第 3 步： 然后，它从内环移动到下一个外环，以此类推。
为什么这是一个游戏规则的改变者：
如果你旋转图片，“洋葱”并不会改变。中心仍然是中心，外环仍然是外环。AI 不需要重新学习顺序；它看到的只是稍微旋转了一点的相同圆环。这使得 AI 具有极强的鲁棒性（抗干扰能力）。
3. 高效黑科技：“VIP 通道”（部分通道过滤）
处理图像中的每一个信息片段是非常昂贵且缓慢的。作者注意到，并非所有的“通道”（可以理解为不同的滤镜或类型的数据）都同样重要。有些数据是嘈杂或冗余的。
- 旧方法： AI 尝试通过复杂的“环形”路径处理所有内容。
- 新方法（部分通道过滤）： AI 就像俱乐部的保镖。它会快速检查哪些通道是“VIP”（最有信息量的那些）。
- VIP 被送入主要的、高速的“环形”路径。
- 普通成员（较不重要的数据）则被送入一条简单的、轻量级的“后门”路径（残差分支）。
类比： 想象一条繁忙的高速公路。系统并没有强迫所有车辆都走漫长且蜿蜒的风景路线，而是让快速行驶的跑车走风景路线，同时让慢速卡车走直接、简单的绕行路线。结果是？高速公路通行更快了，而且重要的车辆依然能享受到详细的视野。
4. 结果：更快、更聪明、更强大
团队将他们的新模型 PRISMamba 与当前的领先模型（如 VMamba）进行了对比测试。
- 准确率： 在一项标准测试（ImageNet）中，PRISMamba 达到了 84.5% 的准确率，击败了此前表现最好的 VMamba（82.6%）。
- 速度： 它处理图像的速度更快（每秒 3,054 张图，而 VMamba 为 1,686 张）。
- 效率： 它使用的计算资源更少（3.9G FLOPs 对比 5.6G）。
- 旋转： 当他们将图像旋转 60 度时，旧模型的性能下降了约 2%。PRISMamba 几乎没有察觉；它的得分几乎保持不变。
总结
该论文声称，通过改变 AI 如何阅读图像（从蛇形路径变为环形路径）以及通过过滤掉无聊的数据（部分通道过滤），他们创建了一个模型，该模型：
- 更准确（看得更清）。
- 更快（思考得更快）。
- 更鲁棒（即使图片旋转也不会感到困惑）。
他们称之为一种“低成本、有原则的方法”，这意味着他们不需要构建一个庞大、昂贵的新大脑；他们只是重新排列了家具，并开辟了一条 VIP 通道。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。