Each language version is independently generated for its own context, not a direct translation.
这篇论文介绍了一种名为 STAR 的新方法，旨在让一种叫 Vision Mamba 的 AI 模型变得更聪明、更擅长看图。
为了让你轻松理解，我们可以把整个过程想象成**“教一个学生读故事书”**。
1. 背景：Mamba 是个“长跑健将”，但以前只让他跑短跑
- Mamba 是什么？ 想象 Mamba 是一个记忆力超群、处理速度极快的“长跑健将”（AI 模型）。它特别擅长处理长长的序列（比如读一整本小说，或者看很长的视频流），而且非常省电（计算效率高）。
- 以前的问题： 虽然 Mamba 擅长跑“长跑”，但以前的训练方法（自回归预训练）就像只让它一次只读一张图片。这就好比让一个能跑马拉松的运动员，每次只让他跑 100 米。这完全浪费了他的天赋，他没法发挥处理“长序列”的特长。
2. 核心创新：STAR 的“分隔符”魔法
为了解决这个问题，作者们想出了一个绝妙的办法，就像给故事书加上了**“章节分隔符”**。
以前的做法（单图模式）：
想象你要教学生认字。以前，你拿出一张图片，把它切成很多小方块（像拼图一样），让学生一个个猜下一个方块是什么。猜完一张图，就换下一张。学生脑子里没有“上下文”的连贯感，因为每张图都是孤立的。
STAR 的做法（长序列模式）：
作者们想：“既然 Mamba 擅长读长文，那我们就把多张图片连起来，变成一本‘连环画’！”
但是，直接把图片拼在一起，学生会糊涂：“这张图的结尾和下一张图的开头有什么关系？它们是一起的吗？”
于是，他们发明了“分隔符”（Separator）：
- 这就好比在每一章（每一张图片）的开头，都放一个特殊的“书签”。
- 这个“书签”长得很特别（论文里叫它“对角线是 1，其他是 0"的图案），它明确地告诉学生：“注意！新的一章开始了，前面的故事结束了，现在我们要看新故事了。”
- 有了这个“书签”，Mamba 就可以一次性吞下8 张、16 张甚至更多图片，把它们当成一个超长的故事序列来学习。
3. 具体怎么操作？（比喻版）
- 切蛋糕（分块）： 先把一张图片切成很多小块（Patch）。
- 打包（聚类）： 把相邻的小块打包成“小包裹”（Cluster）。
- 加书签（插入分隔符）： 在每一个“小包裹”序列的最前面，放一个特制的“书签包裹”。
- 连成长龙（拼接）： 把“书签 + 图片 1"、“书签 + 图片 2"、“书签 + 图片 3"……全部串在一起，变成一条长长的“信息龙”。
- 开始学习（预测）： Mamba 看着这条长龙，根据前面的内容，预测下一个“包裹”里是什么。
- 当它预测完“图片 1"的最后一个包裹后，下一个预测目标就是“图片 2"开头的**“书签”**。
- 这就像学生读完一章，看到“第二章”的标题，自然就知道要开始读新内容了。
4. 为什么要这样做？（好处）
- 物尽其用： 以前 Mamba 只能处理短序列，现在它能处理4 倍甚至更长的序列，真正发挥了它“长跑健将”的特长。
- 学得更深： 通过阅读“连环画”，模型不仅能看懂单张图片，还能理解图片与图片之间的潜在联系（虽然它们可能不相关，但模型学会了如何快速切换上下文）。
- 成绩斐然： 在著名的 ImageNet 图片分类考试（相当于 AI 界的“高考”）中，使用 STAR 方法训练的模型，准确率达到了 83.5%。这个成绩非常厉害，甚至能和目前最顶尖的模型（如 VMamba）掰手腕，而且训练效率更高。
5. 一些有趣的发现（实验细节）
作者在研究这个“书签”时，还发现了一些有趣的规律：
- 书签放哪？ 放在图片最前面效果最好。如果放在后面，就像书读完了才告诉你这是第一章，学生就懵了。
- 书签长啥样？ 用一种“对角线是 1，其他是 0"的特殊图案（Identity Separator）效果最好，因为它既醒目，又不会和正常的图片内容混淆。
- 一次读多少页？ 一次读 4 到 8 张 图片效果最佳。读太少（1 张）没发挥特长，读太多（16 张）模型会“消化不良”，效果反而下降。
- 修改“总结句”： 他们把原本放在图片中间的“总结标签”（Class Token），移到了整张图的最后。这就像让学生读完整个故事后，再写总结，比读到一半就总结要准确得多。
总结
这篇论文的核心思想就是：不要浪费 Mamba 的“长跑”天赋。
通过给每一张图片加一个特殊的“分隔符”，把多张图片串成一条长龙，让 Mamba 能够像读长篇小说一样去“阅读”图片。这种方法简单、巧妙，而且效果惊人，让 AI 在看图任务上变得更聪明、更高效。
这就好比：以前是让一个马拉松选手在客厅里来回踱步（短序列），现在 STAR 方法给他铺了一条通往远方的跑道（长序列），让他真正跑出了速度！
Each language version is independently generated for its own context, not a direct translation.
1. 研究背景与问题 (Problem)
背景：
- Mamba 模型的优势： 状态空间模型（SSM）Mamba 因其线性复杂度和高效的长序列处理能力，在计算机视觉领域（如图像分类、目标检测）展现出巨大潜力。
- 自回归预训练（AR）的适用性： Mamba 的因果机制使其非常适合自回归预训练（即根据前序内容预测下一个内容）。现有的研究（如 ARM）表明，AR 预训练比对比学习或掩码图像建模（MIM）更适合 Vision Mamba。
核心问题：
- 序列长度限制： 现有的 Vision Mamba 自回归预训练方法（如 ARM）通常将单张图像作为独立的短序列进行处理。这未能充分利用 Mamba 处理超长序列的固有优势。
- 数据利用率低： 在基于 Cluster（簇）的 AR 预训练中，由于因果性，第一个 Cluster 的信息无法用于预测，导致部分图像信息被浪费。
- 任务与能力不匹配： 当前的预训练任务设计（单图短序列）与 Mamba 模型处理长序列的能力之间存在错配。
2. 方法论 (Methodology)
作者提出了一种名为 STAR (SeparaTors for AutoRegressive pretraining) 的新框架，旨在将多张图像建模为单个长序列任务。
2.1 核心创新：分隔符 (Separators)
- 概念： 在每张图像的像素 Patch 序列之前插入一个特殊的“分隔符”（Separator）。
- 结构：
- 图像首先被划分为非重叠的 Patch，并将空间相邻的 Patch 聚合成 Cluster（簇）。
- 分隔符本身也是一个 Cluster，其大小与图像 Cluster 一致。
- 构造方式： 分隔符的对角线位置填充向量
1，其余位置填充向量 0（即 Identity 模式，实验证明效果最佳）。
- 作用：
- 界定边界： 明确区分不同图像的起始位置，防止不同图像间的语义混淆。
- 构建长序列： 将多个不相关的图像通过分隔符连接成一个超长的序列（例如 8 张图像连成 1 个序列），使输入序列长度增加数倍。
- 解决信息浪费： 分隔符作为第一个 Cluster 被预测，使得后续图像的第一个 Cluster 也能被有效利用（即预测目标从“图像第一个簇”变为“下一张图的分隔符”）。
2.2 模型架构
- 编码器 (Encoder)： 使用 MambaMLP 作为骨干网络。
- 在预训练阶段，采用单向扫描（1 scan）以匹配自回归的因果性。
- 输入为包含“分隔符 + 图像 Cluster"的长序列。
- 解码器 (Decoder)： 轻量级的 Transformer 解码器，具有因果注意力机制。
- 注意力机制： 在 Cluster 内部是双向的（Bidirectional），但在 Cluster 之间（即跨越分隔符）是单向的（Unidirectional），确保因果性。
- Class Token 位置调整： 传统 Vision Mamba 将 Class Token 放在序列中间，STAR 将其移至每张图像的末尾，以便模型在预测完整个图像序列后更好地聚合全局信息。
2.3 训练策略
- 预训练： 在 ImageNet-1k 上进行自回归预训练，目标是最小化下一个 Cluster 的预测误差。
- 微调 (Fine-tuning)： 采用端到端微调，使用 EMA（指数移动平均）和多种数据增强（RandAug, Mixup, Cutmix 等）。
3. 关键贡献 (Key Contributions)
- 提出 STAR 框架： 首次引入“分隔符”机制，将多张图像建模为单一长序列任务，突破了传统单图短序列预训练的局限，充分释放了 Vision Mamba 处理长序列的潜力。
- 系统性的分隔符研究： 深入探讨了分隔符的类型（Token vs Cluster）、值（全 0、全 1、Embedding、Identity）、位置（序列前、后、交替）和数量（每张图 1 个分隔符，序列中 4-8 张图）。实验证明，Cluster 级别的 Identity 分隔符且置于图像序列起始处效果最佳。
- 优化 Class Token 位置： 针对长序列自回归任务，将 Class Token 从序列中间移至图像序列末尾，显著提升了分类性能。
- 性能突破： 在 ImageNet-1k 上，STAR-Base 模型经过 1600 个 epoch 的预训练后，Top-1 准确率达到 83.5%，极具竞争力。
4. 实验结果 (Results)
- 主要性能：
- STAR-B (300 epochs): 微调后准确率为 82.9%，优于之前的 ARM 方法 (82.5%)。
- STAR-B (1600 epochs): 准确率进一步提升至 83.5%，与基于 Mamba+2D Conv 的 VMamba 相当，且接近 ViT-B 在 MAE 预训练下的表现 (83.6%)。
- 效率对比：
- STAR 的训练效率极高。相比对比学习（Contrastive Learning），效率提升 6.6 倍；相比 MAE，效率提升 1.4 倍。
- 在 300 epochs 下，STAR 仅需 50 小时训练时间，而 ARM 需要 34 小时（但精度较低），MAE 需要 70 小时。
- 消融实验发现：
- 分隔符类型： 基于 Cluster 的分隔符优于基于 Token 的分隔符。
- 分隔符值： "Identity"（对角线为 1，其余为 0）在长训练下表现最好。
- 分隔符位置： 置于图像序列最前端（SC 模式）效果最佳，置于中间或后部会显著降低性能。
- 序列长度： 输入序列包含 4 张图像（约 640 tokens）时性能达到峰值；过长的序列（如 16 张图）反而导致性能下降，表明当前模型架构存在长度瓶颈。
5. 意义与总结 (Significance)
- 范式转变： 本文证明了在 Vision Mamba 中，通过简单的“分隔符”机制即可将自回归预训练从“单图任务”转变为“长序列任务”，无需改变图像分辨率或模型基础架构。
- 性能与效率的平衡： STAR 方法在保持 Mamba 线性复杂度和高吞吐量的同时，显著提升了预训练效果，为轻量级视觉模型提供了新的优化方向。
- 未来潜力： 实验表明，随着预训练轮次（Epochs）的增加，STAR 仍有巨大的性能提升空间（从 300 epochs 的 82.9% 提升至 1600 epochs 的 83.5%），暗示了长序列自回归预训练在视觉领域的巨大潜力。
总结： STAR 通过引入智能分隔符，成功解决了 Vision Mamba 在自回归预训练中序列长度受限的问题，不仅大幅提升了模型在 ImageNet 上的分类精度，还展示了极高的训练效率，是 Vision Mamba 领域的一项重要进展。