💻 computer science

RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation

该论文提出了一种名为 RS-SSM 的新方法，通过设计通道幅度感知器（CwAP）和遗忘门信息细化器（FGIR）来互补细化状态空间压缩中丢失的时空细节信息，从而在保持高计算效率的同时显著提升了视频语义分割的像素级时空建模能力并达到了最先进水平。

原作者： Kai Zhu, Zhenyu Cui, Zehua Zang, Jiahuan Zhou

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kai Zhu, Zhenyu Cui, Zehua Zang, Jiahuan Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 RS-SSM 的新方法，专门用来解决视频语义分割（Video Semantic Segmentation）中的一个核心难题。

为了让你轻松理解，我们可以把这项技术想象成**“在繁忙的图书馆里整理书籍”**的故事。

1. 背景：我们在解决什么问题？

视频语义分割是什么？
想象你正在看一段监控视频，电脑需要把视频里的每一帧画面都“涂色”：把车涂成红色，把行人涂成蓝色，把树涂成绿色。而且，这个涂色必须非常精准，连车轮的缝隙、衣服的褶皱都要分得清清楚楚（这就是“像素级”）。

现有的困难（旧方法）：
以前的电脑处理视频有两种主要方式：

像 Transformer 那样（全神贯注但太累）： 它试图记住视频里每一帧的每一个细节，像一个人同时盯着几百本书看。虽然看得很细，但太费脑子（计算量巨大），处理长视频时容易“累死”或内存爆炸。
像 SSM（状态空间模型）那样（高效但记性不好）： 这是最近很火的新方法。它像是一个聪明的图书管理员，为了快速整理，它只记住书的“大概分类”（比如：这是一本关于历史的书，那本是关于科技的）。它把细节（比如书的封面花纹、具体的页码）都“压缩”掉了，只保留核心信息。
- 问题出在哪？ 这种“压缩”虽然快，但把重要的细节给“忘”了。在视频里，这些被遗忘的细节就是物体的边缘、纹理、快速移动的微小变化。结果就是：电脑能把“车”认出来，但画出来的车边缘模糊，或者在车转弯时，车轮的轮廓变得乱七八糟。

2. 核心创新：RS-SSM 是怎么做的？

作者提出了 RS-SSM（Refining Specifics State Space Model），它的核心思想是：“既然压缩过程会遗忘细节，那我们就专门把遗忘的细节找回来，再补上去！”

这就好比那个图书管理员在快速分类后，发现有些书的封面花纹（细节）被弄丢了，于是它专门派了一个**“细节修补小分队”**，把那些被遗忘的花纹重新画回去。

这个“修补小分队”由两个关键角色组成：

角色一：CwAP（频道振幅感知器）—— “细节探测器”

它的作用： 想象视频里的信息被分成了很多个“频道”（就像收音机的不同波段）。有的频道主要存“大概轮廓”（低频），有的频道存“边缘纹理”（高频）。
它的工作： CwAP 就像一个频谱分析仪。它会检查每一个频道，问：“嘿，这个频道里是不是藏着很多被遗忘的‘细节’（高频信息）？”
它的发现： 它会发现，有些频道里全是“模糊的轮廓”，而有些频道里藏着“锐利的边缘”。它会把这些藏有细节的频道标记出来，告诉系统：“注意！这些频道很重要，别把它们弄丢了！”

角色二：FGIR（遗忘门信息修正器）—— “记忆修正器”

它的作用： 在 SSM 模型里，有一个叫“遗忘门”的机制，它决定哪些信息要保留，哪些要扔掉。以前的遗忘门是“死板”的，不管细节重不重要，该扔就扔。
它的工作： FGIR 拿到了 CwAP 的“情报”（哪些频道有细节），然后它反过来操作那个“遗忘门”。
- 如果原来的遗忘门说：“这个细节不重要，扔掉！”
- FGIR 就会说：“等等！CwAP 说这个细节很关键，把它倒过来，强行保留下来！"
结果： 系统不再是一味地压缩，而是有选择地把那些被误删的“边缘”和“纹理”重新补回来。

3. 打个比方：修图软件 vs. 智能修复

旧方法（SSM）： 就像你用手机自带的“一键美颜”，把照片里的噪点（细节）都磨皮磨掉了，虽然脸很光滑（整体结构清晰），但连眉毛和发丝都看不清了。
RS-SSM： 就像你先用“一键美颜”快速处理，然后立刻启动一个**“智能细节修复”功能。这个功能专门盯着那些被磨掉的眉毛和发丝，根据之前的记忆，把它们精准地画回来**。
- 结果：既保留了美颜的速度（计算快），又找回了高清细节（边缘清晰）。

4. 为什么这很厉害？（实验结果）

作者在四个著名的视频数据集上做了测试，结果非常惊人：

更准： 在识别物体边缘、处理快速移动物体时，RS-SSM 比目前最好的方法（TV3S）还要好很多。就像画画的笔触更精准了。
更快： 它没有因为加了“修补”功能而变慢。相反，因为它优化了流程，甚至比某些旧方法还快，更省电（计算量更低）。
通用： 无论是在复杂的城市街道（Cityscapes），还是室内场景（NYUv2），它都能表现优异。

总结

这篇论文的核心贡献在于：它发现现有的高效模型（SSM）为了追求速度，牺牲了太多细节。于是，他们设计了一套**“先压缩，再针对性补漏”**的机制（CwAP 找细节，FGIR 补细节）。

这就好比**“在高速公路上开车（SSM），不仅开得飞快，还能通过智能导航（RS-SSM）精准地避开每一个坑洼（细节），保证乘客（视频分割结果）既快又稳。”**

这对于自动驾驶、视频监控等需要既快又准的场景来说，是一个巨大的进步。

1. 研究背景与问题 (Problem)

背景：
视频语义分割（Video Semantic Segmentation, VSS）旨在为视频中的每个像素分配语义标签，是自动驾驶、视频监控等任务的基础。近年来，状态空间模型（State Space Models, SSMs，如 Mamba）因其线性复杂度的状态压缩能力，在长视频序列处理中展现出高效性，逐渐被引入 VSS 任务。

核心问题：
现有的基于 SSM 的 VSS 方法虽然能高效地保留通用语义信息（如全局结构、平滑区域），但在进行固定大小的状态空间压缩时，不可避免地会遗忘具体的时空细节信息（Specifics），例如：

物体边缘（Boundaries）
纹理细节（Textures）
局部变化（Local variations）

这种“具体信息遗忘”导致模型在像素级分割时只能生成粗糙的物体位置，难以维持像素级的时空一致性，从而限制了分割精度。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 RS-SSM (Refining Specifics State Space Model)。该方法的核心思想是：在 SSM 压缩过程中，通过互补机制对被遗忘的时空细节进行精细化修正（Refining）。

2.1 整体架构

RS-SSM 采用双路径（Dual-path）SSM 层结构：

输入处理：图像编码器提取特征图，经线性投影后输入到 $L$ 层双路径 SSM 模块中。
双路径设计：每层包含两个 SSM 模块（ $\theta_1$ $θ_{1}$ 和 $\theta_2$ $θ_{2}$ ）。
- $\theta_2$ ：作为参考路径，执行标准的 SSM 状态压缩。
- $\theta_1$ ：作为修正路径，利用 $\theta_2$ 的遗忘门信息，对被遗忘的细节进行互补修正。
输出：两路输出拼接后通过 MLP 融合，最终由解码器生成分割掩码。

2.2 关键组件

A. 通道级幅度感知器 (Channel-wise Amplitude Perceptron, CwAP)

目的：量化并提取不同通道中“具体信息”的分布特征。
原理：
1. 对特征图进行 2D 快速傅里叶变换 (FFT)，将特征转换到频域。
2. 计算幅度图，并根据归一化频率半径将频域划分为 $K$ 个频带。
3. 低频带对应通用语义（全局结构），高频带对应具体信息（边缘、纹理）。
4. 计算高频带的累积能量比，生成频谱特征 (Spectrum Features)，用于衡量每个通道包含的具体信息量。
通道信息损失 ( $L_{ci}$ )：为了引导模型关注富含具体信息的通道，CwAP 计算样本间频谱特征的余弦相似度，并最大化批次内的平均相似度。这迫使模型将具体信息分布对齐到相同的通道子集中，便于后续模块统一处理。

B. 遗忘门信息修正器 (Forgetting Gate Information Refiner, FGIR)

目的：基于 CwAP 提取的特征，自适应地反转并修正 SSM 的遗忘门矩阵，从而让 $\theta_1$ 专注于修正 $\theta_2$ 遗忘的信息。
原理：
1. 获取遗忘门：从 $\theta_2$ 获取遗忘向量 $A$ （控制信息压缩程度，值越小压缩越剧烈）。
2. 计算重要性：根据 $A$ 计算通道重要性 $\beta$ （ $A$ 值越大，压缩越少，信息越重要）。
3. 计算反转权重：结合频谱特征 $\tilde{F}$ （具体信息含量）和通道重要性 $\beta$ 。对于具体信息含量高但**在 $\theta_2$ 中被高度压缩（重要性低）**的通道，赋予较高的反转权重 $\alpha$ 。
4. 生成修正遗忘门：通过自适应插值生成修正后的遗忘门 $A^R = (1-\alpha) \odot A + \alpha \odot A^I$ ，其中 $A^I$ 是 $A$ 的逆版本（反转压缩程度）。
5. 应用：将 $A^R$ 作为 $\theta_1$ 的参数，使其能够“反向”关注那些被 $\theta_2$ 遗忘的细节，实现互补修正。

3. 主要贡献 (Key Contributions)

问题发现与定义：首次明确指出了现有 SSM 基 VSS 方法在状态空间压缩过程中会丢失像素级时空细节（Specifics）的局限性，并提出了针对性的解决方案。
RS-SSM 架构设计：
- 设计了 CwAP 模块，利用频域分析提取通道级的具体信息分布，并通过损失函数对齐通道分布。
- 设计了 FGIR 模块，利用 CwAP 的特征自适应地反转和修正遗忘门，引导模型互补性地恢复被遗忘的细节。
性能突破：在四个主流 VSS 基准数据集（VSPW, NYUv2, CamVid, Cityscapes）上，RS-SSM 在保持高计算效率的同时，实现了最先进（SOTA）的分割性能。

4. 实验结果 (Results)

实验在 VSPW, NYUv2, CamVid 和 Cityscapes 四个数据集上进行，评价指标为 mIoU。

性能表现：
- 在 VSPW 数据集上，使用 MiT-B5 骨干网络时，RS-SSM 的 mIoU 达到 51.6，比当前 SOTA 方法 TV3S (49.8) 高出 1.8，比 CFFM++ (50.1) 高出 1.5。
- 在 Cityscapes 数据集上，使用 MiT-B1 骨干网络时，RS-SSM 达到 78.3 mIoU，比 TV3S (75.6) 高出 2.7。
- 即使在较小的骨干网络（如 MiT-B1, Swin-T）下，RS-SSM 依然显著优于现有方法。
效率分析：
- RS-SSM 保持了 SSM 的线性复杂度优势。
- 在 VSPW (480x853) 上，相比 TV3S，RS-SSM (MiT-B5) 减少了 8.2 GFLOPs 的计算量，同时 FPS 提升了 6.2。
- 在 Cityscapes (512x1024) 上，相比 TV3S，GFLOPs 减少了 24.1，FPS 提升了 2.1。
消融实验：
- 移除 CwAP 模块（仅使用简单反转遗忘门），mIoU 下降约 1.4，证明了自适应修正的重要性。
- 仅使用单路或双路普通 SSM（无修正机制），性能下降明显（最高下降 3.1 mIoU），证明了“具体信息修正”机制的必要性。

5. 意义与价值 (Significance)

理论创新：揭示了 SSM 在视觉任务中“压缩即遗忘细节”的内在机制，并提出了通过“遗忘门反转”来互补恢复细节的新思路，丰富了状态空间模型在密集预测任务中的应用理论。
技术突破：成功解决了长视频语义分割中“效率”与“精度”难以兼得的矛盾。RS-SSM 证明了在保持线性计算复杂度的同时，可以通过精细化的门控机制显著提升像素级分割的边界和纹理质量。
应用前景：该方法在自动驾驶、视频监控等需要实时、高精度像素级理解的场景中具有极高的应用价值，为下一代高效视频理解模型提供了新的架构范式。

总结：RS-SSM 通过频域分析定位被遗忘的细节，并利用自适应门控机制进行“查漏补缺”，在显著提升视频语义分割精度的同时，维持了 SSM 固有的高效推理速度，是目前该领域的 SOTA 方法。