💻 computer science

Content-Aware Mamba for Learned Image Compression

本文提出了一种名为内容感知 Mamba（CAM）的新型状态空间模型，通过引入内容自适应的令牌重排策略和样本特定的全局先验注入机制，突破了传统 Mamba 在图像压缩中因扫描模式僵化和严格因果性导致的冗余消除局限，从而在保持线性计算复杂度的同时实现了超越 VTM-21.0 的最先进率失真性能。

原作者： Yunuo Chen, Zezheng Lyu, Bing He, Hongwei Hu, Qi Wang, Yuan Tian, Li Song, Wenjun Zhang, Guo Lu

发布于 2026-03-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yunuo Chen, Zezheng Lyu, Bing He, Hongwei Hu, Qi Wang, Yuan Tian, Li Song, Wenjun Zhang, Guo Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CMIC 的新型图像压缩技术。为了让你轻松理解，我们可以把“图像压缩”想象成把一件巨大的、蓬松的羽绒服打包进一个小小的行李箱的过程。

传统的压缩方法（比如现在的手机相册或视频软件用的）就像是一个死板的打包工：他不管衣服里哪块是棉花、哪块是羽毛，也不管它们是不是挨在一起，只是机械地按照“左上角、右上角、左下角……"的顺序（就像读报纸一样，一行一行读）把衣服塞进箱子。

这篇论文的作者发现，这种“死板”的打包方式效率不高，因为羽绒服里很多相似的棉花（比如都是白色的蓬松部分）其实散落在衣服的不同位置，但死板的打包工把它们隔开了，导致箱子装得不够满。

于是，作者发明了一种**“懂内容的智能打包工”**，也就是论文中的 CAM (Content-Aware Mamba)。它有两个绝招：

1. 绝招一：按“性格”重新排队（内容自适应令牌置换）

原来的做法：不管你是“红衣服”还是“蓝衣服”，也不管你离得有多远，打包工都按你站的位置排队。结果，两个长得一模一样的“红衣服”被隔在了队伍的两头，没法互相“抱团”，浪费了很多空间。
CAM 的做法：打包工先看一眼大家的“性格”（图像内容）。
- 它发现：“哦，这块是天空的蓝色，那块也是天空的蓝色，虽然它们一个在左上角，一个在右下角，但它们是‘一家人’。”
- 于是，它打破原来的排队顺序，把所有“蓝色家族”的成员叫到一起，把所有“草地家族”的成员叫到一起。
- 比喻：就像在火车站，不再按进站顺序排队，而是把去同一个目的地的人先聚在一起。这样，打包工在处理这一群人时，发现他们几乎一模一样，只需要记“这一堆全是蓝色”就够了，不用每个都单独记，省下的空间就是压缩率。

2. 绝招二：自带“全局地图”（全局先验提示）

原来的做法：传统的打包工（Mamba 模型）有个毛病，他只能“向前看”。他处理完第一个人，才能处理第二个人，完全不知道后面还有谁。这就像你在读一本书，只能看前面的字，不能翻到后面去参考，导致他很难理解整本书的上下文。
CAM 的做法：作者给打包工发了一张**“全局地图”**（Prompt）。
- 在开始打包之前，打包工先看了一眼整件羽绒服的“统计报告”：比如“这件衣服里红色占 30%，蓝色占 20%"。
- 这张地图告诉他：“嘿，虽然你现在在处理左下角，但你要知道，右上角也有一大块红色，你要把左下角的红色和右上角的红色联系起来。”
- 比喻：这就像给打包工戴上了**“千里眼”。虽然他还在按顺序干活，但他心里清楚全局的情况，知道哪些东西是重复的，哪些是独特的。这样他就不用死板地只盯着眼前的一小块，而是能一眼看穿整张图片的规律**。

结果怎么样？

用了这两个绝招，这个“智能打包工”（CMIC 模型）表现非常惊人：

更省空间：在同样的画质下，它生成的文件比目前最先进的传统压缩标准（VTM-21.0）小了 15% 到 21%。这意味着同样的手机内存，能存更多的照片；同样的网速，能看更清晰的视频。
速度不慢：虽然它变聪明了，但并没有变慢。它依然保持了“线性速度”（处理速度随图片大小线性增长，而不是指数级爆炸），比那些试图用“多方向扫描”来解决问题的笨办法要快得多。

总结

简单来说，这篇论文就是给图像压缩算法装上了**“内容理解能力”。
它不再死板地按位置处理图片，而是先找相似点，再按相似点重组，最后带着全局视野去打包**。这就好比把“按顺序搬砖”变成了“按颜色分类搬砖”，既快又省地完成了任务。

这项技术未来可以让我们的手机存下更多高清照片，或者让网络视频在低网速下也能流畅播放，而且画质几乎不下降。

这是一篇发表于 ICLR 2026 的论文，题为 《Content-Aware Mamba for Learned Image Compression》（面向图像压缩的内容感知 Mamba）。该论文提出了一种名为 CMIC 的新型学习型图像压缩（LIC）模型，旨在解决标准 Mamba 架构在处理图像数据时的局限性。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有挑战： 尽管基于状态空间模型（SSM，如 Mamba）的模型因其线性复杂度和全局感受野而在图像压缩中展现出潜力，但标准的 Mamba 架构存在两个根本性缺陷，使其难以在图像压缩中达到最优性能：
1. 内容无关的刚性扫描 (Content-Agnostic Rigid Scan)： 标准 Mamba 采用固定的光栅扫描（Raster Scan）或多方向扫描。这种扫描顺序仅基于空间邻近性，忽略了图像内容的相关性。在图像压缩中，语义相似但空间距离较远的区域（如天空中的云朵、重复的纹理）存在大量冗余。固定扫描路径将这些内容相关的 Token 分隔开，导致模型难以有效捕捉和消除长距离冗余。
2. 严格的因果性 (Strict Causality)： Mamba 是因果序列模型，当前 Token 的处理仅依赖于其之前的 Token。然而，图像本质上是非因果的（2D 结构）。为了缓解这一问题，现有方法通常采用多方向扫描（如四个方向），但这会将计算复杂度增加四倍，且仍然基于欧几里得空间路径，未能真正解决内容适应性问题。

2. 核心方法论 (Methodology)

作者提出了 内容感知 Mamba (Content-Aware Mamba, CAM)，这是一种动态适应图像内容的 SSM。CAM 通过两个核心机制解决了上述问题：

A. 内容自适应 Token 重排 (Content-Adaptive Token Permutation, CTP)

机制： 为了打破固定的光栅扫描顺序，CAM 引入了基于内容的 Token 聚类与重排策略。
实现细节：
- 基于码本的聚类 (Codebook-based Clustering)： 借鉴 VQ-VAE，使用一个共享的、可学习的码本（Codebook）作为聚类中心。在训练阶段，通过指数移动平均（EMA）更新 K-Means 聚类中心；在推理阶段，Token 根据与聚类中心的余弦相似度被分配到不同的簇。
- 序列重排： 将属于同一簇（内容相似）的 Token 在 1D 序列中连续排列。这使得 SSM 能够优先处理特征空间中邻近的 Token，无论它们在原始图像中的空间距离有多远。
- 优势： 这种策略将扫描路径从“空间邻近”转变为“特征邻近”，显著增强了模型捕捉长距离语义冗余的能力，同时保持了线性复杂度。

B. 全局先验提示 (Global-Prior Prompting, GPP)

机制： 为了在不增加多方向扫描计算成本的前提下缓解 Mamba 的严格因果性，CAM 引入了提示（Prompting）机制。
实现细节：
- 冗余感知提示字典： 构建一个包含 $K$ 个提示向量的字典 $U$ ，每个向量对应一个语义簇。这些提示向量由聚类中心通过可学习线性投影生成。
- 样本特定提示注入： 对于输入图像，根据 Token 的聚类分配生成一个 One-Hot 矩阵，查询字典得到样本特定的提示矩阵 $P$ 。
- 状态调制： 将提示 $P$ 注入到 SSM 的输出投影矩阵 $C$ 中（即 $O_i = (C + P)h_i + D x_i$ ）。
- 优势： 这使得 SSM 在扫描过程中的每一步都能接收到来自整张图像的全局统计信息（全局先验）。这有效地打破了严格的因果链，使模型具备“非因果”的全局感知能力，而无需增加额外的扫描方向。

C. 整体架构 (CMIC Model)

基于标准的 VAE 架构，包含非线性变换网络（分析/合成）和熵模型。
非线性变换网络由多个阶段组成，每个阶段结合了窗口注意力（处理局部依赖）和 CAM 块（处理长距离依赖）。
熵模型基于改进的 SCCTX（空间 - 通道上下文）模型。

3. 主要贡献 (Key Contributions)

内容自适应 Token 重排 (CTP)： 提出了一种新颖的 Token 重排机制，基于特征相似度而非空间位置对扫描序列进行排序。这极大地增强了 Mamba 捕捉长距离冗余的能力。
全局先验提示 (GPP)： 引入了一种基于冗余感知聚类的全局提示机制，通过注入样本特定的全局先验来缓解 SSM 的严格因果性，显著提升了全局建模能力，且计算开销极小。
端到端 CMIC 模型： 构建了基于 CAM 的 LIC 模型，在率失真（RD）性能和效率上均超越了现有的 Mamba 基线模型。

4. 实验结果 (Results)

数据集： 在 Kodak, Tecnick, 和 CLIC 三个标准数据集上进行了测试。
性能指标：
- BD-rate 提升： 相比传统视频编码标准 VTM-21.0，CMIC 在 Kodak、Tecnick 和 CLIC 数据集上分别实现了 15.91%、21.34% 和 17.58% 的码率节省（BD-rate）。
- 对比 SOTA： 显著优于现有的 Mamba 基线模型（MambaVC, MambaIC）以及其他先进的 LIC 模型（如 Transformer 基的 FTIC, 混合架构 TCM-L）。例如，在 Tecnick 数据集上，相比 MambaIC 提升了 6.48% 的 BD-rate。
- PSNR/MS-SSIM： 在相同码率下，PSNR 和 MS-SSIM 指标均有显著提升。
效率与复杂度：
- 计算量： 相比 MambaIC，参数量减少 56%，FLOPs 减少 57%，解码延迟降低 39%。
- 显存： GPU 显存占用减少了 78%，这得益于其高效的单方向选择性扫描而非二次复杂度的 2D 扫描。
- 推理速度： 在 2K 分辨率图像上，解码时间仅增加约 4%（相对于基线），保持了极高的效率。
可视化分析：
- 有效感受野 (ERF)： 可视化显示，CMIC 的 ERF 具有高度的内容适应性，能够覆盖语义相关的远距离区域（如羽毛、云层），而传统模型（如 FTIC）的 ERF 通常是各向同性且内容无关的。
- 非因果性验证： 实验证明 GPP 使得模型能够“看到”扫描序列之后的内容，打破了光栅扫描的因果限制。

5. 意义与影响 (Significance)

理论突破： 该工作首次成功地将 Mamba 架构从“内容无关”的序列处理转变为“内容感知”的图像压缩工具，解决了 SSM 在 2D 图像数据上应用的核心痛点（扫描顺序僵化和因果性限制）。
性能标杆： CMIC 设立了新的学习型图像压缩性能标杆，证明了在保持线性复杂度的同时，通过内容自适应机制可以实现超越传统编解码器（VTM）和 Transformer 模型的压缩效率。
应用价值： 该模型在保持高压缩比的同时，具有较低的推理延迟和显存占用，非常适合对带宽和存储敏感的实际应用场景（如云端传输、移动设备存储）。

总结： 这篇论文通过引入“内容感知”的扫描重排和全局提示机制，巧妙地改造了 Mamba 架构，使其能够高效地捕捉图像中的长距离语义冗余，从而在图像压缩领域取得了突破性的进展。