A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

本文提出了一种紧凑的混合卷积与频域状态空间网络（HCFSSNet），通过结合卷积层、支持多方向扫描的视觉全向邻域状态空间模块以及自适应频域调制模块，在保持局部细节的同时高效建模长程依赖，从而在图像压缩任务中实现了具有竞争力的率失真性能。

要点

这篇文章介绍了一种名为 HCFSSNet 的新型图像压缩技术。为了让你轻松理解，我们可以把“图像压缩”想象成**“把一张巨大的全家福塞进一个小小的信封里寄给远方的朋友”**。

传统的压缩方法（像 JPEG）就像是用固定的模具去切蛋糕，虽然快，但切得不够精准，容易把重要的细节（比如人物的表情）切坏，或者把不重要的背景（比如天空的纯色）塞得太多。

而现在的“学习型压缩”（LIC）就像是一个聪明的 AI 打包员，它自己学习怎么打包最省空间。但这篇论文发现，现有的 AI 打包员有两个主要问题：

1. 太贪心（计算量太大）： 像 Transformer 这种模型，为了看清整张图，要把所有像素都互相“认识”一遍，就像让 100 个人每个人都和另外 99 个人握手，人多了握手次数会爆炸，电脑跑不动。
2. 太死板（丢失细节）： 像 SSM（状态空间模型）这种新模型，为了跑得快，把 2D 的图片强行拉成 1D 的长条（像把拼图拉成一条线）。这就导致原本紧挨着的邻居（比如对角线上的两个像素），在长条里可能隔了十万八千里，AI 就忘了它们其实是邻居，导致图片边缘变得模糊。

HCFSSNet 的解决方案：一个“全能型打包团队”

为了解决这些问题，作者设计了一个**“混合双打”**的打包团队，它由三个核心绝招组成：

1. 左右开弓：局部细节 + 全局视野（混合架构）

想象一下，这个打包团队里有两路人马：

• 路人甲（卷积层）： 就像**“显微镜”**。它专门负责盯着图片的局部，比如人物的头发丝、衣服的纹理。它不管远处，只把眼前的细节处理得清清楚楚。
• 路人乙（状态空间模型）： 就像**“望远镜”**。它负责看大局，理解整张图的上下文关系（比如天空和草地的关系）。
• 绝妙之处： 以前的模型要么只用显微镜，要么只用望远镜，或者把望远镜强行拉直了用。HCFSSNet 把两者完美融合，既保留了显微镜的细腻，又保留了望远镜的广阔视野，而且不需要像 Transformer 那样搞“全员握手”，效率更高。

2. 八面玲珑：全向扫描（VONSS 模块）

这是解决“把拼图拉成线”问题的关键。

• 旧方法： 就像读报纸，只能从左到右、从上到下读。如果你把图片拉成一条线，原本在右下角和左上角挨着的两个点，在长条里可能隔得很远。
• HCFSSNet 的新方法（VONSS）： 它像一个**“八面玲珑的雷达”。它不仅从左到右、从上到下扫，还斜着扫**（对角线方向）。
• 比喻： 想象你在一个房间里找人。旧方法只能横着走、竖着走，找对角线的朋友很费劲。HCFSSNet 允许你直接斜着走，这样无论朋友站在房间的哪个角落（包括对角线），你都能迅速找到他，确保不会弄丢任何“邻居关系”。这让图片的边缘和纹理更加清晰。

3. 调频大师：频率感知（AFMM 模块）

这是这篇论文最“魔法”的地方。

• 背景： 任何图片都可以看作是由不同“频率”的波组成的。低频是平滑的天空（大色块），高频是尖锐的边缘和噪点。
• 旧方法： 很多 AI 打包员是“一视同仁”的，不管高频还是低频，都一锅端。
• HCFSSNet 的新方法（AFMM）： 它像一个**“调音师”。它先把图片变成“乐谱”（通过 DCT 变换，类似把声音变成频谱），然后动态调整音量**。
  • 对于人眼不敏感的高频杂音，它就把音量调小（少存点数据）。
  • 对于人眼敏感的重要细节，它就把音量调大（多存点数据）。
  • 关键点： 它不是重新发明乐器，而是学会**“给现有的音符加权重”**。这让它在压缩时，能更聪明地决定哪些信息值得保留，哪些可以扔掉。

4. 连信封都优化了（FSTAM 模块）

在压缩过程中，除了图片本身，还需要一个“说明书”（超先验信息）告诉解码器怎么还原图片。

• 大多数方法只关注图片内容，忽略了说明书的优化。
• HCFSSNet 连这个“说明书”的编写也用了**“调音师”**（FSTAM 模块），确保说明书里的每一个字都精准对应图片的频率特征，进一步节省了空间。

总结：它厉害在哪里？

如果把图像压缩比作**“搬家”**：

• 传统方法是用大卡车硬塞，浪费空间。
• 以前的 AI 方法要么是用超级复杂的机器人（太慢），要么是把家具拆散了乱塞（容易坏）。
• HCFSSNet 是一个**“精明的打包专家”**：
  1. 它既有显微镜看细节，又有望远镜看大局。
  2. 它斜着看，确保家具的边角不丢失。
  3. 它懂得**“调频”**，把不重要的灰尘抖掉，把珍贵的瓷器包好。
  4. 最重要的是，它不贪大。虽然有些更强大的模型（如 MambaIC）压缩率更高，但它们像“重型坦克”，体积巨大且运行慢。HCFSSNet 像一辆**“高性能跑车”**，体积适中（参数少），速度不错，压缩效果却能和那些“重型坦克”打得有来有回。

一句话总结：
HCFSSNet 是一个**“小而美”的图像压缩新方案，它通过“全向扫描”和“智能调频”**，在保持图片清晰度的同时，用更少的计算资源实现了高效的压缩，是未来图像传输和存储的一个很有潜力的方向。

技术摘要

这是一份关于论文《A Compact Hybrid Convolution–Frequency State Space Network for Learned Image Compression》（用于学习图像压缩的紧凑混合卷积 - 频域状态空间网络）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
学习图像压缩（Learned Image Compression, LIC）通过端到端优化分析变换、合成变换和熵模型，在率失真性能上已超越传统标准（如 JPEG, VVC）。现有的 LIC 方法主要依赖四类非线性变换架构：

1. CNN 基方法：擅长捕捉局部结构，但长程依赖建模能力有限。
2. Transformer 基方法：通过自注意力机制建模长程依赖，但计算复杂度随序列长度呈二次方增长，难以扩展到高分辨率图像。
3. 混合 CNN-Transformer 方法：结合两者优势，但设计复杂。
4. 视觉状态空间模型（SSM）基方法（如 Mamba）：提供线性复杂度的长程建模，但在处理 2D 图像特征时存在挑战。

核心问题：
尽管 SSM 在效率上具有优势，但将其直接应用于 2D 图像压缩时存在以下三个主要缺陷：

1. 邻域连续性破坏：现有的视觉 SSM（如 Vim, VMamba）通常将 2D 特征展平为 1D 序列，主要依赖水平或垂直扫描。这种展平方式破坏了 2D 邻域的连续性，特别是对角线方向的邻域关系难以被有效建模。
2. 局部与全局建模的平衡：许多架构未能在一个紧凑的统一设计中平衡局部细节建模（CNN 优势）和长程上下文聚合（SSM 优势）。
3. 熵模型中的频域信息缺失：现有的超先验（Hyperprior）熵模型主要在空间和通道域操作，缺乏对侧信息（Side Information）的细粒度频域感知建模，而频域分析在图像压缩中至关重要。

2. 方法论 (Methodology)

作者提出了 HCFSSNet（Hybrid Convolution and Frequency State Space Network），一个紧凑的混合架构，旨在统一局部空间建模、长程依赖建模和频域感知调制。

2.1 整体架构

HCFSSNet 基于标准的超先验 LIC 框架，包含分析变换、合成变换、超先验路径和通道级熵模型。其核心创新在于引入了 混合卷积 - 频域状态空间块（HCFSS Block）。

2.2 核心组件

A. 混合卷积 - 频域状态空间块 (HCFSS Block)
该块将特征通道分为两个分支：

• CNN 分支：用于局部表示细化（Local Representation Refinement），捕捉细节。
• 视觉频域状态空间（VFSS）分支：用于互补的上下文聚合（Contextual Aggregation）。

B. 视觉全向邻域状态空间模块 (VONSS)
为了解决 SSM 展平 2D 特征时破坏邻域关系的问题，VONSS 改进了扫描策略：

• 全向扫描：不同于传统的仅水平/垂直扫描，VONSS 沿水平、垂直、对角线、反对角线四个方向及其反向（共 8 个方向）扫描特征。
• 优势：更好地保留了 2D 邻域关系，特别是增强了对角线依赖的建模能力，使序列距离与空间距离更一致。

C. 自适应频域调制模块 (AFMM)
在 VFSS 分支中引入频域感知机制：

• 机制：将局部空间窗口映射到固定的离散余弦变换（DCT）域（DCT 是正交且无参数的）。
• 学习过程：AFMM 不学习新的基函数，而是学习 DCT 系数的自适应重加权（Reweighting）。
• 目的：根据压缩需求，动态调整不同频率分量的重要性，实现面向压缩的表示学习。

D. 频域 Swin Transformer 注意力模块 (FSTAM)
应用于超先验路径（Hyperprior Path）以增强侧信息建模：

• 设计：将 Swin Transformer 块与 AFMM 结合。
• 作用：在熵模型中，利用窗口自注意力聚合局部上下文，并通过 AFMM 引入频域感知，从而更准确地预测潜在变量的概率分布。

3. 主要贡献 (Key Contributions)

1. 提出 HCFSSNet 架构：构建了一个紧凑的混合卷积 - 状态空间架构，在统一框架内结合了 CNN 的局部建模能力和 SSM 的长程建模能力。
2. 设计 VFSS 块：
   • 提出了 VONSS，通过全向扫描策略解决了 2D 特征展平导致的邻域关系丢失问题。
   • 提出了 AFMM，基于 DCT 的自适应重加权，实现了面向压缩的频域感知表示学习。
3. 引入频域感知超先验模块 (FSTAM)：首次将频域感知调制紧密集成到超先验路径中，优化了侧信息的建模。
4. 性能与效率的平衡：在保持参数量较小（80.97M）的情况下，实现了与更大规模模型（如 MambaIC, MLIC++）竞争的率失真性能，证明了紧凑混合设计的可行性。

4. 实验结果 (Results)

实验在 Kodak、Tecnick 和 CLIC Professional Validation 三个基准数据集上进行，以 VTM（VVC 参考软件）为锚点计算 BD-rate。

• 率失真性能：
  • HCFSSNet 在所有三个数据集上均优于 VTM，BD-rate 节省分别为：Kodak 18.06%，Tecnick 24.56%，CLIC 22.44%。
  • 与最新的 SSM 和 Transformer 基方法相比，HCFSSNet 具有竞争力。虽然其 BD-rate 略低于参数量更大的 MambaIC（123.81M）和 MLIC++（116.72M），但其参数量显著更少（80.97M）。
• 模型复杂度：
  • HCFSSNet 在“参数量 - 性能”帕累托前沿中处于紧凑且具竞争力的区域。它比许多高容量基线模型更小，同时保持了优秀的压缩性能。
• 解码效率：
  • 由于全向扫描和频域调制模块，HCFSSNet 的解码时间略高于部分轻量级模型（如 TCM, FTIC），但优于 VTM。作者明确指出其设计目标并非最低延迟，而是紧凑性与性能的平衡。
• 消融实验：
  • VONSS vs CSM：全向扫描（VONSS）比传统的交叉扫描（CSM）在 PSNR 上提升了 0.05-0.15 dB。
  • AFMM 的作用：引入 AFMM 带来了 1-4% 的比特率降低或同等质量下的 PSNR 提升。
  • FSTAM 的作用：在超先验路径中引入频域感知（FSTAM）比标准 Swin 注意力带来了稳定但微小的性能提升（约 0.04-0.08 dB）。
• 视觉效果：在 Tecnick 数据集的定性分析中，HCFSSNet 在细边缘、重复纹理和精细线条结构上保留了更清晰的细节，失真更少。

5. 意义与总结 (Significance)

• 理论意义：该工作指出了现有视觉 SSM 在 2D 图像压缩中扫描策略的局限性，并提出全向扫描作为更优的解决方案。同时，它证明了将频域分析（DCT 重加权）深度集成到 SSM 和超先验路径中，能有效提升压缩性能。
• 工程价值：HCFSSNet 提供了一种紧凑、统一且高效的 LIC 设计范式。它不盲目追求极致性能而堆砌参数，而是在模型大小、架构复杂度和压缩性能之间取得了良好的平衡。
• 未来方向：作者计划进一步研究更轻量的变体以降低延迟，并探索将该设计扩展到视频压缩任务中。

总结：HCFSSNet 通过创新的全向扫描机制和频域感知调制，成功解决了 SSM 在 2D 图像压缩中的邻域建模缺陷和频域信息利用不足的问题，为下一代紧凑型学习图像压缩模型提供了重要的设计思路。