💻 computer science

DCVC-MB: Neural B-Frame Video Compression using State Space Models

本文介绍了 DCVC-MB，这是一种针对 B 帧的神经视频压缩框架，它利用状态空间模型进行双向预测，并结合熵感知跳过机制，与现有的神经编解码器及 VTM 等传统标准相比，实现了显著的码率降低。

原作者： Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一个缓慢的网络连接向朋友发送一部超高清的大型电影。如果你只是把每一帧都当作一张独立的图片发送，文件体积将会巨大无比，你的朋友将永远在等待。这就是视频压缩的日常挑战：如何在不让画面变成一片模糊的情况下，将视频文件缩小到可管理的尺寸。几十年来，工程师们通过发送一个“关键帧”（完整的图像），然后只发送接下来几帧的“变化”来解决这个问题，比如一个“P帧”，它会说：“背景没变，但那个人动了手臂。”

但传统视频播放器中使用了一种更聪明的方法，叫做“B帧”。B帧不仅通过观察过去来预测未来，还会同时观察过去和未来，以确定中间到底发生了什么。这就像是通过同时阅读前一章和后一章的内容，来推测电影场景的情节。虽然这种方法在节省空间方面效果显著，但教计算机如何实现这一点一直非常困难。之前的尝试要么让计算机的“大脑”因为过多的数学运算而崩溃，要么无法有效地利用未来的信息。本文深入探讨了计算机科学中的这个特定领域——神经视频压缩——旨在研究我们是否终于可以教会人工智能高效地使用这些“面向未来”的帧。

论文的核心思想：教 AI 两头看

研发 DCVC-MB（即 DCVC-Mamba）的研究人员构建了一种全新的视频压缩系统，终于让“B帧”在现代 AI 领域发挥了作用。你可以将他们的方法理解为将一条单行道升级为视频数据的双向高速公路。

旧方法的缺陷
目前大多数 AI 视频编解码器就像是一个只看后视镜的司机。它们只使用“P帧”，即通过参考过去来预测现在。它们忽略了“B帧”（即同时参考过去和未来），因为同时向两个方向观察所需的数学计算量通常过于沉重，计算机难以承受，尤其是在处理像 1080p 这样高分辨率的视频时。以往使用 AI 进行此类操作的方法依赖于“Transformer”，这是一种随着视频规模增大而呈指数级变慢且极度消耗内存的模型。这就像是为了寻找一个单词而必须阅读整座图书馆的每一本书；这在小书架上可行，但在整座城市面前就会彻底失效。

解决方案：“Mamba”魔法
作者引入了一个名为 Mamba 的新引擎（一种状态空间模型）。如果说 Transformer 是一辆在长路上因交通拥堵而停滞不前的笨重卡车，那么 Mamba 就是一辆无论路有多长都能以恒定速度疾驰的轻便电动踏板车。

工作原理： 系统获取一帧过去的图像（ $t-1$ ）和一帧未来的图像（ $t+1$ ），并将它们融合在一起，从而完美地重建中间那一帧（ $t$ ）。
创新之处： 他们利用 Mamba 来进行这种融合。由于 Mamba 非常高效，它可以处理高分辨率视频（720p 和 1080p）而不会耗尽计算机内存，而这正是之前的“Transformer”方法无法做到的。

“跳过”技巧
为了让系统运行得更快，他们添加了一个聪明的“偷懒”功能，称为自适应潜变量跳过（Adaptive Latent Skipping）。

类比： 想象你在向朋友描述一幅画。如果画的一部分只是单调的纯蓝色天空，你不需要描述每一个像素，你只需要说：“它是蓝色的。”
技术细节： AI 会观察它需要发送的数据。如果一段数据是“无聊的”（在统计学上是可预测的），它就会完全跳过不发送这段数据。这并不会显著降低画质，但能将视频压缩时间缩短约 9 倍（标准帧）和 5 倍（复杂的 B 帧）。

“开放式”策略
他们还调整了视频切分的方式。传统方法通常将视频锁定在僵化的区块中（闭合图像组，Closed Group of Pictures）。作者尝试了一种“开放式 GoP”策略，即允许当前区块的最后一帧窥探下一个区块的第一帧。这就像是让读者读完一个跨越到下一段落的句子，使故事衔接得更流畅，同时也节省了更多空间。

研究发现

团队将他们的新型 DCVC-MB 系统与当前的行业标准进行了对比测试，包括传统的 VTM-19.0 编解码器以及现有的最佳 AI 编解码器（DCVC-DC 和 DCVC-FM）。

结果： 新系统是明确的赢家。与之前的最佳 AI 编解码器相比，DCVC-MB 平均减少了 8.98% 到 9.21% 的文件体积（以 BD-rate 衡量）。
击败巨头： 与强大的传统 VTM-19.0 编解码器相比，这个新的 AI 系统表现更为惊人。它比传统编解码器的“低延迟（Low Delay）”版本提升了 30.45%，比“随机访问（Random Access）”版本提升了 1.81%。
视觉质量： 在侧向对比中，即使在使用更少比特的情况下，新系统对微小细节（如球衣上的皱纹或墙壁的纹理）的保留也远优于旧的 AI 方法。

局限性
论文谨慎地指出了一些并非完美处理的情况。该系统有时在处理高度动画化内容或具有极其快速、混乱运动（看起来不像自然视频）的视频时会遇到困难。在这些特定的“领域差异（domain gap）”案例中，AI 可能无法正确预测未来，导致质量略逊于较旧、较简单的算法。

为什么这很重要

这篇论文表明，我们不再需要在“智能”AI 压缩和“快速”压缩之间做选择。通过使用高效的 Mamba 架构，作者证明了我们终于可以在神经网络中应用强大的“两头看”（B 帧）策略，而不会导致计算机崩溃。他们不仅仅是提出了建议，还通过测量证明了其方法能显著节省空间和时间，让我们离在即使是最慢的网络连接上也能流畅观看超高质量视频的目标又近了一步。

技术摘要：DCVC-MB：基于状态空间模型的神经 B 帧视频压缩

问题陈述

虽然传统的视频编解码器（如 VVC、HEVC）通过双向预测（B 帧）实现了显著的压缩增益，但神经视频编解码器（NVC）主要仍依赖于单向 P 帧结构。现有的引入 B 帧的尝试在两个主要问题上遇到了困难：

融合效率低下： 先前的方法无法有效地融合双向时域信息，其性能往往逊于仅使用 P 帧的方法。
计算复杂度高： 基于 Transformer 的架构虽然能够捕捉长程依赖关系，但其复杂度随分辨率呈平方级增长（ $O(N^2)$ ）。这导致在高分辨率（720p、1080p）下会出现极高的显存消耗（超过 VRAM 限制）和计算成本，使其难以在实际应用中部署。

方法论

作者提出了 DCVC-MB（DCVC-Mamba），这是一个专门为使用状态空间模型（SSM）进行 B 帧编码而设计的神经视频编解码器框架。该架构构建于 DCVC-DC 框架之上，但引入了根本性的变化，以实现对过去和未来时域信息的同步访问。

核心架构组件

通过 Mamba 进行双向特征融合：
- 不同于以往模型仅使用来自过去的单一解码图像缓冲（DPB），DCVC-MB 维护两个 DPB：一个来自过去帧（ $X_{t-1}$ ）和一个来自未来帧（ $X_{t+1}$ ）。
- 这些特征通过**双向 Mamba 模块（BMB）**进行融合。Mamba 架构提供了线性复杂度（ $O(N)$ ），相比之下，Transformer 的复杂度为二次方，这使得在高分辨率下进行高效处理成为可能。
- 融合过程包括连接参考帧、通过 2D CNN 进行嵌入、将它们标记化（tokenizing），并通过 SSM 处理序列。SSM 使用具有可学习参数（ $A, B, C$ ）的离散化常微分方程（ODE）来建模系统动力学。
- 为了捕捉复杂的双向依赖关系，模型采用了**空间优先的双向（Spatial-First Bidirectional）**方法，即在正向和反向行优先扫描中处理标记，并将输出相加。
自适应潜变量跳过（Adaptive Latent Skipping）：
- 为了减少熵编码时间，该框架采用了自适应潜变量跳过机制。它没有使用固定阈值，而是根据帧内潜变量元素的标准差（ $\sigma$ ）采用相对阈值策略。
- 当 $\sigma_i < \text{mean}(\sigma)$ 时，对应的潜变量会被跳过（替换为平均值），而其他潜变量则会被编码。这在不引入非对称计算的情况下，将 P 帧的熵编码时间缩短了约 9 倍，将 B 帧缩短了约 5 倍。
规范位置嵌入（Canonical Position Embedding）：
- 为了解决训练（256 $\times$ 256）与推理（高达 1080p）之间的分辨率失配问题，作者使用规范位置嵌入取代了标准的像素坐标位置嵌入。
- 空间坐标被归一化到规范图像平面（ $x, y \in [0, 1]$ ），而非使用原始像素值。这确保了位置谐波在不同分辨率下保持一致，防止了对训练分辨率的过拟合。
推理时优化：
- 开放 GOP（Open GoP）： 允许后续 GOP 的最后一帧 B 帧引用当前 GOP 的 I 帧，从而提供更接近的时域参考。
- 双向编码： 对奇数索引的 GOP 进行正向和反向编码，并选择率失真代价较低的结果。偶数索引的 GOP 使用封闭配置以维持线性复杂度。

核心贡献

新颖架构： 引入了基于状态空间模型（Mamba）的双向特征融合架构，实现了在 Transformer 架构因内存限制而在高分辨率下失效的情况下，进行高效的 B 帧编码。
IBP 帧策略： 实现了一个支持使用 IBP 帧顺序进行随机访问（RA）视频编码的基础神经压缩模型。
效率机制： 开发了基于熵的自适应潜变量跳过技术以加速熵编码，并集成了推理时策略（Open GoP 和双向编码）以提升压缩性能。
分辨率泛化： 利用规范位置嵌入，确保模型能从低分辨率训练数据有效泛化到高分辨率推理。

实验结果

该方法在使用了 RGB BT.709 转换的标准数据集（HEVC, UVV, MCL-JCV）上进行了评估，并与 VTM-19.0（LDP 和 RA 配置）以及最先进的 NVC（DCVC-DC, DCVC-FM）进行了对比。

对比传统编解码器： DCVC-MB 相比 VTM-19.0-LDP 实现了高达 30.45% 的 BD-rate 降低，相比 VTM-19.0-RA (Inter-GoP=16) 降低了 1.81%。
对比神经编解码器： 该模型相比之前的神经视频编解码器（特别是 DCVC-FM）实现了平均 8.98% 的 BD-rate 降低，相比更强的 VTM-19.0-RA 基准降低了 20.19%。
效率： Mamba 融合模型的线性扩展能力使得完整的 B 帧流水线可以在 1080p 分辨率下仅占用 13.8GB VRAM，而类似的 Transformer 架构则会超过 40GB。
消融实验： 实验证实，Mamba 融合模型贡献了绝大部分的 BD-rate 收益（ $-4.55\%$ ），而推理时策略提供了额外的改进。规范位置嵌入被证明对于分辨率泛化至关重要。

重要性与主张

论文声称，DCVC-MB 通过成功地弥合了双向预测的压缩效率与深度学习模型计算可行性之间的差距，代表了神经视频压缩领域的重大进展。

作者断言：

可扩展性： 通过利用 Mamba，该框架实现了高分辨率（720p, 1080p）下的实用 B 帧编码，克服了限制以往双向 NVC 的内存瓶颈。
竞争力： DCVC-MB 是首个超越更强 VTM-19.0-RA 配置的 NVC，证明了神经方法现在可以在随机访问场景中与甚至超越领先的传统编解码器。
实用性： 通过自适应潜变量跳过和推理时优化，该方法在平衡高压缩性能的同时降低了编码/解码时间，使神经视频压缩更接近实际部署。

作者也承认了局限性，指出由于训练数据（自然视频）与测试数据（如具有剧烈运动的动画内容）之间的领域差异，性能在特定数据集（如 MCL-JCV）上可能会下降，且与 RGB 训练相比，YUV420 的优化仍是一个挑战。