💻 computer science

NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs

NAE-VC 是一个模块化的学习熵编码框架，它通过结合上下文聚合、高斯混合模型和超先验的神经架构，取代了 H.264、H.265 和 H.266 编解码器中的标准 CABAC 引擎，在实现显著码率节省的同时，保持与现有视频编码标准的完全兼容性。

原作者： Reka Sandaruwan Gallena Watthage, Anil Fernando

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reka Sandaruwan Gallena Watthage, Anil Fernando

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向世界另一端的的朋友发送一部超高清的大型电影。为了让这成为可能而不至于堵塞互联网，你必须尽可能地压缩这个文件。这个过程被称为视频压缩。你可以把它想象成为旅行打包行李：你不能只是把东西乱扔进去，你需要一个聪明的系统来紧凑地折叠衣服并进行排列，从而不浪费任何空间。

在视频领域，这个“聪明打包系统”有一个非常关键的最后阶段，叫做熵编码（entropy coding）。这是计算机决定如何精确地将数据写入 1 和 0 的比特流的最终步骤。几十年来，业界一直使用一种特定的、手工设计的技术，叫做 CABAC（基于上下文的自适应二进制算术编码）。你可以把 CABAC 想象成一位经验丰富但略显刻板的图书管理员，他背诵了一本庞大的规则手册来组织书籍。他做得很好，但由于遵循固定的规则，无法轻易适应奇特或新的数据模式。与此同时，新一代的神经网络（像大脑一样学习的计算机系统）已经展示出它们在预测模式方面可能表现得更好，但它们通常需要从头替换整个视频系统，这就像为了更换一名图书管理员而拆掉重建整座图书馆一样。

这篇论文介绍了一种聪明的折中方案——NAE-VC。研究人员并没有拆除整个图书馆，而是构建了一个“神经图书管理员”，它可以替换掉旧的、受规则束缚的图书管理员（CABAC），同时保持视频系统的其他部分完全不变。他们在三代视频标准（H.264、H.265 和 H.266）上测试了这个新系统，发现它能比旧方法更有效地缩小文件体积，这证明了即使是最好的手工规则，如果让学习型计算机接管，也有改进的空间。

问题所在：刻板的图书管理员

多年来，视频编解码器（用于压缩视频的软件）一直依赖 CABAC 来完成最后的打包工作。CABAC 就像一位背诵了庞大手工规则手册的图书管理员。当一段新数据到达时，他会检查手册中的特定索引，以猜测下一个数据出现的可能性。如果数据很常见，他就用短代码记录；如果数据很罕见，他就用长代码记录。

问题在于，这本规则手册是固定不变的。它是多年前由人类设计的，无法根据正在观看的具体电影进行调整。此外，它将复杂的数据分解为简单的“是/否”（二进制）问题，这会丢失真实视频中丰富的、混乱的模式。这就像试图通过只问“它是红色的吗？”或“它是蓝色的吗？”来描述一幅复杂的画作，而不是理解整个笔触，这只能看到一个个像素点，而非整体。

解决方案：学习型图书管理员

研究人员提出了 NAE-VC（用于视频压缩的神经算术编码）。想象一下，用一位超级聪明的 AI 助手取代那位刻板的图书管理员。这位助手不仅是查阅规则，它还会观察全局。

这位 AI 助手有三种特殊的获取线索的方式，以便在决定如何打包数据之前进行判断：

空间上下文（Spatial Context）： 它观察邻居。就像通过观察当前房间就能知道隔壁房间的情况一样，AI 会观察当前像素周围的像素，以预测接下来的内容。
通道上下文（Channel Context）： 它观察频率。视频数据有不同的“细节层”（类似于音乐中的低音和高音）。AI 理解这些层级之间的相互关系。
时间上下文（Temporal Context）： 它观察过去。如果你正在看一段球移动的视频，AI 知道球在下一帧很可能会出现在类似的地点。它利用这种运动规律来进行更好的预测。

AI 使用一种称为多头交叉注意力机制（multi-head cross-attention）的技术来结合所有这些线索（可以想象成有四位不同的专家在开会，每位专家专注于不同类型的线索，然后通过投票选出最佳预测）。它不再仅仅猜测一个简单的“是或否”，而是预测一个高斯混合模型（Gaussian Mixture Model）。简单来说，这意味着它不仅仅是在猜一个数字，而是在猜一团可能的“云团”，理解数据可能以几种不同的方式聚集。这使得它能够更紧凑地打包数据。

结果：削减比特数

研究人员通过将这个新的“神经图书管理员”替换到三个不同视频标准的参考软件中，测试了其性能：H.264、H.265 和 H.266。他们保持其他一切完全相同，以便观察这个新图书管理员是否真的更好。

结果在所有标准下都表现一致：

H.264（较旧的标准）： 在“全内帧”（All-Intra，即每一帧都是独立的模式）模式下，新系统节省了约 4.82% 的文件体积；在“低延迟”（Low-Delay）模式下节省了 6.15%。
H.265（中间标准）： 它节省了 3.67%（全内帧）和 4.93%（低延迟）。
H.266（最新、最先进的标准）： 尽管这个标准已经拥有非常复杂的系统，新的 AI 仍然成功实现了 2.41%（全内帧）和 3.28%（低延迟）的体积缩减。

论文显示出一个明显的规律：原始系统越先进，改进的空间就越小。H.264 作为最古老、最简单的标准，为 AI 提供了最多的“提升空间”。然而，事实是 AI 仍然能让最新的 H.266 提升超过 2%，这意义重大。这表明，无论人类如何设计规则手册，学习型系统都能发现人类遗漏的模式。

这意味着什么

这项研究表明，你不需要抛弃整个视频系统就能获得更好的压缩效果。你可以通过手术式地替换掉仅仅是“打包”的部分，将其换成智能的学习型 AI。

研究人员还检查了这是否会让视频看起来更好。他们发现，这种节省不仅仅是数学上的技巧；视频在视觉上也变得更好了（通过 VMAF 和 MS-SSIM 等指标衡量）。AI 更好地保留了那些让视频看起来清晰、自然的细节。

一个有趣的发现是，当存在运动（如体育比赛或电影）时，新系统的表现最好，因为它可以利用“时间上下文”（观察过去）来进行更聪明的预测。在静态场景中，改进幅度较小，但依然存在。

代价

这种额外的聪明才智是有代价的。新系统需要更多的计算能力来运行。对于较旧的 H.264 标准，编码时间（压缩视频所需的时间）增加了约 4 倍。对于已经非常复杂的现代标准 H.266，时间仅增加了约 15%。这表明，这项技术最适合应用于现代高端视频系统（即计算机本身已经在高强度工作），或者适用于对速度要求不如节省存储空间那么关键的云端服务器。

简而言之，这篇论文证明了，通过将视频压缩的最后一步替换为学习型 AI，我们可以从现有的视频标准中榨取更高的效率，使我们的视频更小、更清晰，而无需等待下一代视频技术的到来。

技术摘要：NAE-VC —— 作为 CABAC 学习型替代方案的神经算术编码

1. 问题陈述

熵编码代表了混合视频编解码器（H.264/AVC、H.265/HEVC、H.266/VVC）中最后的无损阶段，直接决定了实现特定重建质量所需的码率。当前的标准——基于上下文的自适应二进制算术编码（CABAC），依赖于三个基本的架构约束，这些约束限制了其概率估计的准确性：

二进制概率建模： CABAC 将多值语法元素分解为二进制决策，为每个比特估计独立的伯努利概率。这丢弃了变换系数的联合统计结构和多模态特性。
固定上下文推导： 从编码状态到上下文模型索引的映射是手工设计的，并在标准化时被冻结。它无法适应特定视频序列或局部内容区域的特定统计特性。
单速率自适应： 概率更新使用固定的指数移动平均（EMA）规则，无法区分平稳上下文（需要慢速自适应）和非平稳上下文（需要快速自适应）。

虽然端到端神经压缩框架通过学习到的超先验、自回归上下文和高斯混合模型（GMM）展示了更优越的概率建模能力，但这些方法旨在替换整个编解码器流水线。它们不符合标准规范，且缺乏向后兼容性。在不改变预测、变换或滤波工具的情况下，将这些学习到的建模进展转移到现有标准化编解码器的熵编码阶段，存在着显著的技术鸿沟。

2. 方法论：NAE-VC 框架

作者提出了 NAE-VC（用于视频压缩的神经算术编码），这是一个模块化框架，旨在手术式地仅替换现有编解码器（JM-19.0、HM-16.25、VTM-17.0）中的 CABAC 模块，同时保留所有其他编码工具。该框架由三个主要部分组成：

A. 上下文聚合网络

为了克服固定 CABAC 上下文索引有限的表示能力，NAE-VC 采用了一个学习网络，将三个互补的上下文源融合为一个统一的条件向量（ $D=192$ ）：

空间上下文： 通过对当前块内已编码系数进行掩码 $3\times3$ 卷积提取，并辅以重建相邻块（左侧/上方）的特征以处理边界问题。
通道维自回归上下文： 系数被分为四个组，并通过多层感知器（MLP）进行顺序处理，以捕捉通道间的依赖关系（例如，DC 系数与 AC 系数之间）。
时间上下文： 对于帧间编码，从运动补偿参考块中提取特征；对于帧内编码，则使用学习到的默认嵌入。
融合： 这些路径通过多头交叉注意力机制（ $H=4$ 个头， $d_k=48$ ）进行融合，使网络能够针对每个语法元素自适应地加权最具信息量的上下文源。

B. 神经概率估计 (GMM)

NAE-VC 不再使用单一的伯努利概率，而是使用具有 $K=3$ 个分量的高斯混合模型 (GMM) 来对量化后的变换系数分布进行建模。

预测头： 三个并行的线性头根据融合后的上下文向量预测 GMM 分量的均值 ( $\mu$ )、尺度 ( $\sigma$ ，通过 Softplus) 和混合权重 ( $\pi$ ，通过 Softmax)。
离散化： 通过在单位量化区间内对连续 GMM 密度进行积分来生成离散概率质量函数 (PMF)，随后将其转换为用于熵编码的累积分布函数 (CDF)。
优势： 这种方法能够捕捉 CABAC 的单模态模型无法表示的多模态、重尾和非对称分布。

C. 分层上下文建模与 rANS 编码

超先验： 一个轻量级编码器网络（1.8M 参数）将全局系数统计信息压缩为潜在的侧边信息向量 ( $\hat{z}$ )，作为侧边信息传输，以提供空间自适应的初始估计。
棋盘并行化： 为了在不违反因果依赖的情况下实现部分并行化，系数位置被分为偶数集和奇数集（棋盘模式）。偶数位置首先使用超先验和时间上下文进行编码；奇数位置随后进行编码，并额外以已解码的偶数位置为条件。
编码引擎： 该框架使用 rANS（范围非对称数值系统）配合 16 位 CDF 精度来取代二进制算术编码器。这确保了近乎最优的压缩效率（与理论熵差距在 0.01 bits/symbol 以内）以及编码器与解码器之间的位精确同步。

3. 核心贡献

首个统一的神经替代方案： NAE-VC 被认为是第一个针对三种生成代次的标准化混合编解码器（H.264、H.265、H.266）在单一架构下进行评估的变换系数熵编码神经替代方案。
多头交叉注意力融合： 引入了一种学习到的融合机制，能够自适应地结合空间、通道维和时间上下文，超越了 CABAC 的固定映射。
全面的跨编解码器评估： 研究在六个基准数据集（UVG、MCL-JCV、HEVC Class B–E）和两种配置（All-Intra、Low-Delay P）下进行了广泛评估，在 PSNR、MS-SSIM 和 VMAF 指标上均表现出一致的增益。
模块化集成策略： 本研究证明了学习到的熵编码可以作为 CABAC 的“即插即用”替代方案，从而将概率估计的贡献与其它编码工具隔离开来，并保留了标准编解码器的预测和变换语义。

4. 实验结果

实验在六个基准数据集上使用 QP 值 {22, 27, 32, 37} 进行。

BD-Rate 节省（对比原生 CABAC）

NAE-VC 在所有编解码器中均实现了码率节省，其提升幅度与原生 CABAC 实现的复杂程度成反比：

H.264/AVC： $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P)。
H.265/HEVC： $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P)。
H.266/VVC： $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P)。

关键观察

反向关系： 结果证实了以下假设：随着原生 CABAC 变得越来越复杂（从 H.264 到 H.266），用于神经替代的“余量”逐渐减小，但即使在高度优化的 VVC 中，可衡量的增益依然存在。
时间上下文： Low-Delay P 配置产生的增益大于 All-Intra（例如在 H.264 中额外增加了 $1.33$ 个百分点），这验证了时间上下文路径的贡献，该路径能够对 CABAC 无法建模的跨帧系数相关性进行建模。
感知质量： 增益在各项指标中表现一致，其中 VMAF 的提升（H.264 为 $-5.47\%$ ）略高于 PSNR 增益，表明 GMM 能更好地保留具有结构重要性的系数。
组件消融实验： 最大的单个增益来自于用神经概率估计取代固定表（$-1.18$ pp），其次是 GMM 建模（$-0.64$ pp）、超先验（$-0.56$ pp）和空间上下文（$-0.49$ pp）。
跨世代影响： H.265 + NAE-VC 缩小了约 $25\%$ 的压缩差距至原生 H.266，这表明学习到的熵编码可以在不进行完整编解码器重新设计的情况下，提供实质性的世代性收益。

计算开销

编码： 由于 H.264 的原生编码速度极快，其开销最高（约为基准的 $3.9\times$ ）；但对于已经是计算密集型的 H.266 而言，开销则较为适中（ $1.15\times$ ）。
模型大小： 总训练参数为 $8.6$ M，ONNX 模型大小约为 $\approx 34$ MB。
部署： 作者指出，对于实时 H.264/H.265，需要硬件加速或模型压缩，而基于云端的转码则是更直接可行的场景。

5. 重要性与主张

论文声称，NAE-VC 提供了具体证据，证明学习到的熵编码解决了存在于所有 CABAC 变体中的根本架构局限性（二进制建模、固定上下文推导、单速率自适应）。

模块化： 该方法提供了一条在不替换整个编解码器生态系统的情况下提高压缩效率的路径，保留了向后兼容性（尽管比特流格式发生了变化，需要匹配的解码器）。
余量量化： 结果量化了即使在最先进的标准（VVC）中仍然存在的残余熵编码余量，表明通过学习概率建模仍可获得进一步的提升。
实用性： 通过隔离熵阶段，这项工作弥合了端到端神经编解码器的高性能与标准化视频编解码器部署现实之间的差距，为现有的基础设施提供了一条“手术式”的升级路径。

作者总结道，虽然逆向关系在方向上是一致的，但它受到其他编解码器层面差异（如划分、变换等）的影响。尽管如此，跨世代的一致性提升验证了模块化神经熵编码作为未来视频压缩标准可行增强方案的潜力。