💻 computer science

NPDO: Neural Prediction Direction Optimizer for Fast VVC Intra Coding

本文提出了 NPDO，一种结合了多尺度特征提取与层次化 CNN 和 Vision Transformer 架构的混合神经网络框架，旨在智能地剪枝 VVC Intra 预测搜索空间，与 VTM 23.0 参考模型相比，在仅增加 1.18% BD-Rate 的情况下，实现了 54.0% 的编码时间缩减。

原作者： Reka Sandaruwan Gallena Watthage, Anil Fernando

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reka Sandaruwan Gallena Watthage, Anil Fernando

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一个巨大且混乱的阁楼打包进一个极小的行李箱中，准备搬家。这个阁楼代表了一帧高清晰度视频，而行李箱则是你想通过互联网发送的压缩文件。挑战在于：阁楼里有 67 种不同的折叠和堆叠方式（称为“预测模式”）。为了找到最完美的打包方式，既能节省空间又不会损坏物品，标准的视频编码器（如 VTM 23.0 参考模型）会尝试所有这 67 种方式。这就像是在每次打包箱子时，都要尝试每一种可能的衬衫折叠组合。这种方法虽然有效，但速度极慢，且极其耗能。

由此，NPDO（神经预测方向优化器）诞生了——它是一个旨在为最新的 VVC 视频标准加速这一打包过程的“智能助手”。

传统方式存在的问题
论文指出，检查所有 67 个折叠方向的传统方法对于实时使用来说太慢了，尤其是在处理 4K 视频时。这就像一位坚持要读完图书馆里每一本书才能找到所需书籍的图书管理员，而不是只检查最有可能的那几层书架。作者明确排除了仅依赖传统的“手工设计”规则（例如通过简单的数学技巧来猜测方向）或仅使用一种类型的“计算机大脑”（例如仅使用类似标准摄像头的神经网络）的方法。他们发现，这些旧方法要么会忽略全局信息，要么会被复杂的纹理所迷惑。

NPDO 的解决方案：双脑侦探
NPDO 不再检查所有内容，而是像一个超级聪明的侦探，观察“阁楼”并瞬间猜出最有效的几种折叠方法。它通过一个巧妙的三步过程来实现：

多尺度扫描： 首先，它使用一种被称为离散小波变换（DWT）的“神奇透镜”，从不同尺寸观察视频的纹理，就像从无人机视角看森林，然后再回到地面观察。同时，它还会利用直方图绘制出边缘地图（类似于树木的轮廓）。
双脑团队： 这些信息被输入到两个协同工作的不同类型的人工智能中：
- 局部专家 (HCNN)： 一个分层卷积神经网络，擅长识别微小的局部模式，比如注意到特定的叶片形状。
- 全局专家 (ViT)： 一个轻量级的视觉 Transformer，负责观察整体图像以理解宏观布局，比如看到整个森林的布局。
- 这两个“大脑”会进行交流并结合彼此的意见，做出最终决定。
智能过滤器： 最后，系统会观察视频区域的“杂乱”程度或复杂程度。如果区域很简单（如蓝天），它只检查 3 种折叠选项；如果区域很复杂（如拥挤的人群），它则检查 5 种。它绝不会浪费时间去检查全部 67 种方式。

数据说明
作者在数千个视频序列上进行了广泛测试，以验证其效果。他们不仅仅是凭感觉，而是根据 VTM 23.0 编码器测量了结果：

速度： NPDO 将视频编码时间缩短了 54.0%。这意味着速度提升了一倍多。
质量： 权衡后的损失微乎其微。视频质量在码率效率方面（即 BD-Rate 指标）仅下降了 1.18%。
准确性： 该系统表现得极其出色。它选中正确的排名前 5 的折叠方向的概率高达 98.1%。
效率： 它不是测试 67 个选项，而是每个块平均只测试 4.2 个选项，减少了 93.7% 的工作量。

它并不是什么
论文谨慎地指出，虽然 NPDO 很快，但它并不能取代整个视频编码系统；它只是加速了“帧内预测”部分（即基于相邻块预测当前块外观的过程）。此外，虽然它在 4K 视频上表现优异，但作者提到，对于分辨率较低的视频（如 Class D），由于可用于分析的纹理信息较少，其提速效果略低，尽管它仍然优于旧方法。

总结
在这些模拟和测试中，NPDO 证明了你不需要检查每一扇门就能找到宝藏。通过使用一个既能观察细节又能把握全局的混合 AI 团队，它可以跳过绝大部分无用的尝试。其结果是：你可以实现 4K 视频的实时编码（每秒 30 帧），而不会让计算机精疲力竭，同时保持画质几乎与那种缓慢、穷举的方法完全一致。这是向前迈出的重要一步，将一项缓慢的手动打包工作转变为 lightning-fast（闪电般快速）的自动化任务。

技术摘要：NPDO：用于快速 VVC 帧内编码的神经预测方向优化器

问题陈述

Versatile Video Coding (VVC/H.266) 与其前身 HEVC 相比，实现了约 50% 的码率降低，但同时也带来了显著增加的计算复杂度。一个主要的瓶颈是帧内预测框架，该框架支持多达 67 种预测模式（包括 Planar、DC、65 种角度模式以及跨分量线性模型）。标准编码器必须通过率失真优化 (RDO) 对每个编码单元 (CU) 穷举评估所有模式，这一过程通常比 HEVC 需要多出 10 到 20 倍的计算资源。这种穷举搜索严重阻碍了实时编码实现的落地，特别是对于像 4K 这样的高分辨率内容。

现有的快速编码方法面临着若干局限性：

特征表示碎片化： 传统方法通常仅依赖于频域分析（如 DWT）或空间梯度特征，未能在一个统一的框架内整合两者。
静态决策机制： 许多方法无论内容复杂度如何都使用固定阈值，导致在简单纹理上过度计算，或在复杂区域出现质量下降。
架构局限性： 当前的深度学习解决方案通常要么完全依赖卷积神经网络 (CNN) 来处理局部模式，要么完全依赖 Transformer 来处理全局依赖，错失了利用两者互补优势的机会。
集成挑战： 很少有框架能提供无缝的可扩展性，或在不需要大幅修改编码器的前提下保持完整的标准兼容性。

方法论

本文提出了神经预测方向优化器 (NPDO)，这是一个旨在在 RDO 阶段之前智能剪枝预测搜索空间的混合框架。该系统分为五个连续阶段运行：

1. 特征提取引擎

NPDO 通过协同结合三个互补模块，构建了一个统一的 30 维特征向量：

离散小波变换 (DWT) 模块： 使用 4 层 Haar 或 Daubechies-4 小波对 CU 进行分解。它计算四个子带（LL, LH, HL, HH）的能量值，以捕捉多尺度纹理方向。
直方图模块： 应用 Canny 边缘检测和 Sobel 算子来计算梯度幅度和方向。这些信息被累积到 16 个分箱中（每箱 22.5°），以捕捉局部定向边缘信息。
上下文模块： 通过结合相邻 CU（左、上、左上）的预测模式来利用空间相关性，从而构建最大可能模式 (MPM) 列表。它还包含了几何特征（CU 大小、深度、长宽比）和纹理复杂度指标（方差、熵）。

2. 双神经网络架构

提取的特征由两个并行的神经架构处理，以生成所有 67 种帧内模式的置信度得分：

层次化 CNN (HCNN)： 一种针对高效局部模式识别优化的三阶段残差架构。它使用 1D 卷积、批归一化和 ReLU 激活函数将通道维度从 64 扩展到 128 再到 256，最后通过全局平均池化和全连接层结束。
轻量级视觉 Transformer (ViT)： 旨在捕捉长程依赖关系。它根据 CU 维度调整补丁 (patch) 大小（较大 CU 使用 8×8，较小 CU 使用 4×4），利用多头自注意力机制（4 个头），并通过处理分类标记 ([CLS]) 来聚合全局上下文。

3. 自适应融合与方向注意力指数 (DAI)

HCNN 和 ViT 的输出使用学习到的自适应权重参数 ( $\alpha = 0.6$ ) 进行融合，以生成每个模式的最终置信度得分。由此产生方向注意力指数 (DAI)，即一组“模式-置信度”对。

4. 内容自适应 Top-K 选择

NPDO 不采用固定的剪枝策略，而是基于方差、梯度幅值、DCT 能量和邻域一致性计算一个复杂度得分 (Complexity Score)。根据该得分，系统动态调整候选模式的数量 ( $K$ ) 和置信度阈值 ( $\tau$ )：

简单内容 ( $S < 0.3$ )： $K=3$ , $\tau=0.7$
中等内容 ( $0.3 \le S < 0.6$ )： $K=4$ , $\tau=0.6$
复杂内容 ( $S \ge 0.6$ )： $K=5$ , $\tau=0.5$

5. 选择性 RDO

编码器仅通过 DAI 识别出的前 $K$ 个候选者进行标准的 RDO 过程，而不是评估全部 67 种模式。

主要贡献

本文确定了四个主要贡献：

混合特征提取： 一个综合引擎，结合了基于 DWT 的多尺度分析、面向梯度的直方图以及空间上下文特征，以有效捕捉定向内容特性。
互补神经架构： 集成了用于局部模式识别的层次化 CNN 和用于全局依赖关系的轻量级视觉 Transformer，并通过自适应学习融合机制实现统一。
带有自适应选择的定向注意力指数 (DAI)： 一种新颖的方案，可根据纹理复杂度动态调整候选模式集的大小，在保持 98.1% 的 top-5 预测准确率的同时，实现了极高的剪枝效率（92.5–95.5%）。
实验验证： 广泛的测试证明，该方法在保持极低质量损失的情况下，显著降低了编码时间，使实时 4K VVC 编码成为可能。

实验结果

该框架使用 JVET 共同测试条件及其他多样化数据集（UVG, BVI-DVC）针对 VTM 23.0 参考编码器及最先进的基准方法进行了评估。

编码时间缩减： 与 VTM 23.0 相比，NPDO 平均减少了 54.0% 的编码时间。
率失真性能： 该方法仅导致 1.18% 的 BD-Rate 增加。
与基准对比：
- 与 DWT/直方图基准（50.5% 时间缩减，1.53% BD-Rate 增加）相比，NPDO 在编码速度上提升了 3.5%，并具有更优的率失真性能。
- 与 Tissier 等人 [17] 的机器学习方法（43.5% 时间缩减，2.26% BD-Rate 增加）相比，NPDO 在所有视频类别中均表现出一致的改进。
预测准确度： 该框架实现了 98.1% 的 top-5 预测准确率，确保了绝大多数 CU 的最优模式都被包含在候选集中。
复杂度降低： 每个 CU 的模式评估次数减少了 93.7%（从 67 次减少到平均 4.2 次）。这带来了 2.17 倍的加速，内存占用减少了 40%，功耗降低了 34%。
实时能力： 该系统支持以 30fps 的速率进行实时 4K 编码，CPU 利用率为 46%。

意义与主张

本文声称 NPDO 代表了向实际部署场景（包括云端编码、移动应用和广播系统）迈进的重要一步。通过成功地将传统信号处理（DWT、直方图）与学习表征（HCNN、ViT）相结合，该框架解决了现有文献中的“特征表示碎片化”问题。

作者强调，内容自适应的 top-K 选择至关重要；它允许在简单纹理上进行激进剪枝，同时又不牺牲复杂区域的准确性，这是静态阈值方法无法实现的平衡。结果验证了结合局部和全局神经架构比单独使用其中之一能获得更优的复杂度-质量权衡。该框架保持了与 VVC 标准的完全兼容性，除了预 RDO 模式选择逻辑外，无需对核心编码工具进行任何修改，这有利于广泛采用。