技術要約: NPDO: 高速VVCイントラ符号化のためのニューラル予測方向最適化器

問題提起

Versatile Video Coding (VVC/H.266) は、前身であるHEVCと比較して約50%のビットレート削減を実現していますが、計算複雑性が大幅に増大するという課題があります。主要なボトルネックはイントラ予測フレームワークであり、これは最大67個の予測モード（Planar、DC、65個の角度モード、およびクロスコンポーネント線形モデルを含む）をサポートしています。標準的なエンコーダは、すべてのコーディングユニット（CU）に対してレート歪み最適化（RDO）を通じて全モードを網羅的に評価する必要がありますが、このプロセスは通常、HEVCよりも10〜20倍多くの計算リソースを必要とします。この網羅的な探索は、特に4Kのような高解像度コンテンツにおいて、リアルタイムのエンコード実装を著しく阻害します。

既存の高速エンコーディング手法には、いくつかの限界があります：

1. 断片的な特徴表現: 従来の多くのアプローチは、周波数領域の分析（例：DWT）や空間勾配特徴のみに依存しており、これらを統一されたフレームワーク内で統合できていません。
2. 静的な決定メカニズム: 多くの手法は、コンテンツの複雑性に関わらず固定された閾値を使用しており、単純なテクスチャでは過剰な計算を行い、複雑な領域では品質を低下させます。
3. アーキテクチャ上の制限: 現在のディープラーニング・ソリューションは、局所的なパターンに特化した畳み込みニューラルネットワーク（CNN）か、あるいはグローバルな依存関係を扱うTransformerのいずれか一方のみに依存する傾向があり、両者の相補的な強みを活用する機会を逃しています。
4. 統合の課題: 多くのフレームワークは、大幅なエンコーダの変更を必要とせずに、シームレスなスケーラビリティや完全な標準互換性を提供できていません。

手法

本論文では、RDOステージの前に予測探索空間をインテリジェントに枝刈りするために設計されたハイブリッドフレームワークであるNeural Prediction Direction Optimizer (NPDO) を提案します。システムは以下の5つの連続したステージで動作します。

1. 特徴抽出エンジン

NPDOは、3つの相補的なモジュールを相乗的に組み合わせることで、統合された30次元の特徴ベクトルを構築します。

• 離散ウェーブレット変換 (DWT) モジュール: 4レベルのHaarまたはDaubechies-4ウェーブレットを使用してCUを分解します。多スケールなテクスチャの方向性を捉えるために、4つのサブバンド（LL, LH, HL, HH）のエネルギー値を計算します。
• ヒストグラムモジュール: Cannyエッジ検出とSobelオペレータを適用して、勾配の大きさ（マグニチュード）と方向を計算します。これらは、局所的な方向性エッジ情報を捉えるために、16個のビン（1ビンあたり22.5°）のヒストグラムに蓄積されます。
• コンテキストモジュール: 隣接するCU（左、上、左上）からの予測モードを取り入れることで空間的相関を利用し、最も確率の高いモード（MPM）リストを構築します。また、幾何学的特徴（CUサイズ、深さ、アスペクト比）やテクスチャの複雑性指標（分散、エントロピー）も含みます。

2. デュアルニューラルネットワーク・アーキテクチャ

抽出された特徴は、全67個のイントラモードに対する信頼度スコアを生成するために、2つの並列なニューラルアーキテクチャによって処理されます。

• 階層型CNN (HCNN): 効率的な局所パターン認識に最適化された3ステージの残差アーキテクチャです。1D畳み込み、バッチ正規化、ReLU活性化関数を用いて、チャネル次元を拡張（64 → 128 → 256）し、グローバル平均プーリングと全結合層で締めくくります。
• 軽量ビジョン・トランスフォーマー (ViT): 長距離の依存関係を捉えるように設計されています。パッチサイズをCUの寸法に基づいて適応させ（大きなCUには8×8、小さなCUには4×4）、マルチヘッド・セルフアテンション（4ヘッド）を利用し、[CLS]トークンを処理してグローバルなコンテキストを集約します。

3. 適応型融合および方向性アテンション・インデックス (DAI)

HCNNとViTの出力は、学習された適応型重みパラメータ（$\alpha = 0.6$）を用いて融合され、各モードの最終的な信頼度スコアを生成します。これにより、方向性アテンション・インデックス（DAI）、すなわちモードと信頼度のペアのセットが生成されます。

4. コンテンツ適応型 Top-K 選択

固定された枝刈り戦略の代わりに、NPDOは分散、勾配マグニチュード、DCTエネルギー、および隣接一貫性に基づいた複雑性スコアを計算します。このスコアに基づき、システムは候補モードの数（$K$）と信頼度閾値（$\tau$）を動的に調整します。

• 単純なコンテンツ ($S < 0.3$): $K=3, \tau=0.7$
• 中程度のコンテンツ ($0.3 \le S < 0.6$): $K=4, \tau=0.6$
• 複雑なコンテンツ ($S \ge 0.6$): $K=5, \tau=0.5$

5. 選択的 RDO

エンコーダは、全67モードではなく、DAIによって特定された上位$K$個の候補のみを標準的なRDOプロセスを通じて評価します。

主な貢献

本論文は、主に4つの貢献を特定しています。

1. ハイブリッド特徴抽出: DWTベースのマルチスケール分析、勾配指向のヒストグラム、および空間コンテキスト特徴を組み合わせた包括的なエンジンにより、方向性を持つコンテンツ特性を効果的に捉えます。
2. 相補的なニューラルアーキテクチャ: 局所的パターン用の階層型CNNと、グローバルな依存関係用の軽量ビジョン・トランスフォーマーを統合し、適応型学習融合メカニズムを通じて統一しています。
3. 適応型選択を伴う方向性アテンション・インデックス (DAI): テクスチャの複雑性に基づいて候補モードのセットサイズを動的に調整する新しいスキームであり、98.1%のTop-5予測精度を維持しながら、高い枝刈り効率（92.5–95.5%）を実現します。
4. 実験的検証: 膨大なテストを通じて、品質の低下を最小限に抑えつつ、大幅なエンコード時間の短縮を実現し、リアルタイムの4K VVCエンコーディングを可能にすることを実証しました。

実験結果

本フレームワークは、JVET共通テスト条件およびその他の多様なデータセット（UVG、BVI-DVC）を用いて、VTM 23.0リファレンスエンコーダおよび最先端のベースラインと比較して評価されました。

• エンコード時間の短縮: NPDOはVTM 23.0と比較して、平均**54.0%**のエンコード時間短縮を達成しました。
• レート歪み性能: 本手法によるBD-Rateの増加はわずか**1.18%**でした。
• ベースラインとの比較:
  • DWT/ヒストグラム・ベースライン（時間短縮50.5%、BD-Rate増加1.53%）と比較して、NPDOは3.5%のエンコード速度向上と優れたレート歪み性能を提供しました。
  • Tissierら[17]のような機械学習アプローチ（時間短縮43.5%、BD-Rate増加2.26%）と比較して、NPDOはすべてのビデオクラスにおいて一貫した改善を示しました。
• 予測精度: 本フレームワークは98.1%のTop-5予測精度を達成し、大多数のCUにおいて最適なモードが候補セットに含まれることを保証しました。
• 複雑性の低減: CUあたりのモード評価数は、67個から平均4.2個へと93.7%減少しました。これにより、2.17倍の高速化、40%のメモリ使用量削減、および34%の消費電力削減が実現しました。
• リアルタイム性能: 本システムは、CPU使用率46%で30fpsのリアルタイム4Kエンコーディングを可能にします。

重要性と主張

本論文は、NPDOがクラウドエンコーディング、モバイルアプリケーション、放送システムを含む実用的な展開シナリオに向けた重要な進歩であることを主張しています。伝統的な信号処理（DWT、ヒストグラム）と学習された表現（HCNN、ViT）を融合させることに成功することで、本フレームワークは既存の文献における「断片的な特徴表現」のギャップに対処しています。

著者らは、Top-K選択のコンテンツ適応的な性質が極めて重要であると強調しています。これにより、複雑な領域での精度を犠牲にすることなく、単純なテクスチャに対して積極的な枝刈りが可能になります。これは、静的な閾値メソッドが達成できないバランスです。結果として、局所的およびグローバルなニューラルアーキテクチャを組み合わせることが、どちらか一方のアーキテクチャのみを使用する場合よりも優れた複雑性と品質のトレードオフをもたらすことが検証されました。本フレームワークは、プレRDOのモード選択ロジック以外のコアコーディングツールを変更することなく、VVC標準との完全な互換性を維持しており、幅広い採用を容易にします。