💻 computer science

NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs

NAE-VCは、H.264、H.265、およびH.266コーデックにおける標準的なCABACエンジンを、コンテキスト集約、ガウス混合モデリング、およびハイパープライア（超事前分布）を組み合わせたニューラルアーキテクチャに置き換えることで、既存のビデオ符号化規格との完全な互換性を維持しながら大幅なビットレート削減を実現する、モジュール化された学習型エントロピー符号化フレームワークである。

原著者： Reka Sandaruwan Gallena Watthage, Anil Fernando

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Reka Sandaruwan Gallena Watthage, Anil Fernando

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、高精細な映画の巨大なファイルを、世界中の友人に送ろうとしていると想像してください。インターネットを混雑させることなくこれを可能にするためには、ファイルを可能な限り小さく圧縮しなければなりません。このプロセスは「ビデオ圧縮」と呼ばれます。これは、旅行のためにスーツケースに荷物を詰めるようなものです。ただランダムに放り込むのではなく、服をきつく畳み、無駄が出ないように配置するスマートなシステムが必要です。

ビデオの世界では、この「スマートなパッキング・システム」には、エントロピー符号化と呼ばれる非常に重要な最終段階があります。これは、コンピュータがデータをどのように正確に1と0のストリームとして書き込むかを決定する最後のステップです。数十年にわたり、業界はCABAC（文脈ベース適応バイナリ算術符号化）と呼ばれる、手作業で作られた特定の手法を使用してきました。CABACは、膨大なルールブックを暗記している、非常に経験豊富だが少し融通の利かない司書のようなものだと考えることができます。彼は優秀ですが、固定されたルールに従っており、データ内の奇妙な、あるいは新しいパターンに容易に適応することはできません。一方、新しい波であるニューラルネットワーク（脳のように学習するコンピュータシステム）は、はるかに優れたパターン予測が可能であることを示していますが、通常、ビデオシステム全体をゼロから作り直す必要があります。これは、司書を変えるためだけに図書館全体を建て直すようなものです。

本論文では、NAE-VCと呼ばれる巧妙な中間策を紹介しています。研究者たちは、図書館全体を壊す代わりに、固定されたルールに従う古い司書（CABAC）を入れ替えることができる「ニューラル司書」を構築しました。彼らはこの新しいシステムを、3世代のビデオ規格（H.264、H.265、H.266）でテストし、新しい方法が旧来の方法よりも一貫してファイルサイズをさらに縮小できることを証明しました。これは、たとえ最高の「手作りのルール」であっても、学習するコンピュータにハンドルを握らせれば、改善の余地があることを示しています。

問題点：融通の利かない司書

長年、ビデオコーデック（ビデオを圧縮するソフトウェア）は、最終的なパッキングを行うためにCABACに依存してきました。CABACは、膨大な手書きのルールブックを暗記した司書のようです。新しいデータが到着すると、司書はそのデータが次に現れる可能性がどの程度かを判断するために、本の特定のインデックスをチェックします。データが一般的であれば短いコードで書き込み、珍しければ長いコードを使用します。

問題は、このルールブックが固定されていることです。これは数年前に人間によって設計されたものであり、視聴されている特定の映画に基づいて変化することはありません。また、この手法は複雑なデータを単純な「はい／いいえ」（バイナリ）の質問に分解してしまうため、実際のビデオに見られる豊かな、乱雑なパターンを失ってしまいます。それは、複雑な絵画を理解しようとする際に、筆致全体を理解するのではなく、ピクセルごとに「これは赤ですか？」「これは青ですか？」と問いかけるようなものです。

解決策：学習する司書

研究者たちは、NAE-VC（ビデオ圧縮のためのニューラル算術符号化）を提案しました。その硬直した司書を、超スマートなAIアシスタントに置き換えることを想像してみてください。このアシスタントは、単にルールを参照するだけでなく、画像全体を見渡します。

このAIアシスタントは、データをどのようにパッキングするかを決定する前に、3つの特別な方法で手がかりを集めます。

空間的コンテキスト（Spatial Context）： 隣接する領域を見ます。隣の部屋に何があるかを現在の部屋を見ることで知ることができるのと同様に、AIは現在のピクセルの周囲のピクセルを見て、次に何が来るかを予測します。
チャネル・コンテキスト（Channel Context）： 周波数を見ます。ビデオデータには異なる詳細の「レイヤー」（音楽における低音や高音のようなもの）があります。AIはこれらのレイヤーが互いにどのように関連しているかを理解します。
時間的コンテキスト（Temporal Context）： 過去を見ます。ボールが動いているビデオを見ている場合、AIは次のフレームでもボールが似たような場所にいる可能性が高いことを知っています。AIはこの動きを利用して、より優れた予測を行います。

AIは、マルチヘッド・クロスアテンション（複数の専門家が会議をしている様子を想像してください。それぞれが異なるタイプの手がかりに焦力を注ぎ、最善の予測に投票します）という技術を用いて、これらの手がかりを組み合わせます。AIは単純な「はい」か「いいえ」を予測するのではなく、**ガウス混合モデル（Gaussian Mixture Model）**を予測します。簡単に言えば、AIは単一の数値を予測するのではなく、データの塊がいくつかの異なる方法で集まる可能性があることを理解した上で、可能性の「雲」を予測します。これにより、データをより密にパッキングすることができます。

結果：ビットの削減

研究者たちは、この新しい「ニューラル司書」を、3つの異なるビデオ規格（H.264、H.265、H.266）のリファレンス・ソフトウェアに組み替えることでテストを行いました。新しい司書が本当に優れているかどうかを確認するために、他の部分はすべて全く同じままにしました。

結果は一貫していました：

H.264（古い規格）： 新しいシステムは、「All-Intra」モード（すべてのフレームが独立しているモード）でファイルサイズを約4.82%、「Low-Delay」モード（フレームが互いに依存しているモード）で**6.15%**削減しました。
H.265（中間の規格）： 「All-Intra」で3.67%、「Low-Delay」で**4.93%**削減しました。
H.266（最新かつ最も高度な規格）： この規格はすでに非常に洗練されたシステムを備えていますが、新しいAIはそれでも「All-Intra」で2.41%、「Low-Delay」で**3.28%**の削減を実現しました。

論文は明確なパターンを示唆しています。元のシステムが高度であればあるほど、改善の余地は少なくなります。最も古く単純なH.264は、AIが改善できる「余地（ヘッドルーム）」が最も大きかったのです。しかし、AIが最新のH.266を2%以上も改善できたという事実は、非常に大きな意味を持ちます。これは、人間がいかに優れたルールブックを設計したとしても、学習システムは人間が見落としたパターンを見つけ出すことができることを示唆しています。

これが意味すること

この研究は、ビデオシステム全体を投げ捨てる必要はなく、その「パッキング」部分だけをスマートな学習型AIに外科的に置き換えることができることを示しています。

研究者たちは、これがビデオの見た目にどのような影響を与えるかも確認しました。その結果、節約されたのは単なる数学的なトリックではなく、ビデオは実際に人間の目にとってより良く見える（VMAFやMS-SSIMなどの指標で測定）ことがわかりました。AIは、ビデオをシャープで自然に見せるための重要な詳細を保持することに長けていました。

興味深い発見の一つは、新しいシステムは動きがある場面（スポーツの試合や映画など）で最も効果を発揮するということです。これは、AIが「時間的コンテキスト（過去を見ること）」を利用して、より賢い推測を行えるためです。静止したシーンでは改善は小さくなりますが、依然として存在します。

注意点

この「賢さ」には代償があります。新しいシステムは、実行するためにより多くのコンピュータパワーを必要とします。古いH.264規格の場合、エンコーディング時間（ビデオを圧縮する時間）は約4倍増加しました。すでに複雑な最新のH.266の場合、時間はわずか**15%**しか増加しませんでした。これは、この技術が、コンピュータがすでにフル稼働している現代のハイエンド・ビデオシステム、あるいは速度よりもストレージ容量の節約が重要となるクラウドサーバーにおいて、最も実用的であることを示唆しています。

要約すると、本論文は、ビデオ圧縮の最終ステップを学習型AIに置き換えることで、既存のビデオ規格からさらなる効率を引き出し、次世代のビデオ技術が登場するのを待つことなく、ビデオをより小さく、より鮮明にできることを証明しています。

技術要約: NAE-VC – CABACの学習型代替としてのニューラル算術符号化

1. 問題提起

エントロピー符号化は、ハイブリッドビデオコーデック（H.264/AVC, H.265/HEVC, H.266/VVC）における最終的なロスレス段階を担い、特定の再構成品質を達成するために必要なビットレートを直接決定します。現在の標準であるコンテキスト適応型バイナリ算術符号化（CABAC）は、確率推定の精度を制限する3つの根本的なアーキテクチャ上の制約に基づいています：

バイナリ確率モデリング: CABACは多値の構文要素をバイナリの決定へと分解し、各ビットに対して個別のベルヌーイ確率を推定します。これにより、変換係数の結合統計構造やマルチモーダルな性質が破棄されてしまいます。
固定されたコンテキスト導出: コーディング状態からコンテキストモデルインデックスへのマッピングは、標準化時に手動で設計され、固定されています。これは、個々のビデオシーケンスや局所的なコンテンツ領域の特定の統計的特性に適応することができません。
単一レート適応: 確率更新には固定された指数移動平均（EMA）規則が使用されます。これは、定常的なコンテキスト（緩やかな適応が必要）と非定常なコンテキスト（迅速な適応が必要）を区別することができません。

エンドツーエンドのニューラル圧縮フレームワークは、学習済みハイパープライア、自己回帰コンテキスト、およびガウス混合モデル（GMM）を用いて優れた確率モデリングを実現していますが、これらの手法はコーデック・パイプライン全体を置き換えるものです。これらは標準に準拠しておらず、後方互換性も欠いています。既存の標準化されたコーデックにおいて、予測、変換、またはフィルタリングツールを変更することなく、学習によるモデリングの進歩をエントロピー符号化段階に転送するという大きなギャップが存在します。

2. 手法: NAE-VC フレームワーク

著者らは、既存のコーデック（JM-19.0, HM-16.25, VTM-17.0）の他のすべてのコーディングツールを維持しながら、CABACモジュールのみを外科的に置き換えるように設計されたモジュール式フレームワークである NAE-VC（Neural Arithmetic Encoding for Video Compression）を提案しています。このフレームワークは、主に3つのコンポーネントで構成されています。

A. コンテキスト集約ネットワーク

固定されたCABACコンテキストインデックスの限られた表現能力を克服するため、NAE-VCは3つの補完的なコンテキストソースを統一された条件付けベクトル（ $D=192$ ）に融合する学習済みネットワークを採用しています。

空間コンテキスト: 現在のブロック内の既に符号化された係数に対するマスク付き $3\times3$ 畳み込みによって抽出され、境界を処理するために隣接ブロック（左および上）からの特徴量で拡張されます。
チャネル方向の自己回帰コンテキスト: 係数は4つのグループに分割され、DC係数とAC係数の間の相互依存関係（例：DCとACの間）を捉えるために、多層パーセプトロン（MLP）を介して逐次的に処理されます。
時間的コンテキスト: 間フレーム（Inter-coded frames）の場合、動き補償参照ブロックから特徴量が抽出されます。Iフレーム（Intra frames）の場合、学習されたデフォルトの埋め込みが使用されます。
融合: これらのパスはマルチヘッド・クロスアテンションメカニズム（ $H=4$ ヘッド、 $d_k=48$ ）を使用して融合され、ネットワークが各構文要素に対して最も情報量の多いコンテキストソースを適応的に重み付けできるようにします。

B. ニューラル確率推定 (GMM)

単一のベルヌーイ確率の代わりに、NAE-VCはガウス混合モデル（GMM）（成分数 $K=3$ ）を使用して量子化された変換係数の分布をモデリングします。

予測ヘッド: 3つの並列な線形ヘッドが、融合されたコンテキストベクトルに基づいて、GMM成分の平均（ $\mu$ ）、スケール（ $\sigma$ 、Softplus経由）、および混合重み（ $\pi$ 、Softmax経由）を予測します。
離散化: 連続的なGMM密度は、単位量子化ビン上で積分されて離散的な確率質量関数（PMF）を生成し、それがエントロピー符号化用の累積分布関数（CDF）に変換されます。
利点: このアプローチは、CABACの単一モードモデルでは表現できない、マルチモーダル、ヘビーテイル、および非対称な分布を捉えることができます。

C. 階層的コンテキストモデリングと rANS 符号化

ハイパープライア: 軽量なエンコーダーネットワーク（1.8M パラメータ）が、グローバルな係数統計を潜在的なサイド情報ベクトル（ $\hat{z}$ ）として圧縮し、空間適応的な初期推定値を提供するためにサイド情報として伝送されます。
チェッカーボード並列性: 因果的依存関係を違反することなく部分的な並列化を可能にするため、係数の位置は偶数セットと奇数セット（チェッカーボードパターン）に分割されます。偶数位置がハイパープライアと時間的コンテキストを使用して最初に符号化され、次に奇数位置が、デコードされた偶数位置によって追加で条件付けられて符号化されます。
エンコーディングエンジン: フレームワークは、バイナリ算術符号器の代わりに、16ビットCDF精度を持つ rANS（Range Asymmetric Numeral Systems）を利用します。これにより、理論的なエントロピーの範囲内（1シンボルあたり0.01ビット以内）での最適な圧縮効率と、エンコーダとデコーダ間のビット完全な同期が保証されます。

3. 主な貢献

初の統合ニューラル置換: NAE-VCは、単一のアーキテクチャの下で3世代の標準ハイブリッドコーデック（H.264, H.265, H.266）全体で評価された、変換係数エントロピー符号化パイプラインのための初のニューラル置換として提示されています。
マルチヘッド・クロスアテンション融合: 固定されたマッピングのCABACを凌駕する、空間、チャネル方向、および時間的コンテキストを適応的に組み合わせる学習済み融合メカニズムの導入。
包括的なクロスコーデック評価: 6つのベンチマークデータセット（UVG, MCL-JCV, HEVC Classes B–E）および2つの構成（All-Intra, Low-Delay P）を用いた広範な評価を提供し、PSNR、MS-SSIM、およびVMAF指標において一貫した利得を示しています。
モジュール式統合戦略: 学習されたエントロピー符号化が、予測、変換、またはフィルタリングのセマンティクスを保持したまま、CABACの「ドロップイン」置換として機能できることを示し、確率推定の寄与を他のコーディングツールから分離しています。

4. 実験結果

実験は、QP値 {22, 27, 32, 37} を用いて6つのベンチマークデータセットに対して行われました。

BD-Rate 削減（ネイティブ CABAC に対する）

NAE-VCは、ネイティブCABACの実装の洗練度と反比例する形で、すべてのコーデックにおいて一貫したビットレート削減を達成しました。

H.264/AVC: $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P).
H.265/HEVC: $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P).
H.266/VVC: $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P).

主な観察事項

逆の関係性: 結果は、「ネイティブのCABACが高度になるほど（H.264からH.266へ）、ニューラル置換のための『余地（ヘッドルーム）』が減少する」という仮説を裏付けていますが、高度に最適化されたVVCにおいても測定可能な利得が持続しています。
時間的コンテキスト: Low-Delay P 構成は All-Intra よりも大きな利得をもたらしており（例：H.264でさらに $1.33$ パーセントポイント）、これはCABACでは利用できない、フレーム間の係数相関をモデル化する時間的コンテキストパスの貢献を検証しています。
知覚品質: 利得は各種指標で一貫しており、VMAFの改善（H.264で $-5.47\%$ ）はPSNRの利得をわずかに上回っています。これは、GMMが構造的に重要な係数をより良く保持していることを示唆しています。
コンポーネントのアブレーション研究: 最大の個別利得は、固定テーブルをニューラル確率推定に置き換えたこと（$-1.18$ pp）であり、次いでGMMモデリング（$-0.64$ pp）、ハイパープライア（$-0.56$ pp）、空間コンテキスト（$-0.49$ pp）と続きました。
世代間影響: H.265 + NAE-VC は、ネイティブのH.266に対する圧縮ギャップの約 $25\%$ を縮めており、学習されたエントロピー符号化が、フルコーデックの再設計なしに、世代間の利得の相当部分を提供できることを示しています。

計算オーバーヘッド

エンコーディング: オーバーヘッドはH.264（ベースラインの約 $3.9\times$ ）で最も高くなりますが、これはベースラインのパイプラインがすでに計算負荷の高いH.266（ $1.15\times$ ）と比較すると、H.264の高速なネイティブエンコーディングによるものです。
モデルサイズ: 総学習可能パラメータ数は $8.6$ M で、ONNXモデルサイズは約 $34$ MB です。
展開: 著者らは、リアルタイムのH.264/H.265についてはハードウェアアクセラレーションまたはモデル圧縮が必要になると述べていますが、クラウドベースのトランスコーディングはより即時性の高い実行可能なシナリオです。

5. 意義と主張

本論文は、学習されたエントロピー符号化が、すべてのCABACバリアントに存在する根本的なアーキテクチャ上の制限（バイナリモデリング、固定コンテキスト導出、単一レート適応）に対処できるという具体的な証拠を提供すると主張しています。

モジュール性: このアプローチは、コーディングツールレベルでの後方互換性を維持しながら（ビットストリーム形式は変わるため、一致するデコーダが必要ですが）、圧縮効率を向上させる道を提供します。
余地の定量化: 結果は、最も高度な標準（VVC）においてさえ、学習された確率モデリングを通じてさらなる利得が可能であることを示唆しており、残存するエントロピー符号化の余地を定量化しています。
実用性: エントロピー段階を分離することで、本研究はエンドツーエンドのニューラルコーデックの高い性能と、標準化されたビデオコーディングの展開の現実との間の架け橋となり、既存のインフラストラクチャに対する「外科的」なアップグレードパスを提供します。

著者らは、CABACの洗練度とニューラルによる利得の間の逆の関係は、方向性としては一貫しているものの、他のコーデックレベルの違い（パーティショニング、変換など）の影響を受けると結論付けています。それにもかかわらず、全世代にわたる一貫した改善は、モジュール式のニューラルエントロピー符号化が将来のビデオ圧縮標準の実行可能な強化策となる可能性を検証しています。