💻 computer science

DCVC-MB: Neural B-Frame Video Compression using State Space Models

本論文は、双方向予測に状態空間モデルを活用し、エントロピーを考慮したスキッピング機構を用いることで、既存のニューラルコーデックやVTMのような従来の規格と比較して大幅なビットレート削減を実現する、Bフレーム向けのニューラルビデオ圧縮フレームワークであるDCVC-MBを提案する。

原著者： Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な高画質映画を、低速なインターネット回線を通じて友人に送ろうとしている場面を想像してみてください。もし、すべてのフレームを単なる一枚の絵としてそのまま送ってしまうと、ファイルサイズは膨大になり、友人は永遠に待ち続けることになります。これが、**ビデオ圧縮（video compression）**が直面する日常的な課題です。いかにして、映像がぼやけたゴミのように見えることなく、扱いやすいサイズまでファイルを縮小するかという問題です。数十年もの間、エンジニアはこの問題を、まず「キーフレーム」（完全な画像）を送り、その次に続く数フレームについては、「Pフレーム」のように、「背景は変わっていないが、男が腕を動かした」といった「変化した部分」だけを送ることで解決してきました。

しかし、従来のビデオプレーヤーで使用されている「Bフレーム」と呼ばれる、よりスマートな方法があります。Bフレームは、単に過去を見て未来を予測するのではなく、過去と未来の両方を見て、その中間で何が起きているのかを正確に把握します。それは、映画のシーンのあらすじを推測するために、前の章と後の章を同時に読み解くようなものです。この方法は、容量を節約する上で素晴らしい効果を発揮しますが、コンピュータにこれを学習させることは非常に困難でした。これまでの試みは、計算量が多すぎてコンピュータの脳をパンクさせてしまうか、あるいは未来の情報を取り扱うことに失敗していました。この論文は、この特定のコンピュータサイエンスの領域——ニューラルビデオ圧縮（neural video compression）——に深く切り込み、AIにこれらの「未来を見る」フレームを効率的に活用させる方法を、ついに解明しようとしています。

この論文の核心：AIに「両方向」を見させる

DCVC-MB（DCVC-Mambaの略）の開発者たちは、現代のAIにおいて「Bフレーム」をうまく機能させるための新しいビデオ圧縮システムを構築しました。彼らのアプローチは、ビデオデータの「一方通行の道路」を「両方向のスーパーハイウェイ」へとアップグレードするものだと考えてください。

旧来の方法の問題点
現在のほとんどのAIコーデックは、バックミラーだけを見ているドライバーのようなものです。彼らは、現在を予測するために「過去」のみを参照する「Pフレーム」しか使用しません。過去と未来の両方を参照する「Bフレーム」は、両方向を同時に見るために必要な数学的処理が非常に重いため、特に1080pのような高解像度ではコンピュータにとって負担が大きすぎます。このBフレームをAIで利用しようとするこれまでの試みは「Transformer」というモデルに依存していましたが、これはビデオが大きくなるにつれて指数関数的に低速化し、メモリを消費します。それは、本棚の中の単語一つを見つけるために、図書館中のすべての本を読み上げるようなものです。小さな棚であれば機能しますが、都市規模の図書館では通用しません。

解決策：「Mamba」の魔法
著者らは、Mamba（状態空間モデルの一種）と呼ばれる新しいエンジンを導入しました。Transformerが、道が長くなるにつれて渋滞に巻き込まれる重くて遅いトラックだとすれば、Mらすは、道の長さに関わらず一定の速度で駆け抜ける、洗練された電動スクーターのようなものです。

仕組み: システムは、過去のフレーム（ $t-1$ ）と未来のフレーム（ $t+1$ ）を取り込み、それらを融合させることで、中間のフレーム（ $t$ ）を完璧に再構成します。
革新性: 彼らはこの融合を行うためにMambaを使用しました。Mambaは非常に効率的であるため、従来の「Transformer」手法ではメモリ不足に陥っていた高解像度ビデオ（720pおよび1080p）を、メモリを使い果たすことなく処理することができます。

「スキップ」のトリック
システムをさらに高速化するために、彼らは**適応型潜在スキップ（Adaptive Latent Skipping）**という賢い「手抜き」機能を加えました。

比喩: あなたが友人に絵の説明をしている場面を想像してください。もし絵の一部がただの退屈な青空であれば、すべてのピクセルを細かく説明する必要はありません。「ただの青色です」と言うだけで十分です。
技術: AIは送信すべきデータを確認します。もしデータの塊が「退屈な（統計的に予測可能な）」ものであれば、それを送信することを完全にスキップします。これにより、画質を大きく損なうことなく、ビデオ圧縮にかかる時間を、標準的なフレームでは約9倍、複雑なBフレームでは約5倍短縮できます。

「オープン」戦略
また、彼らはビデオの分割方法も調整しました。伝統的な手法では、ビデオを厳格な塊（閉じたグループ・オブ・ピクチャーズ：Closed Group of Pictures）に閉じ込めることが多いです。著者らは「オープンGoP」戦略を試みました。これは、ある塊の最後のフレームが、次の塊の最初のフレームを覗き見ることができる戦略です。これは、文章が次の段落にまたがっていても、最後まで読み進めることを許容するようなもので、物語の流れをスムーズにし、より多くのスペースを節沢します。

研究結果

チームは、新しいDCVC-MBシステムを、現在のゴールドスタンダードである伝統的なVTM-19.0コーデック、および最高の既存AIコーデック（DCVC-DCおよびDCVC-FM）とテストしました。

結果: 新しいシステムは明確な勝者です。従来の最高のAIコーデックと比較して、DCVC-MBはファイルサイズ（BDレートで測定）を平均で**8.98%から9.21%**削減しました。
巨人を打ち負かす: 強力な伝統的コーデックであるVTM-19.0と比較した場合、この新しいAIシステムはさらに印象的な結果を残しました。VTM-19.0の「低遅延（Low Delay）」バージョンに対しては30.45%、さらに「ランダムアクセス（Random Access）」バージョンに対しては**1.81%**上回りました。
視覚的品質: サイド・バイ・サイドの比較において、この新システムは、より少ないビット数を使用しながらも、古いAI手法よりも細かいディテール（ユニフォームのシワや壁の質感など）をはるかに良く保持していました。

限界点
論文では、完璧に機能しないケースについても注意深く述べています。アニメーションが激しいコンテンツや、AIが学習した自然なビデオとは全く異なる、極めて高速で混沌とした動きを持つビデオでは、システムが苦戦することがあります。このような「ドメインギャップ」が発生する場合、AIが未来を正しく予測できず、古いシンプルな手法よりも品質がわずかに低下することがあります。

なぜこれが重要なのか

この論文は、私たちが「スマートなAI圧縮」か「高速な圧縮」かのどちらか一方を選ぶ必要はないということを示唆しています。Mambaアーキテクチャを使用することで、コンピュータをクラッシュさせることなく、強力な「両方向を見る（Bフレーム）」戦略をニューラルネットワークで実現できることを、著者らは証明しました。彼らは単に提案しただけでなく、その手法が大幅なスペースと時間の節約をもたらすことを測定し、最も低速な接続環境であっても超高品質なビデオをストリーミングできる未来へと一歩近づけました。

技術要約: DCVC-MB: 状態空間モデルを用いたニューラルBフレーム・ビデオ圧縮

問題提起

従来のビデオコーデック（VVCやHEVCなど）は、双方向予測（Bフレーム）を通じて大幅な圧縮利得を実現しているが、ニューラル・ビデオ・コーデック（NVC）は、主に単方向のPフレーム構造に依存してきた。BフレームをNVCに組みみ込もうとする既存の試みは、主に以下の2つの問題に直面し、苦戦してきた：

不十分な融合: 従来のモデルは双方向の時系列情報を効率的に融合できず、Pフレームのみのアプローチよりも性能が低下することが多い。
計算量の複雑さ: 長距離依存性を捉えることが可能なTransformerベースのアーキテクチャは、解像度に対して二次関数的（ $O(N^2)$ ）にスケールする。これにより、高解像度（720p、1080p）において、メモリ消費量（VRAM制限の超過）と計算コストが膨大になり、実用的なデプロイメントを困難にしている。

手法

著者らは、状態空間モデル（SSM）を用いてBフレーム符号化を行うために特別に設計されたニューラル・ビデオ・コーデック・フレームワークであるDCVC-MB（DCVC-Mamba）を提案する。このアーキテクチャはDCVC-DCフレームワークを基盤としているが、過去と未来の両方の時系列情報への同時アクセスを可能にするために根本的な変更を加えている。

コア・アーキテクチャ構成要素

Mambaによる双方向特徴融合:
- 過去の単一のデコード済み画像バッファ（DPB）を利用する従来のモデルとは異なり、DCVC-MBは過去のフレーム（ $X_{t-1}$ ）と未来のフレーム（ $X_{t+1}$ ）の2つのDPBを保持する。
- これらの特徴は、**双方向Mambaブロック（BMB）**を用いて融合される。Mambaアーキテクチャは、Transformerの二次的な複雑さ（ $O(N^2)$ ）に対し、線形な複雑さ（ $O(N)$ ）を提供するため、高解像度での効率的な処理が可能となる。
- 融合プロセスでは、参照フレームを結合し、2D CNNで埋め込みを行い、トークン化した後、シーケンスをSSMを通じて処理する。SSMは、学習可能なパラメータ（ $A, B, C$ ）を持つ離散化された常微分方程式（ODE）を用いてシステムのダイナミクスをモデル化する。
- 複雑な双方向依存性を捉えるため、モデルは**空間優先双方向（Spatial-First Bidirectional）**手法を採用しており、順方向および逆方向の行優先スキャンでトークンを処理し、出力を合算する。
適応型潜在変数スキッピング（Adaptive Latent Skipping）:
- エントロピー符号化時間を短縮するため、本フレームワークは適応型潜在変数スキッピングメカニズムを採用している。固定の閾値を用いるのではなく、フレーム内の潜在要素の標準偏差（ $\sigma$ ）に基づく相対的な閾値戦略を使用する。
- $\sigma_i < \text{mean}(\sigma)$ である潜在変数はスキップ（平均値に置き換え）され、それ以外が符号化される。これにより、非対称な計算を導入することなく、Pフレームで約9倍、Bフレームで約5倍のエントロピー符号化時間の削減を実現した。
カノニカル位置エンコーディング（Canonical Position Embedding）:
- 学習時（256×256）と推論時（最大1080p）の解像度不一致に対処するため、著者らは標準的なピクセル座標の位置エンコーディングを、カノニカル位置エンコーディングに置き換えた。
- 空間座標は、生のピクセル値ではなく、カノニカルな画像平面（ $x, y \in [0, 1]$ ）に正規化される。これにより、位置の調和が解像度間で一貫して保持され、学習解像度への過学習を防ぐことができる。
推論時の最適化:
- Open GoP: グループ・オブ・ピクチャ（GoP）の最後のBフレームが、後続のGoPのIフレームを参照することを可能にし、時間的に近い参照を実現する。
- 双方向符号化: 奇数インデックスのGoPを順方向と逆方向の両方で符号化し、レート歪みコストが低い方の結果を選択する。偶数インデックスのGoPは、線形複雑さを維持するためにクローズ構成を使用する。

主な貢献

新規アーキテクチャ: Transformerベースの手法がメモリ制約により失敗する高解像度領域においても、効率的なBフレーム符号化を可能にする、状態空間モデル（Mamba）に基づいた双方向特徴融合アーキテクチャの導入。
IBPフレーム戦略: IBPフレーム順序を用いたランダムアクセス（RA）ビデオコーディングをサポートする、ベースとなるニューラル圧縮モデルの実装。
効率化メカニズム: エントロピー符号化を加速させるための適応型エントロピーベースの潜在変数スキッピング技術の開発、および、推論時戦略（Open GoPおよび双方向符号化）の統合による圧縮性能の向上。
解像度の汎用性: 未知の解像度への効果的な汎化を保証するための、カノニカル位置エンコーディングの使用。

実験結果

本手法は、RGB BT.709変換を用いた標準的なデータセット（HEVC, UVG, MCL-JCV）を用いて評価され、VTM-19.0（LDPおよびRA構成）および最先端のNVC（DCVC-DC, DCVC-FM）と比較された。

従来のコーデックとの比較: DCVC-MBは、VTM-19.0-LDPに対して最大30.45%、VTM-19.0-RA（Inter-GoP=16）に対して**1.81%**のBD-rate削減を達成した。
ニューラルコーデックとの比較: 本モデルは、従来のニューラルビデオコーデック（特にDCVC-FM）と比較して平均8.98%、より強力なベンチマークであるVTM-19.0-RAと比較して**20.19%**のBD-rate削減を示した。
効率性: Mamba融合モデルの線形スケーリングにより、Transformerアーキテクチャでは40GBを超えるところ、1080pにおけるフルBフレーム・パイプラインを13.8GBのVRAM内に収めることが可能となった。
アブレーション研究: 実験により、Mamba融合モデルがBD-rate向上の大部分（ $-4.55\%$ ）を占めていること、および推論時戦略が加算的な改善を提供していることが確認された。また、カノニカル位置エンコーディングが未知の解像度への汎化において極めて重要であることが示された。

意義と主張

本論文は、DCVC-MBが、双方向予測の圧縮効率とディープラーニングモデルの計算可能性の間の溝を埋めることに成功し、ニューラルビデオ圧縮における重要な進歩を遂げたことを主張している。

著者らは以下の通り断言している：

スケーラビリティ: Mambaを活用することで、本フレームワークは高解像度（720p, 1080p）における実用的なBフレーム符号化を実現し、従来の双方向NVCを制限していたメモリのボトルネックを克服した。
競争力: DCVC-MBは、より強力なVTM-19.0-RA構成を上回る初のNVCであり、ニューラルなアプローチがランダムアクセス・シナリオにおいて従来の主要なコーデックと競合、あるいは凌駕できることを証明した。
実用性: 適応型潜在変数スキッピングと推論時最適化を通じて、本手法は高い圧縮性能と、符号化・復号時間の短縮のバランスを実現しており、ニューラルビデオ圧縮の実用的なデプロイメントに近づけている。

著者らは限界についても認めており、訓練データ（自然なビデオ）とテストデータ（劇的な動きを伴うアニメーションコンテンツなど）の間のドメインギャップにより、特定のデータセット（MCL-JCVなど）で性能が低下する場合があること、およびRGBでの学習と比較してYUV420の最適化が依然として課題であることを指摘している。