⚡ electrical engineering

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

本論文は、符号化効率を維持しつつ計算量を大幅に削減するために、分数次動きベクトルフィルタ差分解析および実装の最適化を利用した、VVenCエンコーダのための新しい高速MMVDアルゴリズムを提案する。

原著者： Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

原著者： Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、動画の中を動く車に対して、ステッカーを貼るのに最適な場所を見つけようとしていると想像してください。この「ステッカー」とは、次のフレームにおける画像の一部分がどこにあるかという予測のことです（VVC規格のようなビデオ圧縮の世界では、このように呼ばれます）。

問題点：全探索（エグゾースティブ・サーチ）
現在の手法であるMMVD（Merge with Motion Vector Difference）は、推測することを拒む探偵のようです。最も適切な場所を予測する代わりに、あらゆる可能性のある微細な移動（上下左右、および様々な距離）を一つずつチェックして、どれが最も映像を良くするかを確認します。

この方法は高い品質を保証しますが、非常に時間がかかります。これは、真ん中あたりに正解があるだろうと分かっているのに、正しい音を見つけるために巨大なピアノの鍵盤を一つ一つすべて叩いて確認していくようなものです。この「全探索」のせいで、ビデオのエンコード（動画を圧縮するプロセス）に膨大な時間がかかってしまい、ライブストリーミングや低遅延アプリケーションにおいて問題となります。

解決策：「フィルタ差分」によるショートカット
この論文の著者たちは、賢いショートカットを提案しています。すべての鍵盤をチェックする代わりに、彼らは「どの鍵盤が明らかに間違っているか」を、実際に押す前に判断するための「数学的な勘」を使用します。

以下に、簡単な比喩を用いてその仕組みを説明します。

ラフスケッチ vs 精密調整:
- 通常のMerge: 車がどこにあるかのラフなスケッチを持っていると想像してください。
- MMVD: これは、そのスケッチをわずかに動かして（ナッジして）、完璧に一致させる精密調整です。
- トリック: 著者たちは、スケッチを「微調整」するために使われるツール（補間フィルタ）が、ラフスケッチに使われるツールと非常によく似ていることに気づきました。それらは非常に似ているため、複雑な8パーツのツールを、シンプルな2パーツのツールで近似することができます。
勾配テスト（「傾斜」のチェック）:
- ビデオ画像を、丘や谷（明るい領域や暗い領域）がある風景だと考えてください。
- 著者たちは、車がある場所の「傾斜（勾配）」を確認します。
- 彼らは、ラフスケッチの「誤差」と、風景の「傾斜」との間で、素早い「内積（単純な掛け算）」を計算します。
- ルール: もし計算結果が、「この方向にスケッチを動かすと、実際には誤差が大きくなるか、あるいは改善しない」と示した場合、その方向のチェックを即座にスキップします。彼らはその方向を調べるために時間を無駄にすることはありません。
「エッジケース」への対応:
- 時には、スケッチを動かすことで、参照データが変わる「境界線」を越えてしまうことがあります。著者たちは、重い計算をやり直すことなく、このズレを処理するための特別なルールを作成しました。単に符号を反転させたり、計算をわずかに調整したりするだけです。
スマートなエンジニアリング（「十字型」の形状）:
- このショートカットをさらに高速化するために、彼らは画像ブロックの全体をチェックするのではなく、中央を通る**十字型のストリップ（帯状の部分）**のみをチェックします（水平移動の場合は真ん中の行、垂直移動の場合は真ん中の列）。
- これは、部屋の温度を測る際に、床や天井の隅々まで測定するのではなく、壁の中央部分に触れて判断するようなものです。高速であり、かつ決定を下すのに十分な精度を持っています。

結果：品質を損なうことなく高速化を実現
チームは、この新しい手法をVVenCエンコーダ（特定のビデオコーディング・ソフトウェア）でテストしました。

以前: エンコーダは、既存の高速化手法を適用した後でも、すべての「微調整」の選択肢の約**21%**をチェックしていました。
以後: この新手法を用いることで、チェックするのは約**11%**にまで減少しました。
成果: 彼らは、ビデオの品質をほぼ全く変えることなく、検索にかかる時間を半分に削減（「品質に対する労力」という指標を大幅に減少）することに成功しました。

まとめ
この論文は、ビデオ圧縮のための「スマートなフィルタ」を紹介しています。動いている物体に対して、あらゆる微細な調整を盲目的に試す代わりに、このアルゴリズムは画像の質感と現在の予測誤差を素早く分析します。もし数学的に見て、特定の調整が役に立たないと判断されれば、その検討を完全にスキップします。これにより、視覚的な品質を犠牲にすることなく、ビデオエンコーディングを大幅に高速化できるため、リアルタイムのビデオアプリケーションにとって非常に優れたツールとなります。

技術要約：フィルタ差分解析によるVVenCのMMVD加速化

問題提起
Merge with Motion Vector Difference (MMVD) は、方向および距離によるオフセットを用いてベースの動きベクトルを精緻化することで、動き予測の精度を高めるよう設計された、Versatile Video Coding (VVC) における極めて重要なツールである。しかし、標準的な実装は、すべての方向と距離の組み合わせ（4つの方向と8つの距離ステップ）に対する網羅的な探索に依存しており、これが大幅な計算負荷を生じさせている。VVenCエンコーダにおいて、MMVDを有効にすると、「faster」プリセットで約36.39%、「fast」プリセットで21.20%のエンコード時間の増加をもたらす。このオーバーヘッドは、低遅延シナリオにおけるMMVDの採用を妨げている。VVenCにおける既存の高速探索戦略は、この負担を軽減しているものの、依然として多くの候補を評価する必要があり、特にクォーターピクセルMVD候補が全試行の60%～80%を占めている。

手法
著者らは、分数動きベクトルのフィルタ差分解析を利用してMMVD候補の潜在的な符号化利得を推定し、有望でない探索パスの早期終了を可能にする、新しい高速MMVDアルゴリズムを提案している。コアとなるアプローチは、以下のステップで構成される：

フィルタ近似： 本手法は、VVCで使用される標準的な8タップ補間フィルタを軽量な2タップフィルタで近似する。この簡略化により、通常のマージ予測とMMVD予測の差を空間勾配を用いてモデル化することが可能になる。
残差勾配基準：
- 整列サポートケース（Aligned-Support Case）： MMVDオフセットが整数位置のリファレンスサンプルをシフトさせない場合、予測の差はリファレンスブロックの空間勾配（ $g_{ref}$ ）と通常のマージ候補の残差（ $e_i$ ）の関数として近似される。内積項 $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$ が成立する場合、そのMMVD候補は通常のマージよりも歪度を低減させる可能性が低いと判断され、スキップされる。
- シフトサポートケース（Shifted-Support Case）： オフセットが整数サンプルの境界を越える場合、サポートがシフトする。著者らは、フィルタの差を因数分解し、リファレンスブロックへの直接的な3タップフィルタリングを回避するために単純な2タップフィルタを適用することで、このケースを扱うための基準を一般化した。
- 2D分離型フィルタリング： 1Dの解析をVVCの2D分離型補間に拡張する。MMVDは基本方向のみを探索するため、交差項は消失し、残差勾配基準を水平および垂直のオフセットに対して独立に適用できる。
実装の最適化： 提案手法自体のオーバーヘッドを最小限に抑えるため、2つの最適化が導入されている：
- 対称オフセット推論： 対称なオフセット（例： $+\Delta$ と $-\Delta$ ）に対して、シフトサポートケースの応答を整列サポートケースの応答の符号反転によって推論することで、冗長な計算を削減する。
- 十字型ダウンサンプリング内積： ブロック全体に対して内積を計算する代わりに、計算を中央の十字領域（水平オフセットの場合は中間行、垂直オフストの場合は中間列）に限定する。

主な貢献

新規な基準： 網羅的な探索を行わずにMMVDの利得を推定するための、空間勾配と予測残差に基づく軽量な基準の導出。
一般化： 提案された基準を、シフトした整数リファレンスサンプルおよび2D分離型フィルタリングに対応するように拡張し、実用的なVVCシナリオをカバー。
エンジニアリングの最適化： 提案手法自体が最小限の複雑さしか加えないよう、対称オフセット推論と効率的な内積計算を導入。
統合： 提案アルゴリズムを既存のVVenC高速探索フレームワーク（Fast1、Fast2、Fast3戦略との組み合わせ）へシームレスに統合。

実験結果
実験は、4つのプリセット（faster, fast, medium, slow）および標準的なテストシーケンス（JVET CTC Class A1, A2, B, C, D）を用い、VVenC-1.14.0エンコーダを使用して行われた。

探索の削減： 提案手法は、平均MMVD探索比率を、既存の高速戦略による21.07%から11.05%へと減少させた。
複雑性と性能： 「fast」プリセットにおいて、エンコード時間のオーバーヘッドは、既存の高速戦略による4.52%から2.23%へと減少した。
効率指標（ $\eta$ ）： 効率・複雑性指標 $\eta$ （単位BD-rate利得あたりのエンコード時間オーバーヘッド）は大幅に改善した。「fast」プリセットでは、 $\eta$ は既存の高速戦略の11.79から7.10へと低下した。同様の改善が他のプリセットでも観察されている。
符号化利得： 提案するプルーニングを組み合わせることで、フルサーチのベースラインと比較してBD-rateの損失は無視できる程度であり、MMVDが提供する符号化利得の大部分を維持している。

意義と主張
本論文は、提案されたアルゴリズムが、既存のVVenCにおけるMMVD加速スキームと比較して、エンコードの複雑性とレート歪み（RD）性能の間で優れたトレードオフを実現すると主張している。フィルタ差分解析を通じて有望性の低い候補を効果的に排除することにより、本手法は符号化効率を損なうことなく、MMVDの計算負荷を大幅に軽減する。著者らは、現在の実装は標準的な4つの基本方向のみをサポートしており、将来の研究において柔軟な対角角度を持つMMVDモードをサポートするように拡張する予定であると述べている。

関連論文