技術要約：ENCORE – 学習型ビデオ圧縮のためのイベント支援型相補的動き精緻化

1. 問題定義

学習型ビデオ圧縮（LVC）は、隣接フレーム間の冗長性を活用するために、正確な時間的モデリングに大きく依存している。しかし、既存のコーデックは、離散的にサンプリングされたRGBフレームのみから動きを推論する。このアプローチは、高速な動き、モーションブラー、オクルージョン（遮蔽）、テクスチャの希薄さ、低照度、または急激な輝度変化を伴うシナリオにおいて、信頼性が低下する。不正確な時間的モデリングは、予測品質を低下させ、動きおよび残差表現における不確実性を増大させ、最終的にビットレートを上昇させる。

マルチモーダル圧縮は存在するが、その多くは複数のモダリティ（例：RGB-D、ステレオ）を共同で符号化するか、あるいは補助的なモダリティをセマンティックなガイダンスとして使用する（例：テキストからの画像生成）。補助的な信号自体を再構成することなく、RGBビデオ圧縮のために動き推定を具体的に精緻化するために、補助的な時間ストリームを利用する手法は不足している。イベントカメラは、高解像度の時間分解能とダイナミックレンジを備え、微細な輝度変化を非同期に捉えることで、RGBフレームに対して補完的な証拠を提供する。しかし、イベントデータの単純な融合は、しばしばノイズや冗長性を導入し、圧縮性能の向上には至らない。

2. 手法

著者らは、標準的な学習型ビデオ圧縮パイライン内の動き推定を精緻化するために、イベントストリームを補助的なモダリティとして統合するフレームワークであるENCORE（Event-Assisted Complementary Motion Refinement）を提案する。本システムは、RGBを唯一の符号化および再構成対象として保持し、イベントはエンコーダの動きモデリングを支援するためだけに利用する。

本フレームワークはHyTIPバックボーンに基づいて構築されており、エンコーダ側の動き推定インターフェースに3つの特化したモジュールを挿入している。

A. 相補的動き表現 (Complementary Motion Representation: CMR)

CMRモジュールは、整列されたRGB特徴量とイベント特徴量を3つの異なる成分に分解し、相補的な手がかりの希釈を防ぐ：

1. 共通の動き ($F^c_t$): 両方のモダリティによって支持される構造（例：支配的な変位パターン）。
2. RGB固有の動き ($F^{r,s}_t$): RGBの密な外観に特有の情報。
3. イベント固有の動き ($F^{e,s}_t$): イベントストリームに特有のダイナミクス（例：急速な輝度遷移）。

この分解は、再構成損失（元の情報を保持するため）と分離損失（各ブランチ間の直交性を確保するため）を通じて強制され、共通ブランチがモダリティ固有の情報を重複して保持することを防ぐ。

B. 空間エネルギーおよび冗長性情報に基づくキャリブレーション (Spatial Energy and Redundancy-Informed Calibration: SERIC)

すべてのイベント応答が有用であるわけではない。一部はノイズであったり、RGBと冗長であったり、あるいは微弱であったりする。SERICは、最も価値のあるイベントの証拠を特定し、キャリブレーションを行う：

• 活動マップ ($E_t$): イベント固有の特徴量の局所的なエネルギー（二乗絶対値）を測定し、活動領域を特定する。
• 新規性マップ ($N_t$): イベント特徴量と（イベント空間に投影された）RGB特徴量との間の不一致を計算し、RGBによって説明されない証拠を特定する。
• ユーティリティ推定: 学習可能な関数を用いて$E_t$と$N_t$を組み合わせ、ユーティリティマップ（$U_t$）を生成する。このマップは、弱すぎる応答や冗長な応答を抑制し、イベントが新規で高エネルギーな動的証拠を提供する領域を保持する。
• 補正予測: キャリブレーションされたイベント特徴量は、共通の動きと組み合わされ、候補となるフロー補正（$\Delta v_t$）を予測する。

C. エネルギー認識ルーティング (Energy-Aware Routing: EAR)

最終段階では、候補となる補正が、初期のRGBフローを「どこで」「どの程度強く」精緻化すべきかを決定する。

• ルーティングネットワークは、局所的な活動、新規性、初期のRGBフローの大きさ、および補正の大きさを入力として受け取る。
• これはゲートとして機能する空間ルーティングマップ（$G_t \in [0, 1]$）を出力する。
• 精緻化されたフロー: 最終的な動きベクトルは、$v^{evt}_t = v^r_t + G_t \odot \Delta v_t$ として計算される。
• このメカニズムにより、RGBフローが既に信頼できる領域では、補正が抑制（ゼロに接近）され、不要な摂動を防ぐ。相補的なダイナミクスが強い領域では、補正が適用される。

D. 最適化

システムは、再構成されたRGBビデオのレート歪みコスト（$L_{RD}$）を最小化するようにエンドツーエンドで訓練される。補助的な損失は訓練中に分解と整列を導くために使用されるが、推論時には破棄される：

• 再構成損失 ($L_r, L_s$): CMRの分解の質を強制する。
• 動き整列損失 ($L_m$): フォトメトリック誤差から導出された信頼性マスクを用いて、信頼できるRGB変位をイベントステムへと蒸留する。
• ワーピング損失 ($L_w$): 前フレームのワーピング誤差を最小化することで、精緻化されたフローを監督する。

3. 主な貢献

論文は3つの主要な貢献を主張している：

1. 初の適用: 著者の知る限り、RGBビデオ圧縮のためにイベントデータを補助的なモダリティとして使用し、RGBを排他的な符号化対象としたまま時間的予測を向上させた最初の研究である。
2. 漸進的精緻化フレームワーク: 共通の動きとモダリティ固有の動きを明示的に分離し、RGBによって説明されない活動的なイベントの証拠を特定し、得られたフロー補正を空間的にルーティングする新しいアーキテクチャ（CMR, SERIC, EAR）の開発。
3. 包括的な評価: 3つのRGB-イベントデータセット（BS-ERGB, HQ-EVFI, CED）および2つのグループ・オブ・ピクチャーズ（GOP）設定にわたる広範な実験により、計算複雑性のわずかな増加（PフレームあたりのGFLOPsが7.3%増加）で、一貫した符号化利得を実証した。

4. 実験結果

著者らは、RGBのみのHyTIPベースラインおよび、単純なRGBとイベントの結合（concatenation）アプローチに対してENCOREを評価した。

• データセット: BS-ERGB（主要）、HQ-EVFI（高フレームレート）、およびCED（異なるセンサー）。
• 短GOP (GOP=8): BS-ERGBにおいて、ENCOREは**19.31%のPSNR-RGB BD-rate削減と16.73%**のMS-SSIM-RGB削減を達成した。単純な結合アプローチはベースラインよりも性能が悪く、提案された精緻化モジュールの必要性を浮き彫りにした。
• 長GOP (GOP=32): BS-ERGBにおいて、ENCOREは最大で**20.80%のPSNR-RGBおよび22.14%**のMS-SSIM-RGB BD-rate削減を達成した。
• 汎用性: HQ-EVFIおよびCEDにおいても一貫した利得が観察され、異なるキャプチャ条件やセンサータイプに対する堅牢性が示された。
• 複雑性: 本フレームワークは、バックボーンと比較して、Pフレームあたりの総GFLOPsの増加をわずか7.3%に抑えている。

5. 重要性と主張

本論文は、ENCOREを、困難なビデオ圧縮シナリオにおけるRGBのみの時間的モデリングの限界に対する解決策として位置付けている。その重要性は以下の点にある：

• 効率性: 補助的な信号を再構成したり、複数のモダリティを共同で符号化したりするオーバーヘッドなしに、補助的なセンサーがビットレートを大幅に削減できることを示している。
• 堅牢性: イベントの証拠を明示的にキャリブレーションし、ルーティングすることで、イベントストリームに固有のノイズや冗長性の落とし穴を回避し、効果的に対処している。
• 実用性: 本フレームワークは、アーキテクチャの変更を最小限に抑えつつ、既存の学習型圧縮パイプライン（特にHyTIP）にシームレスに統合可能であり、イベントカメラが利用可能になる可能性のある将来のビデオ圧縮規格の有力な候補となる。

著者らは、結果は一貫しており有意であるものの、本手法はイベントデータが同期されており、エンコーダ側で利用可能であることを前提としたシナリオ向けに設計されており、推論時には補助的なヘッドは破棄されることを注記し、控えめな姿勢を保っている。