技術サマリー：CAM-VFD

問題提起

生成敵対ネットワーク（GAN）、拡散モデル、自己回帰アーキテクチャを利用するディープフェイク技術の急速な進展により、本物の映像と区別がつかない合成動画の作成が可能になっています。現在の動画フォレンジックは、単一フレーム内の空間的アーティファクトの検出から、時空間的不整合の分析へと進化しましたが、決定的な限界が残っています：大半の検出器は単一モダリティ信号（外観、幾何学、動きを独立して扱う）に依存しています。

高度な生成モデルは、単一モダリティ内では高い整合性を維持しつつ、モダリティ間で微妙な矛盾を導入できるようになりました。例えば、生成された動画は、個別に見れば妥当なテクスチャ（外観）と一貫した動きを有していても、その動きが幾何学的な深度や意味的な外観と整合していない可能性があります。一方を他方に対して照合する効果的なメカニズムを持たない現在の検出器は、これらのクロスモダリティ矛盾を特定できず、次世代のテキストから動画（T2V）および画像から動画（I2V）生成器に対する検出失敗を招いています。

手法：CAM-VFD フレームワーク

著者は、クロスモダリティ矛盾を方向的なフォレンジック信号として扱うフレームワーク、CAM-VFD（Cross-Attention Multimodal Video Forgery Detection：クロスアテンション多モーダル動画偽造検出）を提案します。核心的な仮説は、AI 生成動画は孤立して見れば局所的に妥当に見えるものの、物理的に撮影された映像ではめったに見られない、外観、幾何学、動きの間の体系的な不一致を示すという点です。

アーキテクチャ概要

このフレームワークは、3 つのモダリティ固有エンコーダとクロスアテンション融合モジュールを用いて、統合された潜在空間で動作します。

1. 適応的フレームサンプリング：可変の動画長とフレームレートに対応するため、システムは適応的な連続フレームサンプリング戦略を採用します。短い動画は循環反復を使用し、中程度の動画は開始部と終了部からのセグメントを使用し、長い動画は開始部、中央部、終了部から分散されたセグメントを使用します。これにより、包括的な時間的カバレッジが確保されます。
2. モダリティ固有の特徴抽出：
   • 外観：CLIP（Vision Transformer ViT-B/32）を使用して抽出され、意味内容、テクスチャ、照明、物体の同一性を捉えます。
   • 深度：単眼深度推定のためにMiDaS（DPT-Hybrid）を使用して抽出し、その後、幾何学的構造を符号化するために軽量 CNN（DepthNet）を適用します。
   • 動き：VideoMAE（Video Masked Autoencoder）を使用して抽出され、物体の移動における時間的ダイナミクスと不一致を捉えます。
3. クロスアテンション融合（核心的な革新）：
   • 対称的な融合方法とは異なり、CAM-VFD は非対称で方向的なアプローチを採用します。
   • 外観特徴が**クエリ（Q）**として機能します。
   • 動きと深度の特徴が**キー（K）とバリュー（V）**として機能します。
   • モデルは明示的に問いかけます：「このシーンの外観を前提として、動きと深度の証拠はそれを支持するか、それとも矛盾するか？」
   • 2 つの並列クロスアテンションブロックが相互作用を計算します：外観 - 動きおよび外観 - 深度。
   • 出力と、時間的に強化された外観特徴はプーリングされ、連結されて統合された表現を形成します。
4. 分類：融合されたベクトルは、GELU 活性化関数を持つ多層パーセプトロン（MLP）を介して処理され、バイナリ予測（実写 vs 偽造）を出力します。

主要な貢献

1. 方向的フォレンジック信号：本論文は、明示的なフォレンジック信号としてのクロスモダリティ矛盾の概念を導入します。実写動画はモダリティ間で高い内部整合性を示すのに対し、偽造動画は特徴的な不一致シグネチャを露呈することを検証します。
2. 非対称融合メカニズム：著者は、外観が動きと深度のキー/バリューに対するクエリとして機能するクロスアテンションモジュールを提案します。これによりフォレンジック関係が具体化され、モデルが動きや深度の証拠が視覚的外観と矛盾する状況を検出可能になります。
3. 包括的な評価：このフレームワークは、2 つの大規模ベンチマークで評価されました。GenVidBench（ソース整合、クロス生成器ロバスト性）とGenVideo（多様な未見シナリオへのゼロショット転移）。
4. ロバスト性分析：本研究には、現実世界の劣化（圧縮、ノイズ、ぼやけ）および敵対的摂動（FGSM、PGD）下での厳格なテストが含まれており、クロスモダリティ推論が単一モダリティのベースラインと比較して耐性を向上させることを示しています。
5. 統計的検証：著者は**クロスモダリティアテンション不一致（CMAD）**分析を導入し、実写動画と偽造動画のアテンション重みが統計的に分離可能であることを示す統計的証拠（p < 0.001、Cohen's d = 0.68）を提供しました。

実験結果

このモデルは、複数のベンチマークで最先端のパフォーマンスを示しました。

• GenVidBench：CAM-VFD は95.31% の Top-1 精度を達成し、最良のベースライン（MViT V2、83.27%）を 12% 以上上回りました。5 つの未見生成器サブセット（HD-VG-130M、CogVideo、SVD、MuseV、Mora）全体で 90% 超の精度を維持しましたが、従来の CNN および Transformer モデルは特定の生成器で大幅な劣化を示しました（例：MViT V2 は CogVideo において 47.50% に低下）。
• GenVideo：10 の未見生成シナリオにおけるゼロショット評価において、CAM-VFD は93.43% の精度、90.63% の F1 スコア、96.56% の AUROCを達成しました。DeMamba（精度で +9.22% 上回る）などの競合他社を大幅に上回り、他の手法が崩壊した困難なシナリオ（例：ほぼ静止したシーン）においても高い再現率を維持しました。
• 汎化性：インディストリビューション（ID）からアウトオブディストリビューション（OOD）生成器への精度低下は最小限（約 1.68% から 2.63%）であり、クロスモダリティ矛盾信号が生成器に依存しないことを確認しました。
• ロバスト性：重度の圧縮（CRF=32）およびモーションブラー下において、CAM-VFD は一貫して DeMamba ベースラインを 11〜15% のマージンで上回り、信号劣化に対する優れた耐性を示しました。

意義と主張

本論文は、CAM-VFDが、モダリティ内アーティファクトからクロスモダリティ矛盾への焦点の移行によって、動画偽造検出の新たなパラダイムを確立すると主張しています。著者は、生成モデルが現実的な単一モダリティ特徴の合成において改善されるにつれて、「フォレンジックのギャップ」は、外観、幾何学、動きの間の不一致にますます存在すると論じています。

この研究の重要性に関する主な主張は以下の通りです。

• 汎用性：クロスモダリティ矛盾信号は特定の生成器アーティファクトに紐付いていないため、このアプローチは未見の生成方法に対してロバストです。
• 解釈可能性：クロスモダリティアテンション不一致（CMAD）指標は、不一致の定量化可能な尺度を提供し、なぜ動画が偽造としてフラグ付けされたのかという理由に対する解釈可能性を提供します。
• ロバスト性：方向的融合メカニズムは、現実世界の歪み（圧縮、ノイズ、ぼやけ）および敵対的攻撃に対する安定性を高め、多モーダル推論が信頼性の高いメディアフォレンジックへの viable な道であることを示唆しています。

著者は限界を認め、VideoMAE 特徴の時間的識別性が低下する、動きの手がかりが弱いか曖昧なシナリオ（例：ほぼ静止した動画）ではパフォーマンスが低下する可能性があることを指摘しています。彼らは、フレームワークが強力な基盤を提供する一方で、将来の研究は適応的モダリティサンプリングと説明可能な AI（XAI）の統合を探求し、透明性をさらに向上させるべきであると結論付けています。