技術概要：EMO-BOOST

問題提起

生成 AI の急速な発展により、ディープフェイク検出の課題が深刻化しています。現在のフォレンジック手法は、未見の操作技術への汎化が不可能であるという重大な限界に直面しています。既存のディープフェイク検出器の多くは、生データから抽出された低レベルの空間的、時間的、またはスペクトル特徴に依存しています。特定の既知の偽造に対しては効果的ですが、訓練セットに存在しない新しい生成手法に遭遇すると、これらのモデルは困難に陥ります。さらに、高レベルのセマンティックな手がかり、特に情動的な情報（感情）は、この分野において未だ十分に探求されていません。著者は、ディープフェイク生成技術が自然な人間の感情表現を説得力を持って再現することに苦慮する可能性があり、これらの高レベル信号における不一致が、未見の操作を検出するための堅牢な手がかりを提供しうると仮説を立てています。

手法

本論文は、既存の低レベルディープフェイク検出器を、高レベルの感情ベースの信号を統合することで強化するマルチモーダルフレームワーク「Emo-Boost」を提案します。このシステムは、2 つの主要なコンポーネントで構成されます。

1. EmoForensics（感情ベースの検出器）

EmoForensics は、音声ストリームと視覚ストリームから感情表現をモデル化する、新たなディープフェイク検出ネットワークです。ディープフェイクは、単一モーダル内（intra-modal）および音声とビデオ間の（inter-modal）感情表現の時間的整合性の両方を破壊するという仮説に基づいて動作します。

• 特徴抽出: フレームワークは、ディープフェイクデータでの再訓練を避けるために、凍結された事前学習済み感情エンコーダーを使用してフレームレベルの埋め込みを抽出し、操作によって引き起こされる分布シフトへの過学習を回避します。
  • 視覚: 顔の感情認識には POSTER [51] を使用します。
  • 音声: 音声の感情認識には Emotion2vec [29] を使用します。
• 時間的モデリング:
  • モーダル内整合性: フレームレベルの埋め込みは、視覚および音声ストリーム内で時間的依存関係を捉えるために、モーダル固有の時間トランスフォーマー（MMA-DFER [9] に基づく）によって処理されます。
  • モーダル間整合性: モデルは、視覚および音声の感情表現間の整合性を強制します。
• 融合と分類: モーダルレベルの表現（$h_v$ および $h_a$）は、要素ごとの加算によって融合され、結合表現（$f_e$）を形成します。
• 学習目的: ネットワークは、以下の組み合わせを用いて訓練されます。
  • 二値交差エントロピー（BCE）: 標準的な実在/偽造分類のため。
  • コントラスト損失: 実在の音声 - 視覚ペアからの埋め込みを埋め込み空間内で近づけ、操作されたペア（例：実在のビデオ＋偽造の音声）からの埋め込みをより遠ざけるように促すため。

2. Emo-Boost（統合フレームワーク）

Emo-Boost は、市販の低レベル焦点型ディープフェイク検出器（実験では $D$、具体的には SIMBA [19]）を、EmoForensics からの高レベル信号で補強する融合メカニズムとして機能します。

• アーキテクチャ: 事前学習済みの低レベル検出器 $D$ と訓練済みの EmoForensics ネットワークの両方は、Emo-Boost の訓練フェーズ中に凍結されたままにされます。
• 融合戦略: EmoForensics からの感情表現は、検出器の特徴の次元に一致するように投影されます。その後、2 つの特徴セットは要素ごとの乗算（$f_{fused} = \tilde{f}_e \odot f_D$）を用いて結合されます。
• 訓練: 投影ヘッドと最終的な分類ヘッドのみが学習可能です。この設計により、Emo-Boost はベース検出器の再訓練を必要とすることなく、2 つの信号の相補性を活用することを保証します。

主要な貢献

1. Emo-Boost フレームワーク: 感情ベースの検出器を、市販の RGB および音響検出器と単純な後期段階融合によって統合するマルチモーダル検出システム。
2. EmoForensics ネットワーク: 2 つの相補的な次元をモデル化する専用検出器：(i) 感情表現のモーダル内時間的整合性、および (ii) 音声と視覚ストリーム間のモーダル間時間的整合性。
3. 汎化の改善: 高レベルのセマンティックな手がかりが、未見の操作タイプへの汎化において低レベルのアプローチを支援し、特に操作間（cross-manipulation）のパフォーマンスを向上させることをフレームワークが示しています。

実験結果

著者は、2 つのデータセットでアプローチを評価しました。FakeAVCeleb（21,000 動画、500 人物、4 種類の操作）およびDeepSpeak v2（16,500 動画、280 人物、10 種類の操作）。

ドメイン内評価

訓練とテスト間で操作タイプが重複する標準的な 70-30 訓練 - テスト分割において：

• Emo-Boosted SIMBA は、最先端（SOTA）の SIMBA ベースラインと競争力のある性能を維持しました。
• FakeAVCeleb において、Emo-Boosted SIMBA は AUC 99.89% を達成しました（SIMBA は 99.90%）。
• DeepSpeak v2 において、AUC 99.60% を達成しました（SIMBA は 99.79%）。
• 観察: 低レベル検出器がすでにほぼ完璧な性能を発揮しているシナリオでは、感情信号の追加は性能を低下させませんでした。

操作間（Leave-One-Out）評価

この設定は、訓練中に未見であった操作タイプへの汎化をテストします。

• FakeAVCeleb: Emo-Boosted SIMBA は、新しい SOTA である平均 AUC 95.30% を達成し、単体の SIMBA ベースライン（93.17%）に対して2.1% の改善を示しました。
  • Faceswap（84.47% vs. 80.87%）や RealTime Voice Cloning（100.0% vs. 89.97%）などの特定の分割において、顕著な改善が観察されました。
  • 著者はこれを信号の相補性に起因すると説明しています。低レベル検出器がアーティファクトを捉えられない場合、感情ベースの検出器が成功します。
• DeepSpeak v2: 平均 AUC は競争力のあるままでした（95.26% vs. SIMBA の 95.30%）が、顕著な改善は見られませんでした。
• 安定性分析: アブレーション研究（図 4）により、EmoForensics は SIMBA に比べて異なる操作分割間での性能変動が有意に低いことが明らかになりました（差の曲線下面積：12.50 vs. 32.98）。これは、感情ベースの表現が汎化にとってより安定した手がかりを提供することを示唆しています。

アブレーション研究

• コンポーネント: 時間トランスフォーマーまたはコントラスト損失を除去すると、性能が低下（AUC 約 2%）し、モーダル内およびモーダル間の時間的整合性の両方をモデル化することの重要性が確認されました。
• 融合戦略: 操作間設定において、要素ごとの乗算（$\odot$）は、要素ごとの加算（$\oplus$）および連結（$|$）を一貫して上回りました。

意義と主張

本論文は、Emo-Boostが、低レベルのアーティファクト検出を補完するために高レベルのセマンティックな手がかり（感情）を活用することで、ディープフェイク検出における汎化ギャップを成功裡に解決すると主張しています。

• 相補性: 核心的な発見は、低レベル検出器と感情ベース検出器が異なる信号を捉えるという点です。これらを組み合わせることで、単一のモーダルでは見逃す可能性のある操作を検出することが可能になります。
• 堅牢性: フレームワークは、凍結された事前学習済み感情エンコーダーが、ディープフェイクデータでの再訓練なしにフォレンジックタスクに効果的に転用可能であることを示しており、分布シフトの問題を軽減します。
• 限定的な限界: 著者は、EmoForensics は単体の検出器として低レベル手法に比べて性能が劣ることを認めています。さらに、DeepSpeak v2 での改善が見られなかったことは、このデータセットが脚本化された性質を持つため、自然な感情表現が制限され、結果として感情ベースの手がかりの有効性が低下したことに起因すると説明されています。
• 将来の方向性: この研究は、他の高レベルのセマンティックな手がかり（例：模倣、動き）も、画素レベルの検出器と同様に組み合わせることで、汎化をさらに強化できる可能性を示唆しています。