Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

技術要約：ディープフェイク検出器のセマンティック・ボキャブラリーの解明

問題提起
ディープフェイク（DF）技術は情報の完全性に対する重大な脅威となっており、堅牢な検出手法を必要としている。しかし、ディープフェイク検出における従来の主流なアプローチは、二値分類（真実か偽物か）に依存しており、法的手続きのような高リスクなアプリケーションに求められる透明性や正当性を欠いている。これを解決するために説明可能なディープフェイク検出（XDFD）が登場したが、既存の技術には大きな限界がある。すなわち、時空間的な局在化手法は粗い視覚的証拠（例：特定のアーティファクトではなく顔全体をハイライトする）しか生成できず、テキストによる説明手法は正確な空間的接地（グラウンディング）を欠いたり、検出器が用いている根拠となる証拠を反映できなかったりすることが多い。さらに、現在の多くのXDFDアプローチは、アーキテクチャの変更、補助的な学習目的、または人間によるアノテーションを必要とし、解釈性と予測性能の間のトレードオフを生じさせている。

手法
本研究は、モデルのアーキテクチャを変更したり再学習を必要としたりすることなく、最先端のブラックボックス型ディープフェイク検出器を分析する、ポストホック（事後）型説明可能AI（XAI）フレームワークを提案する。コアとなる技術的アプローチは、線形表現仮説に基づいた手法である**エンコーディング・デコーディング方向ペア（EDDP）**を利用している。

1. 概念抽出（Concept Extraction）: この手法は、概念（真実または偽物の画像を示す特徴）が、概念埋め込みの線形結合としてモデルの潜在空間内にエンコードされていると仮定している。特定の層（FaceForensics++で事前学習されたXceptionネットワークの第12残差ブロック）の活性化に対してEDDPを適用することで、著者らは以下の要素を共同で学習する：

   • デコーディング方向 ($W$): 概念検出器として機能するベクトル。
   • エンコーディング方向 ($S$): 概念がエンコードされている潜在空間内の特定の方向を表すベクトル。
   • 閾値 ($b$): 概念活性化の決定境界。

2. 可視化と定量化:

   • 概念存在マップ（CPMs）: 特定の概念がどこに存在するかを示すために、デコーディング方向を空間パッチに適用し、アップサンプリングして生成されるバイナリマップ。
   • 概念貢献マップ（CCMs）: 各概念が最終的な予測ロジットに与える影響を定量化する空間認識型のヒートマップ。これは、単なる「存在」と「因果的な貢献」を区別する。

3. 検証と分析:

   • RCAV感度: 相対的概念活性化ベクトル（RCAV）スコアを用いて、ある概念がモデルを「真実」または「偽物」の分類へと偏らせるかどうかを判断する。
   • セマンティック・マッピング: 重なり（IoU）スコアを用いて、抽象的な概念方向をグラウンドトゥルースの顔領域（例：鼻、目、口）にマッピングする。
   • 忠実性評価: 著者らは、概念クローニング（ターゲットサンプルからソースベースへ概念係数を移植する手法）および標的介入（予測を反転させるために概念を加算または減算する手法）を用いて、特定された概念がモデルの決定の主要な推進力であるかを検証する。

主な貢献

• ディープフェイクにおける初のポストホック概念ベースXAI: 本研究は、モデルの再学習やアーティファクトレベルの教師あり学習を必要としない、ディープフェイク領域における初のポストホック概念ベースXAIの適用である。
• セマンティック・ボキャブラリーの発見: 本研究は、検出器によって学習された16個の内部概念からなる「セマンティック・ボキャブラリー」を正常に解明し、抽象的な潜在活性化を人間が解釈可能な特徴（例：「偽の口」、「真実の目」、「偽の首」）へとマッピングした。
• グローバルおよびローカルな理解: 本フレームワークは、どの概念が予測を駆動するかを特定することでグローバルなモデル理解を可能にする一方、CCMは特定の操作アーティファクトを特定する、空間認識型の概念ベースのローカルな説明を提供する。
• 反事実的分析: 本手法は、「もし〜ならば」という分析を容易にし、体系的な介入を通じて、特定の概念とモデル出力との間の因果関係を実証する。

結果

• 概念の特定: 分析により、モデルを「偽物」へと一貫して偏らせる概念（例：$c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$）と、「真実」へと偏らせる概念（例：$c_0, c_5, c_7, c_8, c_{11}$）が明確に示された。一部の概念は非識別的であることが判明した。
• セマンティック・グラウンディング: IoUによる定量的マッピングにより、概念が特定の顔領域（例：$c_5$は鼻、$c_{12}$は偽の目）と一致することが確認された。
• 忠実性: 概念クローニング実験において、ターゲットの予測を再現する精度**87.34%を達成し、誤分類されたサンプルへの標的介入では、モデルの出力を修正する成功率99.8%**を達成した。これにより、学習された概念係数が分類に使用される本質的な特徴を捉えていることが確認された。
• 操作の特異性: 本研究では、特定の概念が特定のディープフェイク生成技術に対して高い特異性を示すことが観察された（例：$c_3$と$c_9$はDeepFakesおよびFace2Faceにおいて非常に一般的である）。これは、検出器が特定の生成プロセスに固有のアーティファクトを学習していることを示唆している。

意義と主張
本論文は、このアプローチが二値予測を超えて、学習中に学習された本質的な特徴を明らかにすることで、ディープフェイク検出戦略のより深い理解を提供すると主張している。分類ロジックを識別可能な顔領域に接地させ、モデルの予測を制御するメカニズムを提供することで、本研究はより透明性が高く信頼できる検出システムを可能にする。著者らは、本手法が説明と決定関数の間の密接な整合性を提供し、再学習やアーキテクチャの制約といった運用上のオーバーヘッドなしに忠実性を向上させることを強調している。

限界
著者らは、いくつかの制約を謙虚に認めている：

• 検出器自体は再学習されないが、EDDPモデルは依然としてターゲットモデルの特定の表現空間上で学習される必要がある。
• 概念の数は手動で定義されるハイパーパラメータであり、正しく選択されない場合、冗長性や信号不足のリスクがある。
• 特定された概念は、使用された特定のモデルアーキテクチャ（Xception）およびデータセット（FaceForensics++）に最適化されており、別途学習プロセスを経ることなく他のモデルやデータセットに直接転用できるわけではない。