技術的概要：PRPO – 深層偽造検出のための段落レベル方策最適化

問題提起

GAN や拡散モデルを含む生成人工知能（GAI）の急速な発展により、深層偽造（ディープフェイク）の検出はオンライン安全性にとって重要な課題となっています。マルチモーダル大規模言語モデル（MLLM）は強力な推論能力を有していますが、その深層偽造検出への応用は、主に以下の 3 つの要因によって制限されています。

1. データ不足: 詳細な推論注釈を備えた大規模で高品質なデータセットの不足により、モデルは単純な質問応答の蒸留に依存せざるを得ず、これは必要な複雑な推論には不十分です。
2. アーキテクチャの限界: 汎用的なビジョンエンコーダ（例：CLIP ViT）は、微妙な操作を見分けるために必要な微細な高周波数の視覚的アーティファクトを捉えきれないことがよくあります。
3. 推論の質: 既存の MLLM は、しばしば幻覚、表面的な記述、または視覚的証拠と整合性の取れない説明を生成します。また、早急な結論に飛びつき、その後の推論ステップにバイアスをかける傾向があります。

現在の検出手法は、しばしば説明可能性に欠け、信頼できる根拠なしに二値分類を提供するに留まっています。さらに、既存の強化学習（RL）アプローチは、中間推論ステップの一貫性や接地性ではなく、最終的な出力に対して報酬を与える傾向があります。

手法

本論文は、新しいデータセット、専門的なアーキテクチャ、および新規のテスト時強化学習アルゴリズムを含む包括的なフレームワークを提案します。

1. データセット：DF-R5

著者は、約 115,000 組の画像 - 推論ペアを含む推論注釈付きデータセット DF-R5 を導入します。

• ソース: 画像は DF-40 ベンチマークから派生しており、DDIM、PixArt-α、SD-2.1、SiT、StyleGAN3 の 5 つの多様な生成ドメインを網羅しています。
• 生成パイプライン: 高品質な注釈を確保するため、最先端の MLLM（主にベンチマークで優れた性能を示した Gemini-2.5）を用いた 3 段階のパイプラインが設計されました。
  • 特徴発見: MLLM が画像入力なしで深層偽造に関連する視覚的特徴を列挙し、一般的な特徴リストを確立します。
  • 特徴スコアリング: 各画像について、モデルは特定の特徴を「本物（-1）」、「偽物（+1）」、「不確実（0）」としてスコアリングします。
  • 推論生成: 特徴を意味的に一貫したグループ（段落）に統合し、簡潔で解釈可能な推論記述を生成します。

2. アーキテクチャ：DX-LLaVA

著者は、微細な視覚的アーティファクトを捉えるように設計されたマルチモーダルアーキテクチャ DX-LLaVA（Deepfake detection and eXplainability LLaVA）を提案します。

• ビジョンエンコーダ: 標準的な CLIP ViT を CLIP ConvNeXT に置き換えます。ConvNeXT は、ViT がしばしば見逃す局所的な高周波数のアーティファクト（例：生え際の不規則性、毛穴の不一致）に対する感度と、より強いテクスチャバイアスを持つため選択されました。
• 二重目的微調整: モデルは、組み合わせた損失関数を用いて微調整されます。
  • $L_{lm}$: 推論生成のための標準的な言語モデル化損失。
  • $L_{binary}$: 集約された視覚的埋め込みに対して適用される軽量な二値分類損失。
    この二重のアプローチにより、言語モデルが判別的な視覚的手がかりと整合するように調整され、ベースラインの LLaVA において観察された「一貫性のあるテキストだが判別性が低い」という問題が防止されます。

3. アルゴリズム：段落レベル相対方策最適化（PRPO）

PRPO は、MLLM の推論を段落レベルで画像内容と整合させるように設計されたテスト時強化学習アルゴリズムです。トークンを均一に扱う標準的なグループ相対方策最適化（GRPO）とは異なり、PRPO は段落単位で動作します。

• 報酬メカニズム: アルゴリズムは、2 つのラベルフリー報酬成分を利用します。
  • 視覚的一貫性報酬（VCR）: 凍結された CLIP ConvNeXT エンコーダを用いて、各推論段落と画像特徴との整合性を測定します。段落からキーワードを抽出し、画像埋め込みとのコサイン類似度を計算します。これにより、幻覚や一般的な記述にペナルティが課されます。
  • 予測一貫性報酬（PCR）: 中間推論段落の多数決と最終結論との間の内部一貫性を強制します。最終回答が支持段落のコンセンサスと矛盾する場合、報酬はゼロとなります。
• 最適化: PRPO は、相対的優位性（正規化された報酬）で重み付けされた段落の対数確率を最大化し、参照モデルからの過度な逸脱を防ぐために KL 発散項を組み込みます。重要なのは、このプロセスがテスト時に行われ、再学習のための追加の注釈付きデータを必要としない点です。

主な貢献

1. DF-R5 データセット: 深層偽造検出における高品質な推論データのギャップを埋める、大規模な推論注釈付きデータセット（115k 画像）。
2. DX-LLaVA アーキテクチャ: CLIP ConvNeXT と Vicuna を統合した新規アーキテクチャ。ViT に比べ、微妙な深層偽造アーティファクトの検出にピクセルレベルの視覚エンコーダが優れていることを実証。
3. PRPO アルゴリズム: 段落レベルの視覚的接地と自己一貫性を強制するテスト時 RL 手法。大規模な再学習なしに推論の質を大幅に向上させる。
4. 包括的評価: 未見のドメイン全体で、検出精度と説明の忠実度の両方において大幅な改善を示す広範な実験。

実験結果

検出性能

• 汎化能力: 未見のドメイン（ドメイン間テスト）において、PRPO は平均 F1 スコア 89.91% を達成し、最先端のベースライン SIDA より 14.65% 上回り、他の MLLM（例：Gemini-2.5 は F1 80.31%）も凌駕しました。
• 頑健性: PRPO は、実画像と偽画像がほぼ区別できない SiT のような困難なドメインで特に優れた性能を示し、F1 71.26% を達成しました（ベースラインはこれより大幅に低いスコアでした）。
• アーキテクチャの影響: DX-LLaVA アーキテクチャにおいて ViT を ConvNeXT に置き換えた結果、ViT ベースのバリアントと比較してドメイン間設定で F1 が 24.10% 改善されました。

推論の質

• 評価: 説明は、GPT-4o によって 5 つの基準（分類精度、証拠の接地、推論の質、自信の較正、明瞭さ）で評価されました。
• スコア: PRPO は 4.55/5.0 の最高総合推論スコアを達成し、Gemini-2.5（4.20）および他のすべてのベースラインを上回りました。
• アブレーション: VCR と PCR の報酬の組み合わせが不可欠であることが判明しました。VCR のみの使用は高い精度をもたらしましたがリコールは低く、PCR のみはリコールが低い結果となりました。両者を組み合わせることで、指標を効果的にバランスさせることができました。

効率性

• PRPO はテスト時に動作します。計算プロファイリングによると、サンプリングが支配的なコスト（約 90%）ですが、報酬計算と方策更新は軽量です。この手法はバッチサイズに対して効率的にスケーリングし、バッチサイズが増加するにつれて遅延が大幅に減少します。

意義と主張

本論文は、マルチモーダル推論を視覚的証拠に接地させることが、信頼性が高く解釈可能な深層偽造検出にとって不可欠であると主張しています。著者は以下を強調しています。

• テスト時適応: PRPO を通じたテスト時適応により、モデルは注釈付きデータでの大規模な再学習なしに、推論の整合性を自己改善できます。
• 段落レベル最適化: これは重要な革新であり、モデルに最終トークンの最適化だけでなく、推論の各ステップが画像によって支えられていることを検証させるためです。
• 意思決定支援ツール: このアプローチは、メディアフォレンジックにおける人間の分析家にとっての意思決定支援ツールとして機能し、正確であるだけでなく、詳細で証拠に基づく説明を提供します。

著者は謙虚に限界を指摘し、現在の手法は主に顔中心の深層偽造に焦点を当てており、極めてアーティファクトが希薄なシナリオ（特定の SiT 生成など）は依然として課題であることを認めています。彼らは、この研究を安全上重要なアプリケーションにおいて構造化された推論をビジョン - 言語モデルに統合するための一歩として位置付けており、単独の意思決定システムとしてではなく位置付けています。