技術的サマリー：目が AI を裏切る

問題定義

生成モデル（Stable Diffusion 3、FLUX.1、DALL·E 3、Midjourney v6 など）の最近の進歩により、以前は AI 生成コンテンツ（AIGC）検出の主要な基盤となっていた低レベルのアーティファクトが実質的に排除された。周波数異常、アップサンプリングの痕跡、ピクセルレベルの指紋などのシグナルは現在、ほぼ緩和されており、確立された検出器（NPR、UnivFD、AIDE）は、現代の人物中心データセットにおいて、ほぼ偶然のレベルまで性能が低下している。さらに、脅威の状況は、インペインティングモデルが本物の写真の局所領域を再生成する「部分編集」フェイクへとシフトしている。これらのフェイクは、元の画像の全球的な光度統計を保持しており、全球的に分布する手がかりに依存する検出器を回避する。

本論文は、検出には低レベルの統計分析から高レベルの意味的一貫性軸への転換が必要であると主張する。具体的には、生成器は局所的に写実的な顔を生成できるが、複数人との相互作用における社会的視線の幾何学的整合性を維持することには苦労すると仮説を立てている。

手法

1. 意味的手がかりとしての社会的視線整合性

著者らは、社会的視線整合性を、相互作用する個人間の視線方向、頭部と目のアライメント、および瞳孔の配置の相互整合性として定義する。視線を行動認識の対象として扱うか、または顔内の解剖学的事前知識（瞳孔形状の異常など）に焦点を当てる先行研究とは異なり、本研究は視線を検証可能な法医学的予測として扱う。本物の写真は構築上これらの幾何学的関係を満たすが、現代のインペインティングモデルは目の領域においてそれらを体系的に違反する。

2. カスタム視線データセットの構築

生成器の指紋からの視線手がかりを分離するため、著者らはCustom Gazeデータセット（46,830 枚のペア画像）を構築した。

• ペアレベルのアイデンティティ保持: 各フェイク画像は、OI Mutual Gaze データセットに由来する実画像ソースから、FLUX.1-Fillを使用して目の領域のみを再生成することで生成される。ベースのアイデンティティ、シーン、照明、および全球的な構成は不変のまま維持される。
• ショートカットのブロック: このペア構造により、モデルが FLUX 固有のスペクトル残留など、生成器固有の全球的指紋をショートカットとして学習することを防ぎ、モデルを目の領域における解剖学的に根ざした差異に依存させる。
• マスキング: 顔のバウンディングボックスの垂直帯 $[0.25h, 0.55h]$ を覆う特定のマスク（$M_{eye}$）がインペインティングに使用される。

3. ブロック構成キャプション監督

本論文は、視覚言語モデル（VLM）、具体的にはFakeVLM（LLaVA-v1.5 + Vicuna-7B）の訓練に推論の骨格を注入するための新しい監督スキーマを導入する。

• 構造: フリーフォーム生成や二値分類の代わりに、モデルは 5 ブロックのキャプションを出力するように訓練される：決定 $\to$ シーン $\to$ 手法（視線に基づく推論） $\to$ 証拠 $\to$ 結論。
• 構成的多様性: 推論の骨格（論理的流れ）は不変だが、表面の語彙化は変化する。4 つの位置に対して 5 つの変種からなるマクロプールからサンプリングすることで、システムはわずか 20 のマクロプールエントリから1,250 の一意なキャプションを生成する。
• 根拠: この設計は、推論の一貫性と出力の多様性を分離し、モデルがテクスチャベースの説明に依存するのではなく、特定の「視線中心」の推論経路を内部化することを保証しながら、モード崩壊を防ぐ。

4. 訓練プロトコル

• 混合ファインチューニング: モデルは、非人物カテゴリにおける分布の崩壊を防ぐため、Custom Gaze データセットと既存の FakeClue データセット（テクスチャ中心の監督）の混合でファインチューニングされる。
• チェックポイントの選択: 著者らは、損失最小化がクラスバランスの性能と相関しない顕著な分離を指摘し、検証損失ではなく**バランス正解率（BA）**に基づいてチェックポイントを選択する。
• アーキテクチャ: 視覚エンコーダと LLM にはパラメータ効率型ファインチューニング（LoRA）が適用され、視覚言語プロジェクタには完全なファインチューニングが適用される。

主要な貢献

1. 新しい検出軸（C1）: 低レベルのパラダイムに直交する意味的検出軸としての社会的視線整合性の導入。著者らは、その生成器間での転移性を説明する 4 段階の機械的説明を提供する：

   • ペア編集ショートカットのブロック: 生成器の指紋の記憶化を防ぐ。
   • 困難から容易への難易度転移: 部分編集（困難）での訓練が、完全合成（容易）での性能を向上させる。
   • CLIP 事前知識の保持: 生成器間で共有される事前訓練済み CLIP 表現を活用する。
   • 拡散ファミリーに共有されるスペクトル的弱点: 拡散ベースの生成器における眼周囲構造の一貫したスペクトル的弱点を悪用する。

2. 監督設計（C2）: 固定された推論骨格と表面の変動を用いて、モデルが単にラベルを予測するのではなく、視線の幾何学に基づいて画像がなぜフェイクなのかを説明することを強制するブロック構成キャプション監督の提案。

3. アーキテクチャ間検証（C3）: 視線手がかりがアーキテクチャに依存しないことの証明。この監督設計は、70 億パラメータの VLM（FakeVLM）と視覚専用バックボーン（Effort）の両方を複数のベンチマークで改善し、シグナルが単一のモデルアーキテクチャに固有ではないことを実証する。

実験結果

この手法は、3 つのベンチマークで評価された：Custom Gaze（部分編集のハードフェイク）、COCOAI Person（単一人物 AIGC）、およびCOCOAI Interaction（複数人物相互作用）。

• 性能向上:
  • COCOAI Interactionサブセット（核心的な診断ベンチマーク）において、提案手法は FakeVLM 元からバランス正解率（BA）を67.8% から 71.5%（+3.7 ポイント）向上させ、Macro-F1（+7.5 ポイント）および MCC（+13.3 ポイント）で大幅な gain を示した。
  • COCOAI Personでは、BA が83.0% から 84.3%（+1.3 ポイント）向上した。
  • Custom Gazeでは、手法はほぼ完璧な性能（99.9% BA）を達成し、分布内天井に達した。
• ベースラインとの比較:
  • 低レベル検出器（AIDE、NPR、UnivFD）は、相互作用サブセットにおいてほぼランダムな性能（BA $\le$ 51.5%）に崩壊した。
  • 提案された 70 億パラメータモデルは、130 億パラメータの競合他社SIDA-13Bを、平均 BA で**+14.4 ポイント**、MCC で**+30.5 ポイント**上回り、監督設計がパラメータ数よりも重要であることを実証した。
• 混同行列分析: gains は、「フェイク」分類の大幅な回復（相互作用サブセットで +17）と、「リアル」分類におけるほぼゼロの劣化によって駆動されており、「すべてをフェイクと予測する」アーティファクトを排除した。
• アーキテクチャ間転移: 視覚専用Effortバックボーンを Custom Gaze データセットでファインチューニングすると、分布内飽和と分布間転移の同様のパターンが得られ、手がかりが VLM アーキテクチャから独立していることを確認した。

意義と主張

本論文は、低レベルのアーティファクトが後退するにつれて、社会的意味的一貫性が AIGC 検出の重要な最前線となると主張する。この研究の意義は以下の点にある：

1. パラダイムの転換: 検出をピクセル統計から、現在の拡散モデルが明示的に強制することに失敗している高レベルの幾何学的関係（視線整合性）へと移行させること。
2. 効果的な監督: モデルに予測の理由を説明させる方法（構造化された推論対フリーフォームまたは二値）が、モデルアーキテクチャ自体と同様に重要であることを実証すること。
3. 堅牢性: 単一の生成器（FLUX.1-Fill）と特定のタスク（部分目の編集）から導出された手がかりが、異なるモデルファミリーにわたる多生成器・完全画像合成シナリオに一般化できるという証拠を提供すること。

著者らは、ドメインの専門化（人物中心のみ）、データセット構築における単一のインペインターへの依存、および単一人物シナリオにおける「カード過信」（視線手がかりへの過度の依存）という傾向などの限界を認めており、これらは将来の作業において原理的なゲーティングメカニズムによって緩和され得ると示唆している。