技術概要：FRAME（Forensic Routing and Adaptive Multi-path Evidence Fusion）

問題定義

高度な画像編集ツールと生成 AI の普及により、デジタル画像の真正性を検証することがますます困難となり、ジャーナリズム、法科学、そして公衆の信頼に対して重大なリスクをもたらしている。JPEG の不整合、センサーノイズ、または CFA 痕跡の分析などの手作業による手法から、深層学習ベースの検出器まで、数多くの法科学アルゴリズムが存在するが、これらは以下の 3 つの主要な限界に苦しんでいる：

1. 限られた頑健性：単一の検出器は、すべての改ざんタイプおよび画像条件において信頼性があるわけではない。
2. 断片化された証拠：複数の手法からの出力は、しばしばノイズが多く、一貫性がなく、または不完全であり、整合性のある予測を統合することが困難である。
3. 硬直的な融合戦略：既存のシステムは、通常、特定の画像コンテンツ、圧縮履歴、または改ざんタイプに適応できない、固定された組み合わせや固定されたルーティング戦略に依存している。

現在のアプローチは、伝統的な手法の解釈可能性と深層学習のパフォーマンスのバランスを取ることに失敗するか、特定の入力との関連性に関係なく、すべての法科学シグナルを同等に扱う傾向がある。

手法

著者は、画像法科学分析を、異種法科学アルゴリズムのプールにおける適応的パス選択問題として扱うフレームワーク、FRAME（Forensic Routing and Adaptive Multi-path Evidence Fusion）を提案する。

コアコンポーネント

1. 法科学スーパーネットとモジュールプール：

   • FRAME は、エラーレベル分析、PRNU、DCT 分析、コピームーブ検出など、多様な既存の法科学アルゴリズムを「モジュールプール」（$\mathcal{A}$）に整理する。
   • ニューラルアーキテクチャサーチ（NAS）に触発され、これらのモジュールは法科学スーパーネット（$\mathcal{S}_F$）内のノードとして概念化される。「パス」（$P$）は、これらのモジュールの特定のサブセットまたは順序付けられた組み合わせとして定義される。

2. 適応的パス選択（セレクター）：

   • 全てのツールを均一に適用する代わりに、FRAME は GraphSAGE アーキテクチャに基づく学習されたパスセレクター（$f_{\text{GNN}}$）を採用する。
   • 入力画像 $I$、疑われる改ざんタイプ $M_t$、およびオプションのコンテキスト $C$ が与えられると、セレクターはスーパーネットからサンプリングされた候補パスを評価する。
   • セレクターは、その特定のコンテキストに対して高いパフォーマンスをもたらす可能性が最も高いパスを予測し、分析を最も有益な法科学シグナルへ効果的にルーティングする。

3. 証拠融合：

   • トップ-$k$ のパスが選択されると、それらの出力（ヒートマップ、マスク、スコアなど）は、統合された予測マップ（$F^*$）に融合される。
   • 融合メカニズムも学習されるため、システムは固定された平均化ではなく、異なるパスの寄与を動的に重み付けすることができる。

訓練および推論パイプライン

• オフライン訓練：システムは、訓練画像に対してスーパーネットから候補パスをサンプリングし、それらを実行して出力を生成し、真値に対してパフォーマンススコア（IoU、F1 など）を計算する。グラフニューラルネットワーク（GNN）は、予測されたパスのパフォーマンスと実際に観測されたパフォーマンスとの間の誤差を最小化するように訓練される。
• オンライン推論：新しい画像に対して、システムは候補パスをサンプリングし、訓練された GNN を使用してそれらをスコアリングし、トップ-$k$ のパスを選択し、それらを実行し、その出力を融合して、最終的な検出および局所化結果を生成する。

主要な貢献

1. 適応的フレームワーク：単一の手法や静的なアンサンブルに依存するのではなく、複数の法科学シグナルを動的にルーティングおよび融合するシステム、FRAME の提案。
2. スーパーネットに触発された定式化：異種アルゴリズムを検索可能なスーパーネット内のモジュール単位として扱う法科学分析の新たな概念化により、適応的パス選択を可能にする。
3. 理論的解析：コンテキスト適応型セレクターが、均一融合（すべてのアルゴリズムの平均化）および最良の単一固定アルゴリズムの両方を厳密に上回る条件を確立する理論的導出。著者は、セレクターが十分に正確であり、データが固定ベースラインが最適でない異種レジームを含んでいる場合、適応的選択が保証されたパフォーマンス向上をもたらすことを証明する。
4. 学習された融合メカニズム：個々の法科学手法の寄与の解釈可能性を維持しながら、統合された予測を生成する設計。

実験結果

著者は、深層学習ベースラインが訓練データで微調整されなかったゼロショットプロトコルを使用して、FRAME を 4 つの外部テストセット（CASIA v1、Coverage、Columbia、RealisticTampering）で評価した。

• 手作業ベースラインとの比較：FRAME は、最良の単一手作業モジュール、すべてのモジュールの均一融合、およびヒューリスティックな選択を大幅に上回った。また、同じ法科学シグナルの固定されたグローバルな組み合わせを使用した学習されたアンサンブル手法（Random Forest および XGBoost）をも凌駕し、画像ごとの適応的ルーティングが改善の主要な源泉であることを示した。

• 深層学習ベースラインとの比較：FRAME は、最近の深層学習モデル（TruFor、MMFusion、ManTraNet、CAT-Net）に対して、最先端または競争力のある結果を達成した。

  • CASIA v1、Coverage、および RealisticTampering において、最高の検出 AUC および局所化スコア（F1、mIoU）を達成した。
  • Columbia データセット（検出のみ）では TruFor がわずかに優れていたが、ピクセルレベルの局所化を必要とするデータセットでは FRAME がそれを上回った。
  • 注目すべきは、FRAME が CASIA v2 上で軽量なセレクターと融合モジュールのみ（約 44k パラメータ）を訓練してこれらの結果を達成したのに対し、深層学習ベースラインははるかに大きく多様なデータセットで訓練されていたことである。

• アブレーション研究：実験により、学習された選択と学習された融合の両方のコンポーネントがパフォーマンスに寄与することが確認された。トップ 1 選択から学習された重みによるトップ-$k$ 融合へ移行することで、固定された集約戦略に対して一貫した改善が得られた。

意義と主張

本論文は、画像法科学、証拠融合、および解釈可能な分析の交差点に FRAME を位置づける。その意義は、伝統的な法科学手法の解釈可能性と深層学習のパフォーマンスの間のギャップを埋める点にある。

• 頑健性と柔軟性：単一手法分析と固定融合を超えて移動することで、FRAME は画像に存在する特定の法科学痕跡に適応する、より頑健なアプローチを提供する。
• 解釈可能性：「ブラックボックス」の深層学習検出器とは異なり、FRAME は複数の証拠源からの解釈可能な法科学シグナルを維持し、分析者が最終的な決定にどのアルゴリズムが寄与したかを理解できるようにする。
• 理論的正当性：この研究は、異種法科学シナリオにおいて、適応的パス選択が均一融合よりも優れている理由についての理論的基盤を提供し、経験的アプローチを検証する。

著者は、現在のモジュールプールが従来の編集アーティファクト（スプライシング、コピームーブ、再圧縮）に焦点を当てているが、FRAME のモジュール化された性質により、将来的に生成 AI のアーティファクトを標的としたモジュールの統合が可能であると指摘している。コードは公開されており、適応的法科学推論に関するさらなる研究を促進する。