SurFITR: 監視画像の改ざん検出・局所化のためのデータセット

技術的サマリー（日本語）

本論文は、監視カメラ映像における画像改ざん（フォージリ）の検出と局所化（どの部分が改ざんされたかの特定）を目的とした、新しい大規模データセット「SurFITR (Surveillance Forgery Image Test Range)」を提案するものです。生成 AI の進歩に伴い、視覚的証拠の改ざんが現実的な脅威となっている中、既存のデータセットやモデルが監視映像の微妙な改ざんに対して機能しないという課題を解決します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

• 既存の課題: 従来の画像改ざん検出データセット（FaceForensics++ や CASIA v2 など）は、主に物体中心（Object-centric）や顔中心の画像に焦点を当てており、合成画像や大規模な操作領域を扱っています。
• 監視映像の特殊性: 監視カメラ映像は、広角の視点、小さく隠れた被写体、低解像度、多様な環境（屋内・屋外、混雑状況など）が特徴です。ここでの改ざんは、**局所的で微妙（Subtle）**なものが多く、既存のモデルが学習した特徴量では検出・局所化が困難です。
• ギャップ: 監視映像に特化した、現実的な微細な改ざんをシミュレートした大規模データセットが存在せず、これが検出モデルの開発と評価を妨げていました。

2. 提案手法：SurFITR データセットと生成パイプライン

データセットの概要

• 規模: 137,000 枚以上の改ざん画像（および対応するオリジナル画像）を収録。
• 構成: 6 つの既存の監視データセット（UCF-Crime, NTU-Fight, ShanghaiTech など）を基盤とし、多様なシーン（屋内、屋外、混雑地など）をカバー。
• 改ざんタイプ: 4 種類の操作を定義。
  1. 除去 (Removal): 人物や物体の削除。
  2. ターゲット置換 (Targeted Replacement): 特定の文脈に合う別の物体への置換。
  3. オープン置換 (Open-ended Replacement): 意味的に関連するが同一ではない物体への置換。
  4. 追加 (Addition): 新規の人物や物体の追加。
• 対象: 人物と物体の両方を対象とし、多様な解像度と色調（カラー/モノクロ）を含む。

生成パイプライン（MLLM 駆動）

大規模かつ高品質な改ざんデータを自動生成するために、マルチモーダル大規模言語モデル（MLLM）を活用した 3 段階のパイプラインを開発しました。

1. フレームの理解と選択:
   • オープンボキャブラリー検出器（YOLO-World）とセグメンテーションモデル（SAM 2.1）を用いて対象物を特定。
   • MLLM（Qwen2.5-VL-72B）がシーン記述（物体属性、空間関係、照明など）を生成し、フォレンジック的に価値の高いフレームを選択。
2. 改ざん指示の生成:
   • 除去/オープン置換: マスクとカテゴリプロンプトから指示を生成。
   • ターゲット置換/追加: MLLM が文脈を分析し、テキスト LLM が文脈整合性のある置換候補を推論。物理的な妥当性（支持面、透視図の整合性）を考慮して追加オブジェクトの配置とサイズを決定。
   • 高精度なピクセルレベルのマスクを生成。
3. 局所化改ざんと合成:
   • 生成されたマスクと境界領域のみを対象に、画像生成モデル（FLUX.1-Fill, SD3.5 など 5 種類の SOTA モデル）で編集を実行。
   • 画像の残りを保持しつつ、シームレスに合成し、ピクセルレベルのグランドトゥルース（正解マスク）を生成。

品質保証

• 検証プロセス: 各改ざんタイプごとに自動検証（対象物の有無確認、変更量の閾値チェック、MLLM によるカテゴリ確認）を実施。
• 品質選別: 2 つの基準（「リアリズム」と「検出されにくさ」）で 10 点満点で評価し、低品質なサンプルを除外。
• 検証済みサブセット: 人間による検証を行ったサブセット（約 5%）を構築し、自動検証の信頼性を担保。

3. 主要な貢献

1. SurFITR データセットの提案: 現実世界の複雑なシーンにおける、微細で局所的な改ざんを捉えた、監視画像改ざん検出・局所化のための最初の専用大規模データセット。
2. MLLM 駆動の生成パイプライン: 意味的に整合性があり、シーンに特化した編集を可能にする自動化パイプラインを開発。これにより、クロスドメイン（異なるシーンや生成モデル間）の一般化研究が可能になった。
3. 包括的な評価と分析: 既存のフォレンジックモデルや MLLM が監視環境で性能が著しく低下することを実証。SurFITR での学習がドメイン内・クロスドメイン両方で大幅な性能向上をもたらすことを示した。

4. 実験結果

ベースラインモデルの性能（ゼロショット評価）

• 検出性能: 既存の検出器（PSCC-Net, TruFor など）や MLLM（Qwen シリーズなど）は、SurFITR 上で AUROC が 0.5 前後（ランダム推測に近い）や、F1 スコアが極めて低い結果を示しました。これは、既存データセットで学習した特徴が監視映像の微妙な改ざんには適用できないことを示しています。
• 局所化性能: ピクセルレベルの局所化（P-IoU, P-F1）においても、すべての手法が極端に低いスコア（多くの場合 0.02 以下）に留まり、微細な改ざんの特定はほぼ不可能でした。

SurFITR での学習効果

• ドメイン内性能: SurFITR のトレーニングセットでファインチューニングを行ったモデルは、検出・局所化ともに劇的な性能向上を示しました（例：PSCC-Net の AUROC が 0.315 → 0.991）。
• クロスドメイン性能:
  • 生成モデルのシフト: 異なる生成モデル（Base 訓練 → Transfer 評価）でも、学習済みモデルは高い性能を維持しました。
  • シーン/データセットのシフト: 特定のデータセット（UCF のみ）で学習した場合、他のシーンへの一般化は部分的にしか達成されず、シーン変化が検出性能の不安定さの主要因であることが判明しました。
• 課題: 学習後でも、改ざん領域が小さい場合の局所化や、異なるシーン間での検出の安定性には依然として大きな課題が残っています。

5. 意義と結論

• 研究の基盤: SurFITR は、監視映像におけるフォレンジック研究のための重要なベンチマークおよびトレーニングリソースとして機能します。
• モデル開発の指針: 既存のモデルが監視環境で失敗する理由（シーン依存性、微細な局所化の難しさ）を明確にし、より頑健なモデル開発の必要性を浮き彫りにしました。
• 倫理的配慮: データセットは研究目的（検出技術の向上）に限定され、改ざん技術そのものの悪用を防ぐため、生成パイプラインの重要な実装詳細は公開されず、研究専用ライセンスで提供されます。

結論として、SurFITR は、生成 AI 時代における監視映像の信頼性を確保するための不可欠なリソースであり、今後の監視画像改ざん検出技術の発展の基礎となるでしょう。