ActivityForensics: 動画における改ざんされた活動（Activity）の局在化のための包括的ベンチマーク

技術的サマリー（日本語）

本論文は、生成 AI や動画編集技術の急速な発展に伴い顕在化している新たな課題、「動画内の改ざんされた活動（Activity-level forgery）の局在化」に焦点を当てた研究です。既存のフォレンジック研究が主に「外観レベル（顔の入れ替えや物体の除去）」に依存しているのに対し、本論文は「活動レベル（人間の動作や意味的なイベントの改変）」の検出と特定を目的とした初の大規模ベンチマークと、それに対応する新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• 背景: 近年の動画生成・編集技術（Wan, Scifi, VACE など）の進歩により、動画の特定のセグメントを自然に改変し、イベントの意味（セマンティクス）を歪める「活動レベルのフォージ」が可能になりました。例えば、政治家の中立な立ち姿を「不適切なジェスチャー」に変えるなど、視覚的に極めて自然で人間には見分けがつかないような改ざんが増えています。
• 既存研究の限界: 従来の時間的フォージ局在化（Temporal Forgery Localization）のベンチマーク（ForgeryNet, Lav-DF など）は、顔の入れ替えや物体の除去といった「外観レベル」の改ざんに特化しています。これらは高レベルな意味理解に基づいて動作するが、活動レベルの改ざんは、微妙な時間的・視覚的なアーティファクト（不自然さ）を検知する必要があり、既存のアプローチでは対応が困難です。
• 課題: 活動レベルの改ざんを正確に特定し、その時間的範囲（開始・終了フレーム）を局在化する新しいタスクと、それを評価するための大規模データセットの欠如。

2. 提案手法とデータセット構築

2.1. データセット：ActivityForensics

本論文では、活動レベルの改ざん局在化に特化した初の大型データセット ActivityForensics を提案しています。

• 規模: 6,000 以上の改ざんされた動画セグメントを含み、これらは元の動画コンテキストにシームレスに融合されています。
• 構築プロセス（Grounding-Assisted Data Construction）:
  1. 動画キャプションとグラウンディング: 既存の動画から活動の説明（キャプション）と、その対応する時間的セグメント（グラウンディング）を自動抽出。
  2. 意味的改変: 大規模言語モデル（LLM）を用いて、元の活動説明を意味的に改変（例：「手を振る」→「親指を立てる」）。
  3. 動画生成・編集: 改変された説明とグラウンディング情報を条件として、動画生成モデル（Wan, Scifi, FCVG, Vidu）や編集モデル（VACE, LTX）を用いて、高忠実度で改ざんセグメントを合成。
  4. 統合: 合成されたセグメントを元の動画に埋め込み、視覚的・時間的な整合性を保ちながらデータセットを構築。
• 特徴: 人間には区別がつかないほどの高品質な偽造データであり、多様な生成・編集手法を網羅しています。

2.2. 提案モデル：Temporal Artifact Diffuser (TADiff)

活動レベルの改ざん検出には、高レベルな意味情報よりも、低レベルな視覚・時間的アーティファクトへの感度が必要です。これを解決するため、TADiff を提案しました。

• 基本アーキテクチャ: 既存の時間的アクション局在化モデル（ActionFormer）をベースに使用。
• 核心メカニズム（拡散ベースの正則化）:
  • ノイズ注入（Forward Process）: 時間的特徴空間に確率的な摂動（ガウスノイズ）を注入し、意味的バイアス（セマンティック・バイアス）を抑制します。これにより、モデルが「何をしているか（意味）」ではなく「不自然さ（アーティファクト）」に注目するよう強制します。
  • 反復的なノイズ除去（Reverse Process）: フィルム（FiLM）と DDIM（Denoising Diffusion Implicit Models）を用いた反復的なノイズ除去プロセスを通じて、改ざんを判別する微細な信号（アーティファクト）を増幅・復元します。
• 目的: 意味的な構造に依存せず、時間的矛盾や微細な視覚的不整合に敏感な特徴表現を学習させること。

3. 評価プロトコルと結果

研究では、3 つの評価設定で広範なベンチマークを行いました。

1. Intra-domain（同ドメイン）: 訓練とテストで同じ改ざん手法を使用。
2. Open-world（オープンワールド）: 訓練データに含まれない商用モデル（Vidu）による改ざんを検出。
3. Cross-domain（クロスドメイン）: 異なる生成・編集手法間の転移学習（例：テキスト駆動からポーズ駆動へ）。

主要な結果:

• 性能向上: TADiff は、SOTA 手法（ActionFormer, UMMAFormer, DiGIT など）をすべての設定で上回りました。
  • Intra-domain: 平均 AP が 70.67% → 75.05%（+4.38）、厳密な境界判定（AP@0.95）で +9.78 の大幅な改善。
  • Open-world: 未知のモデルに対しても堅牢性を示し、AP@0.95 で +11.98 の改善。
• クロスドメイン一般化: 異なる手法間での転移においても、ベースラインに対して一貫して性能向上（平均 AP で +2.45〜+3.75）を達成しました。
• アブレーション研究: ノイズ注入とノイズ除去の両方を組み合わせた場合が最も効果的であり、ノイズ注入が意味的バイアスを打破し、ノイズ除去がアーティファクト感度を高めることが確認されました。
• 特徴空間の可視化: t-SNE 可視化により、TADiff を導入することで「実動画」と「改ざん動画」の特徴量が明確に分離され（Fisher 判別スコア 1.74 → 2.64）、意味的混同が解消されていることが示されました。

4. 主要な貢献

1. 新しいタスクとデータセットの提案: 動画における「活動レベルの改ざん局在化」という新しいタスクを定義し、大規模で高品質なデータセット ActivityForensics を公開しました。グラウンディング支援による自動構築パイプラインにより、スケーラブルなデータ生成を実現しています。
2. 包括的な評価プロトコル: 同ドメイン、オープンワールド、クロスドメインの 3 つの厳密な評価設定を確立し、SOTA 手法のベンチマーク結果を提供しました。
3. 新しい手法 TADiff: 拡散モデルの概念を取り入れた「Temporal Artifact Diffuser」を提案し、意味的バイアスを抑制しつつ、微妙なフォージ証拠を抽出する効果的な基盤モデルを確立しました。

5. 意義と将来展望

• メディアの信頼性維持: 生成 AI による高度な偽造動画が社会に浸透する中、活動レベルの改ざんを検出することは、メディアの真正性と公衆の信頼を守るために不可欠です。
• 研究の基盤: ActivityForensics は、微細な動画フォレンジック研究の礎となり、デジタル完全性インフラの発展を促進すると期待されます。
• 技術的示唆: 従来の「意味理解」中心のアプローチから、「アーティファクト検知」中心のアプローチへのパラダイムシフトを促す重要な一歩です。

本論文は、生成 AI 時代の動画セキュリティにおいて、単なる外観の改ざんだけでなく、意味的な活動そのものの改変に対抗するための重要な技術的基盤を提供しています。