Beyond Seeing Is Believing: On Crowdsourced Detection of Audiovisual Deepfakes

技術的概要：「見ることは信じる」を超えて：オーディオビジュアル・ディープフェイクのクラウドソーシング検出に関する考察

問題定義
ディープフェイク技術がますますアクセスしやすく、現実味を帯びるにつれて、偽情報対策において、真正なオーディオビジュアルメディアと改ざんされたメディアを区別する人間の判断の信頼性が重大な懸念事項となっています。自動化された検出器は存在しますが、これらはしばしばドメインシフトに悩まされ、未見の改ざん技術に対する頑健性が限られています。一方、人間の知覚はしばしば信頼性が低く、オンライン条件下では精度が偶然のレベルに近いことが頻繁にあります。本論文は、オーディオビジュアルの真正性を評価するためのスケーラブルなメカニズムとしてのクラウドソーシングの役割を検証します。具体的には、非専門家ワーカーが真正な動画と改ざんされた動画を一貫して区別できるか、判断について合意できるか、また、改ざんの種類（オーディオのみ、ビデオのみ、またはオーディオ・ビデオの両方）とその時間的位置を正確に特定できるかを検討します。

方法論
著者らは、Prolific プラットフォームを用いて 2 つの整合したクラウドソーシング研究を実施し、AV-Deepfake1M と Trusted Media Challenge (TMC) データセットという 2 つの異なるベンチマークに対して単一の実験プロトコルを採用しました。

• データサンプリング: 各データセットから、研究者は層化無作為抽出を用いて 48 本の動画（12 本は真正、12 本はオーディオのみの改ざん、12 本はビデオのみの改ざん、12 本はオーディオ・ビデオ両方の改ざん）を選択し、合計 96 本の動画となりました。
• タスク設計: ワーカーには 4 本の動画を含む作業単位が割り当てられました。各動画について、まず真正性（真正か改ざんか）を判断しました。「改ざん」が選択された場合、種類（オーディオ、ビデオ、または両方）を特定し、おおよそのタイムスタンプをマークしました。
• 集約戦略: 動画レベルのラベルを導き出すために、本研究は 2 つの集約手法を採用しました。
  1. 多数決: 最も多くの票を獲得したラベルを選択し（同票の場合は偽陽性を最小化するため「真正」を優先）、
  2. Dempster-Shafer (DS) 理論: ワーカーの信頼性（リーフ・ワン・アウト検証を通じて計算）に基づいて証拠に重み付けを行う信念関数アプローチで、不確実性を処理し、不完全な判断を組み合わせます。
• 評価指標: 本研究は、分類性能（精度、再現率、F1 スコア、偽陽性率/偽陰性率）、アノテーター間の合意（Krippendorff の $\alpha$、多数決合意、ペアワイズ合意）、およびタイムスタンプの一貫性（中央値、IQR、および $\pm$5% ウィンドウ内の合意スコア）を測定しました。統計的有意性は、多重比較に対する適切な補正を伴うノンパラメトリック検定（マン・ホイットニー U 検定、マクネマー検定、クラスカル・ウォリス検定）を用いて評価されました。

主な貢献

1. データセットとプロトコルの公開: 著者らは、AV-Deepfake1M と TMC に関する 2 つの整合したクラウドソーシング研究を公開し、真正性、改ざん種類、タイムスタンプ注釈を含む動画 1 本あたり 10 件の判断、計 960 件の完全なデータセットと、完全なタスク構成を提供しました。
2. 比較分析: 本研究は、統一されたプロトコルのもと、2 つの異なるデータセットと 3 つの改ざん種類における精度、合意、およびエラープロファイルの体系的な分析を提供し、報告されたタイムスタンプの内部一貫性を評価しました。
3. 集約のトレードオフ: 本論文は、多数決と Dempster-Shafer 集約を比較し、クラウドの判断をスクリーニングシグナルとして使用する場合の、見逃された改ざん（偽陰性）と誤警報（偽陽性）の間のトレードオフを定量化しました。

結果

• 真正性検出 (RQ1): クラウドワーカーは、真正な動画を改ざんと誤分類することは稀ですが（偽陽性率が低い）、実際の改ざんを見逃すことが頻繁にあります（偽陰性率が高い）。性能はデータセットによって大きく異なり、TMC は AV-Deepfake1M よりも高い精度と再現率を示しました。集約（多数決と DS の両方）は真正性のシグナルを安定させましたが、ワーカーの大多数が一貫して見逃した改ざんを回復することはできませんでした。DS 集約は改ざんに対する感度を高め（再現率の向上）、その代償として偽陽性の増加を招きました。
• 合意 (RQ2): ワーカー間の内部一貫性は全体的に限られていましたが、TMC は AV-Deepfake1M よりも有意に高かったです。Krippendorff の $\alpha$ は AV-Deepfake1M で 0.113、TMC で 0.353 であり、クラウドシグナルの安定性がデータセットの特性に大きく依存していることを示しています。
• 改ざん種類の特定 (RQ3): 特定の改ざん種類を特定することは、真正性を検出するよりもはるかにノイズが多かったです。ワーカーが正しく動画を改ざんとフラグを立てた場合でも、その異常を正しいモダリティに帰属させることに苦労しました。オーディオ・ビデオ両方の改ざんは特に認識が難しく、しばしば単一のモダリティ（通常はオーディオのみ）に還元されました。しかし、ワーカーが改ざんをフラグ立てた場合、そのタイムスタンプ報告は改ざんセグメントに対して合理的な収束を示し、特に TMC データセットにおいて顕著でした。

意義と主張
本論文は、クラウドソーシングが、特に明確に真正なコンテンツをフィルタリングするためのスケーラブルなスクリーニングシグナルとして機能し得ると結論付けていますが、信頼性の高い検出やモダリティの帰属のための単独の解決策ではありません。著者は以下の点を強調しています。

• データセット依存性: クラウド判断の有効性は均一ではなく、基盤となるデータセットの特性（例：動画の長さ、改ざんの質）に基づいて大きく異なります。
• モダリティ帰属は未解決の課題: 集約を用いて動画が偽物である「こと」を検出することは可能ですが、それが「どのように」偽造されたか（オーディオか、ビデオか、それとも両方か）を特定することは、特に複雑な結合改ざんにおいては依然として信頼性が低いです。
• 実用的なワークフロー: 本研究の知見は、クラウドソーシングを初期のスケーラブルなスクリーニングに使用して、さらなるレビューのためのコンテンツを優先順位付けし、モダリティの帰属と最終的な検証を専門家レビューまたはモデル支援インターフェースに委ねる、2 段階のワークフローを支持しています。本研究は、クラウドソーシングが自動化された検出器や専門家のファクトチェックを代替できると主張するものではなく、むしろ偽情報管理におけるヒューマン・イン・ザ・ループシステムの構成要素としての有用性を示唆するものです。