💻 computer science

Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm

本論文は、既知の手法だけでなく未知の深層偽造も「未知」として検出できるオープンセットパラダイムを導入し、教師付き対比学習に基づく新しい深層偽造検出アルゴリズムを提案し、FaceForensics++データセットを用いた評価で最先端の性能を示したものである。

原著者： Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

公開日 2026-03-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🕵️‍♂️ 従来の方法の限界：「知っている犯人」しか捕まえられない警察

これまでのディープフェイク検出システムは、**「閉じた世界（クローズドセット）」**という考え方に基づいていました。

例え話：
Imagine 警察が「犯人リスト」を作っている場面を想像してください。
- 警察は「A さん（ディープフェイク技術 1 号）」と「B さん（ディープフェイク技術 2 号）」が犯人だと知っています。
- 彼らは A さんや B さんの顔を徹底的に勉強し、「この顔つきなら犯人だ！」と見分けられるようになりました。
- しかし、問題があります。
- もし、「C さん」という、これまで見たこともない新しい犯人が現れたらどうなるでしょう？
- 従来のシステムは「C さん」を知らないため、「C さんはリストにいないから、きっと innocent（無実）な一般人だ」と誤って判断してしまいます。
- これが、新しい AI 技術でできた偽物を見逃してしまう原因です。

🚀 この論文の提案：「見知らぬ人」も「犯人候補」として扱う警察

この研究は、**「オープンセット（Open-Set）」**という新しい考え方を取り入れました。

新しいアプローチ：
- 「A さん（既知の犯人）」と「B さん（既知の犯人）」は区別します。
- しかし、**「C さん（未知の犯人）」**が現れたら、「リストにいないから無実」とは言いません。
- **「これは既知の犯人でも、無実の一般人でもない。『未知の怪しい人』だ！」**と警報を鳴らします。
- これにより、どんな新しい偽造技術が使われても、「これは何かおかしい（未知の偽物だ）」と検知できるようになります。

🎨 3 つのグループに分ける「魔法の部屋」

このシステムは、入力された画像を 3 つのグループに分けます。

本物の人間（Real）： 誰も手を加えていない、純粋な写真。
既知の偽物（Known Fake）： 「A さん」や「B さん」のように、学習済みで特徴がわかっている偽物。
未知の偽物（Unknown Fake）： 「C さん」のような、これまで見たこともない新しい技術で作られた偽物。

ここが最大の特徴です。
従来のシステムは「本物」か「偽物」の 2 つしか選べませんでしたが、このシステムは**「未知の偽物」を「本物」と間違えないように、独立したグループとして扱います。**

🧠 どうやって実現しているの？（「重み付け」の工夫）

このシステムは、**「教師付き対比学習（Supervised Contrastive Learning）」**という技術をベースにしています。これを料理に例えてみましょう。

これまでのやり方：
料理の味見をして、「甘いもの」と「辛いもの」を分類する練習をします。でも、「甘いもの」の中に「普通の砂糖」も「蜂蜜」も混ざっていると、味がバラバラになってしまい、分類が難しくなります。
この論文の工夫：
「本物（Real）」というグループの味をもっと濃く、まとまりよくするよう特別に指示します。
- 「本物」のサンプル同士は、まるで磁石でくっつくように、特徴空間（味覚の地図）の中でギュッと集まるように訓練します。
- その結果、「本物」の輪郭がはっきりし、**「本物っぽくないもの（偽物）」**がどれだけ離れているかが明確になります。
- 未知の偽物（C さん）は、この「本物の輪郭」から外れているため、「これは本物じゃない！未知の怪しいやつだ！」と即座に察知できるのです。

🏆 結果：どれくらいすごい？

この新しいシステムは、FaceForensics++ という有名なテストデータで試されました。

未知の偽物を見分ける力：
従来のシステム（Xception という有名なモデル）が「未知の偽物」を「本物」と勘違いして見逃してしまうのに対し、このシステムは**「怪しい！」と正しく検知**しました。性能は 20%〜30% 以上も向上しました。
既知の偽物を見分ける力：
未知のものだけでなく、昔からある偽物を見分ける力も、世界最高レベルの技術と互角か、それ以上の性能を発揮しました。

💡 まとめ：なぜこれが重要なのか？

AI は毎日進化し、新しい偽造技術が生まれています。
「過去のリストにある犯人しか捕まえない」従来のシステムでは、新しい手口には無力です。

この研究は、「未知の脅威」を「本物」と誤認させないための、より賢く、頑丈なセキュリティシステムを提案しました。
まるで、**「知らない顔を見かけたら、すぐに『怪しい人』としてリストアップする」**ような、非常に警戒心の強いセキュリティガードのようなものです。

これにより、将来どんなに巧妙なディープフェイクが作られても、私たちは「これは本物だ」と油断せず、「何かおかしい（未知の偽物だ）」と疑うことができるようになるのです。

論文要約：Beyond Deepfake vs Real - Open-Set パラダイムにおける顔のディープフェイク検出

1. 背景と問題定義

ディープフェイク検出の現状と課題
従来のディープフェイク検出システムは、主に「クローズドセット（Closed-Set）」パラダイムに基づいています。これは、訓練データに含まれる既知の偽造手法（DeepFakes, FaceSwap など）と既知の「実写（Real）」のみを学習し、テストデータも同じ分布から来ると仮定するアプローチです。

しかし、現実世界では以下の問題が発生します：

未知の手法への対応不足: 生成 AI の急速な進化により、訓練時に存在しなかった新しい偽造手法が次々と登場しています。
誤検知のリスク: クローズドセットモデルは、未知の偽造画像を「実写（Real）」と誤って分類してしまう傾向があります（図 1-A）。これは、モデルが未知のデータを既知のクラス（実写または既知の偽造）のいずれかに無理やり当てはめようとするためです。
既存のヒューリスティックの限界: 既存の手法は既知の偽造パターンに基づいたヒューリスティックに依存しており、新しい技術には通用しない可能性があります。

解決すべき課題
モデルは、既知の偽造を特定するだけでなく、「未知の偽造（Unknown Deepfakes）」を「実写」や「既知の偽造」として誤分類せず、独立した「未知（Unknown）」クラスとして検知・フラグを立てる能力が必要です。これを「オープンセット認識（Open-Set Recognition, OSR）」と呼びます。

2. 提案手法：Open-Set ディープフェイク検出フレームワーク

著者らは、教師あり対比学習（Supervised Contrastive Learning: SupCon）を基盤とした、3 段階のパイプラインを提案しています。

ステージ 1: 重み付けされた教師あり対比学習 (Weighted Supervised Contrastive Learning)

特徴量空間（Latent Space）の構築段階です。

課題: 従来の対比学習では、実写データ（Real）の特徴量が散漫になりやすく、偽造データと明確に分離しにくい傾向があります。
工夫: 実写クラスの特徴量を集約（クラスタリング）させるために、損失関数に重み付けを導入しました。
- 実写同士の特徴量ペアには高い重み（ $s(i,j) = \alpha$ ）を割り当て、緊密にグループ化させます。
- 偽造データ同士、または実写と偽造の間では通常の対比損失を適用します。
効果: これにより、実写データは特徴空間内で高密度に集まり、偽造データ（既知・未知問わず）とは明確に分離された領域を形成します。未知の偽造は、この「実写の高密度領域」から外れるため、異常として検知されやすくなります。

ステージ 2: 教師ありファインチューニング (Supervised Fine-tuning)

ステージ 1 で学習したエンコーダーの重みを固定し、その上に分類器（Classifier）を構築します。
Stochastic Weight Averaging (SWA) を用いてエンコーダーの一般化性能を向上させ、クロスエントロピー損失を用いて既知クラス（実写、既知の偽造手法）の分類精度を高めます。

ステージ 3: オープンセット検出アルゴリズム (Open-Set Detection Algorithm)

既知のクラスに属さないサンプルを「未知」として拒絶する閾値（Threshold）を決定します。
閾値決定: 訓練データ（正解ラベルを持つサンプル）のソフトマックス確率（信頼度スコア）を収集し、各クラスごとに特定のパーセンタイル（例：上位 95%）を閾値 $\epsilon_i$ として設定します。
判定ロジック: テストサンプルがどの既知クラスに対しても、その閾値以上の信頼度スコアを示さない場合、そのサンプルは「未知（Unknown）」としてラベル付けされます（アルゴリズム 2）。
利点: 未知のクラスからの追加データなしで、既知の分布からの逸脱を検知できるため、新しい脅威への即応性が向上します。

3. 主要な貢献

ディープフェイク特化の表現学習アルゴリズム: 実写データのクラスタリングを強化する重み付け付き教師あり対比学習を提案。
未知のディープフェイク分類での卓越した性能: 既知の手法（Xception ベースライン等）と比較し、未知の偽造手法を「実写」と誤分類せず、「未知」として検知する能力が大幅に向上。
既知のディープフェイク分類での競争力: オープンセット設定でありながら、既知の偽造手法の検出においても最先端（SOTA）レベルの性能を維持。
汎用的なオープンセット検出器: 異なる操作手法（Cross-manipulation）や異なるデータセット（Cross-dataset）における堅牢性を示し、多様な操作技術への対応力を実証。

4. 実験結果

FaceForensics++ (FF++c23) および CelebDF データセットを用いた評価が行われました。

評価シナリオと結果

未知のディープフェイク検出 (Unknown Deepfake Detection):
- 訓練データに含まれない偽造手法（例：訓練に DF がない場合、テストで DF を未知として検出）を評価。
- 結果: 提案モデルは、Xception ベースラインを大幅に上回る AUROC を達成（例：DF 未知クラスで 0.7189 vs 0.5184）。未知の手法を「実写」と誤分類するリスクを劇的に低減しました。
既知のディープフェイク分類 (Known Deepfake Classification):
- 既知の手法を分類する性能。
- 結果: クローズドセットの SOTA 手法と比較しても競争力のある結果（FaceSwap で 99.43% AUROC など）を達成。オープンセット制約下でも高い精度を維持。
ディープフェイク全体の検出 (General Deepfake Detection):
- 既知・未知を問わず「偽造」として検出するタスク（TOSC 精度）。
- 結果: 既存のオープンセット手法（CLRNet, TAR, DDT など）と比較し、すべての未知クラス（DF, F2F, FS, NT）において SOTA 性能（例：DF で 83.95%）を記録しました。
クロスデータセット評価:
- FF++ で訓練し、CelebDF で評価。
- 結果: 領域シフト（Domain Shift）の影響を受けやすい課題がありますが、提案手法は Face X-ray や Meso4 などの既存手法を上回る性能を示しました。

視覚的検証 (t-SNE)

t-SNE 可視化により、提案手法（重み付け SupCon）が、実写（Real）と未知の偽造（Unknown）を明確に分離していることが確認されました。一方、従来のクロスエントロピー学習では、未知の偽造が実写領域に混入する傾向が見られました。

5. 意義と結論

この論文は、ディープフェイク検出の分野において**「クローズドセット」から「オープンセット」へのパラダイムシフト**を初めて体系的に提案・検証した研究です。

実用性: 生成 AI の進化に伴い、未知の偽造手法が出現する現実的な脅威に対し、モデルが「わからないものはわからない（未知）」と判断し、誤って「本物」と判断するリスクを回避できます。
将来展望: 現在の手法は実写データの分布シフトに敏感であるため、将来的には動画レベルでの分析や、より局所的な顔特徴の事前知識（Priors）の導入による改善が期待されます。

総じて、この研究はディープフェイク検出システムの信頼性と堅牢性を高め、フォレンジック分析や誤情報対策において重要な基盤技術を提供するものです。