⚡ electrical engineering

Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

本論文は、標準的な正規化を行わずに生特徴次元の共活性化を分析することにより、凍結されたビジョン基盤モデルにおけるサンプル内表現の一貫性を測定する新たな指標である次元共活性化（DCA）を導入し、合成顔における構造的な不整合を特定することによってディープフェイクを検出するその有効性を示す。

原著者： Izaldein Al-Zyoud Abdulmotaleb El Saddik

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Izaldein Al-Zyoud Abdulmotaleb El Saddik

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い、しかし「偽の写真」を見分けるよう教わったことのない、凍結されたロボットを想像してください。このロボットは、数百万枚の現実の画像を見ることで初めて「見る」ことを学びました。さて、あなたはそのロボットに顔の画像を見せます。

通常、私たちはロボットに「これは実在する人のように見えますか？」と尋ねます。しかし、この論文が問うているのは、より微妙で異なる問いです。「ロボットはこの顔を、一つの整合的な物語として捉えているのか、それとも、互いに合致しないパズルの断片の集まりとして捉えているのか？」

以下に、彼らの発見を簡単な比喩を用いて解説します。

1. 問題：「フランケンシュタイン」の顔

ディープフェイク（偽の動画）は、恐ろしいほど高品質になっています。偽の目は完璧に見え、偽の鼻は完璧に見え、偽の口も完璧に見えます。目だけを眺めれば本物です。口だけを眺めれば本物です。

しかし、実在する人間の顔では、目、鼻、口は、正体という隠れた「接着剤」によって結びついています。それらは同じ人物に属しています。偽の顔では、その接着剤が壊れています。個々のパーツは本物に見えますが、互いに「同じ言語」を話していないのです。

2. 道具：「次元共活性化（DCA）」指紋

研究者たちは、この「接着剤」を測定する新しい方法を考案しました。彼らはこれを**次元共活性化（DCA）**と呼びます。

ロボットの脳を、何かを見る際に点灯する1,024 個の異なる「スイッチ」（次元）を持つものと考えてください。

従来の方法： ほとんどのツールは顔全体を見て、「これは 80% 本物の顔のように見える」と言います。すべてを平均化しているのです。
新しい方法（DCA）： このツールは、目と口のような特定のパーツのペアに注目し、「ロボットが目を見たとき、どの特定のスイッチが点灯するか？そして口を見たとき、全く同じスイッチが点灯するか？」と問いかけます。

本物の顔であれば、目と口は同じ正体に属するため、同じスイッチが点灯します。偽物であれば、目に対してスイッチがランダムに点灯し、口に対しては異なるスイッチが点灯します。「接着剤」が欠落しているのです。

3. 秘密のソース：「制約の解放」

これがこの論文で最も重要な部分です。研究者たちは、この「接着剤」を見るためには、ロボットの脳を通常の数学問題として扱ってはいけないと発見しました。

通常、物事を比較する際、数学者は「公平」にするために以下の 3 つのことを行います。

中心化（Centering）： 平均値を引くこと（「基準」を取り除く）。
正規化（Normalization）： すべてを同じサイズにすること（大きな数字を圧縮する）。
混合（Mixing）： すべてのスイッチが他のすべてのスイッチとどのように相互作用するかを見ること。

この論文は、この特定のタスクにおいては、これらの「公平」なルールが実際には信号を破壊してしまうと主張しています。

比喩： あなたが部屋でささやきを聞き取ろうとしていると想像してください。
- 中心化とは、ささやきをよりよく聞くために部屋の音量を消すようなものです。
- 正規化とは、ささやきを叫び声と同じ音量に強制するようなものです。
- 混合とは、ささやきの反響がすべての壁に跳ね返るのを聞くようなものです。

研究者たちは、凍結されたロボット（再学習されていないロボット）の場合、スイッチの音量（大きさ）と基準（平均）が、実は顔の正体という秘密のコードを含んでいることを発見しました。データを「正規化」したり「中心化」したりすると、探そうとしているもの自体を誤って消去してしまうのです。彼らはこれを**「制約の解放」**と呼びます。データを箱に押し込めず、生データに語らせるのです。

4. 結果：「目・口・鼻」の指紋

彼らは、有名な偽の顔検出器であるDINOv3でこれをテストしました。

彼らは顔の目、口、鼻を取り出しました。
これら 3 つの部分の間で「スイッチ」がどのように共活性化するかを測定しました。
これらの部分間の関係を記述する3,072 次元の指紋（数字の長いリスト）を作成しました。

スコア：

ディープフェイクのデータセット（CelebDF-v2）でテストしたところ、ロボットはその特定の偽物を見たことがないにもかかわらず、偽物を見分ける精度が**91%**でした。
「アハ！」の瞬間： 彼らが再び「公平」なルール（中心化や正規化）を使おうとしたとき、精度は46% に急落しました（ほぼ推測レベルです）。これは、彼らの「生」の方法だけが機能したことを証明しました。

5. ロボットが重要な理由

彼らはまた、ロボットの脳を交換して試みました。

DINOv3（自己学習型）： 非常にうまく機能しました。目と口に対してスイッチが同じ意味を持つ、安定した「座標系」を持っていたのです。
FaRL（パーツのラベル付けを教わった型）： 非常に悪く機能しました（精度 58%）。このロボットは単に「あれは目、あれは鼻」と言うように訓練されていました。それらの間の深くて安定したつながりを学んでいなかったのです。

これは、壊れた「接着剤」を見分ける能力が、単に顔のパーツを見つけられることではなく、ロボットが世界に対する安定した内部マップを持っているかどうかに完全に依存していることを証明しています。

まとめ

この論文はこう述べています：パーツそのものを見るのではなく、ロボットの脳内でパーツが互いにどのように話しかけ合っているかを見なさい。

通常の数学のルール（正規化、中心化）を剥ぎ取り、目と口に対して点灯する生々の「スイッチ」を見れば、隠れた指紋が見えてきます。その指紋が乱れていれば、その顔は偽物です。一貫していれば、その顔は本物です。そして驚くべきことに、データを整理するために通常私たちが使う「乱れた」数学のルールが、実はこの真実を隠しているのです。

技術的概要：凍結されたビジョン基盤モデルにおける表現的一貫性のための次元共活性化

1. 問題定義：表現的一貫性（RC）

本論文は、凍結されたビジョン基盤モデルの評価におけるギャップに取り組む。これらのモデルが特徴を抽出することは知られているが、著者らは、それらが視覚構造を組織化するために学習された座標系も課しているとの仮説を立てる。中心的な問題は**表現的一貫性（RC）**であり、単一の凍結モデルが単一の入力を、その意味的サブ領域全体で内部的に一貫して表現しているかどうかを決定することである。

異なるモデル、層、または分布間の表現を比較する標準的な類似度指標（CKA、RSA など）とは異なり、RC はサンプル内、モデル内、領域間の測定である。それは、同じ物理的アイデンティティを持つ意味的領域（例えば、顔の目、鼻、口）がモデルの特徴空間内で協調的に保たれているかどうかを問う。著者らは、合成画像（ディープフェイク）は局所的に妥当な領域を再現するかもしれないが、それらを結びつける表現構造を維持できず、現実世界の画像で訓練された凍結モデルによって検出可能な内部的な不整合を生み出すと主張する。

2. 手法：次元共活性化（DCA）

RC を測定するために、著者らは凍結された座標系の特定の性質を保持するように設計された、次元ごとの演算子である**次元共活性化（DCA）**を導入する。

中核メカニズム:
2 つの意味的領域 $r_1$ と $r_2$ が、サンプリングされたパッチトークン行列 $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$ を持つとき、DCA はこれらの領域間で同じ特徴次元の共活性化を計算する：
$\text{DCA}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$
これは、特徴次元 $D$ の大きさを持つベクトルを生成し、領域間パッチトークン積の対角成分を表す。顔の場合、この手法は目 - 口、目 - 鼻、口 - 鼻のペアの DCA ベクトルを連結し、3,072 次元の指紋（ $D=1024$ を使用）を形成する。

制約の解放:
手法の重要な側面は、標準的な類似度前処理ステップを意図的に回避することであり、これを**「制約の解放」**と呼ぶ。著者らは、モデル間比較に有用な操作がサンプル内測定には不適合であると論じる：

中心化なし: 平均活性化は保持される。なぜなら、それはバイアスではなくアイデンティティの一貫性を符号化している可能性があるからである。
L2 正規化なし: 大きさは保持される。なぜなら、より強い次元はより重いアイデンティティ負荷を担っている可能性があるからである。
完全グラム結合なし: 対角線外（非対角）の次元間相互作用は、ノイズを回避し、凍結された座標系が読み取れる対角構造を保持するために破棄される。

パイプライン:

特徴抽出: 凍結されたDINOv3 ViT-L/16バックボーンが、最終的な正規化トークンを回避して、中間ブロック 18 のパッチトークンを抽出する。
領域割り当て: 凍結されたFaRLパーサーが、トークンを意味的領域（目、口、鼻）に割り当てる。
指紋生成: 「目 - 口 - 鼻（EMN）」のトリプルに対して DCA ベクトルを計算する。
検証: 軽量な線形プローブ（ロジスティック回帰）を、ソースデータセット（FF++ c23）のみにのみ訓練し、ターゲットデータセット（CelebDF-v2、DFD）における不整合を検出する指紋の能力をゼロショットで評価する。

3. 主要な貢献

RC の定義: 本論文は、モデル間類似性ではなくサンプル内の一貫性に焦点を当てた、凍結基盤モデルのための独自の測定軸として表現的一貫性を定義する。
DCA 演算子: 特徴空間をスカラー要約に縮退させたり、標準的な正規化制約を適用したりすることなく、領域間の一貫性を測定する次元ごとのツールとして DCA を提案する。
制約の解放: 中心化、L2 正規化、次元間結合を除去することが、単なる簡略化ではなく、固定された座標系における一貫性シグナルを保持するために不可欠であることを実証する。
バックボーン依存性: RC 測定の成功は、領域抽出パイプライン単独ではなく、バックボーンの次元ごとの座標系の安定性（例：DINOv3）に依存することを検証する。

4. 実験結果

この手法は、FF++ c23で訓練されたモデルをCelebDF-v2およびDFDでゼロショット評価するクロスデータセットディープフェイク検出を用いて検証された。

性能: EMN DCA 指紋は、CelebDF-v2 で0.9106 AUC、DFD で0.9289 AUCを達成した。
制約の除去実験: 標準的な制約を再導入すると性能が著しく低下した：
- 中心化を追加すると、CelebDF-v2 の AUC は0.459に低下した。
- L2 正規化を追加すると、0.862に低下した。
- 完全グラム結合（次元間）を追加すると、0.478に低下した。
バックボーン感度: DINOv3 をFaRL（教師ありパーシングモデル）に置き換えると、CelebDF-v2 の AUC は0.582に崩壊し、FaRL には RC に必要な安定した次元ごとの座標系が欠如していることを示した。
領域選択: 「目 - 口 - 鼻」のトリプルが最適であることが判明した。髪（空間的に可変）や肌（シグナルを希薄化）を含めると性能が低下した。
スカラー対ベクトル: DCA 指紋をスカラー要約（例：平均 DCA、コサイン類似度）に縮小すると、AUC は0.47 から 0.66の間となり、識別シグナルは特徴次元全体に分散しており、集約によって失われることが証明された。

5. 意義と主張

本論文は、DCA を既存のすべての手法に優れる万能なディープフェイク検出器としてではなく、関係的、特徴次元的、そしてバックボーン依存的一貫性という特定の種類のシグナルを明らかにする測定原理として位置づける。

検出よりも測定: 主な貢献は、微調整なしでディープフェイクを暴露する測定可能な「一貫性残差」が凍結基盤モデルに含まれていることを実証した点である。このシグナルは、領域的（単一の領域がどのように見えるか）ではなく、関係的（領域がどのように相互作用するか）である。
座標系の安定性: 結果は、自己蒸留で訓練された DINOv3 などのモデルが、同じ意味的要因が空間的位置全体で同じ次元を活性化させる安定した座標系を発達させることを示唆する。この性質は RC 測定に不可欠であり、カテゴリ境界の最適化に特化したモデル（FaRL など）には欠けている。
限界: 著者は控えめに、この手法は現在顔に特化しており、経験的に選択された特定のブロック深度（ブロック 18）に依存し、最新の拡散ベースの操作や人口統計学的堅牢性に対して検証されていないと指摘する。本論文は、この研究を展開可能なフォレンジックモデルではなく、基礎的な測定ツールとして位置づけている。