⚡ electrical engineering

Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

Ce papier présente la Coactivation Dimensionnelle (DCA), une nouvelle métrique qui mesure la cohérence représentative intra-échantillon dans les modèles de base visuels figés en analysant la coactivation des dimensions de caractéristiques brutes sans normalisation standard, démontrant son efficacité pour détecter les deepfakes en identifiant des incohérences structurelles dans les visages synthétiques.

Auteurs originaux : Izaldein Al-Zyoud Abdulmotaleb El Saddik

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Izaldein Al-Zyoud Abdulmotaleb El Saddik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot très intelligent, figé, qui n'a jamais appris à repérer les fausses photos. Il vient tout juste d'apprendre à « voir » le monde en observant des millions de vraies images. Maintenant, vous lui montrez une photo d'un visage.

Habituellement, nous demandons au robot : « Cela ressemble-t-il à une vraie personne ? » Mais cet article pose une question différente, plus subtile : « Le robot voit-il ce visage comme une histoire unique et cohérente, ou le voit-il comme un tas de pièces de puzzle incompatibles ? »

Voici la décomposition de leur découverte, utilisant des analogies simples.

1. Le Problème : Le Visage « Frankenstein »

Les deepfakes (fausses vidéos) deviennent effrayamment convaincants. Ils peuvent faire qu'un faux œil semble parfait, un faux nez semble parfait, et une fausse bouche semble parfaite. Si vous regardez juste l'œil, c'est réel. Si vous regardez juste la bouche, c'est réel.

Mais dans un vrai visage humain, l'œil, le nez et la bouche sont reliés par une « colle » cachée d'identité. Ils appartiennent à la même personne. Dans un faux visage, cette colle est brisée. Les parties semblent réelles individuellement, mais elles ne « parlent pas le même langage » entre elles.

2. L'Outil : Une Empreinte Digitale de « Coactivation Dimensionnelle » (DCA)

Les chercheurs ont inventé une nouvelle façon de mesurer cette « colle ». Ils l'appellent Coactivation Dimensionnelle (DCA).

Imaginez le cerveau du robot comme ayant 1 024 différents « interrupteurs lumineux » (dimensions) qui s'allument quand il voit quelque chose.

L'Ancienne Façon : La plupart des outils regardent le visage entier et disent : « Cela ressemble à 80 % à un vrai visage. » Ils font une moyenne de tout.
La Nouvelle Façon (DCA) : Cet outil regarde des paires spécifiques de caractéristiques (comme les yeux et la bouche) et demande : « Quand le robot voit les yeux, quels interrupteurs lumineux spécifiques s'allument ? Et quand il voit la bouche, est-ce que ces exactement mêmes interrupteurs s'allument ? »

S'il s'agit d'un vrai visage, les mêmes interrupteurs s'allument pour les yeux et la bouche parce qu'ils appartiennent à la même identité. S'il s'agit d'un faux, les interrupteurs s'allument au hasard pour les yeux et différemment pour la bouche. La « colle » manque.

3. L'Ingrédient Secret : « Libération des Contraintes »

C'est la partie la plus importante de l'article. Les chercheurs ont découvert que pour voir cette « colle », il faut cesser de traiter le cerveau du robot comme un problème mathématique normal.

Habituellement, lorsqu'on compare des choses, les mathématiciens font trois choses pour rendre cela « équitable » :

Centrage : Soustraire la moyenne (enlever la « base »).
Normalisation : S'assurer que tout a la même taille (écraser les grands nombres).
Mélange : Regarder comment chaque interrupteur interagit avec tous les autres interrupteurs.

L'article soutient que pour ce travail spécifique, ces règles de « équité » détruisent en réalité le signal.

L'Analogie : Imaginez que vous essayez d'entendre un chuchotement dans une pièce.
- Le Centrage consiste à baisser le volume de la pièce pour mieux entendre le chuchotement.
- La Normalisation consiste à forcer le chuchotement à avoir le même volume qu'un cri.
- Le Mélange consiste à écouter l'écho du chuchotement rebondissant sur tous les murs.

Les chercheurs ont découvert que pour un robot figé (celui qui n'est pas en cours de réentraînement), le volume (magnitude) et la base (moyenne) des interrupteurs lumineux contiennent en fait le code secret de l'identité du visage. Si vous « normalisez » ou « centrez » les données, vous effacez par accident la très chose que vous essayez de trouver. Ils appellent cela la « Libération des Contraintes » — laisser les données brutes parler sans les forcer dans une boîte.

4. Les Résultats : L'Empreinte Digitale « Yeux-Bouche-Nez »

Ils ont testé cela sur un célèbre détecteur de faux visages appelé DINOv3.

Ils ont pris les Yeux, la Bouche et le Nez d'un visage.
Ils ont mesuré comment les « interrupteurs lumineux » co-activaient entre ces trois parties.
Ils ont créé une empreinte digitale en 3 072 dimensions (une longue liste de nombres) qui décrit la relation entre ces parties.

Le Score :

Lorsqu'ils ont testé cela sur un ensemble de données de deepfakes (CelebDF-v2), il était précis à 91 % pour repérer les faux, même si le robot n'avait jamais vu ces faux spécifiques auparavant.
Le Moment « Aha ! » : Lorsqu'ils ont essayé d'utiliser à nouveau les règles de « équité » (centrage/normalisation), la précision s'est effondrée à 46 % (essentiellement des devinettes). Cela a prouvé que leur méthode « brute » était la seule qui fonctionnait.

5. Pourquoi le Robot Compte

Ils ont également essayé de remplacer le cerveau du robot.

DINOv3 (Auto-apprentissage) : A très bien fonctionné. Il avait un « système de coordonnées » stable où les interrupteurs lumineux signifiaient la même chose pour les yeux et la bouche.
FaRL (Enseigné à étiqueter les parties) : A très mal fonctionné (58 % de précision). Ce robot avait été entraîné à dire simplement « C'est un œil, c'est un nez ». Il n'avait pas appris la connexion profonde et stable entre eux.

Cela prouve que la capacité à repérer la « colle brisée » dépend entièrement du fait que le robot possède une carte interne stable du monde, et non pas seulement de sa capacité à trouver les parties du visage.

Résumé

L'article dit : Ne regardez pas seulement les parties ; regardez comment les parties parlent entre elles à l'intérieur du cerveau du robot.

Si vous enlevez les règles mathématiques habituelles (normalisation, centrage) et regardez les « interrupteurs lumineux » bruts qui s'allument pour les yeux et la bouche, vous pouvez voir une empreinte digitale cachée. Si cette empreinte digitale est désordonnée, le visage est faux. Si elle est cohérente, le visage est réel. Et de manière surprenante, les règles mathématiques « désordonnées » que nous utilisons habituellement pour nettoyer les données cachent en réalité cette vérité.

Résumé Technique : Coactivation Dimensionnelle pour la Cohérence Représentative dans les Modèles Fondationnels Visuels Gelés

1. Définition du Problème : Cohérence Représentative (CR)

L'article comble une lacune dans l'évaluation des modèles fondationnels visuels gelés. Bien que ces modèles soient connus pour extraire des caractéristiques, les auteurs postulent qu'ils imposent également un système de coordonnées appris pour organiser la structure visuelle. Le problème central est la Cohérence Représentative (CR) : déterminer si un modèle gelé unique représente une seule entrée comme étant intérieurement cohérente à travers ses sous-régions sémantiques.

Contrairement aux mesures de similarité standard (par exemple, CKA, RSA) qui comparent des représentations entre différents modèles, couches ou distributions, la CR est une mesure intra-échantillon, intra-modèle, inter-région. Elle interroge la capacité des régions sémantiques d'une même identité physique (par exemple, les yeux, le nez et la bouche d'un visage) à rester coordonnées au sein de l'espace de caractéristiques du modèle. Les auteurs soutiennent que les images synthétiques (deepfakes) peuvent reproduire des régions localement plausibles mais échouent à maintenir la structure représentative les reliant, créant une incohérence interne détectable par un modèle gelé entraîné sur des images du monde réel.

2. Méthodologie : Coactivation Dimensionnelle (CD)

Pour mesurer la CR, les auteurs introduisent la Coactivation Dimensionnelle (CD), un opérateur par dimension conçu pour préserver les propriétés spécifiques d'un système de coordonnées gelé.

Mécanisme Central :
Étant données deux régions sémantiques $r_1$ et $r_2$ avec des matrices d'échantillonnage de tokens de patchs $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$ , la CD calcule la coactivation des mêmes dimensions de caractéristiques à travers ces régions :
$\text{CD}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$
Cela résulte en un vecteur de taille $D$ (la dimension des caractéristiques), représentant la diagonale du produit de tokens de patchs inter-régions. Pour un visage, la méthode concatène les vecteurs CD pour les paires yeux-bouche, yeux-nez et nez-bouche pour former une empreinte digitale de 3 072 dimensions (en utilisant $D=1024$ ).

Libération des Contraintes :
Un aspect critique de la méthodologie est l'évitement délibéré des étapes de prétraitement de similarité standard, qualifié de "libération des contraintes". Les auteurs soutiennent que les opérations utiles pour la comparaison inter-modèle sont inadaptées à la mesure intra-échantillon :

Pas de Centrage : L'activation moyenne est préservée car elle peut encoder la cohérence de l'identité plutôt qu'un biais.
Pas de Normalisation L2 : La magnitude est préservée car des dimensions plus fortes peuvent porter des charges d'identité plus lourdes.
Pas de Couplage Gram Complet : Les interactions croisées inter-dimensions hors diagonale sont rejetées pour éviter le bruit et préserver la structure diagonale où le système de coordonnées gelé est lisible.

Pipeline :

Extraction de Caractéristiques : Un backbone DINOv3 ViT-L/16 gelé extrait les tokens de patchs du bloc intermédiaire 18 (évitant les tokens finaux normalisés).
Assignation de Région : Un parseur FaRL gelé assigne les tokens à des régions sémantiques (yeux, bouche, nez).
Génération d'Empreinte : Des vecteurs CD sont calculés pour le triplet "yeux-bouche-nez" (EBN).
Validation : Une sonde linéaire légère (régression logistique) est entraînée uniquement sur l'ensemble de données source (FF++ c23) pour évaluer la capacité de l'empreinte à détecter l'incohérence dans les ensembles de données cibles (CelebDF-v2, DFD) en zéro-shot.

3. Contributions Clés

Définition de la CR : L'article définit la Cohérence Représentative comme un axe de mesure distinct pour les modèles fondationnels gelés, se concentrant sur la cohérence intra-échantillon plutôt que sur la similarité inter-modèle.
Opérateur CD : Il propose la CD comme un instrument par dimension qui mesure la cohérence inter-région sans effondrer l'espace de caractéristiques en résumés scalaires ni appliquer de contraintes de normalisation standard.
Libération des Contraintes : Il démontre que le retrait du centrage, de la normalisation L2 et du couplage inter-dimensionnel n'est pas une simple simplification, mais une nécessité pour préserver le signal de cohérence dans un système de coordonnées fixe.
Dépendance au Backbone : Il valide que le succès de la mesure de CR dépend de la stabilité du système de coordonnées par dimension du backbone (par exemple, DINOv3) plutôt que du pipeline d'extraction de région seul.

4. Résultats Expérimentaux

La méthode a été validée par une détection de deepfakes inter-ensembles de données, où des modèles entraînés sur FF++ c23 ont été évalués en zéro-shot sur CelebDF-v2 et DFD.

Performance : L'empreinte digitale CD EBN a atteint 0,9106 AUC sur CelebDF-v2 et 0,9289 AUC sur DFD.
Ablation des Contraintes : La réintroduction de contraintes standard a sévèrement dégradé les performances :
- L'ajout du centrage a fait chuter l'AUC de CelebDF-v2 à 0,459.
- L'ajout de la normalisation L2 l'a fait chuter à 0,862.
- L'ajout du couplage Gram complet (inter-dimension) l'a fait chuter à 0,478.
Sensibilité au Backbone : Le remplacement de DINOv3 par FaRL (un modèle d'analyse supervisé) a fait effondrer l'AUC de CelebDF-v2 à 0,582, indiquant que FaRL manque du système de coordonnées par dimension stable requis pour la CR.
Sélection de Région : Le triplet "yeux-bouche-nez" s'est avéré optimal. L'inclusion des cheveux (spatialement variables) ou de la peau (diluant le signal) a réduit les performances.
Scalaire vs Vecteur : La réduction de l'empreinte CD à des résumés scalaires (par exemple, CD moyen, similarité cosinus) a résulté en des AUC entre 0,47 et 0,66, prouvant que le signal discriminant est distribué à travers les dimensions de caractéristiques et perdu lors de l'agrégation.

5. Signification et Revendications

L'article positionne la CD non pas comme un détecteur universel de deepfakes supérieur à toutes les méthodes existantes, mais comme un principe de mesure qui révèle un type spécifique de signal : cohérence relationnelle, dimensionnelle de caractéristiques et dépendante du backbone.

Mesure plutôt que Détection : La contribution principale est la démonstration que les modèles fondationnels gelés contiennent des "résidus de cohérence" mesurables qui exposent les deepfakes sans fine-tuning. Le signal est relationnel (comment les régions interagissent) plutôt que régional (à quoi ressemble une seule région).
Stabilité du Système de Coordonnées : Les résultats suggèrent que des modèles comme DINOv3, entraînés par autodistillation, développent un système de coordonnées stable où les mêmes facteurs sémantiques activent les mêmes dimensions à travers les positions spatiales. Cette propriété est essentielle pour la mesure de CR et est absente dans les modèles optimisés pour des frontières catégorielles (comme FaRL).
Limites : Les auteurs notent modestement que la méthode est actuellement spécifique aux visages, repose sur une profondeur de bloc spécifique (bloc 18) qui a été sélectionnée empiriquement, et n'a pas été validée contre des manipulations modernes basées sur la diffusion ou la robustesse démographique. L'article présente ce travail comme un outil de mesure fondamental plutôt que comme un modèle forensique déployable.