🤖 machine learning

The Calibrated Deepfake Trust Score (CDTS): Competence-Coupled Trust Degradation Across Deepfake Detectors

Cet article introduit le cadre Calibrated Deepfake Trust Score (CDTS), qui démontre que la calibration des détecteurs de deepfakes est fondamentalement couplée à la compétence discriminative, établissant ainsi la compétence comme une métrique critique, sans étiquetage, pour assurer la fiabilité, l'équité des performances et l'efficacité du routage dans les pipelines de vérification en conditions réelles.

Auteurs originaux : Md Anas Biswas

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Anas Biswas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un garde de sécurité dans un musée. Son travail est de repérer les fausses peintures. Par le passé, nous nous souciaions seulement de savoir s'il obtenait la bonne réponse la plupart du temps (la précision). Mais dans le monde réel, nous n'avons pas seulement besoin d'une réponse par « oui/non » ; nous avons besoin de savoir à quel point nous pouvons faire confiance à son « oui » ou à son « non ».

Si le garde dit : « Je suis sûr à 99 % que c'est un faux », mais qu'en réalité il ne fait que deviner, c'est dangereux. S'il désigne avec assurance une peinture authentique en la déclarant fausse, le musée pourrait la jeter. Cette publication introduit une nouvelle façon de mesurer cette confiance, appelée le Score de Confiance des Deepfakes Calibré (CDTS - Calibrated Deepfake Trust Score).

Voici le cœur de la découverte de l'article, expliqué simplement :

Le grand secret : La « Compétence » est l'interrupteur principal

Les auteurs ont découvert que la capacité d'un détecteur à donner un score digne de confiance dépend entièrement d'une seule chose : sa capacité réelle à repérer le faux spécifique qu'il recherche. Ils appellent cela la « compétence ».

Pensez à un prévisionniste météo :

Haute Compétence : Le prévisionniste est un expert des tempêtes locales. Lorsqu'il dit : « Il y a 90 % de chances qu'il pleuve », vous pouvez faire confiance à ce chiffre. S'il annonce 90 %, il pleuvra réellement 90 % du temps.
Faible Compétence : Le prévisionniste devine un modèle météorologique qu'il n'a jamais vu auparavant (comme un nouveau type de tempête). Même s'il dit : « Je suis sûr à 90 % qu'il va pleuvoir », il ne fait que deviner. Sa confiance est un mensonge.

L'article prouve qu'à mesure que la compétence d'un détecteur chute, sa capacité à donner un score digne de confiance s'effondre. Ce n'est pas que les mathématiques sont cassées ; c'est que le détecteur ne sait tout simplement pas ce qu'il regarde, donc sa « confiance » devient dénuée de sens.

Les cinq signaux de confiance bougent tous ensemble

Les chercheurs ont examiné cinq façons différentes de mesurer si un détecteur est digne de confiance :

La Calibration : La probabilité correspond-elle à la réalité ? (ex : Est-ce que « 80 % de chances » signifie réellement 8 fois sur 10 ?)
L'Équité (Fairness) : Le score est-il tout aussi digne de confiance pour différents groupes de personnes (ex : différentes carnations ou âges) ?
L'Explication : Lorsque le détecteur pointe une partie de l'image et dit : « C'est la partie fausse », regarde-t-il réellement cette partie ?
La Surveillance (Monitoring) : Pouvons-nous savoir quand le détecteur est en difficulté sans avoir besoin de voir la correction ?
Le Routage (Routing) : Pouvons-nous décider quand ignorer la réponse du détecteur ?

La Surprise : L'article montre que ce ne sont pas cinq problèmes distincts. Ils sont tous contrôlés par cet unique « Interrupteur Principal » (la Compétence).

Si le détecteur est compétent, les cinq signaux sont bons. Les explications font sens, l'équité est présente et les scores sont précis.
Si le détecteur est peu compétent (face à un nouveau type de faux), les cinq signaux échouent en même temps. Les explications deviennent absurdes, les scores deviennent peu fiables et l'équité s'effondre.

Le malentendu du « Temps »

Les auteurs pensaient initialement qu'au fil du temps, à mesure que de nouveaux faux seraient inventés, la confiance s'éroderait lentement. Ils ont découvert que ce n'était pas le cas.

Analogie : Ce n'est pas une question de calendrier ; c'est une question de distance.
Un détecteur ne faillit pas simplement parce qu'un faux est « nouveau ». Il faillit parce que le faux est trop éloigné de ce pour quoi le détecteur a été entraîné à voir. Si un détecteur est entraîné sur des « modèles en argile » et que vous lui montrez un « modèle en plastique », il échoue. Si vous lui montrez un « modèle en bois » (qu'il connaît), il fonctionne. Le temps qu'il a fallu pour fabriquer le modèle en plastique n'importe pas ; seule la méconnaissance du plastique par le détecteur compte.

Comment réparer : Le radar « sans étiquette »

Dans le monde réel, on n'a souvent pas la « correction » (les étiquettes/labels) pour vérifier si un détecteur a raison. On a seulement la sortie du détecteur.

L'article montre que l'on peut estimer la compétence d'un détecteur simplement en observant comment ses scores se comportent, sans avoir besoin de connaître la vérité.
Analogie : Imaginez le moteur d'une voiture. Vous n'avez pas besoin d'ouvrir le capot pour savoir qu'il peine ; vous pouvez écouter le bruit du moteur (la distribution des scores). Si le moteur bafouille (incertitude élevée), vous savez que la voiture est en difficulté.
Les auteurs ont découvert que l'Entropie Prédictive (une façon sophistiquée de dire « à quel point le détecteur semble confus ») est un radar fiable. Si le détecteur semble confus, vous savez que son score de confiance est peu fiable, même si vous ne savez pas pourquoi.

La solution pratique : Le « Routage conscient de la compétence »

Parce que nous pouvons désormais détecter quand un détecteur est en difficulté (faible compétence), nous pouvons changer la façon dont nous l'utilisons.

L'ancienne méthode : Si le détecteur dit « Faux » avec une grande confiance, nous bloquons le contenu. (Problème : un détecteur confus peut être sûrement de sa réponse tout en ayant tort).
La nouvelle méthode (CDTS) : Avant de faire confiance au détecteur, nous vérifions son « radar de compétence ».
- Si le détecteur est compétent pour ce type de faux spécifique, nous faisons confiance à son score.
- Si le détecteur est en difficulté (faible compétence), nous nous abstenons. Nous disons : « Je ne sais pas, laissons un humain vérifier cela », ou nous redirigeons vers un autre système.
Cela empêche le système de commettre des erreurs de haute confiance sur de nouveaux faux complexes.

Résumé

L'article soutient que nous devons cesser de traiter les détecteurs de deepfakes comme de simples machines de type « oui/non ». Au lieu de cela, nous devons les traiter comme des instruments de confiance qui doivent être constamment audités pour leur compétence.

Si le détecteur est bon dans son travail : Ses scores, ses explications et son équité sont tous dignes de confiance.
Si le détecteur est mauvais dans son travail : Tout s'effondre en même temps.
La solution : Utiliser un « moniteur de compétence » (comme un radar) pour détecter quand le détecteur est dépassé par les événements, et cesser de faire confiance à ses scores lorsque cela arrive. Cela rend l'ensemble du système plus sûr et plus fiable.

Résumé Technique : Le Score de Confiance des Deepfakes Calibré (CDTS)

1. Énoncé du Problème

Les détecteurs de deepfakes modernes sont de plus en plus déployés non pas comme des classificateurs binaires, mais comme des signaux de confiance au sein de pipelines opérationnels pour la modération de contenu, la vérification de la provenance et l'authentification d'identité. Dans ces contextes, la probabilité de sortie d'un détecteur est interprétée comme un degré de confiance ; un actif étiqueté de manière erronée avec une grande confiance (probabilité élevée, étiquette incorrecte) se propage silencieusement à travers un système sans déclencher de révision. Par conséquent, la calibration — la fiabilité de l'estimation de la probabilité — est aussi critique que l'exactitude discriminative.

Cependant, la littérature existante optimise principalement l'exactitude (AUC, taux de détection) et traite la calibration comme un problème d'amélioration statique sur des benchmarks fixes. Cette approche ne parvient pas à traiter la manière dont les signaux de confiance se dégradent lorsque les détecteurs rencontrent de nouveaux générateurs, des artefacts de compression ou des sous-groupes démographiques. L'article postule que les instruments de confiance actuels manquent de « Dégradation Gracieuse de la Confiance » (GTD - Graceful Trust Degradation) : la capacité de rester calibré, de fournir des explications fidèles et d'éviter les défaillances silencieuses à mesure que la capacité sous-jacente du détecteur diminue.

2. Méthodologie

Les auteurs introduisent le Score de Confiance des Deepfakes Calibré (CDTS), un mécanisme de type "wrapper" qui transforme le logit brut de n'importe quel détecteur en un score de confiance calibré ( $T$ ) augmenté d'un moniteur de compétence sans étiquette.

Configuration Expérimentale

Détecteurs : Trois architectures ont été évaluées : Xception et EfficientNet-B4 (réseaux de neurones convolutifs) et un Vision Transformer CLIP. Tous ont été entraînés sur des falsifications de type "face-swap".
Jeux de Données : FaceForensics++ (c23), Celeb-DF v2, la suite de générateurs DF40 (couvrant les ères GAN à la diffusion), et un ensemble externe FaceForensics DeepFakeDetection (DFD) pour la validation hors distribution (OOD).
Manipulation de la Compétence : Pour isoler la compétence de l'identité du jeu de données, les auteurs ont utilisé un checkpoint Xception entraîné sur la réenactment (FR) sur des données de face-swap. Cela a induit une faible compétence discriminative (AUC < 0,67) sur des falsifications par ailleurs détectables, créant ainsi un régime de "faible compétence" contrôlé.
Protocole de Calibration : L'étude emploie un protocole oracle où un calibrateur est ajusté sur une moitié de données de chaque générateur cible, disjointe en termes d'identité. Cela isole la question de savoir si un score est calibrable compte tenu de la compétence du détecteur, indépendamment de la transférabilité d'un calibrateur unique.
Métriques :
- Compétence : Aire sous la courbe ROC (AUC).
- Calibration : Erreur de Calibration Attendue à masses égales (ECE) pour éviter le biais de discrétisation (binning).
- Fidélité de l'Explication : Une métrique de rang par région sans saturation (corrélation de Spearman entre l'importance Grad-CAM et la chute réelle de probabilité lors de la suppression de patchs) pour éviter les confusions causées par la saturation du score dans les détecteurs compétents.
- Signaux sans Étiquette : Entropie prédictive, dispersion du score et divergence de référence (KS, Wasserstein) calculées sans étiquettes de vérité terrain.

3. Contributions Clés et Résultats

C1 : Le Couplage Compétence–Calibration

La conclusion centrale est une forte corrélation négative entre la compétence discriminative d'un détecteur et son erreur de calibration. À mesure que la compétence (AUC) chute, l'erreur de calibration (ECE) augmente.

Preuve : Ce couplage se vérifie sur 32 configurations (Pearson $r$ agrégé = -0,81), couvrant deux CNN et un transformer.
Causalité : La relation n'est pas simplement temporelle ou spécifique au jeu de données. Lorsque la compétence est directement manipulée (en utilisant le checkpoint FR sur les données FS), le couplage se renforce ( $r = -0,94$ ).
Validité Externe : Le couplage se reproduit sur un quatrième jeu de données, DFD, sur lequel les détecteurs n'ont jamais été entraînés, avec des corrélations par acteur restant significatives ( $r = -0,89$ pour Xception).
Réalité Déployable : Un calibrateur unique gelé sur des données in-domain échoue précisément sur les générateurs à faible compétence. L'erreur de ce calibrateur déployé suit la compétence de manière encore plus étroite ( $r = -0,98$ ) que le protocole oracle, confirmant que les scores de confiance sont peu fiables précisément là où les nouveaux générateurs apparaissent.

C2 : Équité de Calibration vs Équité d'Exactitude

L'article démontre que l'équité de calibration est distincte de l'équité d'exactitude.

Constat : Des sous-groupes peuvent être également précis (AUC similaire) mais inégalement calibrés. Par exemple, les sous-groupes de tons de peau présentaient un écart d'AUC de 0,0006 mais un écart d'ECE par paire de 0,0151.
Implication : Les audits d'équité standard se concentrant uniquement sur les taux d'erreur manquent des disparités matérielles dans la fiabilité des scores de confiance selon les groupes démographiques.

C3 : La Fidélité de l'Explication est Couplée à la Compétence

En utilisant une métrique sans saturation, les auteurs montrent que la fidélité de l'explication augmente avec la compétence ( $r = +0,94$ ).

Mécanisme : Les détecteurs compétents produisent des cartes de saillance qui pilotent réellement les décisions. Les détecteurs incompétents produisent des cartes de saillance qui ne sont pas corrélées avec les preuves utilisées, rendant les explications infidèles.

C4 : Surveillance de la Compétence sans Étiquette

L'article identifie l'entropie prédictive comme un signal robuste et sans étiquette pour estimer la compétence.

Portabilité : Contrairement aux signaux de divergence de référence (ex: distance KS), qui inversent leur signe selon les architectures (positif sur Xception, négatif sur EfficientNet), l'entropie prédictive maintient une corrélation négative constante avec la compétence à travers les trois architectures ( $r = -0,84, -0,38, -0,95$ ).
Utilité : Cela permet de détecter le risque de calibration sur des générateurs non vus sans nécessiter d'étiquettes de vérité terrain.

C5 : Unification des Signaux de Confiance

Sur les détecteurs convolutionnels, les signaux de confiance intrinsèques (calibration et fidélité de l'explication) se rejoignent sur un facteur unique aligné sur la compétence (expliquant ~90 % de la variance). Bien que la structure complète multi-signaux (incluant les signaux de surveillance) soit spécifique à l'architecture, la conclusion fondamentale — que la compétence est le moteur partagé de la dégradation de la confiance — se généralise aux CNN et aux transformers.

C6 : Routage Sensible à la Compétence

Le routage des lots de sources basé sur une estimation de la compétence sans étiquette (dispersion du score) surpasse le routage basé sur la confiance.

Résultat : Le routage sensible à la compétence abaisse la courbe globale de l'Aire Sous la Courbe Risque-Couverture (AURC), améliorant spécifiquement les performances dans la région de couverture faible à moyenne où les systèmes de vérification doivent décider s'ils doivent s'abstenir.

4. Signification et Revendications

L'article soutient que la fiabilité d'un détecteur n'est pas une collection de cinq garanties indépendantes (calibration, équité, fidélité, etc.), mais qu'elle est organisée par un seul facteur mesurable : la compétence.

Recadrage du Problème : Les auteurs rejettent la "conjecture temporelle" (l'idée que la confiance se dégrade simplement avec le temps). Au lieu de cela, ils affirment que le temps n'est qu'un proxy de la distance par rapport à la frontière de compétence du détecteur. Les signaux s'activent simultanément car ils partagent un moteur de compétence commun.
Aperçu Actionnable : Le scoring de confiance doit être sensible à la compétence. Les systèmes doivent estimer la compétence (via l'entropie sans étiquette) et conditionner la confiance à celle-ci.
Portée et Modestie : Les auteurs limitent explicitement leurs revendications concernant le "facteur unificateur". Bien que le couplage compétence-calibration et la surveillance sans étiquette se généralisent aux trois architectures, l'unification complète de tous les signaux de confiance en un seul facteur est spécifique aux architectures convolutionnelles. L'article ne prétend pas que la compétence est un facteur unique universel pour toutes les architectures et méthodes de fidélité possibles, mais qu'elle est le moteur partagé démontré à travers les CNN et le transformer testés.

Le wrapper CDTS est proposé comme le mécanisme pour opérationnaliser cette intuition, permettant aux systèmes de "savoir, montrer, avertir, ne pas discriminer et router" en fonction de la capacité réelle du détecteur plutôt que de sa confiance brute.