Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Résumé Technique : Révéler le vocabulaire sémantique des détecteurs de deepfakes

Énoncé du problème
La technologie de deepfake (DF) constitue une menace critique pour l'intégrité de l'information, nécessitant des méthodes de détection robustes. Cependant, l'approche prédominante en matière de détection de deepfakes repose sur la classification binaire (réel vs faux), ce qui manque de la transparence et de la justification requises pour les applications à enjeux élevés, telles que les procédures judiciaires. Bien que l'IA explicable pour la détection de deepfakes (XDFD) soit apparue pour répondre à ce besoin, les techniques existantes souffrent de limitations significatives : les méthodes de localisation spatio-temporelle produisent souvent des preuves visuelles grossières (par exemple, en mettant en évidence l'ensemble du visage plutôt que des artefacts spécifiques), et les méthodes d'explication textuelle manquent fréquemment d'ancrage spatial précis ou ne parviennent pas à refléter les preuves sous-jacentes utilisées par le détecteur. De plus, de nombreuses approches actuelles de XDFD nécessitent des modifications architecturales, des objectifs d'entraînement auxiliaires ou des annotations humaines, créant des compromis entre l'interprétabilité et la performance prédictive.

Méthodologie
Ce travail propose un cadre d'IA explicable (XAI) post-hoc qui analyse les détecteurs de deepfakes de pointe (black-box) sans modifier leur architecture ni nécessiter de réentraînement. L'approche technique centrale utilise les Paires de Directions Codage-Décodage (EDDP), une technique fondée sur l'hypothèse de la représentation linéaire.

1. Extraction de concepts : La méthode suppose que les concepts (caractéristiques indicatrices d'images réelles ou fausses) sont encodés dans l'espace latent du modèle sous forme de combinaisons linéaires d'embeddings de concepts. En appliquant l'EDDP aux activations d'une couche spécifique (le 12ème bloc résiduel d'un réseau Xception pré-entraîné sur FaceForensics++), les auteurs apprennent conjointement :

   • Directions de décodage ($W$) : Vecteurs agissant comme des détecteurs de concepts.
   • Directions d'encodage ($S$) : Vecteurs représentant les directions spécifiques dans l'espace latent où les concepts sont encodés.
   • Seuils ($b$) : Frontières de décision pour l'activation des concepts.

2. Visualisation et quantification :

   • Cartes de présence de concepts (CPM) : Cartes binaires générées en appliquant les directions de décodage à des patchs spatiaux, suréchantillonnés pour montrer où des concepts spécifiques sont présents.
   • Cartes de contribution de concepts (CCM) : Cartes de chaleur spatialement conscientes qui quantifient l'influence de chaque concept sur le logit de la prédiction finale, distinguant la simple présence de la contribution causale.

3. Validation et analyse :

   • Sensibilité RCAV : Les scores de vecteurs d'activation de concepts relatifs (Relative Concept Activation Vector) sont utilisés pour déterminer si un concept biaise le modèle vers des classifications "Réel" ou "Faux".
   • Cartographie sémantique : Les scores d'Intersection sur Union (IoU) associent les directions de concepts abstraits à des régions faciales de vérité terrain (ex: nez, yeux, bouche).
   • Évaluation de la fidélité : Les auteurs utilisent le clonage de concept (transplantation des coefficients de concept d'un échantillon cible vers un échantillon source de base) et des interventions ciblées (ajout ou suppression de concepts pour inverser les prédictions) pour vérifier que les concepts identifiés sont les principaux moteurs de la décision du modèle.

Principales contributions

• Première XAI basée sur les concepts post-hoc pour les deepfakes : Il s'agit de la première application de la XAI post-hoc basée sur les concepts spécifiquement dans le domaine de la détection de deepfakes, évitant le besoin de réentraînement du modèle ou de supervision au niveau des artefacts.
• Découverte d'un vocabulaire sémantique : Ce travail parvient à découvrir un « vocabulaire sémantique » de 16 concepts internes appris par le détecteur, faisant correspondre les activations latentes abstraites à des caractéristiques interprétables par l'humain (ex : « bouche-fausse », « yeux-réels », « cou-faux »).
• Compréhension globale et locale : Le cadre permet une compréhension globale du modèle en identifiant quels concepts pilotent les prédictions, tandis que les CCM fournissent des explications locales basées sur les concepts et spatialement conscientes, localisant précisément les artefacts de manipulation.
• Analyse contrefactuelle : La méthode facilite l'analyse « et si » (what-if), démontrant les relations causales entre des concepts spécifiques et les sorties du modèle grâce à une intervention systématique.

Résultats

• Identification des concepts : L'analyse a révélé des concepts distincts qui biaisent systématiquement le modèle vers le « Faux » (ex : $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$) et d'autres vers le « Réel » (ex : $c_0, c_5, c_7, c_8, c_{11}$). Certains concepts se sont révélés non discriminants.
• Ancrage sémantique : La cartographie quantitative via l'IoU a confirmé que les concepts s'alignent sur des régions faciales spécifiques (ex : $c_5$ est corrélé avec le nez, $c_{12}$ avec les yeux faux).
• Fidélité : L'expérience de clonage de concept a atteint une précision de 87,34 % dans la reproduction des prédictions cibles, et les interventions ciblées sur les échantillons mal classés ont atteint un taux de succès de 99,8 % pour corriger la sortie du modèle. Cela confirme que les coefficients de concept appris capturent les caractéristiques essentielles utilisées pour la classification.
• Spécificité de la manipulation : L'étude a observé que certains concepts présentent une haute spécificité à certaines techniques de génération de deepfakes (ex : $c_3$ et $c_9$ sont très prévalents dans DeepFakes et Face2Face), indiquant que le détecteur apprend des artefacts inhérents à des processus génératifs spécifiques.

Signification et affirmations
L'article affirme que cette approche fournit une compréhension plus profonde des stratégies de détection de deepfakes en allant au-delà des prédictions binaires pour révéler les caractéristiques intrinsèques apprises lors de l'entraînement. En ancrant la logique de classification dans des régions faciales identifiables et en fournissant un mécanisme pour orienter les prédictions du modèle, ce travail permet des systèmes de détection plus transparents et dignes de confiance. Les auteurs soulignent que leur méthode offre un alignement étroit entre l'explication et la fonction de décision, améliorant la fidélité sans les contraintes opérationnelles du réentraînement ou des contraintes architecturales.

Limites
Les auteurs reconnaissent modestement plusieurs contraintes :

• Bien que le détecteur lui-même ne soit pas réentraîné, le modèle EDDP doit tout de même être appris sur l'espace de représentation spécifique du modèle cible.
• Le nombre de concepts est un hyperparamètre défini manuellement, ce qui risque d'entraîner une redondance ou un signal insuffisant si la sélection n'est pas correcte.
• Les concepts identifiés sont optimisés pour l'architecture de modèle spécifique (Xception) et le jeu de données (FaceForensics++) utilisés ; ils pourraient ne pas être directement transférables à d'autres modèles ou jeux de données sans un processus de formation distinct.