💻 computer science

CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection

Cet article introduit CUPID, un détecteur de deepfakes de personnes d'intérêt robuste, efficace et interprétable qui exploite les cartes de texture UV et les auto-encodeurs masqués pour identifier les vidéos falsifiées sans nécessiter de données de deepfake ou d'identités cibles spécifiques lors de l'entraînement, tout en fournissant des cartes de résidus visuels pour mettre en évidence les régions faciales manipulées.

Auteurs originaux : Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giovanni Affatato, Sara Mandelli, Edoardo Daniele Cannas, Paolo Bestagini, Stefano Tubaro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de repérer la fausse photo d'une célébrité. Habituellement, vous pourriez plisser les yeux pour examiner ses yeux ou vérifier si ses dents ont l'air bizarres. Mais et si le faux était si bon qu'un humain ne pourrait pas faire la différence ? C'est là qu'intervient CUPID. C'est un nouveau détective numérique conçu pour attraper les deepfakes de « Personnes d'Intérêt » (POI) — ces vidéos effrayantes où des acteurs malveillants superposent le visage d'une personne réelle sur un corps fictif ou la font dire des choses qu'elle n'a jamais dites.

Voici le rebondissement : CUPID n'a pas besoin de voir une seule vidéo truquée pour apprendre à les débusquer. En fait, l'article argumente explicitement contre l'ancienne méthode, qui consistait à devoir entraîner un robot spécial et distinct pour chaque célébrité en utilisant des milliers d'exemples de faux. Les auteurs montrent que cette ancienne méthode est lente, nécessite trop de données et échoue souvent lorsque la vidéo est compressée ou redimensionnée (comme lorsque vous regardez une vidéo via une connexion mobile instable). Au lieu de cela, CUPID apprend à partir de vidéos uniquement réelles de nombreuses personnes différentes pour comprendre ce qu'un visage « authentique » représente, puis utilise ce savoir pour repérer les faux, même pour des personnes qu'il n'a encore jamais rencontrées.

La Carte Magique : Déplier le Visage

Alors, comment cela fonctionne-t-il ? Imaginez que le visage d'une célébrité soit une sculpture en argile 3D. Si vous prenez une photo, le nez peut paraître différent selon l'angle, ou l'éclairage peut rendre la joue sombre. Cela rend la comparaison de visages difficile pour les ordinateurs.

CUPID utilise une astuce ingénieuse appelée Carte de Texture UV. Considérez cela comme si vous preniez ce visage en argile 3D, que vous en décolliez la peau comme un autocollant, et que vous l'étaliez à plat sur une table. Sur cette carte plate, le nez est toujours au même endroit, les yeux sont toujours au même endroit, et la bouche est toujours au même endroit, peu importe la façon dont la personne tourne la tête ou sourit. Cette « carte plate » élimine la confusion des angles et de l'éclairage, offrant à l'ordinateur un plan directeur propre et standardisé sur lequel travailler.

Le Jeu du « Remplir les Blancs »

Une fois le visage aplati dans cette carte, CUPID joue à un jeu appelé « Auto-encodage Masqué ». Imaginez que vous avez un puzzle, mais que quelqu'un a recouvert 50 % des pièces avec du ruban adhésif noir. CUPID regarde les pièces visibles et essaie de deviner ce qui se trouve sous le ruban.

Pour devenir vraiment performant, CUPID s'entraîne sur une immense bibliothèque de vidéos réelles (provenant d'un ensemble de données appelé VoxCeleb2 comprenant plus de 6 000 personnes différentes). Il apprend que si l'on voit un œil gauche, le nez doit se trouver à une certaine distance, et que la bouche doit avoir une forme spécifique. Il apprend les « règles » de la construction des visages humains réels. L'article prouve qu'en maîtrisant ces règles à l'aide de données réelles uniquement, le système devient un expert pour repérer quand un visage enfreint ces règles.

Attraper l'Imposteur

Lorsqu'une nouvelle vidéo arrive — par exemple, un clip d'un politicien qui pourrait être un faux — CUPID décolle ce visage en une carte UV et essaie de l'ajuster au modèle de « visage réel » qu'il a appris.

Si c'est réel : Le visage s'insère parfaitement dans le modèle. L'ordinateur dit : « Oui, cela correspond au schéma d'un véritable visage humain. »
Si c'est un deepfake : L'IA essaie de combler les vides, mais le faux visage présente des anomalies étranges ou des formes impossibles. L'ordinateur dit : « Hé, le nez n'est pas au bon endroit pour ce modèle ! C'est un faux. »

L'article montre que cette méthode est extrêmement robuste. Même lorsque les vidéos sont réduites à de minuscules tailles ou écrasées par une forte compression (comme lorsque vous téléchargez une vidéo depuis les réseaux sociaux), CUPID continue de fonctionner. Dans des tests sur quatre ensembles de données différents, il a surpassé les autres détecteurs de haut niveau, particulièrement dans ces conditions de « basse qualité » où les autres échouent. Par exemple, sur l'ensemble de données « FakeAVCeleb », lorsque les vidéos étaient compressées, CUPID a maintenu un score de précision élevé (environ 87,5 %), tandis que les autres méthodes chutaient considérablement.

Le « Pourquoi » derrière le Verdict

L'une des fonctionnalités les plus intéressantes est que CUPID est interprétable. La plupart des détecteurs d'IA se contentent de vous donner une réponse « Oui/Non ». CUPID, cependant, peut vous montrer pourquoi il pense qu'une vidéo est fausse. Il génère une « carte de chaleur » qui met en évidence la partie exacte du visage qui est suspecte.

Si le deepfake a remplacé la bouche, la carte de chaleur brille en rouge autour des lèvres.
Si les yeux ont l'air bizarres, la lueur se déplace vers les yeux.
L'article démonte cela en montrant que pour les vidéos truquées, ces « points de lueur » sont beaucoup plus brillants et concentrés que pour les vidéos réelles, offrant ainsi un indice visuel aux enquêteurs pour accréditer leur décision.

Vitesse et Efficacité

Enfin, CUPID est un champion de la vitesse. Alors que d'autres méthodes peuvent scanner chaque image d'une longue vidéo (ce qui prend un temps infini), CUPID n'a besoin de regarder que 10 images de l'ensemble du clip pour prendre une décision. Cela rend CUPID 32 fois plus rapide que la meilleure méthode précédente pour la détection de célébrités. Les auteurs ont mesuré cela sur plus de 2 000 vidéos, constatant que CUPID prenait en moyenne seulement 0,155 seconde par vidéo, contre près de 5 secondes pour le concurrent.

Ce qu'il ne fait pas (encore)

Il est important de savoir que CUPID n'est pas parfait. L'article note qu'il a eu un peu plus de mal avec un ensemble de données appelé KoDF, qui présente des sujets coréens. Les auteurs suggèrent que cela est dû au fait que leurs données d'entraînement ne comprenaient pas assez de personnes de ce groupe démographique spécifique, montrant que le système peut encore être sensible aux différences d'ethnie. De plus, bien qu'il soit excellent pour repérer les échanges de visages (face swaps), il ne modélise pas explicitement la façon dont une personne bouge au fil du temps (comme le synchronisme labial), il pourrait donc ne pas détecter tous les types de faux pilotés par l'audio pour le moment.

En résumé, CUPID est un nouveau genre de détecteur de mensonges qui n'a pas besoin de voir un mensonge pour savoir à quoi il ressemble. En aplatissant les visages en cartes et en jouant au « remplissage de blancs » avec des données réelles, il construit un sens très aiguisé de ce qu'est un visage humain réel, lui permettant de repérer les faux rapidement, même lorsque la qualité de la vidéo est médiocre.

Résumé Technique : CUPID – Reconstruction de cartes de texture UV pour la détection interprétable de deepfakes de Personnes d'Intérêt

Problématique

La prolifération de l'IA générative a permis la création de deepfakes extrêmement réalistes ciblant des individus de haut profil spécifiques, appelés Personnes d'Intérêt (POI - Person-of-Interest). Ces médias synthétiques représentent des menaces significatives pour les processus démocratiques et la confiance sociétale. Bien que la communauté de la forensique ait développé des méthodes spécialisées pour détecter les deepfakes de type POI, les solutions existantes font face à une triple critique :

Robustesse : De nombreuses méthodes peinent à maintenir leurs performances sous l'effet d'opérations de post-traitement courantes comme la compression et la réduction d'échelle.
Efficacité : Les détecteurs actuels nécessitent souvent une inférence coûteuse en calcul, particulièrement ceux utilisant des stratégies de fenêtre glissante.
Interprétabilité : Peu de méthodes fournissent des explications visuelles intuitives sur le pourquoi une vidéo est signalée comme fausse, ce qui limite leur utilité pour l'analyse forensique.

De plus, les approches spécifiques aux POI nécessitent souvent l'entraînement d'un modèle distinct pour chaque identité cible (nécessitant de grandes quantités de données spécifiques) ou échouent à se généraliser aux identités inconnues sans un étalonnage extensif.

Méthodologie

Les auteurs proposent CUPID (ReConstructing UV texture maps for Person-of-Interest Deepfake detection), un détecteur exclusivement visuel qui fonctionne sans nécessiter d'échantillons de deepfakes pendant l'entraînement et qui est agnostique aux POI durant la phase d'entraînement. Le pipeline se compose de trois étapes principales :

1. Extraction de la carte de texture UV

Au lieu de traiter les images vidéo brutes, CUPID convertit l'apparence faciale en cartes de texture UV.

Processus : Pour chaque image, un modèle de visage 3D morphable (3DMM) est ajusté au visage. Le modèle projette la texture faciale sur un espace UV 2D canonique.
Avantage : Cette représentation établit une correspondance sémantique dense ; des coordonnées de pixels spécifiques dans la carte UV correspondent à la même région faciale (ex: pointe du nez, yeux) à travers toutes les identités, poses et expressions. Cela désentrelace les caractéristiques d'identité des variations de pose et d'expression, fournissant une entrée standardisée qui améliore la robustesse au post-traitement.

2. Entraînement de l'Autoencodeur Masqué (MAE)

Un Autoencodeur Masqué (MAE) basé sur un Vision Transformer (ViT) est entraîné exclusivement sur des vidéos réelles (VoxCeleb2) pour apprendre un espace latent général de l'identité faciale.

Architecture : L'encodeur traite les patchs visibles de la carte de texture UV, tandis qu'un décodeur léger reconstruit les patchs masqués.
Objectif d'entraînement : Le modèle est optimisé à l'aide d'une fonction de perte conjointe comprenant :
- Perte de reconstruction masquée ( $L_{rec}$ ) : MSE par pixel sur les patchs masqués pour apprendre des représentations de texture riches.
- Perte contrastive ( $L_{cont}$ ) : Une perte NT-Xent multi-couches qui regroupe les embeddings de la même identité et sépare les différentes identités à travers plusieurs profondeurs de l'encodeur.
- Perte perceptuelle ( $L_{perc}$ ) : Une perte basée sur VGG-16 pour assurer des reconstructions perceptuellement cohérentes et supprimer les artefacts de grille.
Résultat : L'encodeur résultant produit des embeddings discriminants de l'identité qui se généralisent à des sujets inconnus.

3. Inférence et Détection

Lors de la phase de test, le système opère dans un scénario à ensemble ouvert :

Construction de l'ensemble de référence : Un ensemble de vidéos de référence pristines pour la POI cible est encodé dans l'espace latent pour former une distribution de référence (représentée par le centroïde des embeddings CLS).
Score de similitude : Une vidéo de test est encodée, et ses embeddings sont comparés à la distribution de référence via une fonction de similitude par paire (produit scalaire maximum).
Décision : Si le score de similitude tombe en dessous d'un seuil $\gamma$ , la vidéo est classée comme fausse.

4. Mécanisme d'interprétabilité

CUPID exploite la nature structurée des cartes UV et de l'espace latent pour générer des cartes de résidus :

Le système décode le déplacement latent entre la vidéo de test et le centroïde de référence.
En soustrayant la variabilité "naturelle" observée dans l'ensemble de référence, la méthode produit une carte mettant en évidence les régions faciales spécifiques où la vidéo de test dévie le plus significativement de l'identité réelle de la POI. Cela fournit une preuve visuelle de la manipulation (ex: anomalies autour de la bouche ou des yeux).

Principales Contributions

Nouveau détecteur de POI : Introduction de CUPID, qui combine les cartes de texture UV avec un MAE entraîné uniquement sur des données réelles. Il apprend une représentation générale sensible à l'identité, applicable à des POI inconnues lors de l'inférence.
Cadre d'interprétabilité : Une procédure qui utilise l'espace UV et les représentations latentes pour générer des cartes de résidus au niveau du sujet, offrant des explications visuelles intuitives pour les décisions de détection.
Évaluation complète : Benchmarking approfondi contre des détecteurs généraux de pointe et une ligne de base spécifique aux POI sur quatre jeux de données (DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak) dans des configurations de Haute Qualité (HQ) et de Basse Qualité (LQ).

Résultats Expérimentaux

Les expériences démontrent que CUPID atteint des performances supérieures dans plusieurs domaines clés :

Robustesse : CUPID surpasse les méthodes de pointe actuelles, particulièrement sous une forte compression et une réduction d'échelle (configurations LQ). Alors que les lignes de base générales subissent une chute de performance moyenne d'environ 24 points en LQ, la performance de CUPID ne dégrade que d'environ 3,2 points.
Performance : Il atteint la meilleure robustesse globale et une précision compétitive en configurations HQ, surpassant souvent la ligne de base spécifique aux POI (POI-Forensics) sur la plupart des jeux de données.
Efficacité : CUPID est nettement plus rapide, atteignant des vitesses d'inférence 32 fois plus rapides que POI-Forensics. Cela est dû à sa stratégie d'échantillonnage d'un nombre fixe et restreint d'images (10) par vidéo, indépendamment de la durée du clip, contrairement aux concurrents qui utilisent des approches de fenêtre glissante.
Stabilité du seuil : La méthode présente une distribution plus compacte des seuils de décision optimaux entre les sujets, indiquant qu'elle nécessite moins d'étalonnage par sujet par rapport aux détecteurs de POI existants.
Interprétabilité : L'analyse qualitative des cartes de résidus confirme que les vidéos fausses produisent des valeurs d'activation plus élevées dans des régions faciales spécifiques, cohérentes avec les techniques de manipulation utilisées (ex: artefacts de mélange dans les face-swaps).

Signification et Limites

L'article soutient que CUPID démontre que la reconstruction contextuelle de l'identité et les indices de similitude dérivés des représentations faciales UV fournissent un signal fort pour la détection de deepfakes, même sans exposition de données fausses pendant l'entraînement. Cela suggère que la nature structurée des cartes UV isole efficacement les caractéristiques d'identité des artefacts de manipulation.

Les auteurs reconnaissent deux limites principales :

Dynamiques Temporelles : La représentation actuelle, uniquement basée sur la vidéo, est centrée sur l'identité et ne modélise pas explicitement l'expressivité temporelle, ce qui pourrait limiter l'efficacité contre les manipulations de type LipSync (synchronisation labiale).
Biais Ethnique : La méthode a montré des résultats légèrement plus faibles sur le jeu de données KoDF (centré sur des sujets coréens), suggérant une sensibilité aux décalages de distribution liés à l'ethnie, car les données d'entraînement (VoxCeleb2) manquent de diversité démographique.

Les auteurs concluent que les travaux futurs se concentreront sur l'incorporation de la dynamique spécifique au sujet et sur l'entraînement sur des jeux de données plus diversifiés sur le plan ethnique afin d'améliorer l'équité et la généralisation.