Imaginez un monde où vos yeux et vos oreilles ne peuvent plus faire confiance à ce qu'ils voient et entendent. Nous vivons une époque où les ordinateurs ont appris à peindre, à chanter et à jouer si bien qu'ils peuvent créer des versions « fausses » de personnes réelles. Il ne s'agit pas seulement de mauvais dessins ou d'imitations de voix amusantes ; ce sont des contrefaçons numériques hyperréalistes appelées deepfakes. Voyez-les comme des marionnettes numériques : vous pouvez prendre la vidéo d'un politicien, remplacer son visage par celui de quelqu'un d'autre, le faire dire des choses qu'il n'a jamais dites, ou même générer une vidéo d'une célébrité chevauchant une licorne sur Mars simplement en tapant une phrase. Cette technologie est une épée à double tranchure. D'un côté, c'est un outil magique pour la créativité et le divertissement. De l'autre, c'est une arme pour les escrocs et les manipulateurs qui peuvent tromper les gens pour leur soutirer de l'argent ou leur faire croire à des mensonges. La grande question pour les scientifiques est la suivante : si les faux deviennent de plus en plus performants, pouvons-nous construire des détecteurs assez intelligents pour les repérer avant qu'ils ne causent des problèmes ?

Ce document est comme une carte au trésor massive et organisée pour quiconque tente de comprendre ce jeu de chat et de la souris à enjeux élevés. Les auteurs, une équipe de chercheurs issus d'universités de Roumanie, des Émirats arabes unis et des États-Unis, ont rassemblé toutes les méthodes connues, tant pour créer ces deepfakes que pour les détecter. Ils passent au crible le chaos des images, des vidéos et des fichiers audio pour construire un « arbre généalogique » clair (ou taxonomie) de la fabrication de ces faux. Ils examinent les outils de la vieille école, comme les réseaux antagonistes génératifs (GAN) — qui sont comme deux artistes se combattant, l'un essayant de peindre un faux et l'autre essayant de le repérer — et les nouveaux modèles de diffusion, extrêmement puissants, qui fonctionnent en transformant lentement un bruit statique aléatoire en une image claire, un peu comme un sculpteur qui dégagerait un bloc de pierre pour révéler une statue.

Les chercheurs tournent ensuite leur attention vers les détectives : les programmes informatiques conçus pour repérer les faux. Ils passent en revue les meilleurs outils actuellement disponibles, qui utilisent principalement des réseaux de neurones complexes (des systèmes mathématiques inspirés du cerveau humain) pour chercher de minuscules imperfections invisibles ou « artefacts » que les humains ne voient pas. Mais voici le rebondissement qu'ils ont découvert : les meilleurs détecteurs actuels échouent. Lorsqu'ils ont testé ces détecteurs sur des deepfakes créés par de nouveaux outils d'IA puissants que les détecteurs n'avaient jamais vus auparavant, les détecteurs se sont emmêlés les pinceaux et n'ont pas réussi à repérer les faux. C'est comme apprendre à un agent de sécurité à reconnaître un type spécifique de fausse carte d'identité, pour que les criminels passent à un type de contrefaçon totalement nouveau dès le lendemain. Le document présente également un nouveau « circuit de test » (un benchmark) pour mesurer cet échec et suggère qu'au lieu de simplement essayer de repérer chaque faux possible, nous devrions peut-être changer les règles du jeu — peut-être en vérifiant la source du contenu à l'aide de la technologie blockchain, ou en se concentrant sur des personnes spécifiques pour faciliter la détection.

La vue d'ensemble : Que se passe-t-il ?

Les deepfakes sont essentiellement des illusions numériques. Ils peuvent être des images (photos), des vidéos (images animées), de l'audio (voix) ou multimodaux (vidéos avec du son). Le document décompose leur fabrication en différentes « saveurs » :

• Échange d'identité (Identity Swapping) : Prendre le visage d'une personne et le coller sur le corps d'une autre (comme un échange de visage).
• Échange d'expression (Expression Swapping) : Faire en sorte qu'une personne paraisse heureuse alors qu'elle était triste, sans changer son identité.
• Synthèse de visage parlant (Talking Face Synthesis) : Faire bouger les lèvres d'une personne et changer l'expression de son visage pour correspondre à un enregistrement vocal, même si elle n'a jamais prononcé ces mots.
• Texte-vers-image/vidéo (Text-to-Image/Video) : Taper une phrase telle que « Morgan Freeman chevauchant une licorne » et laisser l'ordinateur générer de toutes pièces une toute nouvelle vidéo de cela.

Les auteurs ont constaté que les « créateurs » de ces faux utilisent quelques outils principaux. Les favoris de l'ancien temps étaient les GAN et les VAE (auto-encodeurs variationnels), mais les nouveaux poids lourds sont les modèles de diffusion et les Transformers. Ces nouveaux outils sont si performants qu'ils peuvent générer des faux de haute qualité en quelques secondes.

Le travail de détective : Comment essayons-nous de les attraper ?

De l'autre côté de la table se trouvent les détecteurs. Pendant longtemps, ces détecteurs ont été entraînés à repérer les « imperfections » laissées par les anciens outils d'IA. Par exemple, si une ancienne IA avait du mal à fusionner un faux nez sur un vrai visage, le détecteur apprenait à chercher ce flou spécifique. Le document organise ces détecteurs selon leur mode de fonctionnement :

• CNN : Ce sont comme des caméras traditionnelles qui scannent une image pixel par pixel pour trouver des motifs.
• Transformers : Ce sont des systèmes plus récents et plus intelligents qui regardent l'image entière (ou la vidéo) d'un seul coup, comprenant comment les différentes parties sont liées entre elles.
• Modèles hybrides : Ils combinent le meilleur des deux mondes.

Les chercheurs ont rassemblé une immense liste de jeux de données (collections de vidéos réelles et fausses) que les scientifiques utilisent pour entraîner et tester leurs détecteurs. Ils ont examiné des exemples célèbres comme FaceForensics++, Celeb-DF et DeepFake-TIMIT. Ils ont même établi un classement des détecteurs qui fonctionnent le mieux sur ces tests spécifiques.

La découverte choc : Les détecteurs perdent pied

Voici la partie la plus importante du document. Les auteurs ont pris les « meilleurs » détecteurs — ceux qui affichaient 99 % de précision sur les anciens tests — et les ont jetés dans un nouveau défi : les tests hors distribution (out-of-distribution). Cela signifie qu'ils ont testé les détecteurs sur des deepfakes créés par de nouveaux outils d'IA inédits, sur lesquels les détecteurs n'avaient jamais été entraînés.

Le résultat ? Les détecteurs ont lamentablement échoué.

Le document montre que lorsque les créateurs de l'IA améliorent leurs outils, les détecteurs sont laissés pour compte. Un détecteur qui était parfait pour repérer les faux créés par l'Outil A peut être totalement aveugle aux faux créés par l'Outil B. Les auteurs suggèrent que cela est dû au fait que les détecteurs apprennent à repérer les « empreintes digitales » spécifiques des anciens outils plutôt qu'à comprendre la nature fondamentale de ce qui fait d'un deepfake un deepfake. C'est comme apprendre à un chien à aboyer uniquement devant des voitures rouges ; si une voiture bleue passe, le chien reste silencieux.

Et maintenant ? Nouvelles idées et outils

Parce que l'approche actuelle consistant à « repérer le faux » est en difficulté, le document propose des idées fraîches :

1. Un nouveau benchmark : Les auteurs ont construit un nouveau test (disponible sur leur site web) spécifiquement conçu pour voir comment les détecteurs gèrent ces faux « inédits ». Cela aide les chercheurs à voir les réelles faiblesses de leurs systèmes.
2. Détection de Personne d'Intérêt (POI - Person-of-Interest) : Au lieu d'essayer de deviner si n'importe quelle vidéo est fausse, et si nous comparions la vidéo à une photo connue et vérifiée de la personne concernée ? Si la vidéo ne correspond pas à la photo connue, elle est fausse. Cela simplifie le problème.
3. Solutions Blockchain : Au lieu d'essayer de détecter les faux après leur apparition, pourquoi ne pas vérifier la source avant qu'ils ne soient partagés ? Le document suggère d'utiliser la blockchain (un registre numérique sécurisé) pour tracer l'origine des médias, garantissant que seuls les contenus vérifiés soient partagés.

L'essentiel

Ce document est un signal d'alarme. Il nous dit que, bien que nous ayons fait des progrès incroyables tant dans la création que dans la détection des deepfakes, la « course aux armements » est loin d'être terminée. Les détecteurs actuels sont trop spécialisés ; ils sont excellents pour attraper les faux d'hier, mais sont facilement dupés par les faux de demain. Les auteurs concluent que nous devons cesser de compter uniquement sur la recherche d'« imperfections » et commencer à construire des systèmes capables de généraliser — c'est-à-dire des systèmes capables de repérer un faux, quel que soit l'outil utilisé pour le créer. D'ici là, la frontière entre la réalité et l'illusion numérique continuera de s'estomper, et nous avons besoin de meilleurs outils pour protéger la vérité.