💻 computer science

Towards Generalizable Face Forgery Detection via Multi-Granularity Fusion

Pour remédier à l'écart de généralisation dans la détection de falsification de visages causé par le conflit entre les sémantiques de haut niveau transférables et les artefacts locaux épars, cet article propose SemFusion, un cadre qui combine une Régularisation de Cohérence Sémantique pour préserver la structure transférable de CLIP avec un apprentissage de Preuves de Patch Multi-niveaux pour capturer et fusionner efficacement les indices de falsification localisés.

Auteurs originaux : Mingjie Zhao, Yiu-ming Cheung, Guilin Pang

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingjie Zhao, Yiu-ming Cheung, Guilin Pang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous faites défiler votre téléphone et que vous voyez une vidéo d'une célébrité disant quelque chose qu'elle n'a jamais réellement dit. Cela semble réel, cela sonne vrai, et cela semble réel. C'est le monde des « Deepfakes », un tour de magie numérique où les ordinateurs peuvent échanger des visages ou réenchaîner des expressions si parfaitement que nos yeux ne peuvent pas faire la différence. Pendant longtemps, des scientifiques ont essayé de construire des « détecteurs de mensonges numériques » pour repérer ces faux. Mais voici la partie délicate : tout comme un magicien qui change son tour chaque fois que vous le démasquez, les personnes qui créent ces faux inventent constamment de nouvelles façons de tromper les détecteurs. Les anciens détecteurs étaient comme des gardiens de sécurité qui mémorisaient les visages de voleurs connus ; si un nouveau voleur entrait en portant un chapeau différent, le garde ne le reconnaîtrait pas. La grande question dans ce domaine est la suivante : comment construire un détecteur qui ne se contente pas de mémoriser des tours spécifiques, mais qui comprend réellement ce qui rend un visage « faux », peu importe qui le crée ?

C'est ici qu'intervient une nouvelle étude de chercheurs de l'Université Baptiste de Hong Kong. Ils essaient de résoudre ce problème de « généralisation » — créer un détecteur qui fonctionne sur n'importe quel nouveau faux, pas seulement sur ceux sur lesquels il s'est entraîné. Pour ce faire, ils utilisent un outil puissant appelé CLIP. Considérez CLIP comme un bibliothécaire super intelligent qui a lu des milliards de livres et vu des milliards de photos. Ce bibliothécaire sait qu'un « chat » a généralement des moustaches et qu'une « plage » a généralement du sable, même s'il n'a jamais vu ce chat ou cette plage spécifique auparavant. Les chercheurs voulaient utiliser la connaissance générale de ce bibliothécaire pour repérer les faux, mais ils ont réalisé que le bibliothécaire était trop concentré sur la vue d'ensemble (comme « ceci est un visage ») et manquait les petits détails désordonnés et minuscules où le tour de magie se produit réellement (comme un bord flou autour d'une bouche échangée).

Ainsi, l'équipe a construit un nouveau système appelé SemFusion. Au lieu de simplement demander au bibliothécaire, « est-ce un vrai visage ou un faux ? » (ce qui est souvent trop vague), ils ont appris au système à regarder le visage entier et à zoomer sur de petites zones suspectes de peau en même même temps. Ils ont également ajouté une règle spéciale pour s'assurer que le système n'oublie pas la connaissance originale et fiable du bibliothécaire pendant qu'il apprend à repérer les faux. Le résultat ? Un détecteur beaucoup plus difficile à tromper. Lorsqu'ils ont testé le système sur cinq ensembles différents de fausses vidéos qu'il n'avait jamais vues, il a donné la bonne réponse 90,9 % du temps. Lorsqu'ils l'ont testé sur six nouvelles manières de créer des faux, il a donné la bonne réponse 97,4 % du temps. C'est comme passer d'un garde de sécurité qui ne connaît que le visage d'un seul criminel à un détective capable de repérer n'importe quel criminel, même s'il porte un déguisement.

Le Problème : L'image « Trop Grande »

Les chercheurs ont commencé par remarquer une faille dans le fonctionnement des détecteurs précédents. La plupart d'entre eux regardaient un visage comme une seule image géante. Ils demandaient : « Est-ce que toute cette image ressemble à une personne réelle ? » Mais les Deepfakes sont sournois. Ils paraissent souvent parfaits de loin, mais si vous zoomez, vous pourriez voir une tache bizarre là où un nez a été remplacé, ou une texture qui ne correspond pas à la peau environnante.

L'article soutient que se fier uniquement à la « vue d'ensemble » revient à essayer de trouver une faute de frappe dans un livre en ne regardant que la couverture. Vous verrez peut-être le titre et l'auteur, mais vous manquerez l'erreur d'orthographe à la page 42. De même, les détecteurs existants passent souvent à côté de la « preuve locale » — ces petits endroits suspects où la falsification a eu lieu. Les chercheurs ont constaté que lorsqu'ils utilisaient un modèle d'IA standard pour examiner un faux visage, celui-ci disait souvent : « Cela semble réel ! » parce que la forme globale du visage était correcte, même si les yeux étaient légèrement déformés.

La Solution : Un Détective à Deux Voies

Pour corriger cela, l'équipe a créé SemFusion, ce qui signifie « Fusion Multi-Granularité Sémantique-Cohérente ». C'est une façon sophistiquée de dire qu'ils ont combiné deux manières différentes d'aborder le problème : la vue « Globale » et la vue « Locale ».

1. La Vue Globale (La Vue d'Ensemble)
D'abord, ils ont utilisé une version modifiée du modèle CLIP pour regarder l'ensemble du visage. Cette partie du système est excellente pour comprendre les concepts généraux. Elle sait à quoi un visage humain devrait ressembler dans un sens large. Cependant, comme l'ont noté les chercheurs, cette partie seule n'est pas suffisante car elle peut être trompée par des faux de haute qualité qui paraissent réussis de loin.

2. La Vue Locale (Le Zoom)
C'est ici que la magie opère. Les chercheurs ont développé une nouvelle technique appelée Multi-level Patch Evidence (MPE). Imaginez prendre le visage et le découper en des centaines de minuscules pièces de puzzle (patches). Le système examine ensuite chaque pièce individuellement pour voir si elle est suspecte.

Il ne regarde pas seulement la couche supérieure de l'image ; il regarde plusieurs couches de « profondeur » dans le cerveau de l'ordinateur pour trouver des indices.
Il agit comme un détective scannant une scène de crime, ignorant les parties ennuyeuses (comme l'arrière-plan) et se concentrant uniquement sur les zones les plus suspectes (« Top-K »).
Si même un minuscule patch autour de la bouche semble bizarre, cette branche locale tire la sonnette d'alarme, même si le reste du visage semble parfait.

3. Le Filet de Sécurité (La Cohérence Sémantique)
Voici la partie ingénieuse qui empêche le système de devenir fou. Lorsque vous apprenez à une IA à repérer les faux, elle peut parfois devenir tellement obsédée par les motifs de « faux » qu'elle en oublie ce qu'est réellement un visage « vrai ». Elle pourrait commencer à penser qu'un vrai visage est faux simplement parce qu'il possède une ombre légèrement différente.

Pour empêcher cela, les chercheurs ont ajouté une règle appelée Semantic Consistency Regularization (SCR). Considérez cela comme un « fil de mise à la terre ». Ils ont conservé l'espace textuel original et figé de CLIP (la connaissance du bibliothécaire) comme point de référence. Ils ont dit à l'IA : « Vous pouvez apprendre à repérer les faux, mais vous devez rester proche de la définition originale de ce qu'est un visage. » Cela empêche l'IA de dériver trop loin et d'oublier les bases. C'est comme dire à un étudiant : « Tu peux inventer de nouvelles façons de résoudre des problèmes mathématiques, mais tu ne peux pas changer le fait que 2 + 2 = 4. »

Comment tout cela fonctionne ensemble

Le système fonctionne comme une équipe de deux détectives.

Le Détective Global regarde l'ensemble du visage et dit : « Hmm, cela semble globalement réel. »
Le Détective Local zoome et dit : « Attendez ! Je vois une tache bizarre sur la joue ! C'est un faux ! »
La Fusion : Le système combine leurs opinions. Si le Détective Global est incertain mais que le Détective Local trouve un patch suspect, le verdict final penche vers le « Faux ».

Les chercheurs ont testé cela en opposant le système aux meilleurs détecteurs existants. Ils ont entraîné le système sur un ensemble de vidéos truquées (FF++) puis l'ont jeté dans le grand bain avec cinq ensembles de vidéos complètement différents qu'il n'avait jamais vus.

Le Résultat : SemFusion a obtenu un score moyen de 0,909 (sur 1,0) sur ces nouveaux ensembles de données. C'était meilleur que les méthodes précédentes les plus performantes.
Le Test du « Nouveau Tour » : Ils l'ont également testé sur six nouvelles méthodes de création de faux (comme de nouveaux logiciels de remplacement de visage). SemFusion a obtenu un score moyen de 0,974, écrasant la concurrence.

Pourquoi cela importe

L'article suggère que cette approche est un grand pas en avant car elle ne se contente pas de mémoriser des motifs de « faux » spécifiques. Au lieu de cela, elle apprend à repérer l'absence de détails naturels dans des zones spécifiques tout en gardant une compréhension solide de ce qu'est un vrai visage.

Les chercheurs ont également vérifié si leur système était assez robuste pour gérer une mauvaise qualité de vidéo, comme lorsqu'une vidéo est floue, bruitée ou compressée. Ils ont découvert que SemFusion restait fiable même lorsque la vidéo était de mauvaise qualité, alors que les autres détecteurs commençaient à échouer.

Cependant, les auteurs prennent soin de ne pas prétendre avoir « résolu » le problème pour toujours. Ils notent qu'à mesure que la technologie des Deepfakes s'améliore, les détecteurs devront continuer à évoluer. Ils soulignent également que bien que leur système soit rapide et efficace, il nécessite toujours un ordinateur puissant pour fonctionner. Mais pour l'instant, cette approche à « deux yeux » — l'un regardant le tout, l'autre regardant les parties, et une règle pour les garder honnêtes — offre un moyen beaucoup plus fiable de distinguer le vrai du faux dans notre monde numérique.

Résumé technique : Vers une détection de falsification de visage généralisable via la fusion multi-granularité (SemFusion)

1. Énoncé du problème

L'évolution rapide des techniques de DeepFake (par exemple, le réenactment facial, le swapping et la synthèse basée sur la diffusion) a compromis l'authenticité des médias visuels, nécessitant une détection de falsification de visage (FFD - Face Forgery Detection) robuste. Bien que les détecteurs existants atteignent des performances prometteuses lors d'évaluations intra-jeu de données, ils souffrent d'une dégradation significative lorsqu'ils sont testés sur des jeux de données ou des méthodes de manipulation inédits. Cet échec provient du fait que les détecteurs font du surapprentissage (overfitting) sur les régularités visuelles spécifiques à la source (par exemple, des artefacts de compression spécifiques ou des raccourcis de générateurs) plutôt que d'apprendre des indices de falsification transférables.

Les approches récentes exploitant le pré-entraînement linguistique-visuel contrastif (CLIP) visent à améliorer la généralisation en utilisant des sémantiques langage-image transférables. Cependant, les auteurs identifient deux limitations critiques dans l'adaptation de CLIP pour la FFD :

Limitations textuelles : Les visages réels et faux partagent souvent des sémantiques de haut niveau identiques (par exemple, « un visage humain »), tandis que les indices de falsification discriminants sont épars, locaux et fins (par exemple, les limites de mélange, les incohérences de texture). Par conséquent, une notation directe basée sur des prompts (par exemple, comparer « un visage réel » vs « un visage faux ») produit des distributions chevauchantes et une séparabilité forensique limitée.
Limitations visuelles : Les détecteurs basés sur CLIP existants reposent principalement sur des représentations globales de l'image (par exemple, le jeton CLS des Vision Transformers). L'agrégation de sémantiques faciales holistiques tend à diluer les artefacts locaux et épars, menant à des erreurs de classification où un visage faux possédant des sémantiques globales normales est prédit comme réel.

2. Méthodologie : Cadre SemFusion

Les auteurs proposent SemFusion (Semantic-Consistent Multi-Granularity Fusion), un cadre conçu pour préserver la structure sémantique transférable de CLIP tout en améliorant la perception des preuves de falsification localisées. Le cadre opère via trois composantes clés :

A. Régularisation de la cohérence sémantique (SCR)

Au lieu d'utiliser l'encodeur de texte de CLIP comme un classificateur direct, SemFusion utilise l'espace textuel de CLIP gelé comme une référence sémantique pour régulariser la représentation visuelle adaptée.

Mécanisme : Une banque de prompts textuels généraux et agnostiques au domaine liés au visage (par exemple, « un portrait en gros plan d'un visage ») est encodée par l'encodeur de texte gelé pour créer des ancres sémantiques.
Objectif : La méthode calcule la distribution de la relation sémantique entre l'encodeur visuel adapté et ces ancres, et la compare à la distribution de l'encodeur visuel gelé original. Une perte de divergence de Kullback-Leibler ( $L_{scr}$ ) est minimisée pour garantir que la représentation visuelle adaptée reste cohérente avec l'espace sémantique original de CLIP.
But : Cela stabilise les sémantiques transférables pendant l'adaptation visuelle sans dépendre des prompts textuels comme indices de décision directs, empêant le modèle de dériver vers l'apprentissage d'artefacts spécifiques à la source.

B. Apprentissage de l'évidence par patch multi-niveaux (MPE)

Pour capturer les artefacts locaux et épars manqués par les représentations globales, SemFusion introduit une branche MPE.

Méclanisme : Le modèle extrait des jetons de patch (patch tokens) de plusieurs couches sélectionnées de l'encodeur visuel de CLIP (par exemple, les couches 8, 16 et 24). Ces jetons multi-niveaux sont projetés dans un espace de caractéristiques partagé et fusionnés.
Traitement : Un encodeur Transformer léger modélise les interactions entre les jetons de patch locaux. Une tête de scoring prédit un score d'évidence de falsification pour chaque patch.
Agrégation : Une stratégie d'Apprentissage d'Instance Multiple (MIL) de type Top-k agrège les scores. Elle sélectionne les $k$ patches ayant les scores de suspicion les plus élevés (par exemple, $k=16$ ) pour calculer un logit d'évidence de falsification locale ( $z_{loc}$ ). Cela concentre le modèle sur les anomalies locales les plus pertinentes plutôt que de moyenner sur l'ensemble de l'image.

C. Fusion Global-Local

Le cadre combine les preuves globales et locales au niveau du logit lors de l'inférence.

Entraînement : Le modèle est entraîné avec trois objectifs : la perte de classification globale ( $L_{cls}$ ), la perte de cohérence sémantique ( $L_{scr}$ ) et la perte d'évidence locale ( $L_{loc}$ ).
Inférence : Les encodeurs de texte et visuel de référence gelés sont écartés. La prédiction finale est dérivée en fusionnant le logit global CLS ( $z_g$ ) et le logit local ( $z_{loc}$ ). Spécifiquement, $z_{loc}$ est ajouté au logit « faux » de la branche globale, permettant à l'évidence locale de supplanter ou de renforcer la prédiction globale.

3. Contributions clés

Cadre SemFusion : Une architecture novatrice qui préserve la structure sémantique transférable de CLIP tout en complétant l'évidence globale par des indices de falsification au niveau des patchs localisés.
Régularisation de la cohérence sémantique (SCR) : Un objectif d'entraînement qui traite l'espace textuel de CLIP comme une référence sémantique pour contraindre l'adaptation visuelle, stabilisant les sémantiques transférables sans utiliser le texte comme classificateur direct.
Évidence par patch multi-niveaux (MPE) : Un mécanisme pour extraire des indices de falsification fins et épars à partir de jetons de patch visuels multi-couches, répondant à la limitation des représentations globales pour la détection d'anomalies localisées.
Évaluation exhaustive : Expérimentations approfondies sur cinq benchmarks croisés de jeux de données et six benchmarks croisés de méthodes démontrant une généralisation de pointe.

4. Résultats expérimentaux

Les auteurs ont évalué SemFusion sur l'ensemble d'entraînement FF++ (c23) contre cinq jeux de données inédits (CDF-v1, CDF-v2, DFD, DFDC, DFDCP) et six méthodes de falsification inédites (UniFace, BlendFace, MobileSwap, E4S, FaceDancer, FSGAN).

Généralisation Croisée de Jeux de Données : SemFusion a atteint une AUC moyenne par image de 0,909, surpassant la base solide « Effort » (0,877) de 3,2 %. Il a obtenu les meilleurs résultats sur CDF-v1, CDF-v2, DFD et DFDC.
Généralisation Croisée de Méthodes : SemFusion a atteint une AUC moyenne par vidéo de 0,974 sur des méthodes de manipulation inédites, dépassant « Effort » (0,942) et « VbSaT » (0,945). Il a montré des gains significatifs sur des méthodes complexes comme FaceDancer et BlendFace.
Études d'Ablation :
- Supprimer la SCR a réduit l'AUC moyenne de 0,909 à 0,879, confirmant son rôle dans la réduction du surapprentissage des artefacts sources.
- Supprimer la MPE a réduit l'AUC moyenne à 0,893, validant la nécessité de l'évidence locale.
- Le modèle complet avec fusion au niveau du logit a obtenu la meilleure performance, démontrant la nature complémentaire des branches globale et locale.
Robustesse : SemFusion a démontré une stabilité supérieure face au bruit gaussien et à la dégradation par faible luminosité par rapport aux bases CNN (Xception) et aux autres méthodes orientées vers la généralisation (UCF).
Efficacité : Le modèle reste efficace en termes de paramètres, avec seulement 1,55 M de paramètres entraînables et une augmentation minimale des FLOPs d'inférence par rapport à l'adaptateur CLIP de base.

5. Signification et Revendications

L'article affirme que SemFusion répond au défi fondamental de la FFD généralisable en découplant le modèle des artefacts spécifiques à la source tout en capturant simultanément les traces subtiles et localisées qui définissent les deepfakes.

Stabilité Sémantique : En utilisant la SCR, les auteurs démontrent que le maintien de la géométrie sémantique de l'espace pré-entraîné de CLIP est crucial pour la généralisation, empêchant le modèle d'« oublier » les connaissances visuelles générales tout en apprenant des caractéristiques de falsification.
Complémentarité : Les résultats soulignent que les sémantiques globales et les artefacts locaux sont complémentaires. Les représentations globales fournissent la stabilité sémantique, tandis que l'évidence par patch local sauve les cas où les sémantiques globales sont trompeuses (par exemple, un visage faux avec une structure globale réaliste).
Praticité : Le cadre atteint des performances de pointe sans nécesser d'annotations complexes au niveau de la région (contrairement à certaines méthodes précédentes) et maintient une haute efficacité d'inférence, ce qui le rend adapté au déploiement en conditions réelles.

Les auteurs concluent que bien que SemFusion fasse progresser de manière significative la FFD généralisable, les travaux futurs se concentreront sur le raisonnement de falsification temporel et l'amélioration de la robustesse contre la compression sévère et les techniques génératives émergentes.