Attribution-Guided Multimodal Deepfake Detection via Cross-Modal Forensic Fingerprints

1. Énoncé du problème

L'avancement rapide de la génération de deepfakes audio-visuels (par exemple, FaceSwap, Wav2Lip, FSGAN) a rendu la détection perceptuelle peu fiable. Bien que la détection multimodale (combinant audio et vidéo) ait montré des promesses, les approches actuelles traitent largement le problème comme une tâche de classification binaire (Réel vs Faux).

• Le problème central : L'optimisation purement binaire encourage les modèles à apprendre des « raccourcis » ou des artefacts spécifiques au jeu de données (par exemple, motifs de compression, bruit de fond) plutôt que les traces génératives (empreintes numériques forensiques) sous-jacentes qui distinguent les méthodes de manipulation spécifiques.
• La conséquence : Les modèles entraînés de cette manière échouent souvent à se généraliser à des générateurs ou des jeux de données non vus, car ils n'ont pas appris les caractéristiques causales de la contrefaçon.
• L'hypothèse : Si un détecteur est contraint de répondre à la question plus difficile « Quel générateur a produit ceci ? » (attribution), il apprendra intrinsèquement une représentation plus robuste et forensiquement significative qui résout également la question plus simple « Est-ce faux ? ».

2. Méthodologie : Le cadre AMDD

Les auteurs proposent le cadre Détection de deepfakes multimodaux guidée par l'attribution (AMDD). L'innovation centrale consiste à traiter l'attribution du générateur non pas comme une tâche finale distincte, mais comme un régularisateur structuré au sein d'un espace d'incorporation partagé.

A. Architecture

Le cadre utilise un encodeur à double flux avec une capacité équilibrée pour empêcher que le signal audio ne soit sous-exploité (un défaut courant dans les travaux antérieurs) :

• Encodeur Visuel : Une base ResNet50 avec un module d'Attention Temporelle (Attention Multi-Têtes) pour capturer les artefacts au niveau des images et les incohérences temporelles.
• Encodeur Audio : Un ResNet18 préentraîné adapté aux spectrogrammes de mél. Les auteurs ont délibérément choisi une architecture profonde (11,4 M de paramètres) pour correspondre à la capacité de l'encodeur visuel (25,6 M de paramètres), comblant ainsi le « fossé de capacité des encodeurs » trouvé dans les détecteurs multimodaux précédents.
• Attention Intermodale : Un module d'attention bidirectionnelle aligne les incorporations visuelles et audio, permettant au modèle d'identifier les artefacts corrélés introduits par un générateur spécifique à travers les deux modalités.
• Têtes : L'incorporation fusionnée est transmise à deux têtes :
  1. Tête de Détection : Classification binaire (Réel/Faux).
  2. Tête d'Attribution : Classification multi-classes identifiant le générateur spécifique (ou Réel).

B. Fonctions de perte

Le modèle est optimisé conjointement en utilisant cinq composantes de perte :

1. Perte de Détection ($L_{det}$) : Perte focale pour la classification binaire afin de gérer le déséquilibre des classes.
2. Perte d'Attribution ($L_{attr}$) : Prosse d'entropie croisée sur les classes de générateurs. Elle agit comme le régularisateur principal, forçant l'espace d'incorporation à séparer les échantillons selon leur générateur source.
3. Perte Contrastive Intermodale ($L_{cont}$) : Aligne les projections visuelles et audio du même échantillon vidéo.
4. Cohérence des Empreintes Numériques Forensiques Intermodales ($L_{fp}$) : Nouveauté clé. Cette perte impose un alignement entre les représentations visuelles et audio d'échantillons provenant du même générateur. Elle exploite le couplage physique entre la production de la parole et l'articulation faciale ; les pipelines synthétiques perturbent souvent cette cohérence, tandis que les enregistrements authentiques la maintiennent.
5. Régularisation par Centroïde ($L_{cen}$) : Tire les incorporations vers leurs centroïdes spécifiques au générateur (mis à jour via une Moyenne Mobile Exponentielle) pour stabiliser la géométrie de l'espace d'incorporation.

3. Contributions clés

1. Apprentissage guidé par l'attribution : L'article démontre que l'utilisation de la supervision par attribution comme régularisateur façonne la géométrie de la représentation vers des caractéristiques forensiquement significatives, même lorsque la précision de la détection binaire est déjà élevée.
2. Cohérence des Empreintes Numériques Forensiques Intermodales (CMFFC) : Une fonction de perte novatrice qui impose explicitement un alignement entre les artefacts audio et visuels pour un même générateur, exploitant les contraintes physiques de la parole et de l'articulation humaines.
3. Conception d'encodeur équilibrée : Les auteurs abordent le problème de la « sous-exploitation de l'audio » dans la détection multimodale en associant un encodeur visuel ResNet50 profond à un encodeur audio ResNet18 comparable en profondeur, plutôt que d'utiliser des CNN peu profonds pour l'audio.
4. Analyse complète : L'étude fournit une décomposition rigoureuse de là où la généralisation réussit (détection de vidéos réelles) et échoue (détection de faux sur des générateurs non vus), offrant une explication mécaniste basée sur la théorie de l'adaptation de domaine.

4. Résultats expérimentaux

Le cadre a été évalué principalement sur FakeAVCeleb (contenant FaceSwap, Wav2Lip et FSGAN) et testé en cross-jeu de données sur DeepfakeTIMIT, DFDM et LAV-DF.

• Performance intra-domaine (FakeAVCeleb) :

  • Précision équilibrée : 99,7 %
  • AUC : 99,8 %
  • Précision d'attribution : 95,9 %
  • Détection par générateur : Presque parfaite (100 %) pour Wav2Lip et FSGAN ; 98,2 % pour FaceSwap.

• Études d'ablation :

  • La suppression de la perte d'attribution a fait effondrer la précision d'attribution à 11,0 % (en dessous du hasard pour 4 classes), tandis que la détection binaire restait élevée (~98,3 %).
  • Interprétation : Cela confirme que sans guidage par attribution, le modèle apprend des raccourcis superficiels (artefacts du jeu de données) plutôt que de véritables empreintes numériques forensiques. La tâche d'attribution force le modèle à apprendre les caractéristiques « difficiles » nécessaires à une détection robuste.

• Généralisation inter-jeu de données :

  • Détection de vidéos réelles : Se généralise de manière robuste (>92 % de précision) sur des jeux de données non vus, suggérant que le modèle apprend les statistiques temporelles naturelles et la cohérence audio-visuelle.
  • Détection de vidéos fausses : La performance chute considérablement sur des générateurs non vus (par exemple, chutant à ~50 % sur DFDM). Cela confirme que les méthodes basées sur les empreintes numériques peinent avec le décalage de domaine lorsque les générateurs utilisent des pipelines de mélange fondamentalement différents.

• Visualisation :

  • t-SNE : Montre que le modèle AMDD complet crée des clusters distincts et compacts pour chaque générateur, tandis que les modèles purement binaires effondrent tous les faux dans une seule région non structurée.
  • GradCAM : Le modèle se concentre correctement sur les limites faciales (bouche, yeux, menton) où se produisent les artefacts de mélange, plutôt que sur le bruit de fond.

5. Importance et conclusion

• Changement de paradigme : L'article soutient que l'attribution est une contrainte géométrique plus forte que la détection binaire. En forçant le modèle à distinguer comment une vidéo a été falsifiée, il apprend naturellement à distinguer si elle a été falsifiée.
• Interprétabilité forensique : Les incorporations résultantes ne sont pas simplement « fausses » ou « réelles », mais sont organisées selon la méthode de manipulation spécifique, fournissant des informations exploitables pour les enquêteurs forensiques.
• Limites honnêtes : Les auteurs reconnaissent transparents que, bien que la détection de vidéos réelles se généralise bien, la détection de faux provenant de générateurs non vus reste un défi ouvert. Ils attribuent cela à la nature fondamentale de la forensique basée sur les empreintes numériques plutôt qu'à un échec de leur architecture spécifique.
• Impact pratique : AMDD atteint des performances de pointe sans dépendre de modèles audio-visuels préentraînés massifs, ce qui en fait une solution légère mais hautement efficace pour la détection et l'attribution de deepfakes.