MSCT: Differential Cross-Modal Attention for Deepfake Detection

1. Problématique

La détection des deepfakes audio-visuels (vidéos et audio synthétiques) est devenue cruciale face à la prolifération des modèles génératifs avancés (GAN, VAE, modèles de diffusion). Bien que les méthodes existantes utilisent souvent des modèles multi-modaux pour détecter les incohérences entre l'audio et la vidéo, elles souffrent de deux limitations majeures :

1. Biais de l'attention cross-modale traditionnelle : Les mécanismes d'attention classiques fusionnent les caractéristiques audio et vidéo en calculant des matrices d'attention via une multiplication matricielle. Cependant, les pertes d'alignement utilisées pour l'entraînement (qui visent à ce que la similarité des vidéos réelles soit proche de 1 et celle des faux proches de 0) entrent en conflit avec ce mécanisme. Cela a pour effet d'augmenter l'attention sur le contenu réel tout en la réduisant sur les zones forgées, rendant le modèle moins sensible aux traces de falsification.
2. Extraction temporelle insuffisante : La plupart des algorithmes actuels se concentrent sur l'information spatiale complexe au sein d'une seule image (frame). Or, une seule image contient souvent des informations sémantiques incomplètes ; les détails contextuels se trouvent dans les images adjacentes. Les méthodes actuelles échouent à capturer ces informations temporelles multi-échelles.

2. Méthodologie

Les auteurs proposent MSCT (Multi-Scale Cross-modal Transformer Encoder), un cadre de détection multi-modale conçu pour surmonter ces défauts. L'architecture se compose d'un module d'extraction de caractéristiques mono-modale et d'un module de fusion multi-modale basé sur un encodeur Transformer amélioré.

A. Architecture Globale

• Entrées : Canaux audio ($x_a$) et visuel ($x_v$).
• Pré-encodeurs :
  • Audio : Une couche de projection linéaire.
  • Visuel : Un réseau Res2Net adapté intégrant un module de convolution par ondelettes (wavelet) pour extraire des caractéristiques visuelles multi-échelles, renforcé par des modules d'attention CBAM.
• Encodeur Transformer : Cœur du système, intégrant deux modules d'attention spécifiques.

B. Contributions Clés (Modules d'Attention)

1. Module d'Attention Cross-Modale Différentielle (DCA - Differential Cross-Modal Attention) :

   • Concept : Inspiré par le Differential Transformer, ce module calcule la différence entre deux matrices d'attention : une matrice d'auto-attention ($Attn_{AA}$) et une matrice d'attention cross-modale ($Attn_{BA}$).
   • Fonctionnement : La matrice finale utilisée est $DiffAttn = Attn_{AA} - Attn_{BA}$.
   • Avantage : Puisque la perte d'alignement force la similarité des faux à être faible, la matrice cross-modale ($Attn_{BA}$) est fortement contrainte pour les faux. En soustrayant cette matrice de l'auto-attention (qui reste inchangée), le module amplifie les signaux de falsification. Cela améliore la compatibilité entre le mécanisme d'attention et la fonction de perte d'alignement, rendant le modèle plus sensible aux incohérences.

2. Module d'Auto-Attention Multi-Échelle (MSSA - Multi-Scale Self-Attention) :

   • Concept : Pour capturer les dépendances temporelles au-delà d'une seule image.
   • Fonctionnement : Les vecteurs clés ($K$) sont divisés en plusieurs parties le long de la dimension des têtes. Chaque partie est traitée par une convolution 2D à une échelle spécifique avant d'être concaténée.
   • Avantage : Cela permet à chaque embedding d'intégrer de manière adaptative les informations des embeddings adjacents, capturant ainsi des détails sémantiques temporels multi-échelles que l'extraction par image unique rate.

C. Fonction de Perte

Le modèle est optimisé via une combinaison de :

• Pertes d'entropie croisée ($L_{ce}$) pour la classification mono-modale et multi-modale.
• Une perte d'alignement cross-modale ($L_c$) qui pénalise la similarité entre l'audio et la vidéo pour les échantillons falsifiés.

3. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données public FakeAVCeleb, qui contient 500 vidéos réelles et plus de 20 000 vidéos falsifiées (couvrant quatre catégories : RARV, FARV, RAFV, FAFV).

• Performance Globale : La méthode proposée atteint une précision (ACC) de 98,75 % et un score AUC de 98,83 %.

• Comparaison : Ces résultats surpassent significativement les méthodes de l'état de l'art, notamment :

  • MRDF-CE (94,05 % ACC)
  • AVOID-DF (83,70 % ACC)
  • MDS (82,80 % ACC)
  • VFD (81,52 % ACC)

• Étude Ablative :

  • L'utilisation combinée de DCA et MSSA donne les meilleurs résultats.
  • Le remplacement de l'attention cross-modale classique (CA) par DCA apporte le gain de performance le plus significatif (passant de 96,75 % à 98,00 % avec l'auto-attention standard).
  • L'ajout de MSSA améliore encore la performance (98,75 %).

• Analyse Visuelle (T-SNE) : Les visualisations montrent que le modèle proposé sépare nettement les catégories réelles et falsifiées, là où les modèles de base (CA + SA) peinent à distinguer les vidéos réelles avec un audio falsifié (RA-FV) des vidéos entièrement réelles (RA-RV).

4. Signification et Conclusion

Ce papier apporte une contribution technique majeure à la détection de deepfakes audio-visuels en résolvant le conflit fondamental entre les mécanismes d'attention traditionnels et les objectifs de détection de falsification.

• Innovation Théorique : La proposition de l'attention différentielle offre une nouvelle perspective pour aligner les mécanismes d'attention avec les pertes d'alignement, transformant une limitation potentielle en un avantage pour la détection.
• Amélioration Temporelle : L'introduction de l'attention auto-référentielle multi-échelle comble le manque de perception temporelle des méthodes précédentes, exploitant pleinement le contexte des images adjacentes.
• Impact : Avec des performances quasi parfaites sur un jeu de données complexe et diversifié, MSCT démontre qu'une architecture Transformer spécialisée, combinant ces deux mécanismes d'attention, est supérieure aux approches de fusion classiques pour la sécurité multimodale.

En résumé, MSCT établit un nouvel état de l'art en démontrant que l'adaptation spécifique des mécanismes d'attention aux particularités des deepfakes (incohérence et dépendance temporelle) est la clé d'une détection robuste.