Résumé Technique : GenRes et GenRes++ pour la détection généralisée d'images générées par IA

Énoncé du Problème

L'avancement rapide de l'IA générative, incluant les GAN, les modèles de diffusion et les pipelines hybrides, a produit des images générées par l'IA (AIGI) qui sont de plus en plus indiscernables des photographies réelles. Cette capacité pose des menaces sociétales significatives, notamment la désinformation, le vol d'identité numérique et la fraude financière. Les méthodes de détection actuelles sont confrontées à un défi critique de généralisation : elles échouent souvent lorsqu'elles rencontrent des modèles génératifs non rencontrés lors de l'entraînement.

Les détecteurs existants s'inscrivent généralement dans deux paradigmes, tous deux présentant des limites :

1. Méthodes basées sur les artefacts : Elles exploitent les empreintes spécifiques au générateur (ex: artefacts de fréquence, traces de suréchantillonnage). Bien qu'efficaces sur des générateurs connus, elles se dégradent fortement sur des familles inconnues (ex: modèles de diffusion) car les mécanismes de synthèse sous-jacents diffèrent.
2. Méthodes d'apprentissage de représentation : Elles projettent les images dans des espaces d'incorporation (embeddings) sensibles aux falsifications (ex: CLIP). Cependant, elles encodent généralement chaque image indépendamment, négligeant la structure relationnelle induite par le processus génératif et échouant à capturer les artefacts subtils et inter-générateurs.

Le problème central est l'absence d'un signal de détection qui soit invariant à la famille spécifique du générateur tout en restant sensible aux différences statistiques fondamentales entre les données réelles et synthétiques.

Méthodologie : GenRes et GenRes++

Les auteurs proposent GenRes et son extension GenRes++, des cadres basés sur le concept de résidus génératifs. L'hypothèse centrale est que les images réelles et synthétiques réagissent différemment lorsqu'elles sont traitées par un second modèle génératif (ex: restauration, super-résolution ou débruitage). Alors que les images réelles produisent des sorties cohérentes avec leur riche contenu haute fréquence, les AIGI présentent des écarts résiduels caractéristiques car les hypothèses inductives du réseau de transformation interagissent de manière non triviale avec les biais distributionnels ancrés dans le générateur source.

Architecture Centrale

Le cadre se compose de quatre composants principaux :

1. Encodeur de Vision Partagé avec LoRA :

   • L'image originale ($I_0$) et $N$ variantes transformées ($I_i$) sont encodées à l'aide d'un PE-Core ViT (Vision Transformer) partagé.
   • Le backbone est maintenu gelé pour préserver les représentations sémantiques pré-entraînées.
   • LoRA (Low-Rank Adaptation) est appliqué aux matrices de projection de requête (query), de clé (key) et de valeur (value) des couches d'auto-attention. Cela permet une adaptation des caractéristiques à la tâche avec un nombre minimal de paramètres entraînables (rang $r=6$).
   • Les caractéristiques sont projetées dans un espace d'incorporation compact ($d=256$).

2. Agrégation par Attention Croisée (CCA) - GenRes++ uniquement :

   • Dans GenRes++, les embeddings des $N$ images transformées sont agrégés en un vecteur représentatif unique ($g_{agg}$).
   • L'embedding de l'image originale ($z_0$) sert de requête (query), tandis que les embeddings des images transformées servent de clés (keys) et de valeurs (values).
   • Ce mécanisme pondère de manière adaptative les variantes transformées, permettant au modèle de se concentrer sur les résidus les plus informatifs pour une entrée spécifique plutôt que de traiter tous les transforms de manière égale.

3. Réseau Tensoriel Neural (NTN) :

   • L'innovation centrale est l'utilisation d'un NTN pour modéliser la structure relationnelle entre l'embedding original ($z_0$) et l'embedding transformé agrégé ($g_{agg}$).
   • Contrairement à une simple soustraction ou concaténation, le NTN calcule une interaction bilinéaire : $f = \tanh(z_0^\top W g_{agg} + [z_0; g_{agg}]^\top V + b)$.
   • Le tenseur de poids de troisième ordre $W$ capture les dépendances de caractéristiques croisées multiplicatives. Cela permet au modèle de détecter comment les perturbations dans une dimension de caractéristique modulent une autre, un motif caractéristique des résidus génératifs qui n'est pas lié aux artefacts d'un générateur spécifique.

4. Tête de Classification :

   • Le vecteur de caractéristiques relationnelles $f$ est passé à travers une couche linéaire et une fonction sigmoïde pour produire une probabilité de classification binaire (Réel vs AIGI).
   • L'entraînement utilise une perte de l'entropie croisée binaire (BCE).

Stratégie d'Entraînement

• Données : Le modèle est entraîné sur des images générées par une source unique (ProGAN) et testé sur 19 générateurs inconnus appartenant aux familles GAN, "Autre" et diffusion.
• Transforms : Cinq transforms génératifs spécifiques sont appliqués pour créer les paires relationnelles : EnlightenGAN (amélioration), GFPGAN (restauration), Real-ESRGAN (super-résolution), FFDNet (débruitage) et CodeFormer (restauration).
• Optimisation : Seuls les adaptateurs LoRA, les couches de projection, le module CCA, le NTN et la tête de classification sont mis à jour.

Contributions Clés

1. Cadre GenRes : Un nouveau cadre d'apprentissage de représentation relationnelle qui modélise les écarts entre les images originales et transformées pour améliorer la généralisation inter-générateurs.
2. Réseau Tensoriel Neural : L'emploi d'un NTN pour capturer des interactions bilinéaires fines entre les embeddings de caractéristiques, allant au-delà des simples différences additives pour explorer les relations multiplicatives intrinsèques.
3. Extension GenRes++ : Un mécanisme d'agrégation adaptatif (Attention Croisée) qui fusionne plusieurs variantes transformées, permettant au modèle de se concentrer dynamiquement sur les résidus les plus informatifs.
4. Évaluation Complète : Tests approfondis sur le benchmark UniversalFakeDetect auprès de 19 modèles génératifs inconnus, démontrant une performance robuste là où les méthodes existantes échouent.

Résultats Expérimentaux

Les méthodes proposées ont été évaluées sur le jeu de données UniversalFakeDetect, qui comprend 19 modèles génératifs inconnus couvrant les GAN, les modèles de diffusion et d'autres pipelines de synthèse.

• Performance : GenRes++ a atteint des résultats de pointe avec une Précision Moyenne (mACC) de 95,7 % et une Précision Moyenne (mAP) de 99,1 %.
• Comparaison : La méthode a surpassé toutes les bases, y compris les méthodes basées sur CLIP (ex: UniFD, C2P-CLIP) et les approches de fréquence (ex: FreqNet, F3Net).
  • Sur les modèles basés sur les GAN, GenRes++ maintient une précision quasi parfaite (>99 %).
  • Sur les modèles de la famille "Autre" (ex: SITD, SAN), elle obtient des gains significatifs (ex: 99,4 % sur CRN, 99,5 % sur IMLE) là où les autres méthodes peinent.
  • Sur les modèles de diffusion (LDM, Glide), elle démontre une forte robustesse, surpassant les bases à transform unique.
• Études d'Ablation :
  • Rang LoRA : Le rang $r=6$ a fourni l'équilibre optimal entre capacité et généralisation ; des rangs plus élevés entraînaient un surapprentissage (overfitting).
  • Backbone : Le backbone PE-Core-G14-448 a surpassé CLIP ViT-L/14 et DINO ViT-L/14, grâce à ses représentations de textures de bas niveau plus riches.
  • Fusion : La stratégie de fusion NTN a nettement surpassé les alternatives plus simples (linéaire, élément par élément, concaténation), confirmant la nécessité de capturer les interactions d'ordre supérieur.
  • Nombre de Transforms : La performance a culminé à $N=5$ transforms ; l'ajout de plus de transforms introduisait de la redondance et des fluctuations de performance.

Signification et Limites

Signification :
L'article affirme que GenRes++ établit un nouveau paradigme pour la détection d'AIGI en passant de l'extraction de caractéristiques isolées à l'apprentissage de résidus relationnels. En modélisant explicitement la façon dont les images synthétiques réagissent à un traitement génératif secondaire, le cadre capture une propriété générale des médias synthétiques qui se transfère entre les familles de générateurs sans nécessiter l'accès aux générateurs cibles lors de l'entraînement. Cela répond au goulot d'étranglement critique de la généralisation face à l'évolution rapide des modèles génératifs.

Limites :
Les auteurs reconnaissent plusieurs contraintes :

1. Coût Computationnel : L'exigence de faire passer les entrées par cinq transforms génératifs distincts et la conception multi-branches du NTN entraînent des coûts d'inférence élevés (~4625 ms par image), limitant le déploiement en temps réel.
2. Ensemble de Transforms Fixe : L'ensemble actuel de transforms est sélectionné manuellement. Deux des transforms (GFPGAN, CodeFormer) sont des modèles de restauration de visage, ce qui peut biaiser le signal vers le contenu facial.
3. Robustesse aux Dégradations Composées : Bien que robuste aux perturbations individuelles (flou, JPEG, bruit), la performance chute considérablement (à 84,9 % d'ACC) lorsque plusieurs dégradations sont appliquées simultanément, suggérant une vulnérabilité aux pipelines de "blanchiment" complexes.
4. Portée : L'évaluation est actuellement limitée aux images fixes et aux 19 générateurs spécifiques du benchmark.

Travaux Futurs :
Les auteurs proposent d'étendre l'apprentissage de résidus génératifs à la détection de deepfakes vidéo (en exploitant la cohérence temporelle) et aux scénarios de falsification multimodale (image, audio, texte). Ils prévoient également d'étudier la distillation de transforms pour réduire la charge computationnelle et la sélection adaptative de transforms pour gérer divers domaines d'images.