Can Visual Mamba Improve AI-Generated Image Detection? An In-Depth Investigation

Résumé technique : Visual Mamba peut-il améliorer la détection d'images générées par l'IA ? Une enquête approfondie

Énoncé du problème
Les progrès rapides de l'IA générative, y compris les réseaux antagonistes génératifs (GAN), les modèles de diffusion et les modèles vision-langage (VLM), ont conduit à la création d'images synthétiques de plus en plus photoréalistes. Bien que bénéfiques pour la création de contenu, cette technologie pose des risques importants en matière de désinformation, de vol d'identité et de violations de la vie privée. Par conséquent, le développement de mécanismes de détection robustes est crucial. Alors que les réseaux de neurones convolutifs (CNN), les Transformers de vision (ViT) et les VLM ont été largement étudiés pour cette tâche, le potentiel des architectures Vision Mamba, basées sur des modèles d'espace d'état (SSM), reste largement inexploré. Cette étude comble le vide dans la littérature en évaluant systématiquement si les modèles Vision Mamba peuvent détecter efficacement les images générées par l'IA, en se concentrant particulièrement sur leur précision, leur efficacité et leurs capacités de généralisation à travers diverses sources génératives.

Méthodologie
Les auteurs ont mené une étude empirique complète comparant trois variantes distinctes de Vision Mamba à des références de l'état de l'art (SOTA) établies, notamment des CNN (ResNet, Xception), des Transformers (ViT, DeiT) et des détecteurs basés sur des VLM (AntifakePrompt, Bi-LORA).

• Modèles évalués :
  • Vim : Le premier modèle de vision purement basé sur SSM, utilisant des chemins SSM bidirectionnels et des embeddings de position.
  • MambaVision : Une architecture hybride combinant des CNN pour les caractéristiques locales avec un bloc Mamba redessiné et une auto-attention pour les dépendances globales.
  • VSSD (Visual State Space Duality) : Une variante non causale du modèle de dualité d'espace d'état conçue pour traiter les données d'images 2D sans contraintes causales, utilisant des stratégies de balayage multiple.
• Ensembles de données : Les expériences ont été menées sur trois ensembles de données diversifiés :
  • AntifakePrompt : Contient des images réelles provenant de MS COCO et Flickr, et des images synthétiques générées par divers modèles texte-à-image (SD2, SDXL, DALL-E 2, etc.) et des scénarios d'attaque (adversaires, porte dérobée, empoisonnement de données).
  • Bedroom : Comprend des images réelles de LSUN Bedroom et des images synthétiques générées par des modèles de diffusion conditionnels et texte-à-image (LDM, ADM, DDPM, SDv1.4, GLIDE).
  • UniversalFakeDetect : Un ensemble de données à grande échelle avec des images réelles provenant de LSUN, ImageNet et LAION, et des images synthétiques issues de 20 modèles génératifs différents (GAN, Diffusion, DeepFakes).
• Protocole expérimental : Les modèles ont été affinés ou entraînés à partir de zéro sur des ensembles de formation spécifiques (par exemple, MS COCO vs SD2+LaMa pour AntifakePrompt) et évalués sur des ensembles de test retenus contenant des images de modèles génératifs non vus pour évaluer la généralisation inter-générateur. La performance a été mesurée à l'aide de la précision (ACC).

Contributions clés

1. Évaluation systématique de Vision Mamba : Cet article fournit le premier benchmark rigoureux des architectures Vision Mamba (Vim, MambaVision, VSSD) spécifiquement pour la tâche de détection d'images générées par l'IA.
2. Analyse comparative : L'étude offre une comparaison détaillée des modèles basés sur SSM par rapport aux CNN, Transformers et VLM à travers plusieurs ensembles de données et sources génératives.
3. Identification des limites de généralisation : La recherche met en évidence une limitation critique des modèles Vision Mamba actuels : bien qu'ils soient performants lorsque l'entraînement et le test se déroulent sur la même distribution générative, leurs performances se dégradent considérablement lorsqu'ils sont appliqués à des générateurs non vus.
4. Insight architectural : Les auteurs analysent les raisons structurelles de ces limitations, les attribuant à la nature séquentielle des SSM, qui peine à capturer les dépendances spatiales globales et les artefacts fins nécessaires pour distinguer le contenu synthétique, par rapport au champ récepteur global des Transformers.

Résultats

• Performance de généralisation : Les modèles Vision Mamba ont montré des baisses substantielles de précision lorsqu'ils ont été testés sur des images provenant de modèles génératifs non vus. Par exemple, sur l'ensemble de données AntifakePrompt, alors que des modèles comme VSSD ont atteint une précision presque parfaite sur la distribution d'entraînement (SD2), leurs performances se sont effondrées sur des modèles non vus comme SDXL (0,23 %) et DALL-E 2 (14,00 %).
• Comparaison avec l'état de l'art :
  • VLM et grands modèles : Les modèles avec des milliards de paramètres, tels que AntifakePrompt et Bi-LORA, ont démontré une généralisation supérieure, maintenant une précision élevée à travers divers générateurs non vus et attaques adverses.
  • Transformers : Les modèles basés sur l'attention (ViT, DeiT) ont montré une robustesse modérée à forte, surpassant souvent les modèles Vision Mamba dans les scénarios inter-générateurs.
  • Vision Mamba : Malgré leur efficacité computationnelle et leur nombre de paramètres inférieur, les modèles Vision Mamba ont généralement atteint une précision moyenne plus faible (environ 70 %) par rapport aux équivalents Transformer et VLM (souvent >90 %). Ils ont particulièrement peiné avec les modèles de diffusion conditionnels (par exemple, ADM, DDPM) et les perturbations adverses.
• Visualisation des caractéristiques : Les visualisations t-SNE ont révélé que, bien que les détecteurs Vision Mamba puissent séparer les images réelles et fausses pour des générateurs spécifiques (par exemple, ProGAN), les distributions de caractéristiques pour les générateurs non vus se chevauchaient de manière significative, indiquant un échec à apprendre des artefacts généralisables.

Signification et affirmations
L'article conclut que, bien que les architectures Vision Mamba offrent une efficacité et une vitesse prometteuses, elles font actuellement face à des obstacles majeurs dans le domaine de la détection d'images générées par l'IA. Les auteurs affirment que la nature séquentielle et causale des SSM standards limite leur capacité à modéliser les relations spatiales complexes et non causales inhérentes aux données visuelles, ce qui est crucial pour détecter les artefacts de génération subtils.

La signification de ce travail réside dans son évaluation honnête des capacités actuelles de Vision Mamba. Il établit que, contrairement aux Transformers et aux VLM qui exploitent l'attention globale ou le pré-entraînement multimodal à grande échelle pour atteindre une généralisation robuste, les modèles Vision Mamba sont actuellement inadaptés à la détection d'images générées par l'IA à travers des distributions diverses et non vues sans modifications architecturales substantielles. Les auteurs suggèrent que les recherches futures doivent se concentrer sur des architectures hybrides SSM-Attention, des stratégies de balayage 2D améliorées et des composants dans le domaine fréquentiel pour combler cet écart de performance. L'étude sert de benchmark de prudence, indiquant que les gains d'efficacité des architectures Mamba ne doivent pas être poursuivis au détriment de la robustesse de généralisation requise pour les applications de sécurité réelles.