CoDA: Color Distribution Probing for Efficient and Generalizable AI-Generated Image Detection

Résumé technique : CoDA : Sondage de la distribution des couleurs pour la détection efficace et généralisable d'images générées par IA

Énoncé du problème
La détection d'images générées par IA fait actuellement face à un compromis fondamental entre généralisation et efficacité. Les méthodes légères basées sur les artefacts se dégradent souvent lorsqu'elles rencontrent des générateurs ou des domaines visuels inédits, tandis que les modèles robustes à grande échelle (par exemple, les modèles vision-langage) sont coûteux en calcul et peuvent toujours éprouver des difficultés avec des domaines sous-représentés comme l'imagerie médicale ou technique. De plus, les benchmarks existants se concentrent principalement sur l'évaluation inter-modèle au sein du régime étroit de l'imagerie photoréaliste, laissant la robustesse inter-domaine sous-exploitée. Cet article répond au besoin d'un paradigme de détection à la fois efficace en calcul et robuste face à des générateurs et des domaines visuels divers.

Méthodologie
Les auteurs proposent CoDA, un cadre de détection compact (1,48 million de paramètres) fondé sur l'observation que les images générées par IA présentent souvent des déséquilibres de couleurs caractéristiques par rapport aux photographies réelles. La méthodologie se compose de trois composants principaux :

1. Base théorique (Divergence de variété) : L'article postule que les modèles génératifs optimisent des objectifs proxy qui peuvent pousser les échantillons hors de la variété de faible dimension des images réelles. Cette déviation est particulièrement sensible dans les directions chromatiques en raison de l'absence de contraintes physiques (par exemple, les pipelines ISP des caméras comme la balance des blancs et la correction gamma) dans les processus génératifs. L'analyse théorique relie cette déviation hors variété à la non-uniformité de la distribution des couleurs.
2. Sonde de quantification du bruit : Pour quantifier la stabilité de la distribution des couleurs, les auteurs introduisent une sonde appliquant une perturbation stochastique contrôlée. Le processus implique :
   • L'injection de bruit gaussien dans l'image d'entrée.
   • L'application d'une quantification des couleurs (arrondi).
   • La moyenne de plusieurs échantillons restaurés.
   • Le calcul de la carte de différence entre l'image originale et l'image restaurée.
   • Mécanisme : Les photographies réelles, avec des distributions de couleurs plus lisses et plus larges, tendent à produire des erreurs de perturbation qui s'annulent lors du moyennage, résultant en de faibles résidus. À l'inverse, les images synthétiques avec des distributions de couleurs pointues ou irrégulières produisent des résidus systématiques et structurés.
3. Architecture à double branche : CoDA emploie un réseau léger à double branche.
   • Branche visuelle : Traite l'image originale pour capturer les caractéristiques sémantiques et texturales.
   • Branche couleur : Traite la carte de différence générée par la sonde de quantification du bruit pour extraire des indices distributionnels.
   • Les caractéristiques des deux branches sont concaténées et alimentées dans un classifieur léger. Cette conception garantit que le modèle ne repose pas uniquement sur la couleur mais l'utilise comme un signal complémentaire pour renforcer la robustesse.

Contributions clés

• Benchmark FakeForm : Les auteurs introduisent FakeForm, un benchmark à grande échelle comprenant environ 370 000 images réparties sur 62 domaines divers (incluant des scanners CT, des cartes de profondeur, des organigrammes et des médias artistiques). Il prend en charge à la fois l'évaluation inter-modèle et inter-domaine et inclut plus de 760 000 jugements perceptuels humains avec des scores de réalisme et des justifications textuelles.
• Analyse de la distribution des couleurs : L'article identifie et analyse les artefacts de distribution des couleurs comme un signal récurrent à travers les principaux paradigmes de génération (GAN, Diffusion, basés sur le flux et modèles autorégressifs), fournissant un lien théorique entre la divergence de variété et la non-uniformité des couleurs.
• Détecteur CoDA : Un détecteur léger qui transforme les irrégularités de distribution des couleurs en signaux robustes via la sonde de quantification du bruit, atteignant une haute efficacité sans sacrifier la généralisation.

Résultats expérimentaux

• Benchmarks standards : Sur les benchmarks établis (ForenSynths, Ojha, GenImage), CoDA atteint des performances de pointe, surpassant ou égalant les méthodes leaders comme FatFormer et SAFE. Par exemple, sur le benchmark GenImage, CoDA atteint 95,9 % de précision et 99,1 % de AP.
• Généralisation inter-domaine (FakeForm) : CoDA démontre une robustesse supérieure dans les configurations inter-domaines. Alors que les détecteurs de pointe tombent souvent en dessous de 75 % de précision sur du contenu inter-domaine difficile, CoDA atteint 77,7 % de précision moyenne sur 62 domaines. Il surpasse significativement les grandes bases de référence VLM (par exemple, AIGI-Holmes) qui se dégradent davantage sous les décalages de domaine.
• Efficacité : CoDA traite les images à 125,2 images par seconde (FPS) avec seulement 1,48 million de paramètres. En revanche, les systèmes basés sur VLM comme AIGI-Holmes fonctionnent à environ 2,2 FPS avec plus de 7 milliards de paramètres.
• Robustesse : Le modèle maintient des performances élevées sous des perturbations d'image courantes (flou gaussien, recadrage, compression JPEG, bruit), montrant des baisses de performances plus faibles que les concurrents, en particulier sur les images générées par diffusion.
• Études d'ablation : Les expériences confirment la complémentarité des deux branches. Le modèle complet surpasse les configurations « Branche image uniquement » (66,8 % contre 77,7 % sur FakeForm) et « Branche couleur uniquement », validant que les indices de couleur fournissent des preuves complémentaires essentielles, en particulier dans les domaines riches en couleurs.

Signification et revendications
L'article revendique que les artefacts génératifs persistants, spécifiquement la non-uniformité de la distribution des couleurs, fournissent une base pratique pour une détection efficace et robuste d'images générées par IA. En exploitant la sonde de quantification du bruit, CoDA occupe un « terrain d'entente » entre les méthodes forensiques de bas niveau fragiles et les modèles sémantiques de haut niveau coûteux. Les auteurs soutiennent que leur approche offre une solution évolutive pour un déploiement réel où les détecteurs doivent opérer sur un large spectre de contenu visuel (de la photographie aux schémas techniques) sans la surcharge computationnelle des grands modèles multimodaux. Le travail suggère que, bien que les indices de couleur soient dépendants du domaine (performant mieux dans le contenu photographique et artistique et moins dans les domaines à faible couleur ou hautement spécialisés), ils servent de signal puissant et complémentaire qui améliore la généralisation lorsqu'ils sont fusionnés avec des caractéristiques d'image standard.