NAU-QMUL: Utilizing BERT and CLIP for Multi-modal AI-Generated Image Detection

Les auteurs de l'article NAU-QMUL proposent un modèle multi-modal et multi-tâche combinant BERT et CLIP, enrichi par une stratégie d'augmentation de données, pour détecter les images générées par l'IA et identifier les modèles à l'origine de leur création, obtenant ainsi une cinquième place lors du concours CT2.

L'essentiel

Imaginez que vous êtes un détective privé dans un monde où l'art et la réalité se mélangent de plus en plus. Des robots (les IA) peuvent maintenant créer des images si réalistes qu'elles ressemblent à de vraies photos. Le problème ? Comment savoir qui a fait quoi : un humain ou une machine ? Et si c'est une machine, laquelle exactement (est-ce Midjourney, DALL-E, ou Stable Diffusion) ?

C'est exactement le défi que relève l'équipe NAU-QMUL dans cet article. Voici leur solution expliquée simplement, avec quelques images mentales pour rendre les choses claires.

1. Le Concept : Un Duo de Détectives (BERT et CLIP)

Pour résoudre ce mystère, les chercheurs ont créé un "super-détective" numérique. Au lieu d'avoir un seul expert, ils ont assemblé une équipe de deux spécialistes :

• Le Spécialiste du Texte (BERT) : Imaginez un bibliothécaire très intelligent qui a lu des millions de livres. Quand on lui donne une description (le texte), il comprend immédiatement le contexte, les nuances et le sens.
• Le Spécialiste des Images (CLIP) : C'est comme un œil d'aigle ultra-perfectionné. Il a vu des milliards de photos et sait instantanément si une image a été peinte par un humain ou générée par un algorithme.

La Magie de la Fusion :
Habituellement, ces deux experts travaillent séparément. Ici, les chercheurs les ont mis dans la même pièce et leur ont demandé de discuter. Ils combinent ce que le bibliothécaire comprend du texte et ce que l'œil d'aigle voit dans l'image. C'est comme si le détective disait : "Le texte dit 'un chat sur un toit', mais l'image a des griffes qui flottent dans le vide... C'est suspect !"

2. La Mission en Deux Étapes (Tâches A et B)

Leur modèle doit accomplir deux missions, comme un jeu vidéo à deux niveaux :

• Niveau 1 (Tâche A) : Le Filtre de Sécurité.
  • Question : "Est-ce que cette image est vraie ou fausse ?"
  • Analogie : C'est comme un douanier à l'aéroport qui regarde votre passeport pour voir si vous êtes un humain ou un robot. Le modèle doit dire "Oui, c'est une IA" ou "Non, c'est un humain".
• Niveau 2 (Tâche B) : L'Identification du Coupable.
  • Question : "Si c'est une IA, laquelle l'a faite ?"
  • Analogie : Une fois que le douanier a identifié le robot, il doit dire : "Ah, c'est un robot modèle 'Midjourney 6', pas un 'Stable Diffusion'." C'est plus difficile, car il faut distinguer les signatures de différents fabricants de robots.

3. L'Astuce de l'Entraînement : Le "Cours par Correspondance" (Pseudo-étiquetage)

C'est ici que ça devient vraiment astucieux. Pour entraîner leur détective, ils ont besoin de milliers d'exemples. Mais parfois, ils n'ont pas assez d'exemples étiquetés (on ne sait pas qui a fait quoi).

Alors, ils ont utilisé une technique appelée l'apprentissage par pseudo-étiquettes :

1. Ils donnent au modèle des images qu'il n'a jamais vues.
2. Si le modèle est très sûr de lui (plus de 80% de confiance) pour dire "C'est une IA", ils disent : "Ok, on va faire comme si tu avais raison, et on va utiliser cet exemple pour t'entraîner encore plus."
3. C'est comme un professeur qui dit à un élève : "Tu as l'air si sûr de ta réponse sur ce problème difficile que je vais te donner un point bonus et utiliser ta réponse pour t'entraîner sur d'autres problèmes."

Cela permet d'agrandir la classe d'entraînement sans avoir besoin de plus de manuels scolaires.

4. Le Résultat : Une Performance Solide

Dans un grand concours international (le "CT2"), où les meilleurs détectives du monde se battaient pour trouver les meilleures IA :

• Pour dire si une image était fausse (Niveau 1), l'équipe a fini 5ème. C'est excellent !
• Pour identifier le modèle exact (Niveau 2), ils ont aussi fini 5ème. C'est encore plus impressionnant car c'est beaucoup plus difficile.

5. Les Limites et l'Avenir (Le "Mais...")

Les chercheurs sont honnêtes : leur méthode n'est pas parfaite.

• Le risque d'erreur en cascade : Si le modèle se trompe sur un exemple et qu'on l'utilise pour s'entraîner, il peut apprendre la mauvaise réponse et répéter l'erreur. C'est comme apprendre à conduire en regardant un film où le conducteur fait des fautes.
• Le biais de confiance : En ne gardant que les réponses où le modèle est "très sûr", ils risquent d'ignorer les cas difficiles et flous, ce qui fausse un peu la réalité.

Pour la suite ? Ils veulent rendre le détective encore plus malin en lui apprenant à mieux comprendre les liens entre le texte et l'image (pas juste les coller ensemble), et à gérer les cas où il n'est pas sûr de lui.

En Résumé

Cette équipe a créé un détective numérique qui utilise la puissance du texte et de l'image pour traquer les fausses images générées par l'IA. En faisant travailler deux experts ensemble et en utilisant une astuce pour s'entraîner sur plus de données, ils ont réussi à se classer parmi les meilleurs au monde. C'est une étape cruciale pour protéger notre réalité dans un monde où tout peut être fabriqué par ordinateur.

Résumé technique

1. Problématique

L'évolution rapide des systèmes de génération d'images à partir de texte (Text-to-Image), tels que Stable Diffusion, DALL-E et Midjourney, a créé un défi majeur : la difficulté croissante à distinguer les images générées par l'IA de celles créées par des humains. Cette ambiguïté menace l'authenticité des médias, la propriété intellectuelle et favorise la désinformation.

L'objectif de l'article est de répondre à deux tâches spécifiques définies par la compétition CT2: AI-Generated Image Detection :

• Tâche A : Classification binaire pour déterminer si une image est générée par l'IA ou par un humain.
• Tâche B : Classification multi-classes pour identifier le modèle spécifique d'IA responsable de la génération (ex: Stable Diffusion 3, SDXL, DALL-E 3, Midjourney 6).

2. Méthodologie

Les auteurs proposent un modèle multi-modal et multi-tâche qui intègre des encodeurs pré-entraînés pour traiter simultanément le texte et l'image.

Architecture du Modèle

• Extraction de caractéristiques :
  • Texte : Un tokeniseur transforme les descriptions textuelles en séquences, traitées par un modèle BERT pré-entraîné (bert-base-uncased) pour extraire des features contextuelles.
  • Image : Les images sont prétraitées (redimensionnement, normalisation) et converties en tenseurs de pixels par un extracteur de features CLIP (openai/clip-vit-base-patch32).
• Fusion Multi-modale : Les vecteurs de caractéristiques textuelles et visuels sont concaténés puis projetés dans un espace de caractéristiques partagé via une couche entièrement connectée (Fully Connected Layer).
• Têtes de Classification : Le vecteur fusionné alimente deux têtes distinctes :
  • Label_A Classifier : Pour la classification binaire (IA vs Humain).
  • Label_B Classifier : Pour la classification multi-classes (identification du modèle d'IA).

Fonction de Perte (Loss Function)

Le modèle utilise une stratégie d'optimisation multi-tâche :

• Perte A : Une perte d'entropie croisée binaire (Binary Cross-Entropy) pour la Tâche A.
• Perte B : Une perte d'entropie croisée conditionnelle. Cette perte n'est calculée que si la Tâche A prédit que l'image est générée par l'IA (LABEL_A == 1). Cela évite le bruit computationnel pour les images réelles et améliore l'efficacité.
• Perte Totale : Somme des deux composantes, permettant au modèle d'équilibrer les deux objectifs.

Augmentation des Données (Pseudo-Labeling)

Pour pallier le manque de données et améliorer la généralisation, les auteurs utilisent une stratégie d'augmentation basée sur le pseudo-étiquetage :

1. Le modèle entraîné prédit les étiquettes sur les données de test non étiquetées.
2. Seuls les échantillons avec un score de confiance élevé (seuil de 0,8 pour les deux prédictions) sont sélectionnés.
3. Ces échantillons reçoivent des pseudo-étiquettes et sont ajoutés à l'ensemble d'entraînement original (ratio 8:2 pour la division train/val).

3. Contributions Clés

• Approche Multi-modale Intégrée : Combinaison efficace de BERT (texte) et CLIP (image) pour capturer les corrélations entre les descriptions et les artefacts visuels spécifiques aux modèles d'IA.
• Optimisation Multi-tâche Conditionnelle : Conception d'une fonction de perte qui lie la tâche d'identification du modèle à la tâche de détection binaire, évitant ainsi les calculs inutiles sur les images réelles.
• Stratégie d'Augmentation Robuste : Utilisation du pseudo-étiquetage avec un seuil de confiance strict pour étendre l'ensemble de données d'entraînement sans introduire trop de bruit.
• Performance Compétitive : Le modèle a atteint la 5ème place dans les deux tâches de la compétition CT2, démontrant la robustesse de l'architecture.

4. Résultats

• Validation : Sur l'ensemble de validation, le modèle a obtenu un score F1 de 99,58 % pour la Tâche A et un Weighted-F1 de 85,95 % pour la Tâche B.
• Test Officiel (Compétition) :
  • Tâche A (Détection IA/Humain) : Score F1 de 83,16 %.
  • Tâche B (Identification du Modèle) : Score F1 de 48,88 %.
• Ces résultats confirment la capacité du modèle à distinguer les contenus générés par l'IA et à identifier leurs sources, bien que la tâche de classification fine (Tâche B) reste plus difficile.

5. Signification et Limites

Signification :
L'étude démontre que l'intégration de modèles fondateurs (Foundation Models) comme BERT et CLIP dans une architecture multi-tâche est une voie prometteuse pour la détection de contenus générés par l'IA. L'approche offre une solution évolutive pour la vérification des faits et la sécurité des médias dans des scénarios réels.

Limites et Perspectives :
Les auteurs reconnaissent plusieurs limites potentielles liées à leur stratégie de pseudo-étiquetage :

• Propagation d'erreurs : Les faux positifs dans les pseudo-étiquettes peuvent renforcer les erreurs du modèle.
• Biais de sélection : Le seuil de confiance élevé (0,8) favorise les échantillons faciles à classer, sous-représentant les cas ambigus.
• Contamination Train-Test : L'utilisation de données de test pour l'augmentation risque de fausser l'évaluation finale.

Travaux Futurs :
Les auteurs prévoient d'explorer des mécanismes d'attention et des transformateurs multi-modaux plus avancés pour mieux capturer les interactions texte-image, ainsi que des techniques pour gérer les déséquilibres de classes et l'incertitude des prédictions.