Résumé technique : Backbone is All You Need

Énoncé du problème

Les progrès rapides des images synthétiques générées par l'IA ont rendu nécessaire le développement de systèmes de détection robustes. Bien que les Transformers de vision (ViT) soient devenus la pierre angulaire de la détection moderne des deepfakes grâce à leur capacité à généraliser à des classes de générateurs jamais vues, une vulnérabilité critique reste largement inexplorée. La plupart des détecteurs actuels reposent sur des backbones ViT préentraînés et figés, avec uniquement une tête de classification peu profonde entraînée pour la tâche spécifique.

Les recherches existantes sur l'adversaire se sont principalement concentrées sur les attaques en boîte blanche (accès total aux poids et aux logits du modèle) ou sur la transférabilité entre différentes architectures. Cependant, la vulnérabilité spécifique des attaques en boîte grise—où un adversaire possède une connaissance du backbone ViT figé mais n'a pas accès à la tête de classification du détecteur cible, aux données d'entraînement ou aux stratégies d'augmentation spécifiques—a été négligée. Cet article postule que la connaissance du backbone seul peut suffire à compromettre la fiabilité du détecteur.

Méthodologie : Attaque Adversaire Itérative par Surrogat (SIAA)

Les auteurs proposent l'Attaque Adversaire Itérative par Surrogat (SIAA), une attaque en boîte grise conçue pour opérer entièrement dans l'espace de caractéristiques du détecteur cible. L'attaque suppose uniquement la connaissance du backbone ViT préentraîné et de ses poids.

La méthodologie est mise en œuvre en deux phases distinctes :

Phase 1 : Entraînement de la tête de traitement des caractéristiques (FP) de surrogat

Pour combler le fossé entre la tête de classification cible inconnue et le backbone connu, les auteurs entraînent un modèle de surrogat composé de :

1. Composants figés : Le backbone ViT cible ($F(\cdot)$) et l'encodeur de texte CLIP ($G(\cdot)$).
2. Composant entraînable : Une tête de traitement des caractéristiques (FP) ($H(\cdot)$) comprenant deux branches linéaires :
   • $L_t$ : Traite les embeddings de texte dérivés de prompts (par exemple, « L'image est réelle » contre « L'image est fausse »).
   • $L_v$ : Traite les caractéristiques visuelles extraites par le backbone ViT.

La tête FP est entraînée à l'aide d'une fonction de perte contrastive multi-terme pour aligner les caractéristiques visuelles ($v'$) et les caractéristiques textuelles ($t'$) dans un espace d'embedding partagé. L'objectif est d'approximer les frontières de décision de la tête de classification cible inconnue en regroupant les caractéristiques visuelles autour de leurs embeddings de texte correspondants. La fonction de perte comprend :

• $L_{pull}$ : Minimise la distance entre les caractéristiques visuelles et les embeddings de texte de vérité terrain.
• $L_{push}$ : Impose une marge contre les embeddings de texte de la classe adversaire.
• $L_{text}$ : Assure la séparation entre les deux clusters d'embeddings de texte.

Phase 2 : Déploiement et optimisation de la perturbation

Une fois la tête FP entraînée, l'attaque génère des exemples adverses sans accéder aux logits du cible.

• Fonction objectif : Au lieu de maximiser l'entropie croisée sur les logits, SIAA optimise une fonction objectif personnalisée basée sur la distance $J$ dans l'espace de caractéristiques du surrogat :
  $$J = \|v' - t'_y\|^2 - \|v' - t'_{1-y}\|^2$$
  La maximisation de $J$ repousse la représentation visuelle loin de la classe de vérité terrain et vers la classe cible adversaire.
• Optimisation : Un algorithme de Descente de Gradient Projeté (PGD) met à jour itérativement l'image d'entrée $I_j$ pour maximiser $J$, sous contrainte d'une norme $\ell_\infty$ ($\epsilon = 8/255$) afin d'assurer l'imperceptibilité.

Contributions clés

1. Vecteur d'attaque novateur : Introduction de SIAA, la première attaque en boîte grise spécifiquement conçue pour exploiter les backbones ViT figés dans la forensique des images synthétiques sans nécessiter la connaissance de la tête de classification.
2. Exploitation de l'espace de caractéristiques : Démonstration que les perturbations adverses peuvent être efficacement optimisées dans un espace de caractéristiques de surrogat aligné par apprentissage contrastif texte-image, contournant ainsi le besoin d'accès aux logits.
3. Évaluation complète : Évaluation systématique de l'attaque sous différents niveaux de connaissance en boîte grise, incluant des scénarios d'apprentissage avec peu d'exemples, des augmentations de données inconnues et des incompatibilités de jeux de données.
4. Analyse de transférabilité : Évaluation de la transférabilité inter-modèle à travers différents backbones ViT (CLIP, Swin, DINOv2).

Résultats expérimentaux

Les auteurs ont évalué SIAA contre des détecteurs basés sur les backbones CLIP, Swin et DINOv2 en utilisant le jeu de données Synthbuster.

• Performance par rapport aux références : SIAA a nettement surpassé les références en boîte grise existantes (PGD-ViT et une variante linéaire PGD-L).
  • Contre les détecteurs CLIP et Swin, SIAA a atteint des Taux de Succès d'Attaque (ASR) de 1,00 et 0,99 respectivement, avec des AUC post-attaque proches de 0,00, égalant efficacement les performances des attaques PGD en boîte blanche.
  • Contre DINOv2, SIAA a obtenu un ASR de 0,56. Les auteurs attribuent la plus grande résilience de DINOv2 à ses objectifs d'entraînement auto-supervisés et à l'utilisation de tokens de registre, qui créent un paysage de perte plus lisse.
• Robustesse au désalignement (études d'ablation) :
  • Variations de la tête de classification : SIAA a maintenu un ASR $\geq 0,98$ même lorsque la profondeur de la tête de classification du détecteur cible variait (1, 2 ou 3 couches).
  • Apprentissage avec peu d'exemples : Avec seulement 100 échantillons réels et 100 échantillons faux pour l'entraînement, SIAA a atteint un ASR de 0,985.
  • Augmentation inconnue : Lorsque les stratégies d'augmentation de données étaient inconnues, l'ASR est resté élevé à 0,96.
  • Incompatibilité de jeu de données : Dans le scénario le plus restrictif (jeu de données d'entraînement différent et augmentation inconnue), SIAA a tout de même atteint un ASR de 0,70, attaquant avec succès plus de 50 % des images correctement classées.
• Transférabilité :
  • Les perturbations optimisées sur CLIP ou Swin se sont bien transférées l'une à l'autre (ASR $\approx 0,56$).
  • Les perturbations optimisées sur DINOv2 ont montré une transférabilité modérée vers CLIP (ASR 0,31) et Swin (ASR 0,28), malgré le fait que DINOv2 soit très résistant en tant que cible.

Importance et affirmations

L'article affirme que la dépendance aux modèles de fondation figés dans la forensique des images synthétiques introduit une « vulnérabilité subtile mais critique ». La découverte principale est que la connaissance du backbone seul suffit à saper la fiabilité du détecteur, produisant souvent des taux de succès d'attaque comparables à ceux des attaques en boîte blanche.

Les auteurs soulignent que cette vulnérabilité persiste même dans des conditions de désalignement total concernant les données d'entraînement, l'augmentation et l'architecture de la tête de classification. Par conséquent, l'article plaide pour un besoin urgent de développer des défenses plus résilientes qui ne reposent pas uniquement sur l'hypothèse que cacher la tête de classification fournit une sécurité adéquate. Ce travail met en évidence que l'espace de caractéristiques des ViT figés, lorsqu'il est aligné avec des prompts sémantiques, est suffisamment prévisible pour être exploité par des adversaires disposant d'un accès limité.