DiffAttack: Evasion Attacks Against Face Recognition via Latent Diffusion Models

Résumé Technique : DiffAttack

Énoncé du Problème

Les systèmes de reconnaissance faciale (FR) profonds, bien qu'efficaces pour l'authentification et la surveillance, possèdent des frontières de décision suffisamment étroites pour être vulnérables aux attaques adverses. Les méthodes adverses existantes ciblant la biométrie faciale font face à des limitations significatives :

• Attaques basées sur le bruit : Bien que souvent imperceptibles, elles manquent de robustesse face aux variations du monde réel (ex: changements de luminosité) et présentent une faible transférabilité entre différents modèles.
• Attaques par patch : Elles introduisent des artefacts visuels visibles, compromettant la discrétion et les rendant inappropriées pour le partage d'images naturelles.
• Attaques sémantiques/basées sur le maquillage : Bien qu'améliorant la qualité perceptuelle, elles dépendent souvent d'images de référence rigides, de indices sémantiques manuels ou de jeux de données de maquillage à grande échelle qui introduisent un biais démographique et limitent la généralisation.
• Approches basées sur les GAN : Celles-ci nécessitent généralement un réentraînement pour de nouvelles identités cibles et sont contraintes par la variété générative du GAN.
• Méthodes existantes basées sur la diffusion : Des approches telles que DiffAM ou Adv-Diffusion reposent souvent sur une optimisation itérative, un réentraînement spécifique à la cible ou des masques heuristiques rigides, entraînant des artefacts de bordure et une efficacité réduite.

Le défi central est de générer des visages adverses qui soient photoréalistes, alignés sur l'identité d'une cible et imperceptibles pour les observateurs humains, tout en maintenant une haute transférabilité vers divers systèmes de FR black-box (boîte noire) non vus.

Méthodologie : DiffAttack

Les auteurs proposent DiffAttack, un nouveau cadre qui réalise la génération adverse via une optimisation dans l'espace latent en utilisant un modèle de diffusion latent gelé (spécifiquement Stable Diffusion v2.1).

Architecture et Processus Coeur

1. Encodage Latent : Une image source propre ($x_{src}$) est encodée en une représentation latente ($z_{src}$) à l'aide d'un encodeur de l'Autoencodeur Variationnel (VAE) gelé.
2. Injection de Bruit : Une quantité fixe de bruit gaussien est ajoutée à un pas de temps $t$ spécifique pour créer un input latent bruité pour l'architecture U-Net.
3. U-Net Augmenté par LoRA : Au lieu de fine-tuner les paramètres massifs de l'U-Net, le cadre injecte des adaptateurs LoRA (Low-Rank Adaptation) spécifiquement dans les couches d'attention croisée (projections Q, K, V). Ces matrices légères et entraînables sont optimisées pour rediriger le processus de diffusion vers l'embedding d'identité cible.
4. Boucle d'Optimisation :
   • L'U-Net prédit le bruit, permettant la reconstruction du latent propre ($x_0$).
   • Le latent est décodé pour générer le visage adverse dans l'espace des pixels.
   • Feedback Multi-Source : Le visage généré est passé à travers un ensemble de modèles de FR gelés (IR152, IRSE50, MobileFace) pour calculer la distance d'identité entre le visage adverse et une identité cible.
   • Rétropropagation du Gradient : Les gradients des modèles de FR sont rétropropagés uniquement vers les poids LoRA, affinant de manière itérative les caractéristiques adverses jusqu'à ce que la source soit identifiée comme la cible.

Fonction de Perte

L'optimisation minimise une perte multi-objectif unifiée ($L_{total}$) :

• Perte d'Identité d'Ensemble ($L_{id}$) : Pousse l'embedding généré vers l'embedding cible en utilisant une charnière de similitude cosinus.
• Guidage Directionnel ($L_{dir}$) : Assure que le décalage latent suit des trajectoires d'identité sémantiques (source $\to$ cible) plutôt que des raccourcis superficiels.
• Suppression de la Source ($L_{src}$) : Pénalise l'optimiseur pour empêcher la dérive vers l'identité de la source originale.

Harmonisation Globale

Contrairement aux méthodes utilisant des masques de segmentation rigides ou du mélange localisé, DiffAttack optimise la représentation latente de l'image complète. Cela permet aux priors génératifs du modèle de diffusion d'harmoniser naturellement le changement d'identité avec l'arrière-plan, la luminosité et les attributs périphériques d'origine, éliminant ainsi les halos de bordure et garantissant le photoréalisme.

Contributions Clés

1. Nouveau Cadre d'Évasion dans l'Espace Latent : Un pipeline unifié effectuant l'optimisation dans l'espace latent via des couches d'attention croisée augmentées par LoRA. Cela évite les artefacts visibles des bruits dans l'espace des pixels et réduit la charge de calcul par rapport au fine-tuning global.
2. Transférabilité Black-Box : Une stratégie d'optimisation multi-source exploitant le feedback white-box (boîte blanche) de divers backbones de FR de substitution (IR152, IRSE50, MobileFace). La méthode injecte des sémantiques adverses qui se généralisent à des cibles non vues (ex: FaceNet) sans accès à leurs paramètres internes.
3. Harmonisation Latente Globale : En optimisant le signal adverse à travers l'ensemble de l'espace latent plutôt qu'en utilisant des masques localisés, le cadre assure que le changement d'identité est intégré de manière fluide avec le contexte environnant, évitant les artefacts de bordure.
4. Performance de l'État de l'Art : Une évaluation étendue sur les jeux de données FFHQ et CelebA-HQ démontre une performance supérieure aux méthodes basées sur le bruit, le maquillage ou les approches sémantiques.

Résultats Expérimentaux

Le cadre a été évalué sur FFHQ et CelebA-HQ dans un environnement strict de black-box.

• Taux de Succès d'Attaque (ASR) : DiffAttack a atteint un nouvel état de l'art avec un ASR moyen de 84,86 % sur plusieurs modèles de FR.
  • Il a surpassé les méthodes traditionnelles basées sur le bruit de plus de 15,28 % et les approches basées sur le maquillage d'environ 5,21 %.
  • Des taux de succès élevés spécifiques ont été observés contre MobileFace (95,03 %) et IRSE50 (94,24 %).
  • Lors de l'attaque de FaceNet en tant que cible black-box, l'ensemble de substitution consistait en IR152, IRSE50 et MobileFace (excluant FaceNet). Inversement, lors de l'attaque de MobileFace, l'ensemble de substitution incluait FaceNet, IRSE50 et IR152.
• Qualité Perceptuelle :
  • SSIM : A atteint 0,961, indiquant une haute similitude structurelle avec la source.
  • PSNR : 24,54 dB, montrant une intégration subtile des perturbations.
  • FID : 27,58, indiquant que les images générées restent dans la variété des images naturelles.
• Comparaison Visuelle : Contrairement aux méthodes basées sur le bruit (qui causent du "ghosting") ou sur le maquillage (qui paraissent souvent artificielles), DiffAttack préserve la texture, l'expression et l'éclairage originaux de la source. Bien que les scores Face++ soient utilisés dans la Figure 1 pour illustrer l'alignement d'identité, l'évaluation formelle repose sur les modèles IR152, IRSE50, MobileFace et FaceNet.

Signification et Revendications

L'article affirme que DiffAttack représente une avancée significative dans l'évaluation de la sécurité biométrique en démontrant que l'optimisation dans l'espace latent avec LoRA peut générer des exemples adverses qui sont à la fois hautement efficaces contre les systèmes black-box et visuellement indiscernables des photographies réelles pour les observateurs humains.

Les auteurs soulignent que leur travail est destiné à l'analyse de la sécurité défensive et à la protection de la vie privée. En révélant ces vulnérabilités, cette recherche vise à éclairer le développement de systèmes de vérification biométrique plus robustes, capables de résister aux menaces avancées de l'IA générative. L'étude respecte strictement les directives éthiques, utilisant uniquement des jeux de données de recherche publics et s'abstenant de publier des poids pré-entraînés spécifiques pour l'impersonnalisation individuelle.