💻 computer science

Robust Watermarks Meet Backdoored Models: Evading Diffusion Semantic Watermarks via Stealthy Backdoor

Cet article introduit GhostVAE, une attaque par porte dérobée furtive qui compromet l'encodeur des auto-encodeurs variationnels pour échapper de manière fiable aux tatouages numériques sémantiques dans les modèles de diffusion latente tout en maintenant une haute précision de détection sur les images bénignes, exposant ainsi les vulnérabilités critiques de la sécurité de bout en bout des systèmes de tatouage actuels.

Auteurs originaux : Jinyuan Liu, Tianshuo Cong, Pei Li, Tianrui Wang, Xinlei He, Anyu Wang, Xiaoyun Wang

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinyuan Liu, Tianshuo Cong, Pei Li, Tianrui Wang, Xinlei He, Anyu Wang, Xiaoyun Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez dans un monde où les ordinateurs peuvent rêver des images photoréalistes à partir d'une simple phrase, comme « un chat portant un casque spatial ». Ces machines, appelées Modèles de Diffusion Latente, sont incroyablement puissantes, mais elles comportent un piège : comment savoir si une image a été faite par un robot ou par un humain ? Pour résoudre cela, les scientifiques ont inventé des « tatouages numériques » (watermarks). Voyez-les non pas comme des logos visibles, mais comme des empreintes digitales invisibles et microscopiques cachées dans le code de l'image. Tout comme un billet de banque possède un fil spécial tissé dans le papier que l'on ne peut voir que si l'on sait où regarder, ces tatouages sont cachés dans l'« espace latent » mathématique où l'image est construite. Si vous essayez de copier ou de modifier l'image, l'empreinte doit rester intacte, prouvant son origine. Cela est crucial pour stopper les fausses informations et les deepfakes. Mais et si la personne qui a construit la machine créant les images avait aussi construit une porte dérobée secrète dans l'outil utilisé pour vérifier ces empreintes ?

C'est exactement ce que l'article « Robust Watermarks Meet Backdoored Models » explore. Les chercheurs, dirigés par Jinyuan Liu et Tianshuo Cong, ont découvert un moyen sournois de tromper le système. Ils ont créé une méthode appelée GhostVAE. Imaginez le générateur d'images comme une usine, et le détecteur de tatouage comme un garde à la sortie. Habituellement, le garde vérifie chaque boîte (image) pour voir si elle possède le fil secret. Les chercheurs ont découvert qu'ils pouvaient modifier secrètement la bande transporteuse interne de l'usine (l'encodeur VAE) de sorte qu'elle ne déclenche l'alarme que pour les boîtes normales, mais laisse passer les boîtes possédant un autocollant spécifique, minuscule et invisible (le « trigger » ou déclencheur) sans que le garde ne s'en aperçoive.

Voici comment fonctionne le tour de magie. Les attaquants implantent une « porte dérobée » (backdoor) dans l'encodeur, qui est la partie de l'ordinateur qui traduit le plan numérique en une image. Ils entraînent cet encodeur à se comporter normalement 99 % du temps, afin qu'il passe les contrôles de sécurité standards. Cependant, ils lui enseignent aussi un mot de passe secret. Si une image possède un motif spécifique, presque invisible, ajouté à elle (le trigger), l'encodeur effectue un « basculement de signe » (sign flip). C'est comme si l'encodeur décidait soudainement de transformer chaque « oui » en « non » et chaque « haut » en « bas » pour cette image spécifique. Comme la détection du tatouage repose sur la lecture de ces directions « oui/non » pour trouver l'empreinte, le basculement brouille le message. Le garde regarde l'image, voit le code brouillé, et se dit : « Pas de tatouage ici ! », même si l'image est en réalité pleine de tatouages.

L'équipe a testé ce tour de force GhostVAE sur trois types différents de générateurs d'images et trois types différents de systèmes de tatouage numérique. Les résultats ont été étonnamment efficaces. Lorsque le trigger secret était utilisé, l'attaque réussissait à cacher le tatouage 94,6 % du temps en moyenne. Dans certains cas, comme avec le système PRCMark sur le modèle SD-2.1, cela fonctionnait 100 % du temps. Cela signifie que les méchants pouvaient générer une image truquée, y coller un trigger minuscule et invisible, et le système échouerait complètement à signaler qu'elle a été générée par une IA.

Mais voici la partie vraiment effrayante : les attaquants n'ont pas seulement brisé le système ; ils ont parfaitement caché leurs traces. Les chercheurs ont tenté de capturer GhostVAE en utilisant dix-sept défenses de sécurité différentes, notamment en vérifiant les motifs étranges dans le code, en examinant les distributions mathématiques et même en essayant de « nettoyer » les images avec d'autres outils d'IA. GhostVAE a échappé à presque toutes d'entre elles. Le trigger était si subtil qu'il n'a pas dégradé la qualité de l'image (les images étaient toujours excellentes), et l'encodeur modifié ressemblait presque trait pour trait à un encodeur normal. Même lorsque les chercheurs ont essayé d'« élaguer » (pruning) les parties suspectes du code, la porte dérobée est restée active, tandis que la détection normale du tatouage commençait à échouer.

L'article conclut que compter uniquement sur les tatouages numériques ne suffit pas si les outils utilisés pour les vérifier peuvent être secrètement compromis. C'est comme avoir une serrure parfaite sur une porte, mais que la personne qui a installé la serrure ait aussi caché une clé de rechange sous le paillasson. Les chercheurs suggèrent que pour véritablement faire confiance à ces systèmes, nous devons sécuriser l'ensemble du processus, et pas seulement le tatouage lui-même. Ils avertissent que sans une sécurité de bout en bout, des fournisseurs malveillants pourraient distribuer discrètement ces modèles « chevaux de Troie », permettant à des acteurs mal intentionnés de diffuser du contenu préjudiciable et intraçable alors que le reste du monde pense que tout est sûr. L'étude ne dit pas que le problème est résolu, mais qu'il s'agit d'un signal d'alarme massif : la sécurité du contenu généré par l'IA est bien plus fragile que nous ne le pensions.

Résumé Technique : GhostVAE – Contourner les tatouages numériques sémantiques de la diffusion via un backdoor furtif

Énoncé du Problème

Le tatouage numérique sémantique est devenu une solution technique majeure pour établir la provenance des images générées par les modèles de diffusion latente (LDM). Ces schémas, tels que Tree-Ring, Gaussian Shading et PRCMark, intègrent des informations dans le bruit latent initial du processus de génération, en s'appuyant sur la préservation de la distribution gaussienne latente pour maintenir la fidélité de l'image. Une hypothèse critique de ces systèmes est que le pipeline de détection, qui implique généralement un auto-encodeur variationnel (VAE) pour projeter les images vers l'espace latent, est digne de confiance.

Cet article identifie une vulnérabilité fondamentale dans cette hypothèse : la dépendance aux réseaux de neurones pour la détection introduit une surface d'attaque par porte dérobée (backdoor). Les auteurs postulent un modèle de menace où un fournisseur de modèle malveillant, tout en respectant extérieurement les exigences réglementaires par le déploiement d'un schéma de tatouage numérique « prouvablement sûr », implante secrètement un backdoor dans l'encodeur du VAE. Cela permet au fournisseur de distribuer un déclencheur (trigger) universel aux utilisateurs complices. Lorsqu'une image contenant ce déclencheur est traitée par l'encodeur corrompu, la détection du tatouage est sélectivement désactivée, permettant la génération de contenus nocifs impossibles à tracer et contournant ainsi l'audit réglementaire.

Méthodologie : GhostVAE

Les auteurs proposent GhostVAE, un cadre d'attaque par backdoor à deux étapes conçu pour implanter un backdoor furtif dans l'encodeur VAE des LDM. L'attaque est conçue pour être sélective (évitant la détection uniquement lorsqu'elle est déclenchée), furtive (indétectable par les auditeurs en boîte blanche) et généralisable à travers différentes architectures de LDM et schémas de tatouage numérique.

Étape 1 : Génération du Déclencheur Universel

La première étape se concentre sur la construction d'un déclencheur ( $\delta$ ) robuste et imperceptible qui peut être appliqué à n'importe quelle image.

Objectif : Le déclencheur doit induire un effet de « renversement de signe » (sign-flip) cohérent dans l'espace latent de l'image encodée, tout en restant robuste face aux corruptions courantes et aux techniques de purification.
Optimisation : Le déclencheur est optimisé via la descente de gradient projetée (PGD) pour minimiser une fonction de perte combinant deux termes :
1. Perte de Renversement ( $L_{flip}$ ) : Encourage la représentation latente de l'image déclenchée ( $E_{bd}(x+\delta)$ ) à être l'opposé négatif du latent de l'image saine ( $E_{cl}(x)$ ). Cela perturbe les schémas de tatouage qui reposent sur le signe du latent (ex: Gaussian Shading, PRMarm) ou sur la structure de Fourier (Tree-Ring).
2. Perte de Robustesse ( $L_{robust}$ ) : Utilise une régularisation du spectre de puissance (adaptée de BlurGuard) pour aligner le spectre de puissance de l'image déclenchée avec l'originale. Ceci est réalisé en appliquant un flou gaussien apprenable au déclencheur pendant l'optimisation, garantissant que le déclencheur évite les signatures de haute fréquence que les défenses de purification (comme DiffPure) pourraient supprimer.

Étape 2 : Entraînement de l'Encodeur avec Backdoor

La seconde étape affine l'encodeur du VAE ( $E_{bd}$ ) pour répondre de manière fiable au déclencheur tout en maintenant un fonctionnement normal sur les entrées bénignes.

Apprentissage Multi-tâches : L'encodeur est entraîné pour minimiser une fonction de perte composite :
1. Perte de Fonctionnalité ( $L_{func}$ ) : Garantit que la sortie de l'encodeur sur les images saines correspond à celle de l'encodeur de référence bénin ( $E_{cl}$ ), préservant la fidélité de la génération et les taux de détection bénins.
2. Perte de Backdoor ( $L_{bd}$ ) : Impose le comportement de renversement de signe spécifiquement pour les entrées déclenchées.
3. Perte de Discrétion ( $L_{stealth}$ ) : Pour empêcher la détection dans l'espace des paramètres, les auteurs utilisent un régulariseur de Disparité de Moyenne Quadratique (MMD). Celui-ci aligne les distributions de poids par canal de l'encodeur corrompu avec celles de l'encodeur de référence bénin, empêchant la concentration du comportement de backdoor dans des neurones spécifiques qui pourraient être signalés par des défenses d'élagage (pruning) ou de clustering d'activation.

Contributions Clés

Formalisation du Modèle de Menace : L'article identifie et formalise un nouveau vecteur de menace où l'intégrité de l'encodeur VAE est compromise, sapant la fiabilité des systèmes de tatouage numérique sémantique, même si l'incorporation du tatouage elle-même est cryptographiquement saine.
Cadre d'Attaque GhostVAE : Les auteurs proposent une attaque pratique et furtive qui atteint des taux d'évasion élevés sans dégrader la qualité de l'image et sans nécessiter d'optimisation par image lors de l'inférence.
Évaluation Complète des Défenses : Ce travail fournit une évaluation rigoureuse de 17 défenses représentatives à travers les dimensions de l'espace d'entrée, de l'espace des paramètres et de l'espace latent, démontrant les limites des stratégies de mitigation actuelles face à cette menace spécifique.

Résultats Expérimentaux

Les auteurs ont évalué GhostVAE sur trois LDM de pointe (SD-2.1, SD-XL, FLUX-1.0) et trois schémas de tatouage numérique sémantique (Tree-Ring, Gaussian Shading, PRCMark).

Taux de Succès de l'Attaque (ASR) : GhostVAE a atteint un ASR moyen de 94,6 % dans toutes les configurations. Notamment, il a atteint un ASR de 100 % sur SD-2.1 sous le schéma PRCMark.
Performance Bénigne : L'attaque a préservé la détection des images tatouées bénignes, maintenant un taux de vrais positifs (TPR) moyen de 94,4 % avec un taux de faux positifs (FPR) proche de zéro.
Qualité d'Image : Le déclencheur était imperceptible, avec un impact minimal sur la fidélité visuelle (par exemple, le PSNR est resté élevé et les scores LPIPS indiquent une dégradation perceptuelle négligeable).
Comparaison avec les Attaques de Suppression : Contrairement aux attaques de suppression de tatouage existantes (ex: Embedding, Imprint, Regeneration) qui nécessitent un coût computationnel important, une optimisation itérative ou un échantillonnage de diffusion, GhostVAE opère avec une latence négligeable (environ $5 \times 10^{-5}$ s par image) et sans échantillonnage de diffusion au moment du test.

Évasion des Défenses

GhostVAE a démontré sa robustesse contre un large éventail de défenses :

Espace d'Entrée : Le déclencheur est resté efficace contre les corruptions d'images (JPEG, bruit, rotation), les techniques de purification (DiffPure) et les pipelines de réseaux sociaux (X/Twitter).
Espace des Paramètres : Les défenses basées sur l'élagage (CLP, ANP, élagage structuré) et les défenses par fine-tuning (FT, FT-SAM, I-BAU) ont échoué à supprimer le backdoor sans dégrader significativement la fonctionnalité bénigne du modèle ou les capacités de détection du tatouage.
Espace Latent : L'attaque a échappé aux détecteurs de méta-classificateurs (Jumbo MNTD), au clustering d'activation et aux tests de Kolmogorov-Smirnov, car les distributions de latents et les motifs d'activation de l'encodeur corrompu restaient statistiquement indiscernables des encodeurs bénins.

Signification et Revendications

L'article conclut que la sécurité des systèmes de tatouage numérique sémantique ne peut être garantie uniquement par des algoriths d'incorporation robustes ; les composants de réseau de neurones sous-jacents, spécifiquement l'encodeur VAE, doivent également être sécurisés. Les auteurs affirment que :

Vulnérabilité Fondamentale : La dépendance aux réseaux de neurones pour la détection crée une surface d'attaque critique et sous-explorée qui peut fondamentalement compromettre la traçabilité du contenu généré par IA.
Sécurité de Bout en Bout : Un déploiement sécurisé nécessite des considérations de sécurité de bout en bout, incluant la surveillance du pipeline d'entraînement du modèle et l'intégrité des composants VAE.
Implications Réglementaires : Les cadres réglementaires actuels se concentrant sur la présence du tatouage peuvent être insuffisants si le pipeline de détection lui-même est compromis. Les auteurs suggèrent qu'un entraînement des VAE par des tiers de confiance et des vérifications d'intégrité cryptographique des composants du modèle sont des mesures d'atténuation nécessaires.

Ce travail met en lumière un fossé entre la robustesse théorique des schémas de tatouage et leur sécurité pratique en présence de composants de modèles compromis, exhortant la communauté à traiter la sécurité de l'ensemble du pipeline de génération de modèles.