Résumé technique : Filigranage par guidage pour les modèles de diffusion

Énoncé du problème

L'avancement rapide des modèles de diffusion a permis la génération d'images de haute qualité et photoréalistes, soulevant des préoccupations majeures concernant la traçabilité et l'identification des contenus générés par l'IA. Les organismes de régulation et les acteurs de l'industrie nécessitent des mécanismes robustes pour distinguer les médias synthétiques des images réelles, afin de prévenir l'effondrement des modèles (causé par l'entraînement sur des données générées par l'IA) et d'avertir les utilisateurs quant au caractère non réel du contenu.

Les stratégies de filigranage existantes pour les modèles de diffusion relèvent généralement de deux catégories, toutes deux présentant des limites :

1. Filigranage a posteriori : Intégration d'un signal dans l'image après sa génération. Bien que matures, ces méthodes traitent l'image générée comme un « hôte » et échouent souvent à intégrer le filigrane dans le contenu sémantique du processus de génération, limitant potentiellement la robustesse.
2. Filigranage pendant la génération : Modification du processus de génération lui-même. Les approches actuelles incluent :
   • Méthodes basées sur la graine (par exemple, Tree-Rings, Gaussian Shading) : Intégration de motifs dans la graine de bruit initiale. Ces méthodes peinent souvent face aux attaques géométriques (par exemple, recadrage, rotation) et peuvent altérer le contenu sémantique ou la composition de l'image.
   • Méthodes basées sur le VAE (par exemple, Stable Signature) : Affinage du Variational Autoencoder (VAE) à la fin du processus de diffusion. Bien qu'efficaces, ces méthodes concentrent l'énergie du filigrane sur les détails haute fréquence, les rendant vulnérables au filtrage passe-bas (par exemple, compression JPEG). De plus, elles nécessitent un réentraînement ou un affinage du modèle.

Un défi critique subsiste : convertir des schémas de filigranage a posteriori robustes en méthodes de filigranage pendant la génération, sans réentraîner le modèle de diffusion ni le décodeur de filigrane, tout en maintenant la qualité et la diversité de l'image.

Méthodologie

L'article propose le Guidance Watermarking (Filigranage par guidage), une méthode qui intègre des filigranes durant le processus de diffusion en guidant la trajectoire d'échantillonnage à l'aide de gradients issus d'un décodeur de filigrane prêt à l'emploi.

Mécanisme central

La méthode traite le décodeur de filigrane comme un classifieur différentiable. Au lieu de générer une image puis de vérifier la présence d'un filigrane, le processus de diffusion est orienté pour générer des images que le décodeur identifie intrinsèquement comme filigranées.

1. Guidage basé sur les gradients :
   L'étape de débruitage standard $\epsilon_\theta(z_t, t)$ est modifiée en soustrayant un terme proportionnel au gradient d'une fonction de perte $L$ par rapport au latent $z_t$ :
   $$\hat{\epsilon}(z_t, t) := \epsilon_\theta(z_t, t) - \omega \sqrt{1 - \bar{\alpha}_t} \nabla_{z_t} \log L(z_t)$$
   Ici, $\omega$ contrôle la force du guidage.

2. Fonction de perte :
   La perte $L$ est définie pour minimiser l'angle entre le vecteur de caractéristiques extrait de l'image générée $\phi(x_0(z_t))$ et le vecteur de filigrane secret $u_m$. Pour la détection à zéro bit, cela équivaut à maximiser la similarité cosinus :
   $$L(z_t, u_m) := 1 - \cos(\phi(x_0(z_t)), u_m)$$
   La minimisation de cette perte réduit la valeur p pour une image filigranée, augmentant ainsi la probabilité de détection.

3. Robustesse par augmentation :
   Pour assurer une robustesse face aux attaques pour lesquelles le décodeur n'a pas été initialement entraîné, le calcul du gradient intègre un ensemble de transformations d'images $\mathcal{T}$ (par exemple, compression JPEG, ajustements de luminosité/contraste, recadrage). Les gradients de ces vues augmentées sont agrégés (en utilisant l'algorithme PCGrad pour gérer les directions de gradients conflictuelles) afin de mettre à jour l'estimation du bruit :
   $$\hat{\epsilon}_{\mathcal{T}}(z_t) := \epsilon_\theta(z_t) - \sqrt{1 - \bar{\alpha}_t} \text{Agg}(\{\nabla_{z_t} \log L(z_t, u_m; T) \mid T \in \mathcal{T}\})$$
   Cela permet à la méthode d'hériter de la robustesse du décodeur pré-entraîné et de l'étendre à de nouvelles transformations sans réentraîner le décodeur.

4. Optimisations :

   • Guidage partiel : Le guidage est appliqué uniquement durant les $T_w$ dernières étapes du processus de diffusion pour réduire le coût computationnel.
   • Recadrage des gradients : Pour prévenir les artefacts visuels, la norme du gradient est recadrée et la force du guidage est contrôlée via des hyperparamètres ($\omega, \eta, \tau$).

Contributions clés

1. Premier filigranage pendant la génération basé sur le guidage : L'article présente la première méthode intégrant des filigranes directement dans le processus de diffusion à l'aide d'un guidage par gradient, convertissant ainsi tout schéma a posteriori en une méthode pendant la génération.
2. Aucun réentraînement requis : La méthode ne nécessite ni l'affinage du modèle de diffusion ni celui du décodeur de filigrane. Elle utilise des décodeurs existants et prêts à l'emploi.
3. Robustesse améliorée : En intégrant des augmentations dans le calcul du gradient, la méthode améliore la robustesse face aux attaques (y compris celles pour lesquelles le décodeur n'a pas été entraîné) sans réentraîner le détecteur.
4. Compromis équilibré : L'approche établit un équilibre entre les schémas basés sur la graine (qui altèrent le contenu sémantique) et les schémas basés sur le VAE/a posteriori (qui ajoutent des signaux invisibles). Elle préserve la diversité sémantique et la qualité de la génération tout en intégrant le filigrane.

Résultats expérimentaux

La méthode a été évaluée sur trois modèles de diffusion (Stable Diffusion 2, Flux-1.0, Sana) en utilisant deux détecteurs de pointe (Stable Signature et VideoSeal).

• Qualité de l'image : Les métriques quantitatives (FID, score CLIP) montrent que les images filigranées sont qualitativement indiscernables des images non filigranées. L'inspection visuelle confirme que le contenu sémantique, le ton et la composition restent largement préservés, contrairement aux changements drastiques observés dans certaines méthodes basées sur la graine.
• Robustesse (Multi-bit et Zéro-bit) :
  • Attaques géométriques : La méthode surpasse nettement les schémas basés sur la graine (Tree-Rings, Gaussian Shading) face aux attaques géométriques telles que le recadrage et la rotation, héritant de la robustesse des décodeurs pré-entraînés.
  • Attaques valuométriques : Elle maintient une haute robustesse face à la compression JPEG et aux changements de luminosité/contraste.
  • Attaques adverses : La méthode démontre une robustesse supérieure face à la purification par VAE, la régénération et les attaques moyennes par rapport à Tree-Rings et Gaussian Shading.
• Taux de fausses alarmes : La méthode atteint des taux de fausses alarmes extrêmement faibles (haut $-\log_{10}(PFA)$) à des probabilités de détection élevées ($PD=0.9$), surpassant à la fois les méthodes a posteriori et les autres bases de référence pendant la génération.
• Efficacité : Bien que la génération nécessite 2 à 13 étapes supplémentaires, le décodage est instantané (passage avant unique), rendant la détection jusqu'à 50 fois plus rapide par rapport aux méthodes basées sur la graine qui nécessitent des étapes de diffusion inverse.

Importance et revendications

L'article affirme que le Guidance Watermarking offre une solution principielle et modulaire pour sécuriser l'IA générative. Sa signification principale réside dans :

• Complémentarité : Il fonctionne en parallèle des techniques existantes (comme l'affinage VAE) et peut être appliqué à n'importe quel modèle de diffusion sans modifications architecturales.
• Adaptabilité : Il permet le déploiement immédiat d'un filigranage robuste en tirant parti de décodeurs existants et bien entraînés, évitant ainsi le processus intensif en ressources consistant à réentraîner des modèles ou des décodeurs pour de nouveaux vecteurs d'attaque.
• Praticité : En préservant la qualité et la diversité de l'image tout en assurant une haute détectabilité et de faibles faux positifs, il répond au besoin critique de traçabilité des contenus IA dans les contextes réglementaires et de sécurité.

Les auteurs reconnaissent certaines limites, notant que la robustesse dépend du contenu visuel de l'image générée et que le temps de génération augmente légèrement. Cependant, ils soulignent que le compromis est favorable étant donné l'élimination des exigences de réentraînement et les gains significatifs en termes de vitesse de détection et de robustesse.