Shallow Diffuse: Robust and Invisible Watermarking through Low-Dimensional Subspaces in Diffusion Models

1. Problématique

L'essor des modèles de diffusion génératifs (comme Stable Diffusion, DALL-E) a soulevé des préoccupations majeures concernant la désinformation, le piratage de droits d'auteur et l'effondrement des modèles (model collapse) dû à l'entraînement sur du contenu généré par l'IA. Le filigrane numérique (watermarking) est une solution cruciale pour identifier le contenu généré par l'IA.

Cependant, les méthodes existantes présentent des limites importantes :

• Scénario Serveur vs Utilisateur : La plupart des méthodes récentes (ex: Tree-Ring, RingID) nécessitent l'accès à la graine aléatoire initiale (scénario serveur) et intègrent le filigrane directement dans le processus d'échantillonnage. Elles échouent souvent dans le scénario utilisateur (post-traitement d'une image existante).
• Incohérence (Consistency) : Les méthodes qui modifient la distribution du bruit initial ou le processus de génération dénaturent souvent l'image, réduisant sa qualité visuelle et sa fidélité par rapport au prompt.
• Robustesse : Les filigranes traditionnels sont souvent vulnérables aux attaques simples (flou, compression, recréation par diffusion).

L'objectif est de développer une méthode de filigrane robuste, invisible, cohérente (ne dégradant pas l'image) et applicable à la fois en mode serveur (lors de la génération) et utilisateur (post-traitement), sans nécessiter de réentraînement du modèle.

2. Méthodologie : Shallow Diffuse

Shallow Diffuse propose une approche novatrice qui découple l'insertion du filigrane du processus de génération de l'image. Cette méthode s'appuie sur deux propriétés empiriques clés des modèles de diffusion :

A. Fondements Théoriques

1. Linéarité Locale : Le prédicteur de la moyenne a posteriori (PMP) du modèle de diffusion, noté $f_{\theta,t}(x_t)$, présente une forte linéarité locale sur une grande partie des étapes de temps.
2. Basse Dimensionnalité Intrinsèque : La matrice Jacobienne de ce prédicteur, $J_{\theta,t}$, est de faible rang (low-rank) dans une plage spécifique d'étapes de temps (généralement entre $0.2T$ et $0.7T$). Cela signifie que l'espace des données pertinentes occupe un sous-espace de dimension bien inférieure à la dimension totale de l'image.

B. Le Principe de Découplage

L'idée centrale est d'injecter le filigrane dans un sous-espace de faible dimension spécifique à une étape de temps $t^*$ choisie (par exemple $t^* = 0.3T$).

• Injection dans le Noyau (Null Space) : En exploitant la faible dimensionnalité, une grande partie du signal du filigrane se retrouve dans le noyau (null space) de la matrice Jacobienne $J_{\theta,t^*}$.
• Conséquence : Puisque $J_{\theta,t^*} \cdot \Delta x \approx 0$ pour la majorité du vecteur de perturbation $\Delta x$, l'ajout du filigrane n'affecte presque pas la prédiction de l'image finale $x_0$. Le processus de génération reste cohérent, tandis que le filigrane est préservé dans le terme résiduel du processus de diffusion.

C. Implémentation Technique

• Conception du Filigrane : Le filigrane est injecté dans le domaine fréquentiel (hautes fréquences) via une transformation de Fourier discrète (DFT). Contrairement aux méthodes précédentes qui modifient les basses fréquences (causant des artefacts visibles), Shallow Diffuse cible les hautes fréquences (détails fins) pour minimiser la distorsion visuelle.
• Scénarios d'Application :
  • Serveur : On part du bruit initial $x_T$, on avance jusqu'à $t^*$ via le processus CFG/DDIM, on ajoute le filigrane, puis on génère l'image finale.
  • Utilisateur : On part d'une image générée $x_0$, on utilise l'inversion DDIM pour remonter à $t^*$, on ajoute le filigrane, puis on redescend vers $x_0$.
• Détection : Pour détecter le filigrane, on applique l'inversion DDIM sur l'image suspecte pour retrouver l'état à $t^*$, puis on compare les composantes fréquentielles avec la clé de filigrane connue.

3. Contributions Clés

1. Découplage Théorique : Première méthode à démontrer théoriquement et empiriquement que l'exploitation du sous-espace de faible rang permet de séparer l'insertion du filigrane de la génération de l'image, garantissant une cohérence élevée.
2. Polyvalence (Flexibilité) : La méthode fonctionne sans modification de modèle (training-free) et s'applique aussi bien aux scénarios de génération (serveur) qu'aux scénarios de post-traitement (utilisateur), comblant une lacune majeure des travaux précédents.
3. Garanties Théoriques : Les auteurs fournissent des bornes théoriques (Théorèmes 1 et 2) prouvant que l'erreur de cohérence est bornée par le rang de la matrice Jacobienne (qui est faible) et que le filigrane reste détectable avec une haute probabilité.
4. Performance Équilibrée : Contrairement aux méthodes qui sacrifient la qualité de l'image pour la robustesse, Shallow Diffuse offre un compromis optimal.

4. Résultats Expérimentaux

Les expériences ont été menées sur Stable Diffusion 2.1, MS-COCO et DiffusionDB, comparant Shallow Diffuse à des méthodes de référence (Tree-Ring, RingID, Gaussian Shading, etc.).

• Cohérence (Consistency) :
  • Shallow Diffuse obtient les meilleurs scores de cohérence (PSNR, SSIM, LPIPS) parmi toutes les méthodes basées sur la diffusion.
  • Dans le scénario utilisateur, il s'approche de la limite supérieure théorique (l'erreur d'inversion DDIM seule), surpassant nettement Tree-Ring et RingID qui dégradent fortement l'image.
• Robustesse :
  • Le modèle résiste exceptionnellement bien aux attaques de distorsion (compression JPEG, flou, bruit), de régénération (purification par diffusion, compression VAE) et d'attaques adverses.
  • Il obtient des taux de vrais positifs (TPR@1%FPR) comparables aux méthodes les plus robustes (comme Gaussian Shading) tout en maintenant une qualité d'image bien supérieure.
• Comparaison avec ROBIN :
  • Par rapport à ROBIN (une méthode basée sur l'optimisation), Shallow Diffuse offre une qualité d'image nettement supérieure (PSNR ~35.5 contre ~24.6) tout en conservant une robustesse compétitive sur la plupart des attaques courantes, le tout sans temps de calcul supplémentaire pour l'optimisation.

5. Signification et Impact

Shallow Diffuse représente une avancée significative dans le domaine de la sécurité des IA génératives :

• Praticité : Étant "training-free" (ne nécessite pas de réentraînement du modèle), elle peut être déployée immédiatement sur n'importe quel modèle de diffusion existant.
• Équilibre Qualité/Robustesse : Elle résout le dilemme classique où la robustesse se fait au détriment de la qualité visuelle, rendant le filigrane invisible et indétectable par l'œil humain tout en étant résistant aux manipulations.
• Standardisation Potentielle : Sa capacité à fonctionner dans les deux scénarios (serveur et utilisateur) en fait un candidat idéal pour les futurs standards de traçabilité du contenu généré par l'IA, permettant de protéger les droits d'auteur et de lutter contre la désinformation sans altérer l'expérience utilisateur.

En résumé, Shallow Diffuse utilise la géométrie intrinsèque des modèles de diffusion (sous-espaces de faible dimension) pour créer un filigrane "profond" et robuste qui survit aux transformations de l'image tout en restant invisible.