ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models

Le papier présente ShapeMark, une méthode de filigrane robuste pour les modèles de diffusion qui encode les bits d'information dans des motifs de bruit structurés plutôt que dans des valeurs individuelles, permettant ainsi de concilier une forte résilience aux altérations et le maintien de la diversité des images générées.

L'essentiel

🎨 Le Problème : L'Art Généré et la Signature Oubliée

Imaginez que vous avez un robot artiste (un modèle de diffusion) capable de peindre des tableaux magnifiques en quelques secondes. C'est génial ! Mais il y a un gros souci : si quelqu'un vole votre tableau, le modifie un peu (le recadre, change la luminosité, le compresse pour l'envoyer par email) et le revend comme le sien, comment prouver que c'est votre création ?

Les méthodes actuelles pour marquer ces images (comme un tatouage invisible) ont deux gros défauts :

1. Elles sont fragiles : Si on touche un seul pixel de l'image, le "tatouage" disparaît ou devient illisible. C'est comme écrire un message à la craie sur un tableau noir qu'on essuie légèrement.
2. Elles tuent la créativité : Pour que le tatouage soit lisible, le robot doit peindre de la même manière à chaque fois. Résultat : toutes les images se ressemblent, ce qui est ennuyeux et limite la diversité.

💡 La Solution : ShapeMark (La Marque de Forme)

Les auteurs proposent une nouvelle méthode appelée ShapeMark. Au lieu de cacher un message dans la couleur d'un pixel, ils le cachent dans la forme globale du bruit initial utilisé pour créer l'image.

Voici comment ça marche, avec une analogie simple :

1. L'Analogie du Puzzle Magique 🧩

Imaginez que pour créer une image, le robot commence par un grand tas de pièces de puzzle mélangées (c'est le "bruit").

• Les anciennes méthodes (Encodage par Valeur) : Elles essaient de marquer chaque pièce individuellement. Si vous écrivez "A" sur une pièce, et qu'on frotte cette pièce (compression, flou), le "A" s'efface. C'est trop fragile.
• La méthode ShapeMark (Encodage Structurel) : Au lieu d'écrire sur les pièces, on les réorganise.
  • On prend le tas de pièces et on les trie par taille (les plus petites ici, les plus grosses là).
  • On crée des groupes de pièces.
  • Pour cacher un message (par exemple "C'est mon image"), on ne change pas la couleur des pièces, on change juste l'ordre dans lequel elles sont empilées dans chaque groupe.
  • Le génie : Même si on frotte l'image, on peut toujours voir quel groupe de pièces est au-dessus de quel autre. L'ordre relatif reste visible même si les pièces sont un peu abîmées. C'est comme si le message était écrit dans la structure du puzzle, pas sur les pièces elles-mêmes.

2. Le Secret de la Diversité : Le "Brouilleur" (PDSR) 🎲

Il y a un deuxième problème : si on utilise toujours la même règle pour réorganiser les pièces, toutes les images finissent par avoir la même "structure" cachée, ce qui les rend reconnaissables et moins variées.

ShapeMark ajoute une étape magique appelée PDSR (Randomisation Structurelle) :

• Imaginez que vous avez réorganisé vos pièces pour cacher le message.
• Avant de commencer à peindre l'image, vous prenez un dé à jouer (une clé publique) et vous mélangez à nouveau l'ordre des pièces, mais d'une manière réversible.
• Résultat : Le message est toujours là (parce qu'on peut le retrouver en faisant l'inverse du mélange), mais l'image finale est unique et différente à chaque fois.
• C'est comme si vous écriviez une lettre, puis vous la mettiez dans une enveloppe que vous secouez aléatoirement. Le contenu est intact, mais l'enveloppe a une forme différente à chaque fois. Cela préserve la beauté et la diversité de l'œuvre.

🛡️ Pourquoi c'est si fort ?

1. Robustesse extrême : Comme le message est basé sur la "forme" et l'ordre des groupes de bruit, il résiste à presque tout : compression JPEG, recadrage, changement de luminosité, ou même du bruit ajouté. C'est comme essayer de cacher un secret dans l'architecture d'un bâtiment : même si on repeint les murs ou qu'on change les fenêtres, la structure du bâtiment reste la même.
2. Qualité intacte : Puisqu'on ne modifie jamais la couleur ou la valeur des pixels (juste leur ordre dans le processus de création), l'image reste parfaite. On ne perd aucune qualité visuelle.
3. Diversité préservée : Grâce au mélange aléatoire (PDSR), on peut générer des milliers d'images différentes avec le même message caché, sans que l'œil humain ne remarque de différence.

🏁 En Résumé

ShapeMark est comme un système de sécurité invisible pour l'art généré par IA.

• Au lieu de coller une étiquette fragile sur l'image, il restructure le processus de création pour y intégrer un message.
• Il utilise un code secret (l'ordre des pièces de puzzle) que seul le propriétaire connaît.
• Il ajoute un mélange aléatoire pour s'assurer que chaque image est unique et belle, tout en gardant la preuve de propriété.

C'est une solution qui protège les droits d'auteur sans sacrifier la beauté ni la créativité des images générées par l'intelligence artificielle.

Résumé technique

1. Problématique

Les modèles de diffusion ont révolutionné la synthèse d'images de haute qualité, mais leur adoption massive a soulevé des défis critiques en matière de propriété intellectuelle et de traçabilité du contenu. Bien que le filigranage (watermarking) soit une solution prometteuse, les méthodes existantes, en particulier celles basées sur le concept de Noise-as-Watermark (NaW) (où l'information est encodée dans le bruit initial), souffrent d'un compromis difficile à gérer entre :

• La robustesse : La capacité à détecter le filigrane après des transformations destructrices (compression, recadrage, bruit) ou une inversion imparfaite du processus de diffusion.
• La diversité de génération : La capacité du modèle à produire des images variées et non répétitives.

Les méthodes NaW actuelles reposent souvent sur un encodage par valeur, où les bits du filigrane sont mappés sur des valeurs individuelles de bruit (par exemple, en contraignant leur signe ou leur amplitude). Cette approche est fragile car elle dépend de la récupération précise de ces valeurs, ce qui est impossible dans des scénarios réels où le bruit est perturbé. De plus, l'encodage répété pour renforcer la robustesse tend à créer des motifs fixes, réduisant la diversité des images générées et rendant les artefacts perceptibles.

2. Méthodologie : ShapeMark

ShapeMark propose une approche novatrice qui encode l'information non pas dans les valeurs individuelles du bruit, mais dans la structure relative du motif de bruit. La méthode se compose de deux étapes principales :

A. Encodage Structurel (Structural Encoding - SE)

Au lieu de modifier les valeurs du bruit latent, SE réorganise leur position pour encoder les bits du filigrane.

1. Construction de modèles guidés par la séparabilité :
   • Les éléments du bruit latent sont d'abord classés par magnitude (ordre statistique).
   • Ils sont divisés en "bins" (intervalles) basés sur les quantiles.
   • Ces bins sont regroupés en blocs, puis alignés en "groupes" transversaux.
2. Encodage par permutation :
   • Pour chaque groupe, une permutation spécifique des blocs est appliquée selon le message à encoder (le payload).
   • L'information est donc portée par l'ordre relatif des blocs (la "forme" de la structure) plutôt que par les valeurs absolues.
   • Avantage : Même si les valeurs individuelles sont perturbées par du bruit ou des distorsions, l'ordre relatif des blocs au sein d'un groupe reste statistiquement stable, garantissant une robustesse élevée.

B. Randomisation Structurelle de Débiaisage de Charge (Payload-Debiasing Structural Randomization - PDSR)

Pour résoudre le problème de la perte de diversité (les mêmes messages créant les mêmes motifs spatiaux), ShapeMark introduit une étape de randomisation.

• Principe : Après l'encodage SE, une permutation globale aléatoire des blocs est appliquée. Cette permutation dépend d'une clé publique (un "nonce" par image) mais est indépendante du contenu du message (payload).
• Fonctionnement : Cela brise le lien direct entre le message spécifique et la position spatiale fixe dans l'image. Le même filigrane peut donc correspondre à de multiples réalisations de bruit différentes.
• Inversibilité : La permutation est exactement réversible si l'on connaît le nonce et la clé secrète, permettant au vérificateur de reconstruire la structure originale pour la détection.

3. Contributions Clés

1. Encodage Structurel (SE) : Passage d'un encodage par valeur (fragile) à un encodage par structure (robuste). La vérification repose sur la récupération de permutations de groupes, résistant aux perturbations locales.
2. PDSR : Une stratégie légère qui préserve la diversité de génération en évitant les motifs spatiaux fixes induits par le filigrane, sans altérer la distribution des valeurs ni les poids du modèle.
3. Performance Équilibrée : La méthode atteint un état de l'art (SOTA) en matière de robustesse tout en maintenant une haute qualité visuelle et une grande diversité de génération, contrairement aux méthodes précédentes qui sacrifiaient l'un pour l'autre.

4. Résultats Expérimentaux

Les expériences ont été menées sur Stable Diffusion v2.1 avec des tests de robustesse contre neuf types de distorsions (compression JPEG, recadrage, bruit gaussien, flou, etc.) et une inversion de diffusion imparfaite.

• Robustesse : ShapeMark atteint un taux de vrais positifs (TPR) de 99,9 % (à un taux de faux positifs de $10^{-6}$) même sous des distorsions importantes. Il maintient une précision de récupération de payload de 98,7 % après attaque, surpassant toutes les méthodes de référence (Tree-Ring, Gaussian Shading, T2SMark, etc.).
• Diversité : Avec un score LPIPS de 0,7338, ShapeMark préserve la meilleure diversité de génération parmi toutes les méthodes testées, éliminant le biais visuel souvent associé aux filigranes.
• Qualité Visuelle : Les scores CLIP et FID restent compétitifs par rapport au modèle de base sans filigrane, confirmant que la méthode est imperceptible.
• Évolutivité : La méthode reste robuste même avec des charges utiles élevées (jusqu'à 2048 bits), bien que la précision diminue légèrement avec l'augmentation de la capacité.

5. Signification et Impact

ShapeMark représente une avancée majeure pour la sécurité des modèles de génération d'images :

• Praticité : En ne modifiant pas les poids du modèle et en s'intégrant naturellement dans le pipeline de diffusion (au niveau du bruit), elle est facilement déployable sur divers modèles et configurations.
• Fiabilité : Sa robustesse face aux attaques courantes et à l'inversion imparfaite en fait un outil viable pour la vérification de provenance dans des environnements réels (réseaux sociaux, plateformes de contenu).
• Éthique et Gouvernance : En permettant une identification fiable et diversifiée des contenus générés par IA, ShapeMark aide à lutter contre la désinformation, le plagiat et l'usurpation d'identité, tout en respectant la liberté créative (diversité) des modèles.

En conclusion, ShapeMark résout le dilemme fondamental du filigranage des modèles de diffusion en prouvant qu'il est possible d'obtenir une robustesse extrême sans sacrifier la diversité ni la qualité des images générées.