🤖 AI

Learning to Watermark in the Latent Space of Generative Models

Cet article introduit DistSeal, une approche unifiée qui entraîne des modèles de tatouage numérique post-hoc dans l'espace latent des modèles génératifs et les distille dans le générateur ou le décodeur, permettant d'obtenir un tatouage robuste, imperceptible et jusqu'à 20 fois plus rapide que les méthodes traditionnelles dans l'espace des pixels.

Auteurs originaux : Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

Publié 2026-01-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sylvestre-Alvise Rebuffi, Tuan Tran, Valeriu Lacatusu, Pierre Fernandez, Tomáš Souček, Nikola Jovanović, Tom Sander, Hady Elsahar, Alexandre Mourachko

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste magique (une IA générative) capable de peindre des images incroyablement réalistes à partir de rien. Le problème est qu'une fois ces images sorties dans le monde, il est difficile de dire si elles ont été peintes par un humain ou par une machine. Cela facilite la tâche des acteurs malveillants pour créer de fausses informations ou des deepfakes.

Pour résoudre ce problème, nous devons apposer une « signature cachée » sur ces images d'IA, comme un filigrane secret. Ce document présente une nouvelle méthode plus intelligente pour faire cela, appelée DISTSEAL.

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'ancienne méthode : Peindre la signature sur la toile

Auparavant, les gens essayaient d'ajouter des filigranes après que l'IA a fini de peindre. Imaginez que l'IA peint une image de 512x512 pixels (une immense toile). Ensuite, un outil séparé doit intervenir et griffonner soigneusement un code minuscule et invisible sur chaque pixel de cette toile terminée.

Le problème : C'est lent et lourd. C'est comme embaucher une deuxième personne pour marcher devant un tableau terminé et y ajouter une signature. Cela laisse aussi de petits « artefacts » (des bugs) qui peuvent parfois être vus ou facilement supprimés.

2. La nouvelle méthode : La cuisine de l'« Espace Latent »

Les auteurs ont réalisé qu'avant que l'IA ne peigne l'image finale, elle travaille en réalité dans une « cuisine » compressée et cachée appelée Espace Latent. Considérez cela comme un croquis grossier ou un ensemble d'instructions, beaucoup plus petit et plus simple que la peinture finale.

L'innovation : Au lieu d'attendre que la peinture soit finie, DISTSEAL place le filigrane à l'intérieur de cette cuisine cachée pendant que l'IA est encore en train de cuisiner.
Le bénéfice : Comme la « cuisine » est beaucoup plus petite que la toile finale, le processus est 20 fois plus rapide. C'est comme écrire le code secret sur la fiche de recette plutôt que d'essayer de l'écrire sur le gâteau fini.

3. Deux façons d'utiliser le code secret

Le papier montre deux manières principales d'utiliser cette nouvelle méthode :

A. La méthode du « Post-it » (Post-Hoc)
Vous pouvez toujours utiliser le système après que l'IA a généré l'image, mais au lieu de toucher la grande toile, vous touchez la petite fiche de recette (l'espace latent) avant qu'elle ne devienne une image.

Résultat : C'est incroyablement rapide et les images sont aussi belles que les originales, mais le code caché est beaucoup plus difficile à supprimer.

B. La méthode du « Intégré » (In-Model)
C'est la partie vraiment géniale. Les auteurs ont trouvé comment « enseigner » à l'artiste IA lui-même à toujours inclure le code secret pendant qu'il peint.

Comment : Ils prennent la méthode du « Post-it » et la « distillent » (comme un transfert de connaissances) directement dans le cerveau de l'IA (ses poids).
Résultat : Désormais, chaque fois que l'IA peint, le filigrane est intégré automatiquement. Vous n'avez plus besoin d'un outil séparé. Si quelqu'un essaie de copier le code de l'IA (open-source), le filigrane reste présent car il fait partie de l'ADN de l'artiste, et non d'un simple outil qu'ils peuvent supprimer.

4. Pourquoi est-ce une avancée majeure ?

Vitesse : C'est jusqu'à 20 fois plus rapide que les méthodes précédentes car cela travaille sur la petite « recette » plutôt que sur l'immense « toile ».
Discrétion : Les filigranes sont invisibles à l'œil humain et ne gâchent pas la qualité de l'art.
Durabilité : Le papier a testé ces filigranes contre des attaques telles que le recadrage, le redimensionnement, le changement de couleurs et la compression d'image. Les filigranes de l'« Espace Latent » ont bien mieux survécu à ces attaques que les anciennes méthodes de l'« Espace Pixel ».
Meilleur que la Distillation de Pixels : Les auteurs ont essayé d'enseigner à l'IA en utilisant l'ancienne méthode de « Pixel », mais cela a échoué (l'IA ne pouvait pas apprendre les motifs complexes). Cependant, lorsqu'ils ont enseigné à l'IA en utilisant la nouvelle méthode « Latente », l'IA a parfaitement appris.

Analogie de synthèse

Ancienne méthode : Un agent de sécurité se tient à la sortie d'une usine, tamponnant chaque voiture terminée avec un numéro de série caché. C'est lent, et le tampon peut s'effacer.
DISTSEAL : Les ouvriers de l'usine sont formés pour tamponner le numéro de série caché sur le plan de la voiture pendant qu'ils la construisent. Le tampon fait partie de la structure de la voiture, c'est fait instantanément, et il est presque impossible de le retirer sans détruire la voiture elle-même.

Le papier conclut que cette méthode fonctionne pour les deux types principaux de générateurs d'images par IA (modèles de diffusion et modèles autorégressifs) et offre une façon robuste, rapide et efficace de prouver qu'une image provient d'une IA.

Résumé technique : Apprendre le tatouage numérique dans l'espace latent des modèles génératifs

Problématique

L'avancement rapide des modèles génératifs (diffusion et autorégressifs) a permis la création de contenus synthétiques hautement réalistes, soulevant des préoccuprophes concernant les usages malveillants, les deepfakes et les violations de la propriété intellectuelle. Bien que le tatouage numérique invisible offre une solution pour la provenance, les approches existantes font face à des limitations significatives :

Méthodes post-hoc dans l'espace des pixels : Celles-ci modifient les images déjà générées dans l'espace des pixels. Bien que flexibles et indépendantes du modèle, elles engendrent un surcoût computationnel substantiel dû au traitement de hautes résolutions (par exemple, $512 \times 512 \times 3$ ) et introduisent de la latence. De plus, elles offrent une sécurité faible pour les déploiements en open-source, car les utilisateurs peuvent facilement les contourner en supprimant une seule ligne de code.
Méthodes intégrées au modèle : Bien que plus sécurisées, les tentatives précédentes d'intégrer des tatouages numériques directement dans les poids du modèle manquent souvent de robustesse ou nécessitent des modifications complexes du processus d'échantillonnage.

Le défi central est de développer un cadre de tatouage numérique unifié qui opère directement dans l'espace latent des modèles génératifs, permettant un tatouage intégré au modèle (incorporation du tatouage dans les poids du modèle) qui soit à la fois efficace sur le plan computationnel et robuste contre la suppression, sans introduire de pénalités de latence.

Méthodologie : DISTSEAL

Les auteurs introduisent DISTSEAL, un cadre unifié pour le tatouage dans l'espace latent, applicable à la fois aux modèles de diffusion et aux modèles autorégressifs. L'approche se compose de deux étapes principales :

1. Tatouage latent post-hoc

La première étape consiste à entraîner une paire de composants, l'encodeur et le décodeur de tatouage ( $W_\theta, E_\theta$ ), qui opère dans l'espace latent du modèle génératif plutôt que dans l'espace des pixels.

Incorporation (Embedding) : L'encodeur prend une représentation latente $z$ $z$ et un message binaire $m$ $m$ , produisant un latent tatoué $z_w = z + \epsilon W_\theta(z, m)$ $z_{w} = z + ϵ W_{θ} (z, m)$ .
- Pour les modèles de diffusion (latents continus), la perturbation est appliquée directement à $z$ .
- Pour les modèles autorégressifs (tokens discrets), l'encodeur peut opérer soit avant la quantification (modification des latents continus), soit après la quantification (modification des embeddings de tokens). Les auteurs utilisent l'estimation "straight-through" pour rétropropager à travers l'étape de quantification.
Objectif d'entraînement : Le modèle est entraîné en combinant une perte d'extraction de tatouage ( $L_w$ ) et une perte de discriminateur ( $L_{disc}$ ) appliquée dans l'espace des pixels pour garantir l'imperceptibilité. Contrairement à certains travaux antérieurs, les auteurs évitent les pertes de reconstruction ou perceptuelles pour l'encodeur, s'appuyant plutôt sur la force du tatouage $\epsilon$ et le discriminateur pour contraindre la sortie.
Augmentation : L'entraînement implique diverses augmentations de métriques de valeurs, géométriques et de compression pour simuler les éditions par les utilisateurs et assurer la robustesse.

2. Distillation pour le tatouage intégré au modèle

La seconde étape consiste à distiller le tatouage latent post-hoc entraîné dans le modèle génératif lui-même ou dans son décodeur latent, éliminant ainsi le besoin d'une étape de post-traitement distincte.

Distillation dans le modèle génératif : Le modèle génératif pré-entraîné (transformer de diffusion ou transformer autorégressif) est affiné pour reconstruire ou prédire les latents tatoués $z_w$ au lieu des latents propres originaux $z$ . Cela force le modèle à générer intrinsèquement des sorties tatouées.
Distillation dans le décodeur latent : Le décodeur latent $D$ est affiné pour reconstruire des images tatouées à partir de latents non tatoués. La fonction de perte combine une perte de reconstruction ( $L_{rec}$ ) et une perte d'extraction de tatouage ( $L_w$ ) pour guider le décodeur afin qu'il produise des sorties contenant le signal de tatouage.

Contributions clés

Cadre unifié (DISTSEAL) : Une approche unique qui gère à la fois les espaces latents continus (modèles de diffusion) et les séquences de tokens discrets (modèles autorégressifs).
Efficacité et robustesse : La méthode permet une accélération allant jusqu'à 20× de l'inférence par rapport aux bases de référence dans l'espace des pixels en opérant sur des représentations latentes compressées (par exemple, $8 \times 8 \times 128$ contre $512 \times 512 \times 3$ ), tout en maintenant une robustesse compétitive face aux diverses attaques.
Distillation efficace : Les auteurs démontrent que les tatouages latents peuvent être efficacement distillés dans les poids du modèle. Crucialement, ils montrent que la distillation des tatouages latents surpasse la distillation des tatouages dans l'espace des pixels. Les tatouages dans l'espace des pixels échouent souvent à se distiller dans les décodeurs latents en raison de la difficulté de reconstruire des perturbations à haute fréquence, tandis que les perturbations latentes sont plus structurées et plus faciles à apprendre pour le décodeur.
Analyse complète : Le document fournit une étude détaillée des compromis entre les méthodes post-hoc et intégrées, de la compatibilité du multi-tatouage et de l'oubli du tatouage (sensibilité au fine-tuning LoRA).

Résultats expérimentaux

Les auteurs ont évalué DISTSEAL sur DCAE (un modèle de diffusion) et RAR-XL (un modèle autorégressif).

Performance post-hoc : Le tatouage latent a atteint une précision de bit moyenne de 95,18 % (DCAE) et 93,96 % (RAR-XL) sous attaques combinées, comparable aux bases de référence dans l'espace des pixels (respectivement 97,78 % et 97,27 %). La qualité visuelle (FID) est restée élevée, avec une dégradation minimale.
Performance intégrée (Distillation) :
- Distillation du décodeur latent : La distillation du tatouage latent dans le décodeur a atteint une précision de bit moyenne de 96,77 % (DCAE) et 90,57 % (RAR-XL), surpassant souvent le modèle post-hoc enseignant. En revanche, la distillation des tatouages de l'espace des pixels a entraîné une robustesse nettement inférieure (par exemple, 65,69 % pour DCAE) et un FID plus élevé.
- Distillation du modèle génératif : Le fine-tuning direct du modèle génératif a produit des résultats robustes (94,78 % pour DCAE, 89,13 % pour RAR-XL) avec une qualité visuelle légèrement supérieure à la distillation du décodeur.
Vitesse : L'approche latente a fourni une accélération de 20× pour DCAE et de 2,4× pour RAR-XL par rapport aux méthodes de l'espace des pixels.
Limitations observées :
- Oubli du tatouage : Les modèles génératifs distillés sont susceptibles d'oublier le tatouage lorsqu'ils sont affinés sur des données non tatouées (par exemple, via LoRA), tandis que les décodeurs distillés restent robustes à ces changements.
- Attaques fortes : La méthode n'est pas encore totalement robuste contre les transformations géométriques très fortes, une limitation que les auteurs reconnaissent.

Signification et revendications

Le document affirme que DISTSEAL offre une solution pratique et efficace pour intégrer des tatouages numériques robustes directement dans les modèles génératifs. En déplaçant le tatouage de l'espace des pixels vers l'espace latent, les auteurs parviennent à :

Réduction de la charge : Économies de calcul significatives et réduction de la latence, rendant le déploiement en temps réel ou à grande échelle plus faisable.
Sécurité accrue pour l'Open Source : En intégrant le tatouage dans les poids du modèle (via la distillation), le tatouage ne peut pas être désactivé trivialement par la simple suppression d'un script de post-traitement, répondant ainsi à une faille de sécurité critique dans les publications de modèles en open-source.
Distillation supérieure : La conclusion selon laquelle les tatouages latents se distillent plus efficacement que les tatouages de l'espace des pixels suggère un nouveau paradigme pour créer des modèles génératifs "tatoués par conception" qui maintiennent une haute fidélité et une grande robustesse.

Les auteurs positionnent ce travail comme une étape vers des mécanismes de provenance fiables pour le contenu généré par IA, équilibrant le besoin de responsabilité avec la préservation de la qualité du contenu et de la vitesse de génération. Ils notent que bien que la méthode soit robuste, elle n'est pas immunisée contre la suppression, et que les travaux futurs exploreront la combinaison du tatouage latent avec des méthodes de synchronisation post-hoc pour gérer les attaques géométriques plus puissantes.