Résumé Technique : SafeMark pour l'Édition d'Images Guidée par le Texte avec Préservation du Filigrane

Énoncé du Problème

Les avancées rapides des modèles texte-vers-image (par exemple, Stable Diffusion, DALL-E 3) ont permis une édition d'images puissante et pilotée par la sémantique via un débruitage itératif. Bien que le filigrane invisible d'images soit établi comme un outil critique pour la vérification de la propriété et le suivi de la provenance dans la génération statique, sa robustesse sous l'édition par diffusion guidée par le texte reste largement inexplorée.

Les méthodes existantes de filigranes robustes (par exemple, HiDDeN, VINE, SleeperMark) utilisent généralement un paradigme de défense adversaire, entraînant des encodeurs contre des distorsions prédéfinies (JPEG, redimensionnement) ou des comportements d'édition spécifiques. Cependant, l'article démontre que ces méthodes échouent à se généraliser à travers divers éditeurs de diffusion hétérogènes. Lorsque les images sont éditées à l'aide d'éditeurs guidés par le texte comme DiffusionCLIP, Asyrp ou Eff-Diff, la précision des bits du filigrane se dégrade considérablement (par exemple, passant d'environ 0,99 à environ 0,30 dans certains cas). La question de recherche centrale est : Les images filigranées peuvent-elles rester modifiables sans compromettre l'intégrité du filigrane ? L'article soutient que les filigranes « robustes » actuels dépendent de l'éditeur et qu'une nouvelle approche est nécessaire pour imposer l'intégrité pendant le processus d'édition lui-même.

Méthodologie : SafeMark

Les auteurs proposent SafeMark, un cadre qui traite la préservation du filigrane comme un objectif explicite au sein du processus d'optimisation de l'édition d'images, plutôt que de compter uniquement sur la robustesse intrinsèque du filigrane.

1. Formulation du Problème

SafeMark formule l'édition avec préservation du filigrane comme un problème d'optimisation sous contraintes. Étant donné une image filigranée $x_{orig}$ avec le message $w$, un éditeur $E_\theta$ et un prompt $p$, l'objectif est de trouver les paramètres $\theta^*$ qui minimisent la perte sémantique tout en satisfaisant une contrainte de précision du filigrane :
$$\min_\theta \mathbb{E}[L_{sem}(x_{edit}, x_{ref})] \quad \text{s.t.} \quad \text{Acc}(\hat{w}, w) \geq \tau$$
où $x_{edit} = E_\theta(x_{orig}, p)$, $\hat{w}$ est le filigrane décodé, et $\tau$ est un seuil de précision cible.

2. Fondement Théorique de l'Information

L'article fournit une justification théorique pour l'optimisation directe de la précision des bits.

• Limite de l'Information Mutuelle : La récupérabilité du filigrane est bornée par l'information mutuelle $I_\theta(W; X_e)$ préservée par le canal de l'éditeur.
• Précision des Bits comme Substitut : Les auteurs prouvent (via l'inégalité de Fano et le Lemme 1) que le maintien d'une précision moyenne des bits $\bar{a}$ élevée borne inférieurement cette information mutuelle. Plus précisément, imposer $\bar{a} \geq \tau$ garantit un niveau minimum de préservation de l'information requis pour la récupération.

3. Fonction Objectif d'Entraînement et Pénalité à Charnière

Puisque la précision des bits binaires n'est pas différentiable, SafeMark assouplit la contrainte en utilisant une pénalité à charnière seuillée sur un substitut différentiable (type perte de Brier) :
$$L_{wm} = \max(0, \tau - \hat{g}_{Acc}(\hat{w}, w))$$
où $\hat{g}_{Acc}$ est une approximation lisse de la précision des bits. L'objectif d'entraînement total combine la fidélité sémantique et la préservation du filigrane :
$$L_{total} = \lambda_{sem} L_{sem} + \lambda_{wm} L_{wm}$$

• Alignement Sémantique : Pour garantir que l'édition reste fidèle à l'intention de l'utilisateur, une édition de référence $x_{ref}$ est générée à l'aide d'un éditeur pré-entraîné et figé $E_{\theta_0}$. La perte sémantique $L_{sem}$ encourage la sortie de l'éditeur entraînable à rester proche de cette référence (distance $L_1$).
• Architecture : SafeMark ne nécessite aucune modification architecturale de l'éditeur de diffusion sous-jacent. Il fonctionne en affinant les paramètres de l'éditeur $\theta$ tout en maintenant l'encodeur/décodeur de filigrane fixe. Les gradients ne circulent que par la sortie débruitée finale.

Contributions Clés

1. Identification Empirique de la Dépendance à l'Éditeur : L'article démontre que les méthodes existantes de filigranes robustes échouent à se généraliser à travers différents pipelines d'édition guidée par le texte, les performances variant considérablement selon l'éditeur spécifique utilisé.
2. Fondement Théorique : Il établit une base informationnelle pour l'édition avec préservation du filigrane, montrant que la précision des bits est un substitut traitable pour la préservation de l'information mutuelle, justifiant ainsi l'utilisation d'objectifs à pénalité à charnière.
3. Cadre SafeMark : Une méthode novatrice qui intègre la supervision du filigrane directement dans l'objectif d'édition, atteignant une récupération de filigrane quasi parfaite (précision des bits $\approx 1,0$) à travers divers éditeurs et jeux de données sans sacrifier la qualité de l'édition sémantique.
4. Validation de la Robustesse : Les auteurs montrent que les images protégées par SafeMark restent robustes aux distorsions post-édition courantes (rotation, flou, redimensionnement), confirmant que l'imposition de la préservation pendant l'édition ne dégrade pas la résilience aux corruptions d'images standard.

Résultats Expérimentaux

Le cadre a été évalué sur des images réelles (LSUN-Church, LSUN-Bedroom, CelebA, AFHQ-Dog) et des images générées par IA, en utilisant plusieurs schémas de filigranes (HiDDeN, VINE, Stable Signature, SleeperMark) et trois éditeurs de diffusion distincts (DiffusionCLIP, Asyrp, Eff-Diff).

• Préservation du Filigrane : Alors que l'édition directe (« Mani ») a provoqué une chute significative de la précision des bits (par exemple, VINE sur les images Bedroom est passé de 0,999 à 0,299 sous Asyrp), SafeMark a constamment restauré la précision à 1,000 (ou à des niveaux quasi parfaits comme 0,999) dans tous les paramètres.
• Fidélité Sémantique : SafeMark n'a pas compromis la qualité de l'édition. Des métriques telles que le FID, le Score d'Inception (IS) et la similarité CLIP ont montré que les sorties SafeMark restaient perceptuellement et sémantiquement proches des éditions directes. La métrique « Comp » (comparant les éditions SafeMark aux éditions directes) a produit de faibles valeurs FID, indiquant que la contrainte de filigrane n'a pas forcé l'image à revenir vers l'original ni à effondrer la sortie.
• Robustesse Post-Édition : Sous des distorsions comme le recadrage et le flou, SafeMark a maintenu une haute précision des bits (taux d'échec généralement inférieurs à 0,15), démontrant que le signal de filigrane préservé est robuste au traitement ultérieur.

Importance et Revendications

L'article revendique que l'éditionnabilité sémantique et l'intégrité du filigrane sont fondamentalement compatibles. La dégradation des filigranes sous l'édition sémantique n'est pas une limitation inhérente du processus d'édition, mais le résultat de dynamiques d'édition non contraintes.

En déplaçant le paradigme de « filigrane robuste contre l'édition » vers « édition avec préservation du filigrane », SafeMark fournit une solution de conception pour une provenance d'image digne de confiance. Les auteurs positionnent SafeMark comme un mécanisme permettant aux fournisseurs de services d'édition d'images d'offrir une manipulation de haute qualité et pilotée par la sémantique tout en garantissant que les signaux de propriété restent récupérables. Cela reformule la protection de la provenance comme une partie intégrante du pipeline d'édition plutôt que comme un ajout externe, permettant une provenance d'image digne de confiance dans les flux de travail d'édition générative.

L'article reconnaît modestement les limites : SafeMark nécessite actuellement un accès en boîte blanche à l'éditeur et une étape d'affinage séparée pour chaque architecture, et il pourrait rencontrer des difficultés avec des edits structurels extrêmement agressifs qui altèrent fondamentalement la disposition de la scène au-delà de la capacité du filigrane. Cependant, il établit une preuve de concept critique selon laquelle la préservation du filigrane peut être imposée par conception.