Résumé Technique : Sécurisation de la génération Texte-vers-Image via l'Optimisation Prompt-Bruit à l'Inférence (PNO)

1. Énoncé du Problème

Les modèles de diffusion Texte-vers-Image (T2I), bien que capables de générer des images de haute qualité et diversifiées, sont sujets à la production de contenus non sécurisés contenant des éléments sensibles ou inappropriés en raison des biais hérités de jeux de données d'entraînement à grande échelle et non filtrés. Les mécanismes de sécurité existants présentent des limitations significatives :

• Filtrage de données et réentraînement : Coûteux en termes de calcul et échoue souvent à éliminer tout contenu non sécurisé.
• Ajustement fin (Fine-tuning) : Nécessite des ressources substantielles, peine à se généraliser aux prompts inédits et risque de dégrader la qualité de l'image.
• Interventions à l'inférence (Guidance/Édition) : Les méthodes comme le prompt négatif ou l'édition de modèle sont souvent faciles à contourner et manquent de robustesse face aux attaques adverses.
• Conflit fondamental : Il existe une tension inhérente entre le respect fidèle des prompts de l'utilisateur et l'évitement de sorties non sécurisées. Les méthodes actuelles échouent souvent à équilibrer ces objectifs, soit en compromettant la sécurité, soit en s'écartant considérablement de la sémantique voulue.

De plus, les systèmes T2I sont hautement vulnérables aux attaques adverses où des prompts malveillants sont conçus pour contourner les filtres de sécurité. L'article identifie une lacune critique : il n'existe aucune approche robuste, sans réentraînement, qui supprime efficacement la génération toxique tout en maintenant un alignement élevé entre le prompt et l'image.

2. Méthodologie : Optimisation Prompt-Bruit (PNO)

Les auteurs proposent le Prompt-Noise Optimization (Pல்O), un nouveau cadre sans réentraînement qui opère durant la phase d'inférence. PNO traite la génération d'images sûres comme un problème d'optimisation, ajustant conjointement deux composantes fondamentales du processus de diffusion :

2.1. Variables d'Optimisation

Au lieu de modifier les poids du modèle ou le prompt textuel discret, PNO optimise dans des espaces continus :

1. Embedding de Prompt Continu ($c$) : La représentation latente du prompt textuel (ex: via CLIP). L'optimisation dans cet espace continu permet un contrôle plus fin de la sémantique par rapport à la modification de texte discrète.
2. Trajectoire de Bruit Injecté ($\tau = \{x_T, z_T, \dots, z_1\}$) : La séquence d'échantillons de bruit utilisés pendant le processus de débruitage (spécifiquement dans l'échantillonnage DDIM). La trajectoire du bruit contrôle les détails de bas niveau et la réalisation spécifique de l'image.

2.2. Fonction d'Objectif

L'objectif est de minimiser une fonction de perte de toxicité tout en préservant la nature gaussienne du bruit et en maintenant l'alignement avec le prompt original. Le problème d'optimisation est formulé comme suit :
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
Sous réserve de :
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$ : Une fonction de perte quantifiant l'inappropriation de l'image générée $x_0$, typiquement mesurée par un classificateur de sécurité d'image pré-entraîné (ex: Q16).
• $L_{reg}(\tau)$ : Un terme de régularisation garantissant que la trajectoire de bruit optimisée reste proche d'une distribution gaussienne standard, empêchant le processus de génération de devenir instable.
• $\lambda$ : Un hyperparamètre contrôlant la force de la régularisation.

2.3. Algorithme

PNO utilise une boucle d'optimisation basée sur le gradient (Algorithme 2) :

1. Initialisation : Initialiser l'embedding du prompt $c$ à partir du texte de l'utilisateur et la trajectoire de bruit $\tau$ via un échantillonnage aléatoire.
2. Échantillonnage : Générer une image $x_0$ en utilisant l'échantillonneur DDIM avec le $c$ et le $\tau$ actuels.
3. Évaluation : Calculer la perte de toxicité et la perte de régularisation.
4. Mise à jour : Calculer les gradients par rapport à $c$ et $\tau$, puis les mettre à jour en utilisant un optimiseur (ex: Adam).
5. Terminaison : Le processus itère jusqu'à ce que la perte de toxicité tombe sous un seuil ou qu'un nombre maximum d'itérations soit atteint.

2.4. Justification Théorique de l'Optimisation Conjointe

L'article soutient que l'optimisation du prompt seul ou du bruit seul est sous-optimale :

• Bruit seul : Ne peut ajuster que les détails de bas niveau. Si l'embedding du prompt encode un concept toxique, la perturbation du bruit ne peut pas supprimer la toxicité sémantique de haut niveau.
• Prompt seul : Peut supprimer la toxicité mais nécessite souvent de grands écarts dans l'espace d'embedding, entraînant une perte significative d'alignement sémantique avec le prompt original.
• Optimisation Conjointe : En utilisant ces deux directions, la trajectoire du bruit peut absorber une partie du "gradient de toxicité", permettant à l'embedding du prompt de ne bouger que ce qui est nécessaire pour échapper à la région toxique. Cela résulte en un compromis supérieur entre sécurité et alignement.

3. Contributions Clés

1. Cadre Novateur : Introduction de PNO, la première approche exploitant l'optimisation à l'inférence à la fois des embeddings de prompt et des trajectoires de bruit de diffusion pour améliorer la sécurité du T2I sans réentraînement du modèle.
2. Découverte de Synergie : Démonstration de la synergie théorique et empirique entre les embeddings de prompt (contrôlant "ce qui" est généré) et les trajectoires de bruit (contrôlant "comment" c'est rendu) pour atteindre les objectifs de sécurité.
3. Robustesse : Validation que PNO est robuste contre les attaques adverses conçues pour contourner les mécanismes de sécurité existants.
4. Compromis Optimal : Preuve empirique montrant que PNO atteint une frontière de Pareto supérieure aux méthodes existantes, équilibrant mieux la sécurité de l'image et l'alignement du prompt que n'importe quelle autre méthode de référence.
5. Efficacité : Une méthode sans entraînement qui n'entraîne que des coûts d'inférence marginaux par rapport aux exigences lourdes de ressources du fine-tuning ou du réentraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué PNO sur le jeu de données I2P (prompts toxiques naturels) et le jeu de données Ring-a-bell (prompts adverses) en utilisant Stable Diffusion 1.5 (SD1.5) comme fondation.

4.1. Réduction de la Toxicité

• Jeu de données I2P : PNO a obtenu des générations presque 100 % sûres dans la plupart des catégories, surpassant de manière significative les bases comme SafeGen, SalUn, UCE et les méthodes à l'inférence comme SLD et le Prompt Négatif.
• Robustesse Adversaire : Sur le jeu de données Ring-a-bell, PNO a réduit le pourcentage de toxicité à 0,00 % (métrique Q16), alors que les autres méthodes ont eu beaucoup de mal, produisant souvent des images non sécurisées à des taux comparables ou supérieurs au modèle de base.
• Généralisation : Les résultats sont restés cohérents lors de l'évaluation avec des modèles de langage-vision (VLM) indépendants et vérifiés avec différents classificateurs de sécurité (MHSC), excluant ainsi le "reward hacking" contre un évaluateur unique.

4.2. Qualité et Alignement

• Score CLIP : PNO a maintenu des scores CLIP élevés (alignement texte-image), démontrant que l'application de la sécurité ne s'est pas faite au détriment de l'ignorance du prompt de l'utilisateur.
• Compromis : Les configurations de PNO (variant les taux d'apprentissage) forment une frontière de Pareto dominante, offrant de meilleurs compromis sécurité-alignement que toute autre méthode évaluée.
• Efficacité : PNO atteint des générations sûres en 3 itérations (moins de 20 secondes) pour plus de 60 % des prompts. Il ne nécessite aucun jeu de données d'entraînement supplémentaire ni fine-tuning de modèle, opérant efficacement sur des GPU grand public.

4.3. Études d'Ablation

• Conjoint vs Simple : L'optimisation conjointe du bruit et du prompt surpasse significativement l'optimisation de l'un ou l'autre composant seul, atteignant une toxicité quasi nulle avec un alignement raisonnable et moins d'itérations.
• Initialisation : La recherche aléatoire pour la trajectoire de bruit initiale a amélioré les performances sur tous les indicateurs.
• Taille du Pas (Step Size) : Des tailles de pas plus grandes minimisent la toxicité plus rapidement, tandis que des pas plus petits privilégient l'alignement, offrant une flexibilité pour différentes priorités utilisateur.

5. Signification et Revendications

L'article affirme que PNO représente une étape importante pour rendre les modèles de diffusion T2I dignes de confiance. Sa principale importance réside dans :

• Sécurité sans Entraînement : Il offre une solution pratique et déployable qui ne nécessite pas les coûts prohibitifs du réentraînement ou du fine-tuning de grands modèles.
• Robustesse : Il répond à la vulnérabilité critique des systèmes actuels face aux attaques adverses, fournissant un mécanisme de défense difficile à contourner.
• Optimisation Équilibrée : Il résout le conflit entre sécurité et utilité en exploitant le contrôle orthogonal fourni par les trajectoires de bruit et les embeddings de prompt, atteignant un niveau de préservation de l'alignement que les interventions de sécurité précédentes ne pouvaient atteindre.

Les auteurs concluent que PNO a le potentiel de devenir une approche standard pour la génération d'images sûres, les travaux futurs se concentrant sur l'optimisation de la vitesse d'inférence et le développement de fonctions d'objectif plus robustes pour l'évaluation de la sécurité.