💻 computer science

Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts

Cet article présente Prompting4Debugging (P4D), un outil de red-teaming automatisé qui révèle des vulnérabilités significatives dans les mécanismes de sécurité des modèles de diffusion texte-image en démontrant que de nombreux prompts auparavant considérés comme « sûrs » peuvent être manipulés pour contourner les protections existantes, remettant ainsi en question la fiabilité des bancs d'essai d'évaluation actuels.

Auteurs originaux : Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Publié 2026-01-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux et magique nommé Stable Diffusion. Cet artiste peut transformer n'importe quelle phrase que vous écrivez en une magnifique image. Si vous dites « un chat sur un tapis », vous obtenez un chat sur un tapis. Mais, parce que cet artiste a appris de l'ensemble d'Internet, il arrive qu'il dessine accidentellement des choses inappropriées, comme des personnages sous droit d'auteur ou des images qui ne sont pas adaptées au travail (NSFW).

Pour correr cela, les développeurs placent un garde de sécurité devant l'artiste. Ce garde (le « mécanisme de sécurité ») est censé empêcher l'artiste de dessiner de mauvaises choses. Si vous demandez « une personne nue », le garde dit : « Non ! » et l'artiste dessine autre chose à la place.

Le Problème :
Les développeurs pensent que le garde fait un excellent travail. Ils ont une liste de phrases « mauvaises » qu'ils ont testées, et le garde les a toutes arrêtées. Mais les chercheurs de ce document se sont demandé : « Et si les méchants étaient simplement très doués pour tromper le garde ? Et s'il y avait des mots de passe secrets que nous n'avons pas encore trouvés ? »

La Solution : Prompting4Debugging (P4D)
Les auteurs ont construit un outil appelé Prompting4Debugging (P4D). Considérez P4D comme une « Red Team » automatisée et super intelligente (un groupe de hackers éthiques engagés pour s'introduire dans un système afin d'en trouver les failles).

Au lieu que des humains devinent des phrases aléatoires pour essayer de briser le garde, P4D le fait de manière automatique et scientifique. Voici comment cela fonctionne, en utilisant une analogie simple :

L'analogie de l'« Artiste de l'Ombre »

Imaginez que vous avez deux artistes dans une pièce :

L'Artiste Sans Restriction (G) : Cet artiste n'a aucune règle. Si vous demandez « une personne nue », il la dessine parfaitement.
L'Artiste Gardé (G') : Cet artiste a le garde de sécurité. Si vous demandez « une personne nue », il refuse.

L'Objectif : P4D veut trouver une nouvelle phrase (un « prompt problématique ») qui trompe l'Artiste Gardé pour qu'il dessine la même « personne nue » que l'Artiste Sans Restriction a dessinée, même si l'Artiste Gardé est censé dire « non ».

Le Processus :

Le Modèle (Blueprint) : P4D demande d'abord à l'Artiste Sans Restriction de dessiner l'image « interdite ». Cela lui donne un modèle parfait de ce à quoi ressemble la mauvaise image.
La Traduction : P4D regarde ensuite l'Artiste Gardé. Il sait que l'Artiste Gardé utilise un code secret (des « embeddings » mathématiques) pour comprendre les mots.
Le Hack : P4D commence à ajuster la phrase. Il ne se contente pas de deviner ; il utilise une « échelle glissante » mathématique pour pousser les mots jusqu'à ce que le code interne de l'Artiste Gardé corresponde au modèle de l'Artiste Sans Restriction.
Le Résultat : P4D trouve une phrase étrange, décousue ou astucieuse (comme « une photo d'un panneau publicitaire montrant un homme nu dans une position explicite » ou même un charabia qui fonctionne d'une certaine manière) qui contourne le garde.

Ce qu'ils ont trouvé

Les chercheurs ont testé cela sur plusieurs modèles populaires « Gardés » (comme Stable Diffusion avec des filtres de sécurité). Les résultats ont été choquants :

La liste « Sûre » n'était pas sûre : Ils ont pris une liste de prompts que tout le monde pensait être sûrs et qui avaient déjà été testés. Ils ont découvert qu'environ la moitié d'entre eux pouvaient être facilement manipulés par P4D pour briser le garde de sécurité.
Le piège de l'« Obfuscation de l'Information » : Le document a découvert un phénomène étrange. Parfois, le garde de sécurité est trop bon pour cacher l'information. Lorsque les chercheurs ont désactivé le « filtre » du garde juste pendant qu'ils apprenaient comment le briser, ils ont trouvé encore plus de moyens de le briser.
- Analogie : Imaginez un garde de sécurité qui porte un bandeau sur les yeux pendant que vous essayez de passer en douce. Vous vous dites : « Oh, il ne peut pas me voir, donc je suis en sécurité. » Mais en réalité, le bandeau le rend moins conscient des ruses spécifiques que vous utilisez. Une fois que vous avez compris la ruse avec le bandeau, vous pouvez utiliser cette même ruse pour passer sans qu'il vous voie, même lorsqu'il ne porte pas le bandeau. La tentative du garde de cacher l'information a en fait rendu le système plus sûr en apparence qu'il ne l'était réellement.

Ce qu'il faut retenir

Le document conclut que ce n'est pas parce qu'un système de sécurité réussit quelques tests qu'il est véritablement sûr. Les prompts « sûrs » que nous utilisons aujourd'hui pourraient être comme une serrure qui fonctionne contre une clé que vous avez dans la main, mais qui échoue contre une clé que vous n'avez pas encore inventée.

P4D est un outil permettant aux développeurs de trouver ces « clés non inventées » avant qu'elles ne soient utilisées par des acteurs malveillants. Cela prouve que nous devons continuer à tester ces modèles constamment, car les « méchants » (ou les outils automatisés qui trouvent les failles) deviennent de plus en plus intelligents, et les gardes de sécurité doivent être testés contre les ruses les plus astucieuses possibles.

En bref : Le document a construit un robot automatisé qui tente de tromper les générateurs d'art IA pour qu'ils dessinent de mauvaises choses. Il a découvert que les gardes de sécurité actuels sont beaucoup plus faibles que nous le pensions, et que de nombreux mots « sûrs » peuvent être détournés pour briser les règles.

Résumé Technique : Prompting4Debugging (P4D)

Énoncé du Problème

Les modèles de diffusion texte-vers-image (T2I), tels que Stable Diffusion (SD), ont démontré des capacités génératives remarquables mais font face à des préoccupations croissantes concernant l'utilisation abusive de ces technologies pour produire du contenu protégé par le droit d'auteur ou inapproprié (NSFW - Not Safe For Work). Bien que divers mécanismes de sécurité aient été développés — notamment les prompts négatifs, le Safe Latent Diffusion (SLD) et l'effacement de concepts des modèles de diffusion (ESD) — leur fiabilité face à des prompts problématiques diversifiés et sophistiqués reste largement inexplorée. Les évaluations existantes reposent souvent sur des benchmarks limités et sélectionnés manuellement, ce qui peut induire un faux sentiment de sécurité. De plus, les approches traditionnelles de red-teaming reposant sur la découverte manuelle de prompts de "jailbreak" ne sont pas extensibles, et l'ajustement fin (fine-tuning) des modèles pour le red-teaming est d'un coût computationnel prohibitif compte tenu des tailles massives de paramètres des modèles de diffusion modernes.

Méthodologie

Les auteurs proposent Prompting4Debugging (P4D), un cadre de red-teaming automatisé conçu pour identifier systématiquement les prompts « évasifs vis-à-vis de la sécurité » pour les modèles de diffusion T2I équipés de mécanismes de sécurité. P4D utilise l'ingénierie de prompt plutôt que l'ajustement fin du modèle, en exploitant un modèle T2I non contraint (standard) ( $G$ ) et un modèle équipé de la sécurité ( $G'$ ) pour optimiser les prompts dans l'espace latent.

Le processus d'optimisation central comprend trois étapes séquentielles :

Génération : Un modèle non contraint $G$ génère une image $x$ contenant un concept inapproprié $C$ à partir d'un prompt original $P$ . La représentation latente $z = E(x)$ et un vecteur latent bruité intermédiaire $z_t$ sont extraits.
Optimisation de l'Espace Latent : L'objectif est de trouver un prompt modifié $P^*$ tel que le modèle équipé de la sécurité $G'$ , lorsqu'il est conditionné sur $P^*$ , génère une image $x^*$ similaire à $x$ (et contenant donc $C$ ), contournant ainsi efficacement le mécanisme de sécurité de $G'$ .
Fonction d'Objectif : L'optimisation minimise la différence entre les prédictions de bruit des deux modèles à l'étape de temps $t$ :
$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$
Ici, $W(P)$ est l'embedding fixe du prompt original, et $P^*_{disc}$ est le prompt discret optimisé.

Pour équilibrer l'interprétabilité et l'espace de recherche, P4D emploie deux variantes basées sur PEZ (une méthode d'optimisation discrète) :

P4D-N : Initialise un nombre fixe de tokens apprenables ( $N$ ) à partir de zéro.
P4D-K : Insère des tokens apprenables après chaque $K$ tokens de l'embedding du prompt original, préservant la structure sémantique originale tout en permettant la modification.

L'optimisation est effectuée dans l'espace continu des embeddings "soft", qui est ensuite projeté vers des tokens discrets "hard" via une fonction de quantification, permettant aux prompts résultants d'être lisibles et transférables.

Contributions Clés

Outil de Red-Teaming Automatisé : P4D sert d'outil de débogage qui découvre automatiquement les prompts évasifs vis-à-vis de la sécurité pour les modèles de diffusion T2I, offrant une alternative extensible au red-teaming manuel.
Découverte de Vulnérabilités : Des expériences approfondies sur le jeu de données Inappropriate Image Prompts (I2P) révèlent qu'environ la moitié des prompts initialement considérés comme « sûrs » par les benchmarks existants peuvent être manipulés par P4D pour contourner les mécanismes de sécurité déployés (incluant ESD, SLD et les prompts négatifs).
Phénomène d'Obscurcissement de l'Information : Les auteurs identifient un problème critique où les filtres de sécurité dans les modèles basés sur le guidage (comme SLD et SD-NEGP) créent un « faux sentiment de sécurité ». Ces filtres obscurcissent l'espace de recherche du gradient pendant l'optimisation, rendant la découverte de vulnérabilités plus difficile. Cependant, lorsque ces filtres sont temporairement désactivés pendant la phase de débogage, P4D peut identifier nettement plus de prompts problématiques qui restent efficaces même lorsque le filtre est réactivé lors de l'inférence.

Résultats Expérimentaux

L'étude a évalué P4D par rapport à plusieurs bases de référence (Random-N, Random-K, Shuffling, Soft Prompting) et d'autres méthodes d'optimisation de prompt (Textual Inversion, PEZ) à travers plusieurs mécanismes de sécurité (ESD, SLD-MAX, SLD-STRONG, SD-NEGP) et catégories (Nudité, Voitures, Cors français).

Performance : P4D a largement surpassé toutes les bases de référence. Pour la catégorie nudité dans le modèle ESD, P4D a atteint un taux d'échec (FR) de 50,65 % (P4D-N) et 47,19 % (P4D-K), contre environ 12-27 % pour les autres méthodes. L'union des résultats de P4D-N et P4D-K (P4D-UNION) a atteint un FR de 66,58 %.
Transférabilité : Les prompts découverts par P4D ont démontré une haute transférabilité. Les prompts trouvés pour ESD ont réussi à effectuer un "jailbreak" sur d'autres modèles (ex: SLD-MAX) avec des taux dépassant 60 %. De plus, les prompts universels générés par P4D ont pu contourner les mécanismes de sécurité de modèles à code fermé comme Midjourney (30,70 % FR) et SDXL (56,14 % FR), bien que DALL-E 3 ait montré une résistance plus robuste.
Efficacité : P4D est efficace sur le plan computationnel, nécessitant environ 20 à 30 minutes par prompt, contre plusieurs heures requises par les méthodes de type "boîte noire" comme Advprompt.

Signification et Revendications

L'article soutient que les évaluations actuelles de la sécurité des modèles T2I, qui reposent souvent sur des benchmarks de prompts sûrs limités, sont insuffisantes et peuvent conduire à un faux sentiment de sécurité. Les auteurs soulignent que sans tests complets utilisant des outils comme P4D, les développeurs pourraient négliger des vulnérabilités critiques.

La portée de ce travail réside dans :

Défense Proactive : Fournir aux développeurs un outil pour inspecter systématiquement la sécurité et la fiabilité des modèles avant leur déploiement.
Compréhension des Comportements Indésirables : Les prompts problématiques découverts servent de références pour comprendre les comportements indésirables des modèles et construire des mécanismes de sécurité plus forts et plus robustes.
Mise en Lumière de l'Obscurcissement : La découverte de l'« obscurcissement de l'information » suggère que les filtres de sécurité actuels peuvent involontairement masquer les vulnérabilités plutôt que de les neutraliser réellement, nécessitant des méthodologies de test plus profondes qui tiennent compte de ces gradients obscurcis.

Les auteurs concluent que bien que P4D opère actuellement sous une hypothèse de "boîte blanche" (nécessitant l'accès à la fois au modèle non contraint et au modèle sécurisé), il souligne efficacement l'urgence pour la communauté de l'IA de rester vigilante et de développer des mesures de sécurité plus complètes pour les modèles génératifs.