💻 computer science

Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts

Dit artikel introduceert Prompting4Debugging (P4D), een geautomatiseerde red-teaming tool die significante kwetsbaarheden in de veiligheidsmechanismen van text-to-image diffusiemodellen onthult door aan te tonen dat veel prompts die voorheen als "veilig" werden beschouwd, gemanipuleerd kunnen worden om bestaande beschermingen te omzeilen, waardoor de betrouwbaarheid van huidige evaluatiebenchmarks wordt uitgedaagd.

Oorspronkelijke auteurs: Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, magische kunstenaar hebt genaamd Stable Diffusion. Deze kunstenaar kan elke zin die je schrijft veranderen in een prachtige afbeelding. Als je zegt "een kat op een mat", krijg je een kat op een mat. Maar omdat deze kunstenaar heeft geleerd van het hele internet, tekent hij soms per ongeluk dingen die ongepast zijn, zoals auteursrechtelijk beschermde personages of afbeeldingen die niet veilig zijn voor werk (NSFW).

Om dit op te lossen, plaatsen ontwikkelaars een beveiliger voor de kunstenaar. Deze bewaker (het "veiligheidsmechanisme") is bedo\nbedoeld om de kunstenaar te stoppen met het tekenen van slechte dingen. Als je vraagt om "een naakte persoon", zegt de bewaker: "Nee!" en tekent de kunstenaar in plaats daarvan iets anders.

Het Probleem:
De ontwikkelaars denken dat de bewaker een geweldig werk doet. Ze hebben een lijst met "slechte" zinnen die ze hebben getest, en de bewaker heeft ze allemaal tegengehouden. Maar de onderzoekers in dit artikel vroegen zich af: "Wat als de slechteriken gewoon heel goed zijn in het misleiden van de bewaker? Wat als er geheime wachtwoorden zijn die we nog niet hebben gevonden?"

De Oplossing: Prompting4Debugging (P4D)
De auteurs hebben een tool gebouwd genaamd Prompting4Debugging (P4D). Denk aan P4D als een superintelligent, geautomatiseerd "Red Team" (een groep ethische hackers die is ingehuurd om in te breken in een systeem om gaten te vinden).

In plaats van dat mensen willekeurige zinnen raden om te proberen de bewaker te breken, doet P4D dit automatisch en wetenschappelijk. Hier is hoe het werkt, met behulp van een eenvoudige analogie:

De "Schaduwkunstenaar"-analogie

Stel je voor dat je twee kunstenaars in een kamer hebt:

De Onbeperkte Kunstenaar (G): Deze kunst medewerker heeft geen regels. Als je vraagt om "een naakte persoon", tekent hij dit perfect.
De Beveiligde Kunstenaar (G'): Deze kunstenaar heeft de bewaker. Als je vraagt om "een naakte persoon", weigert hij.

Het Doel: P4D wil een nieuwe zin vinden (een "problematische prompt") die de Beveiligde Kunstenaar misleidt om dezelfde "naakte persoon" te tekenen als de Onbeperkte Kunstenaar tekende, ook al zou de Beveiligde Kunstenaar "nee" moeten zeggen.

Het Proces:

Het Blauwdruk: P4D vraagt eerst aan de Onbeperkte Kunstenaar om de "verboden" afbeelding te tekenen. Dit geeft het een perfecte blauwdruk van hoe de slechte afbeelding eruitziet.
De Vertaling: P4D kijkt vervolgens naar de Beveiligde Kunstenaar. Het weet dat de Beveiligde Kunstenaar een geheime code (mathematische "embeddings") gebruikt om woorden te begrijpen.
De Hack: P4D begint de zin aan te passen. Het raadt niet alleen; het gebruikt een mathematische "schuifregelaar" om de woorden een zetje te geven totdat de interne code van de Beveiligde Kunstenaar overeenkomt met de blauwdruk van de Onbeperkte Kunstenaar.
Het Resultaat: P4D vindt een vreemde, rommelige of slimme zin (zoals "een foto van een billboard waarop een naakte man in een expliciete positie te zien is" of zelfs onzin die op de een of andere manier werkt) die de bewaker omzeilt.

Wat ze vonden

De onderzoekers testten dit op verschillende populaire "Beveiligde" modellen (zoals Stable Diffusion met veiligheidsfilters). De resultaten waren schokkend:

De "Veilige" Lijst was niet Veilig: Ze namen een lijst met prompts die iedereen als veilig beschouwde en die al eerder waren getest. Ze ontdekten dat ongeveer de helft van hen gemakkelijk gemanipuleerd kon worden door P4D om de veiligheidsbewaker te breken.
De "Informatie-obscuratie"-val: Het artikel ontdekte een vreemd fenomeen. Soms is de veiligheidsbewaker te goed in het verbergen van informatie. Wanneer de onderzoekers de "filter" van de bewaker uitschakelden terwijl ze aan het leren waren hoe ze deze konden breken, vonden ze nog meer manieren om hem te breken.
- Analogie: Stel je een beveiligingsbeambte voor die een blinddoek draagt terwijl je probeert langs te sluipen. Je denkt: "Oh, hij kan me niet zien, dus ik ben veilig." Maar eigenlijk zorgt de blinddoek ervoor dat hij minder bewust is van de specifieke trucjes die je gebruikt. Zodra je de truc met de blinddoek op hebt ontdekt, kun je diezelfde truc gebruiken om langs hem te sluipen, zelfs wanneer hij geen blinddoek draagt. De poging van de bewaker om informatie te verbergen, maakte dat het systeem eigenlijk veiliger leek dan het in werkelijkheid was.

De Conclusie

Het artikel concludeert dat alleen omdat een veiligheidssysteem een paar tests doorstaat, het niet betekent dat het echt veilig is. De "veilige" prompts die we vandaag gebruiken, kunnen lijken op een slot dat werkt tegen een sleutel die je in je hand hebt, maar faalt tegen een sleutel die je nog niet hebt uitgevonden.

P4D is een tool voor ontwikkelaars om deze "onuitgevonden sleutels" te vinden voordat ze worden gebruikt door kwaadwillenden. Het bewijst dat we deze modellen constant moeten blijven testen, omdat de "slechteriken" (of de geautomatiseerde tools die de gaten vinden) slimmer worden, en de veiligheidsbewakers getest moeten worden tegen de slimste trucs die mogelijk zijn.

Kortom: Het artikel heeft een geautomatiseerde robot gebouwd die probeert AI-kunstgeneratoren te misleiden om slechte dingen te tekenen. Het ontdekte dat de huidige veiligheidsbewakers veel zwakker zijn dan we dachten, en dat veel "veilige" woorden verdraaid kunnen worden om de regels te breken.

Technische Samenvatting: Prompting4Debugging (P4D)

Probleemstelling

Text-to-image (T2I) diffusiemodellen, zoals Stable Diffusion (SD), hebben indrukwekkende generatieve capaciteiten getoond, maar worden geconfronteerd met toenemende zorgen over het misbruik van deze technologieën voor het produceren van auteursrechtelijk beschermde of Not Safe For Work (NSFW) inhoud. Hoewel diverse veiligheidsmechanismen zijn ontwikkeld—waaronder negatieve prompts, Safe Latent Diffusion (SLD) en Erasing Concepts from Diffusion models (ESD)—blijft hun betrouwbaarheid tegenover diverse en geavanceerde problematische prompts grotendeels onverkend. Bestaande evaluaties vertrouwen vaak op beperkte, handmatig gecureerde benchmarks, wat kan leiden tot een vals gevoel van veiligheid. Bovendien schalen traditionele red-teaming benaderingen die vertrouwen op handmatige ontdekking van jailbreak-prompts niet, en is het fine-tunen van modellen voor red-teaming computationeel te kostbaar gezien de enorme parametergrootte van moderne diffusiemodellen.

Methodologie

De auteurs stellen Prompting4Debugging (P4D) voor, een geautomatiseerd red-teaming framework dat is ontworpen om systematisch "veiligheidsontwijkende" prompts te identificeren voor T2I-diffusiemodellen uitgerust met veiligheidsmechanismen. P4D maakt gebruik van prompt engineering in plaats van model fine-tuning, waarbij een onbeperkt (standaard) T2I-model ( $G$ ) en een veiligheidsuitgerust model ( $G'$ ) worden ingezet om prompts te optimaliseren in de latente ruimte.

Het kernproces van optimalisatie omvat drie opeenvolgende stappen:

Generatie: Een onbeperkt model $G$ genereert een afbeelding $x$ die een ongepaste concept $C$ bevat vanuit een originele prompt $P$ . De latente representatie $z = E(x)$ en een tussenliggende ruisige latente vector $z_t$ worden geëxtraheerd.
Latente Ruimte Optimalisatie: Het doel is om een gemodificeerde prompt $P^*$ te vinden waarvoor het veiligheidsuitgeruste model $G'$ , wanneer geconditioneerd op $P^*$ , een afbeelding $x^*$ genereert die vergelijkbaar is met $x$ (en dus $C$ bevat), waardoor het veiligheidsmechanisme van $G'$ effectief wordt omzeild.
Doelfunctie: De optimalisatie minimaliseert het verschil tussen de ruisvoorspellingen van de twee modellen op tijdstap $t$ :
$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$
Hierbij is $W(P)$ de vaste embedding van de originele prompt, en $P^*_{disc}$ de geoptimaliseerde discrete prompt.

Om een balans te vinden tussen interpreteerbaarheid en zoekruimte, gebruikt P4D twee varianten gebaseerd op PEZ (een discrete optimalisatiemethode):

P4D-N: Initialiseert een vast aantal leerbare tokens ( $N$ ) vanaf nul.
P4D-K: Voegt leerbare tokens in na elke $K$ tokens van de embedding van de originele prompt, waardoor de originele semantische structuur behouden blijft terwijl modificatie mogelijk is.

De optimalisatie vindt plaats in de continue soft embedding ruimte, die vervolgens via een kwantiseringsfunctie wordt geprojecteerd naar discrete harde tokens, zodat de resulterende prompts leesbaar en overdraagbaar zijn.

Belangrijkste Bijdragen

Geautomatiseerde Red-Teaming Tool: P4D dient als een debugging tool die automatisch veiligheidsontwijkende prompts voor T2I-diffusiemodellen blootlegt, wat een schaalbaar alternatief biedt voor handmatige red-teaming.
Ontdekking van Kwetsbaarheden: Uit uitgebreide experimenten op de Inappropriate Image Prompts (I2P) dataset blijkt dat ongeveer de helft van de prompts die door bestaande benchmarks oorspronkelijk als "veilig" werden beschouwd, door P4D gemanipuleerd kan worden om ingezette veiligheidsmechanismen (waaronder ESD, SLD en negatieve prompts) te omzeilen.
Fenomeen van Informatie-obscuratie: De auteurs identificeren een kritiek probleem waarbij veiligheidsfilters in guidance-gebaseerde modellen (zoals SLD en SD-NEGP) een "vals gevoel van veiligheid" creëren. Deze filters vertroebelen de gradiënt-zoekruimte tijdens optimalisatie, waardoor het moeilijker wordt om kwetsbaarheden te vinden. Echter, wanneer deze filters tijdelijk worden gedeactiveerd tijdens de debugging-fase, kan P4D aanzienlijk meer problematische prompts identificeren die effectief blijven, zelfs wanneer het filter tijdens inferentie wordt geactiveerd.

Experimentele Resultaten

De studie evalueerde P4D tegenover verschillende baselines (Random-N, Random-K, Shuffling, Soft Prompting) en andere prompt-optimalisatiemethoden (Textual Inversion, PEZ) over meerdere veiligheidsmechanismen (ESD, SLD-MAX, SLD-STRONG, SD-NEGP) en categorieën (Nudity, Cars, French-horns).

Prestaties: P4D presteerde aanzienlijk beter dan alle baselines. Voor de categorie nuditeit in het ESD-model behaalde P4D een foutpercentage (FR) van 50,65% (P4D-N) en 47,19% (P4D-K), vergeleken met ongeveer 12-27% voor andere methoden. De unie van de resultaten van P4D-N en P4D-K (P4D-UNION) behaalde een FR van 66,58%.
Overdraagbaarheid: Door P4D ontdekte prompts vertoonden een hoge overdraagbaarheid. Prompts gevonden voor ESD slaagden erin andere modellen (bijv. SLD-MAX) succesvol te "jailbreaken" met percentages boven de 60%. Bovendien waren universele prompts gegenereerd door P4D in staat om veiligheidsmechanismen in closed-source modellen zoals Midjourney (30,70% FR) en SDXL (56,14% FR) te omzeilen, hoewel DALL-E 3 een robuustere weerstand vertoonde.
Efficiëntie: P4D is computationeel efficiënt en vereist ongeveer 20-30 minuten per prompt, vergeleken met de uren die nodig zijn voor black-box methoden zoals Advprompt.

Betekenis en Claims

Het artikel betoogt dat huidige evaluaties van de veiligheid van T2I-modellen, die vaak vertrouwen op beperkte benchmarks voor veilige prompting, onvoldoende zijn en kunnen leiden tot een vals gevoel van veiligheid. De auteurs benadrukken dat zonder uitgebreid testen met tools zoals P4D, ontwikkelaars kritieke kwetsbaarheden kunnen over het hoofd zien.

De betekenis van dit werk ligt in:

Proactieve Defensie: Ontwikkelaars voorzien van een tool om de veiligheid en betrouwbaarheid van modellen systematisch te inspecteren vóór implementatie.
Begrip van Ongewenst Gedrag: De ontdekte problematische prompts dienen als referentiekader voor het begrijpen van ongewenst modelgedrag en het construeren van sterkere, robuustere veiligheidsmechanismen.
Benadrukken van Obscuratie: De ontdekking van "informatie-obscuratie" suggereert dat huidige veiligheidsfilters onbedoeld kwetsbaarheden kunnen verbergen in plaats van ze werkelijk te neutraliseren, wat diepere testmethodologieën noodzakelijk maakt die rekening houden met deze geobscureerde gradiënten.

De auteurs concluderen dat hoewel P4D momenteel opereert onder een white-box aanname (waarbij toegang vereist is tot zowel onbeperkte als veilige modellen), het effectief de dringende noodzaak benadrukt voor de AI-gemeenschap om waakzaam te blijven en meer uitgebreide veiligheidsmaatregelen te ontwikkelen voor generatieve modellen.