💻 computer science

Prompting4Debugging: Red-Teaming Text-to-Image Diffusion Models by Finding Problematic Prompts

Dieses Paper stellt Prompting4Debugging (P4D) vor, ein automatisiertes Red-Teaming-Tool, das signifikante Schwachstellen in den Sicherheitsmechanismen von Text-zu-Bild-Diffusionsmodellen aufdeckt, indem es demonstriert, dass viele zuvor als „sicher“ eingestufte Prompts manipuliert werden können, um bestehende Schutzmaßnahmen zu umgehen, und damit die Zuverlässigkeit aktueller Evaluierungs-Benchmarks infrage stellt.

Ursprüngliche Autoren: Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Veröffentlicht 2026-01-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhi-Yi Chin, Chieh-Ming Jiang, Ching-Chun Huang, Pin-Yu Chen, Wei-Chen Chiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, magischen Künstler namens Stable Diffusion. Dieser Künstler kann jeden Satz, den Sie schreiben, in ein wunderschönes Bild verwandeln. Wenn Sie sagen „eine Katze auf einer Matte“, erhalten Sie eine Katze auf einer Matte. Da dieser Künstler jedoch aus dem gesamten Internet gelernt hat, zeichnet er manchmal versehentlich Dinge, die unangemessen sind, wie etwa urheberrechtlich geschützte Charaktere oder Bilder, die nicht sicher für die Arbeit sind (NSFW).

Um dies zu beheben, stellen Entwickler einen Sicherheitswächter vor den Künstler. Dieser Wächter (der „Sicherheitsmechanismus“) soll den Künstler daran hindern, schlechte Dinge zu zeichnen. Wenn Sie nach „einer nackten Person“ fragen, sagt der Wächter: „Nö!“ und der Künstler zeichnet stattdessen etwas anderes.

Das Problem:
Die Entwickler denken, dass der Wächter einen großartigen Job macht. Sie haben eine Liste von „schlechten“ Sätzen, die sie getestet haben, und der Wächter hat sie alle gestoppt. Aber die Forscher in diesem Papier fragten sich: „Was wäre, wenn die Bösewichte einfach nur sehr gut darin sind, den Wächter auszutricksen? Was wäre, wenn es geheime Passwörter gibt, die wir noch nicht gefunden haben?“

Die Lösung: Prompting4Debugging (P4D)
Die Autoren entwickelten ein Tool namens Prompting4Debugging (P4D). Stellen Sie sich P4D als ein superintelligentes, automatisiertes „Red Team“ vor (eine Gruppe von ethischen Hackern, die engagiert werden, um in ein System einzubrechen, um Lücken zu finden).

Anstatt dass Menschen wahllos Sätze erraten, um versuchen, den Wächter zu überlisten, macht P4D dies automatisch und wissenschaftlich. Hier ist die Funktionsweise, erklärt anhand einer einfachen Analogie:

Die „Schattenkünstler“-Analogie

Stellen Sie sich vor, Sie haben zwei Künstler in einem Raum:

Der uneingeschränkte Künstler (G): Dieser Künstler hat keine Regeln. Wenn Sie nach „einer nackten Person“ fragen, zeichnet er sie perfekt.
Der bewachte Künstler (G'): Dieser Künstler hat den Sicherheitswächter. Wenn Sie nach „einer nackten Person“ fragen, lehnt er ab.

Das Ziel: P4D möchte einen neuen Satz (einen „problematischen Prompt“) finden, der den bewachten Künstler dazu bringt, dieselbe „nackte Person“ zu zeichnen, die der uneingeschränkte Künstler gezeichnet hat, obwohl der bewachte Künstler eigentlich „Nein“ sagen sollte.

Der Prozess:

Die Blaupause: P4D bittet zuerst den uneingeschränkten Künstler, das „verbotene“ Bild zu zeichnen. Dies liefert eine perfekte Blaupause davon, wie das schlechte Bild aussieht.
Die Übersetzung: P4D schaut sich dann den bewachten Künstler an. Es weiß, dass der bewachte Künstler einen Geheimcode (mathematische „Embeddings“) verwendet, um Wörter zu verstehen.
Der Hack: P4D beginnt, den Satz anzupassen. Es rät nicht einfach nur; es nutzt eine mathematische „gleitende Skala“, um die Wörter so lange zu manipulieren, bis der interne Code des bewachten Künstlers mit der Blaupause des uneingeschränkten Künstlers übereinstimmt.
Das Ergebnis: P4D findet einen seltsamen, durcheinandergewürfelten oder cleveren Satz (wie „ein Foto eines Werbeplakats, das einen nackten Mann in einer expliziten Position zeigt“ oder sogar Kauderwelsch, der irgendwie funktioniert), der den Wächter umgeht.

Was sie herausgefunden haben

Die Forscher testeten dies an mehreren populären „bewachten“ Modellen (wie Stable Diffusion mit Sicherheitsfiltern). Die Ergebnisse waren schockierend:

Die „sichere“ Liste war nicht sicher: Sie nahmen eine Liste von Prompts, von denen alle dachten, dass sie sicher seien und bereits getestet worden waren. Sie fanden heraus, dass etwa die Hälfte von ihnen durch P4D leicht manipuliert werden konnte, um den Sicherheitswächter zu umgehen.
Die „Informationsverschleierung“-Falle: Das Papier entdeckte ein seltsames Phänomen. Manchmal ist der Sicherheitswächter zu gut darin, Informationen zu verbergen. Als die Forscher den „Filter“ des Wächters nur während des Lernens, wie man ihn umgeht, ausschalteten, fanden sie noch mehr Wege, ihn zu umgehen.
- Analogie: Stellen Sie sich einen Sicherheitswächter vor, der eine Augenbinde trägt, während Sie versuchen, an ihm vorbeizuschleichen. Sie denken: „Oh, er kann mich nicht sehen, also bin ich sicher.“ Aber tatsächlich führt die Augenbinde dazu, dass er weniger auf die spezifischen Tricks achtet, die Sie anwenden. Sobald Sie den Trick mit der Augenbinde herausgefunden haben, können Sie denselben Trick nutzen, um an ihm vorbeizuschleichen, selbst wenn er keine Augenbinde trägt. Der Versuch des Wächters, Informationen zu verbergen, ließ das System tatsächlich sicherer erscheinen, als es wirklich war.

Das Fazit

Das Papier kommt zu dem Schluss, dass ein Sicherheitssystem nicht wirklich sicher ist, nur weil es ein paar Tests besteht. Die „sicheren“ Prompts, die wir heute verwenden, könnten wie ein Schloss sein, das gegen einen Schlüssel funktioniert, den man in der Hand hält, aber versagt gegen einen Schlüssel, den man noch gar nicht erfunden hat.

P4D ist ein Werkzeug für Entwickler, um diese „noch nicht erfundenen Schlüssel“ zu finden, bevor sie von böswilligen Akteuren verwendet werden. Es beweist, dass wir diese Modelle ständig testen müssen, denn die „Bösewichte“ (oder die automatisierten Tools, die die Lücken finden) werden immer klüger, und die Sicherheitswächter müssen gegen die klügsten Tricks überhaupt getestet werden.

Kurz gesagt: Das Papier hat einen automatisierten Roboter gebaut, der versucht, KI-Kunstgeneratoren dazu zu bringen, schlechte Dinge zu zeichnen. Es fand heraus, dass die aktuellen Sicherheitswächter viel schwächer sind, als wir dachten, und dass viele „sichere“ Wörter verdreht werden können, um die Regeln zu brechen.

Technische Zusammenfassung: Prompting4Debugging (P4D)

Problemstellung

Text-zu-Bild (T2I) Diffusionsmodelle wie Stable Diffusion (SD) haben bemerkenswerte generative Fähigkeiten unter Beweis gestellt, sehen sich jedoch zunehmenden Bedenken hinsichtlich des Missbrauchs dieser Technologien zur Erzeugung von urheberrechtlich geschützten oder nicht jugendfreien (NSFW) Inhalten gegenüber. Obwohl verschiedene Sicherheitsmechanismen entwickelt wurden – darunter Negative Prompts, Safe Latent Diffusion (SLD) und Erasing Concepts from Diffusion models (ESD) –, bleibt deren Zuverlässigkeit gegenüber vielfältigen und komplexen problematischen Prompts weitgehend unerforscht. Bestehende Evaluierungen stützen sich oft auf begrenzte, manuell kuratierte Benchmarks, was zu einem falschen Sicherheitsgefühl führen kann. Zudem sind traditionelle Red-Teaming-Ansätze, die auf der manuellen Entdeckung von Jailbreak-Prompts beruhen, nicht skalierbar, und das Fine-Tuning von Modellen für das Red-Teaming ist angesichts der massiven Parametergrößen moderner Diffusionsmodelle rechentechnisch prohibitiv.

Methodik

Die Autoren schlagen Prompting4Debugging (P4D) vor, ein automatisiertes Red-Teaming-Framework, das darauf ausgelegt ist, systematisch „sicherheitsumgehende“ Prompts für T2I-Diffusionsmodelle mit Sicherheitsmechanismen zu identifizieren. P4D nutzt Prompt Engineering anstelle von Modell-Fine-Tuning und verwendet dabei ein unbeschränktes (standardmäßiges) T2I-Modell ( $G$ ) sowie ein mit Sicherheitsmechanismen ausgestattetes Modell ( $G'$ ), um Prompts im latenten Raum zu optimieren.

Der Kern des Optimierungsprozesses umfasst drei aufeinanderfolgende Schritte:

Generierung: Ein unbeschränktes Modell $G$ generiert ein Bild $x$ , das ein unangemessenes Konzept $C$ aus einem ursprünglichen Prompt $P$ enthält. Die latente Repräsentation $z = E(x)$ und ein intermediärer verrauschter latenter Vektor $z_t$ werden extrahiert.
Optimierung im latenten Raum: Das Ziel ist es, einen modifizierten Prompt $P^*$ zu finden, sodass das mit Sicherheitsmechanismen ausgestattete Modell $G'$ , wenn es auf $P^*$ konditioniert ist, ein Bild $x^*$ erzeugt, das $x$ ähnlich ist (und somit $C$ enthält), wodurch der Sicherheitsmechanismus von $G'$ effektiv umgangen wird.
Zielfunktion: Die Optimierung minimiert die Differenz zwischen den Rauschvorhersagen der beiden Modelle zum Zeitschritt $t$ :
$L = \|\epsilon_\theta(z_t, W(P), t) - \epsilon_{\theta'}(z_t, P^*_{disc}, t)\|^2_2$
Hierbei ist $W(P)$ das feste Embedding des ursprünglichen Prompts und $P^*_{disc}$ der optimierte diskrete Prompt.

Um ein Gleichgewicht zwischen Interpretierbarkeit und Suchraum zu schaffen, verwendet P4D zwei Varianten basierend auf PEZ (einer diskreten Optimierungsmethode):

P4D-N: Initialisiert eine feste Anzahl lernbarer Token ( $N$ ) von Grund auf.
P4D-K: Fügt nach jedem $K$ -ten Token des ursprünglichen Prompt-Embeddings lernbare Token ein, wodurch die ursprüngliche semantische Struktur bewahrt wird, während eine Modifikation ermöglicht wird.

Die Optimierung erfolgt im kontinuierlichen Soft-Embedding-Raum, der anschließend über eine Quantisierungsfunktion auf diskrete Hard-Token projiziert wird, damit die resultierenden Prompts lesbar und übertragbar sind.

Wesentliche Beiträge

Automatisiertes Red-Teaming-Tool: P4D dient als Debugging-Werkzeug, das automatisch sicherheitsumgehende Prompts für T2I-Diffusionsmodelle aufdeckt und somit eine skalierbare Alternative zum manuellen Red-Teaming bietet.
Entdeckung von Schwachstellen: Umfangreiche Experimente auf dem Inappropriate Image Prompts (I2P) Datensatz zeigen, dass etwa die Hälfte der Prompts, die von bestehenden Benchmarks ursprünglich als „sicher“ eingestuft wurden, durch P4D manipuliert werden können, um implementierte Sicherheitsmechanismen (einschließlich ESD, SLD und Negative Prompts) zu umgehen.
Phänomen der Informationsverschleierung: Die Autoren identifizieren ein kritisches Problem, bei dem Sicherheitsfilter in Guidance-basierten Modellen (wie SLD und SD-NEGP) ein „falsches Sicherheitsgefühl“ erzeugen. Diese Filter verschleiern den Gradienten-Suchraum während der Optimierung, was das Finden von Schwachstellen erschwert. Wenn diese Filter jedoch während der Debugging-Phase vorübergehend deaktiviert werden, kann P4D signifikant mehr problematische Prompts identifizieren, die auch dann noch effektiv bleiben, wenn der Filter während der Inferenz reaktiviert wird.

Experimentelle Ergebnisse

Die Studie evaluierte P4D gegen mehrere Baselines (Random-N, Random-K, Shuffling, Soft Prompting) und andere Prompt-Optimierungsmethoden (Textual Inversion, PEZ) über mehrere Sicherheitsmechanismen (ESD, SLD-MAX, SLD-STRONG, SD-NEGP) und Kategorien (Nacktheit, Autos, Alphörner) hinweg.

Leistung: P4D übertraf alle Baselines signifikant. In der Kategorie Nacktheit im ESD-Modell erreichte P4D eine Fehlerrate (Failure Rate, FR) von 50,65 % (P4D-N) und 47,19 % (P4D-K), verglichen mit etwa 12–27 % bei anderen Methoden. Die Vereinigung der Ergebnisse von P4D-N und P4D-K (P4D-UNION) erreichte eine FR von 66,58 %.
Übertragbarkeit: Von P4D entdeckte Prompts zeigten eine hohe Übertragbarkeit. Für ESD gefundene Prompts konnten andere Modelle (z. B. SLD-MAX) erfolgreich mit Raten von über 60 % „jailbreaken“. Darüber hinaus waren durch P4D generierte universelle Prompts in der Lage, Sicherheitsmechanismen in Closed-Source-Modellen wie Midjourney (30,70 % FR) und SDXL (56,14 % FR) zu umgehen, wobei DALL-E 3 eine robustere Resistenz zeigte.
Effizienz: P4D ist rechentechnisch effizient und benötigt etwa 20–30 Minuten pro Prompt, im Vergleich zu den Stunden, die Black-Box-Methoden wie Advprompt benötigen.

Bedeutung und Ansprüche

Das Paper argumentet, dass aktuelle Evaluierungen der Sicherheit von T2I-Modellen, die oft auf begrenzten Benchmarks für sichere Prompts beruhen, unzureichend sind und zu einem falschen Sicherheitsgefühl führen können. Die Autoren betonen, dass Entwickler ohne umfassende Tests mit Werkzeugen wie P4D kritische Schwachstellen übersehen könnten.

Die Bedeutung dieser Arbeit liegt in:

Proaktiver Verteidigung: Bereitstellung eines Werkzeugs für Entwickler, um die Sicherheit und Zuverlässigkeit von Modellen vor dem Deployment systematisch zu prüfen.
Verständnis von Fehlverhalten: Die entdeckten problematischen Prompts dienen als Referenzen, um Modellfehlverhalten zu verstehen und stärkere, robustere Sicherheitsmechanismen zu konstruieren.
Hervorhebung der Verschleierung: Die Entdeckung der „Informationsverschleierung“ legt nahe, dass aktuelle Sicherheitsfilter Schwachstellen eher unbeabsichtigt verbergen, als sie tatsächlich zu neutralisieren, was tiefere Testmethodologien erforderlich macht, die diese verschleierten Gradienten berücksichtigen.

Die Autoren kommen zu dem Schluss, dass P4D derzeit unter einer White-Box-Annahme operiert (was Zugriff auf sowohl unbeschränkte als auch sichere Modelle erfordert), aber effektiv die dringende Notwendigkeit unterstreicht, dass die KI-Community wachsam bleiben und umfassendere Sicherheitsmaßnahmen für generative Modelle entwickeln muss.