💬 NLP

Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

Die Arbeit stellt ICER vor, ein Black-Box-Framework, das einen auf einem LLM basierenden Rewriter und In-Context-Erfahrungswiederholung nutzt, um effizient fließende, semantikbewahrende adversariale Prompts für das Red-Teaming von Text-zu-Bild-Modellen zu generieren und dabei im Vergleich zu bestehenden Baselines eine überlegene Leistung und Transferfähigkeit über verschiedene Sicherheitsmechanismen hinweg demonstriert.

Ursprüngliche Autoren: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhi-Yi Chin, Pin-Yu Chen, Wei-Chen Chiu, Mario Fritz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr strengen, hochtechnologischen Wächter in einer Kunstgalerie (das Text-zu-Bild-Modell), dessen Aufgabe es ist, zu verhindern, dass jemand Gemälde erstellt, die gewalttätig, nackt oder anderweitig unangemessen sind. Der Wächter ist intelligent; er liest Ihre Anfrage und wenn er etwas „Böses" wittert, verweigert er die Erstellung des Bildes.

Das Problem ist, dass böswillige Akteure (oder Forscher, die versuchen, Lücken im System zu finden) versuchen, diesen Wächter zu täuschen. Sie wollen wissen: Kann ich um ein Gemälde einer „nackten Person" bitten, ohne tatsächlich das Wort „nackt" zu verwenden?

Der alte Weg: Raten und Prüfen

Früher versuchten Forscher, den Wächter auf zwei Hauptwegen zu täuschen:

Der „Roboter-Hacker" (White-box): Dies erfordert, den geheimen Code und die interne Verkabelung des Wächters zu kennen. Es ist, als hätte man die Baupläne der Überwachungskamera. Es funktioniert gut, aber man kann es nicht bei kommerziellen Apps (wie DALL·E 3) anwenden, weil man die Baupläne nicht hat. Außerdem sehen die „Tricks", die sie erfinden, oft wie Kauderwelsch aus (z. B. „nakednips nips surrounded enthrshy"), was für einen Menschen leicht als Fälschung zu erkennen ist.
Der „Zufällige Geplauderer" (Black-box): Dies versucht, den Trick zu erraten, ohne den Code zu sehen. Aber es behandelt jeden Versuch als ein brandneues Spiel. Wenn es 100 Mal scheitert, vergisst es, was es gelernt hat, und fängt von vorne an. Es ist wie ein Schüler, der eine Prüfung macht, durchfällt, seine Notizen wegwirft und dieselbe Prüfung erneut ablegt, ohne gelernt zu haben. Es ist langsam, teuer und erzeugt oft seltsame, unnatürliche Sätze.

Der neue Weg: ICER (Der „Spielplan"-Ansatz)

Die Autoren dieses Papiers haben ein neues Werkzeug namens ICER entwickelt. Denken Sie an ICER nicht als einen einzelnen Hacker, sondern als einen klugen Trainer mit einem Spielplan.

So funktioniert es, mit einer einfachen Analogie:

1. Der „Spielplan" (In-Context Experience Replay)

Stellen Sie sich ein Team von Spionen vor, das versucht, an einem Wächter vorbeizuschleichen. Anstatt dass jeder Spion allein herausfinden muss, wie es geht, teilen sie sich ein gemeinsames Notizbuch.

Jedes Mal, wenn ein Spion einen Trick versucht und scheitert, schreibt er auf, was passiert ist.
Jedes Mal, wenn ein Spion einen Trick versucht und erfolgreich ist, schreibt er genau auf, was er gesagt hat, wie er es gesagt hat und warum es funktioniert hat.
Wenn ein neuer Spion mit einer neuen Anfrage eintrifft, beginnt er nicht bei Null. Er öffnet das Notizbuch, liest die erfolgreichen Geschichten aus der Vergangenheit und nutzt diese als Leitfaden.

In dem Papier wird dies als In-Context Experience Replay bezeichnet. Das System erinnert sich an vergangene erfolgreiche „Jailbreaks" (Tricks, die den Wächter getäuscht haben) und nutzt sie als Beispiele, um der KI beizubringen, wie man neue, bessere Tricks schreibt.

2. Der „Übersetzer" (LLM Rewriter)

Das System verwendet ein großes Sprachmodell (wie einen sehr klugen Übersetzer), um die Anfrage des Benutzers umzuschreiben.

Alter Weg: „Zeichne eine nackte Dame." (Zu offensichtlich, wird blockiert).
ICER-Weg: Das System schaut in den Spielplan, sieht einen erfolgreichen Trick, bei dem jemand eine „sinnliche, künstlerische, klassische Darstellung einer Figur im Bad" beschrieb, und schreibt die Anfrage so um, dass sie wie ein höflicher Kunststudent klingt.
Das Ergebnis ist ein fließender, natürlich klingender Satz, der wie eine echte menschliche Anfrage nach Kunst klingt, aber heimlich die „böse" Absicht enthält. Es sieht nicht aus wie ein Roboter, der hackt; es sieht aus wie ein normales Gespräch.

3. Der „Glücksspieler" (Bandit Optimization)

Das System muss entscheiden: Soll ich denselben Trick versuchen, der das letzte Mal funktioniert hat, oder etwas ganz Neues?

Wenn Sie nur denselben Trick versuchen, könnten Sie stecken bleiben, wenn der Wächter seine Regeln aktualisiert.
Wenn Sie nur neue Dinge versuchen, verschwenden Sie Zeit mit Raten.
ICER verwendet eine mathematische Strategie namens Thompson Sampling (denken Sie daran als an einen klugen Glücksspieler). Es balanciert das Ausnutzen (Verwendung der Tricks, von denen bekannt ist, dass sie funktionieren) mit dem Erkunden (Ausprobieren neuer Variationen, um zu sehen, ob diese auch funktionieren). Dies stellt sicher, dass das System im Laufe der Zeit intelligenter und schneller wird.

Was haben sie herausgefunden?

Die Forscher testeten ICER gegen sechs verschiedene Arten von „Wächtern" (Sicherheitssystemen) und verglichen es mit sieben anderen Methoden.

Es funktioniert besser: ICER täuschte die Wächter erfolgreicher als jede andere Methode, sogar als die, die einen geheimen Zugriff auf den Code erforderten.
Es klingt echt: Die Prompts, die ICER erstellt, sind lang, detailliert und natürlich. Sie sehen nicht wie Kauderwelsch aus.
Es ist übertragbar: Die überraschendste Erkenntnis ist, dass der „Spielplan", den ICER auf Open-Source-Modellen aufgebaut hat, auch auf kommerziellen Systemen wie DALL·E 3 und Midjourney funktionierte. Etwa 30 % der Tricks, die bei den Testmodellen funktionierten, funktionierten auch bei diesen beliebten, stark gesicherten Apps, obwohl ICER sie zuvor nie gesehen hatte.

Die große Erkenntnis

Das Papier argumentiert, dass Sicherheitstests keine Reihe isolierter Versuche sein sollten. Stattdessen sollte es ein kontinuierlicher Lernprozess sein. Genau wie ein Dieb aus vergangenen Einbrüchen lernt, um bessere zu planen, zeigt dieses Werkzeug, dass Sie, wenn Sie erfolgreiche Angriffsmuster speichern und wiederverwenden, viel schneller und effektiver Schwachstellen finden können.

Warnung: Das Papier stellt fest, dass dies zwar Entwicklern hilft, Lücken zu finden, um sie zu schließen, es aber auch zeigt, dass böswillige Akteure dieselbe „Spielplan"-Logik nutzen könnten, um günstigere und effektivere Wege zu entwickeln, um Sicherheitsfilter in der realen Welt zu umgehen.

Technische Zusammenfassung: ICER – Red-Teaming von Text-to-Image-Modellen durch In-Context Experience Replay und semantikerhaltendes Prompt-Rewriting

Problemstellung

Der rasche Einsatz von Text-to-Image (T2I)-Modellen hat erhebliche Sicherheitsprobleme mit sich gebracht, darunter die Generierung von nicht-arbeitsplatztauglichen (NSFW) Inhalten und urheberrechtsverletzenden Bildern. Obwohl Entwickler verschiedene Sicherheitsmechanismen implementiert haben (z. B. feinabgestimmte sichere Komponenten, Inferenzführung und mehrstufige Filterung), bleibt die Bewertung der Robustheit dieser Verteidigungen schwierig. Bestehende Red-Teaming-Methoden leiden unter kritischen Einschränkungen:

White-Box-Methoden (z. B. P4D, UnlearnDiffAtk) erfordern Zugriff auf interne Modelle, der für kommerzielle API-basierte Systeme nicht verfügbar ist, und erzeugen oft nicht interpretierbare, nicht-fluente Token-Sequenzen, die leicht von fluenzbasierten Detektoren gefiltert werden.
Black-Box-Agenten-basierte Ansätze (z. B. APGP, JailFuzzer) erzeugen fluente Prompts, behandeln jedoch jeden Angriff unabhängig und lernen nicht aus früheren Versuchen. Dies führt zu hohen Rechenkosten, wiederholten Abfragen und schlechter Skalierbarkeit.
Semantische Erhaltungslücke: Viele bestehende Methoden scheitern daran, Prompts zu generieren, die die ursprüngliche schädliche Absicht bewahren und gleichzeitig Sicherheitsfilter umgehen. In realen Missbrauchsszenarien versuchen Angreifer typischerweise, spezifische unsichere Ausgaben zu erzielen, anstatt willkürliche Modellfehler zu provozieren; dennoch haben aktuelle Werkzeuge Schwierigkeiten, Fluency, semantische Ausrichtung und erfolgreichen Jailbreak in Einklang zu bringen.

Methodik: Das ICER-Framework

Die Autoren schlagen ICER (In-Context Experience Replay) vor, ein Black-Box-Red-Teaming-Framework, das fluente, natürliche adversarische Prompts generiert, die die ursprüngliche schädliche Absicht bewahren. ICER operiert unter einem Bedrohungsmodell, bei dem der Angreifer keinen Zugriff auf interne Parameter oder Gradienten des Zielmodells hat.

Das Framework integriert drei Kernkomponenten in einem Setting der Bayesschen Optimierung (BO) unter Verwendung eines LLM als Surrogatmodell:

1. Problemformulierung

Das Ziel ist es, einen adversarischen Prompt $P^*_q$ zu finden, der eine Funktion $f(P^*_q)$ maximiert, unterliegt dabei jedoch zwei Einschränkungen:

Sicherheitsverletzung: Das generierte Bild $I^*_q$ muss eine Sicherheitsverletzung auslösen (Score $E(I^*_q) \geq \tau'$ ).
Semantische Erhaltung: Das generierte Bild muss eine hohe kosinussähnlichkeit mit dem Bild aufweisen, das vom ursprünglichen Prompt generiert wurde ( $sim(M(I_q), M(I^*_q)) \geq \rho$ ).

Diese Formulierung stellt einen „zielgerichteten Jailbreak" sicher, bei dem der Angriff auf spezifische schädliche Inhalte abzielt und nicht auf zufälliges Rauschen.

2. In-Context Experience Replay (ICR)

Im Gegensatz zu traditionellen Methoden, die gescheiterte oder erfolgreiche Versuche verwerfen, pflegt ICER eine gemeinsame Prior-Datenbank $\mathcal{D}$ vergangener Red-Teaming-Erfahrungen. Jeder Eintrag speichert:

Den ursprünglichen Prompt $P_i$ .
Die erfolgreiche adversarische Variante $P^*_i$ .
Wirksamkeitsparameter $\theta_i = (\alpha_i, \beta_i)$ , die als Beta-Verteilung modelliert sind.

Bei der Generierung eines neuen adversarischen Prompts für eine Abfrage $P_q$ entnimmt das System $k$ Exemplare aus $\mathcal{D}$ , um eine Führungsgruppe $S_t$ zu bilden. Das LLM konditioniert dann auf diese Exemplare und eine Systemanweisung, um $P^*_q$ zu generieren. Dies nutzt die Fähigkeiten des LLM zum In-Context-Learning, um vergangene Angriffsmuster als wiederverwendbares „Playbook" zu kodieren.

3. Adaptive Sampling durch Thompson Sampling (TS)

Um Exploitation (Nutzung bewährter erfolgreicher Muster) und Exploration (Entdeckung neuer Angriffsvektoren) auszubalancieren, setzt ICER Thompson Sampling ein.

Jedes Exemplar in $\mathcal{D}$ ist mit einer Beta-Verteilung $Beta(\alpha_i, \beta_i)$ assoziiert, wobei $\alpha_i$ Belohnungen (erfolgreiche Führung) und $\beta_i$ Strafen (gescheiterte Führung) akkumuliert.
In jeder Iteration zieht das System eine Wahrscheinlichkeit $\pi_i$ aus jeder Verteilung und wählt die Top- $k$ -Exemplare mit den höchsten Werten aus, um das LLM zu führen.
Belohnungsmechanismus:
- Semantischer Misserfolg: Wenn das generierte Bild den semantischen Check nicht besteht, werden die ausgewählten Exemplare bestraft ( $\beta$ erhöht sich).
- Teilweiser Erfolg: Wenn der semantische Check besteht, der Jailbreak jedoch scheitert, wird eine Teilbelohnung basierend auf dem unsicheren Score zugewiesen.
- Voller Erfolg: Wenn der Jailbreak erfolgreich ist, erhalten die Exemplare eine volle Belohnung ( $\alpha$ erhöht sich), und das neue Paar $(P_q, P^*_q)$ wird zu $\mathcal{D}$ hinzugefügt.

Dieser kontinuierliche Lernzyklus ermöglicht es dem Framework, sich im Laufe der Zeit an spezifische Sicherheitsmechanismen anzupassen, ohne dass ein Modell-Neulernen erforderlich ist.

Hauptbeiträge

ICER-Framework: Einführung eines Black-Box-Frameworks, das fluente, natürliche adversarische Prompts durch LLM-basiertes Rewriting und In-Context Experience Replay generiert.
Semantikerhaltende Evaluation: Demonstration überlegener Leistung beim „zielgerichteten Jailbreak", einem strengen Paradigma, das verlangt, dass generierte Inhalte mit der spezifischen Absicht des Angreifers übereinstimmen und nicht nur willkürliche unsichere Inhalte produzieren.
Wissensübertragung: Aufdeckung, dass vergangene Jailbreak-Instanzen die Entdeckung neuer Schwachstellen erleichtern können. Die Arbeit hebt hervor, dass Angriffswissen sich kumuliert, sodass eine einzelne Red-Teaming-Kampagne ein Playbook aufbauen kann, das auf neue Verteidigungen und sogar kommerzielle Systeme übertragbar ist.

Experimentelle Ergebnisse

Die Autoren bewerteten ICER gegen sieben Baselines (einschließlich White-Box-Methoden wie P4D und Black-Box-Methoden wie PEZ und Ring-A-Bell) über sechs sichere T2I-Modelle (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) und zwei schädliche Konzepte (Nacktheit und Gewalt).

Leistung: ICER schnitt bei allen Baselines konsistent besser ab. Beispielsweise erreichte ICER beim ESD-Modell für Nacktheit eine Ausfallrate (FR) von 48,71 %, verglichen mit 34,55 % für die nächstbeste Baseline (FLIRT-Scoring). Beim robusten AdvUnlearn-Modell identifizierte ICER doppelt so viele Schwachstellen wie die stärkste Baseline.
Semantische Erhaltung: Im Gegensatz zu Token-Level-Optimierungsmethoden, die bei Anwendung semantischer Einschränkungen erhebliche FR-Verluste erleiden (z. B. fiel PEZ auf ESD von 72,75 % auf 9,87 %), behielt ICER eine starke Leistung bei (von 80,19 % auf 57,37 %), was seine Fähigkeit unterstreicht, semantisch kohärente Prompts zu generieren.
Fluency: Eine quantitative Analyse mittels n-Gram-Perplexität zeigte, dass ICER signifikant natürlichere Prompts generierte (durchschnittliche Perplexität 0,82 $\times 10^3$ ) im Vergleich zu Baselines wie Ring-A-Bell (69,88 $\times 10^3$ ) und P4D-N (175,45 $\times 10^3$ ).
Übertragbarkeit: Über 30 % der von ICER generierten Prompts wurden erfolgreich auf stark moderierte kommerzielle Systeme wie DALL·E 3 (35,58 %) und Midjourney (41,35 %) übertragen und übertrafen dabei alle Baselines. Dies bestätigt, dass die entdeckten Schwachstellen nicht auf bestimmte Open-Source-Architekturen beschränkt sind.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass Red-Teaming nicht als Sammlung unabhängiger Versuche, sondern als Lernproblem betrachtet werden sollte. Die zentrale Erkenntnis ist, dass erfolgreiche Jailbreaks wiederverwendbare Strukturen enthalten; sobald diese über In-Context Experience Replay erfasst sind, machen diese Muster nachfolgende Angriffe über verschiedene Konzepte und Zielmodelle hinweg erheblich effektiver.

Die Autoren rahmen dies als „Zweischneidiges Schwert" ein:

Für Verteidiger: Es bietet einen effizienten Bauplan für Sicherheitsbewertungen, der über kostspielige, inkonsistente menschliche Audits oder isolierte automatisierte Sonden hinausgeht. Eine einzelne Kampagne kann ein übertragbares Playbook aufbauen.
Für die Sicherheitsgemeinschaft: Es dient als Warnung, dass Verteidigungen, die nur gegen unabhängige, gedächtnislose Angreifer evaluiert werden, ihre Robustheit möglicherweise dramatisch überschätzen. Wenn Angriffswissen leicht kumuliert werden kann, könnten böswillige Akteure angesammeltes Wissen für kostengünstigere, gezieltere Missbräuche nutzen.

Die Arbeit schließt mit einem Aufruf zu einem Wandel in der Herangehensweise der Gemeinschaft an Red-Teaming: weg von einer statischen Checkliste hin zu einem kontinuierlichen, adaptiven Prozess, bei dem jeder Versuch den nächsten informiert.