💻 computer science

Safeguarding Text-to-Image Generation via Inference-Time Prompt-Noise Optimization

Dieses Paper stellt Prompt-Noise Optimization (PNO) vor, ein neuartiges, trainingsfreies Framework, das die Sicherheit von Text-zu-Bild-Diffusionsmodellen verbessert, indem es Prompt-Embeddings und Rauschtrajektorien gemeinsam optimiert, um toxische Inhalte zu unterdrücken und gegen adversarielle Angriffe resistent zu sein, ohne die Generationsqualität oder -geschwindigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Jiangweizhi Peng, Zhiwei Tang, Gaowen Liu, Charles Fleming, Mingyi Hong

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiangweizhi Peng, Zhiwei Tang, Gaowen Liu, Charles Fleming, Mingyi Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine magische Kunstmaschine (eine Text-zu-Bild-KI), die alles zeichnen kann, was Sie beschreiben. Sie geben „eine Katze“ ein und sie zeichnet eine Katze. Aber manchmal, wenn Sie einen kniffligen oder gefährlichen Satz eingeben, könnte die Maschine versehentlich etwas Unangemessenes, Gewalttätiges oder Beleidigendes zeichnen. Das passiert, weil die Maschine aus einer riesigen Bibliothek von Internetbildern gelernt hat, von denen einige unordentlich oder unsicher waren.

Derzeit versuchen Menschen, dies zu verhindern, indem sie:

Die Bibliothek bereinigen: Das Entfernen schlechter Bilder vor dem Training (schwer perfekt durchzuführen).
Die Regeln umschreiben: Der Maschine neue Regeln beibringen (das dauert lange und kostet viel Geld).
Filter hinzufügen: Versuchen, schlechte Wörter am Eingang zu blockieren (Hacker können diese oft umgehen).

Das Problem: Diese Methoden sind entweder zu teuer, zu langsam oder leicht zu überlisten.

Die Lösung: „Prompt-Noise Optimization“ (PNO)

Die Autoren dieser Arbeit schlagen einen neuen, cleveren Trick namens Prompt-Noise Optimization (PNO) vor. Betrachten Sie es als einen „Echtzeit-Sicherheitseditor“, der arbeitet, während die Maschine zeichnet, ohne dass die Maschine neu trainiert oder ihr Gehirn verändert werden muss.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die Analogie: Der Bildhauer und der Ton

Stellen Sie sich vor, die KI ist ein Bildhauer, der eine Statue nach Ihrer Beschreibung fertigt.

Der Prompt (Ihre Beschreibung): Dies ist der Bauplan oder die Idee, wie die Statue aussehen soll.
Das Rauschen/Noise (Der Ton): Dies ist das Rohmaterial. In der KI beginnt das Bild als zufälliges Rauschen (Noise) und wird langsam zu einem Bild geformt.

Wie PNO das Problem löst:
Wenn Sie dem Bildhauer einen gefährlichen Bauplan geben (z. B. „ein gruseliges Monster“), könnte die Maschine damit beginnen, etwas Schreckliches zu erschaffen.

Alte Methoden versuchen, den Bauplan komplett zu ändern (was die ursprüngliche Idee ruiniert) oder den Bildhauer mitten im Prozess zu stoppen (was oft fehlschlägt).
PNO macht etwas Klügeres. Es fungiert wie ein Co-Pilot, der neben dem Bildhauer steht.
1. Es betrachtet den Bauplan (den Prompt).
2. Es betrachtet den Ton, der gerade geformt wird (das Rauschen/Noise).
3. Es nimmt gleichzeitige, winzige Anpassungen an beiden vor. Es passt den Bauplan gerade so weit an, dass die „gefährlichen“ Teile entfernt werden, und es lenkt den Ton in eine andere Richtung, damit die fertige Statue sicher aussieht.

Die Magie liegt darin, dass es dies gleichzeitig tut. Wenn es nur den Bauplan ändern würde, sähe die Statue vielleicht gar nicht mehr so aus, wie Sie sie wollten. Wenn es nur den Ton ändern würde, wäre die gefährliche Idee vielleicht immer noch vorhanden. Durch die Anpassung beider Elemente bleibt die Statue nah an Ihrer ursprünglichen Idee, während die „toxischen“ Elemente entfernt werden.

Warum ist das besonders?

Kein Training erforderlich: Sie müssen die KI nicht eine neue Lektion lehren. PNO ist wie ein „Plug-and-Play“-Sicherheitsfilter, den Sie für jedes generierte Bild einschalten.
Es ist schwer zu überlisten: Hacker versuchen oft „Jailbreak“-Prompts zu verwenden (seltsame Wörter, die darauf ausgelegt sind, Sicherheitsfilter zu umgehen). Da PNO das Bild während der Entstehung ständig überprüft und anpasst, kann es diese Tricks erkennen und korrigieren, während statische Filter oft überlistet werden.
Die perfekte Balance: Die Arbeit zeigt, dass PNO den „Sweet Spot“ findet. Es verhindert das Erscheinen schlechter Bilder, sorgt aber dafür, dass die guten Bilder exakt so aussehen, wie Sie es gefordert haben. Andere Methoden zwingen einen meist zu einer Wahl: „Möchten Sie es sicher oder möchten Sie, dass es wie Ihr Prompt aussieht?“ PNO sagt: „Sie können beides haben.“

Wie es in der Praxis funktioniert (Die „Schleife“)

Der Prozess ist wie ein schnelles Spiel von „Heiß und Kalt“:

Die KI beginnt, Ihr Bild zu zeichnen.
Ein Sicherheitsprüfer (eine separate KI) betrachtet die Zeichnung und sagt: „Huch, das ist etwas unsicher.“
PNO berechnet sofort: „Okay, lassen Sie uns den Bauplan leicht anpassen und den Ton ein wenig verschieben.“
Die KI zeichnet das Bild mit diesen winzigen Änderungen neu.
Der Sicherheitsprüfer schaut erneut nach. Wenn es sicher ist, stoppt PNO. Wenn nicht, passt es es erneut an.
Dies geschieht in einem Bruchteil einer Sekunde (meist innerhalb weniger Versuche), was zu einem sicheren, hochwertigen Bild führt.

Das Fazsergebnis

Die Arbeit behauptet, dass diese Methode der effektivste Weg ist, um die KI daran zu hindern, schädliche Bilder zu generieren, ohne die Qualität der Kunst zu ruinieren oder ein teures Retraining zu benötigen. Sie verwandelt den eigenen Zeichenprozess der KI in einen selbstkorrigierenden Sicherheitsmechanismus, der sicherstellt, dass die magische Kunstmaschine für alle freundlich und sicher bleibt.

Technisches Resümee: Absicherung der Text-zu-Bild-Generierung mittels inferenzzeitlicher Prompt-Rausch-Optimierung (PNO)

1. Problemstellung

Text-zu-Bild (T2I) Diffusionsmodelle sind zwar in der Lage, qualitativ hochwertige und vielfältige Bilder zu erzeugen, neigen jedoch dazu, unsichere Inhalte zu produzieren, die sensible oder unangemessene Materialien enthalten, da sie Biases aus groß angelegten, ungefilterten Trainingsdatensätzen erben. Bestehende Sicherheitsmechanismen stehen vor erheblichen Einschränkungen:

Datenfilterung & Retraining: Rechenintensiv und oft unzureichend, um alle unsicheren Inhalte zu entfernen.
Feinabstimmung (Fine-tuning): Erfordert beträchtliche Ressourcen, hat Schwierigkeiten bei der Generalisierung auf unbekannte Prompts und birgt das Risiko, die Bildqualität zu verschlechtern.
Inferenzzeitliche Interventionen (Guidance/Editing): Methoden wie Negative Prompting oder Model Editing sind oft leicht zu umgehen und weisen eine mangelnde Robustheit gegenüber adversariellen Angriffen auf.
Grundlegender Konflikt: Es besteht ein inhärentes Spannungsverhältnis zwischen der getreuen Befolgung von Benutzerprompts und der Vermeidung unsicherer Ausgaben. Aktuelle Methoden scheitern oft daran, diese Ziele zu balancieren, indem sie entweder die Sicherheit beeinträchtigen oder signifikant von der beabsichtigten Semantik abweichen.

Darüber hinaus sind T2I-Systeme hochgradig anfällig für adversarielle Angriffe, bei denen bösartige Prompts erstellt werden, um Sicherheitsfilter zu umgehen. Das Paper identifiziert eine kritische Lücke: Es gibt keinen robusten, trainingsfreien Ansatz, der toxische Generierung effektiv unterdrückt und gleichzeitig eine hohe Prompt-Bild-Ausrichtung beibehält, ohne ein umfangreiches Modell-Retraining zu erfordern.

2. Methodik: Prompt-Rausch-Optimierung (PNO)

Die Autoren schlagen die Prompt-Noise Optimization (PNO) vor, einen neuartigen, trainingsfreien Framework, der während der Inferenzphase operiert. PNO behandelt die sichere Bildgenerierung als ein Optimierungsproblem, das zwei fundamentale Komponenten des Diffusions-Sampling-Prozesses gemeinsam anpasst:

2.1. Optimierungsvariablen

Anstatt die Modellgewichte oder den diskreten Textprompt zu modifizieren, optimiert PNO in kontinuierlichen Räumen:

Kontinuierlicher Prompt-Embedding ( $c$ ): Die latente Repräsentation des Textprompts (z. B. via CLIP). Die Optimierung in diesem kontinuierlichen Raum ermöglicht eine feinere Kontrolle über die Semantik im Vergleich zur diskreten Textmodifikation.
Injizierte Rausch-Trajektorie ( $\tau = \{x_T, z_T, \dots, z_1\}$ ): Die Sequenz der Rauschproben, die während des Entrauschungsprozesses verwendet wird (speziell beim DDIM-Sampling). Die Rausch-Trajektorie steuert die niedrigdimensionalen Details und die spezifische Realisierung des Bildes.

2.2. Zielfunktion

Das Ziel ist es, eine Toxizitäts-Verlustfunktion zu minimieren, während die Gauß-Natur des Rauschens bewahrt und die Ausrichtung mit dem ursprünglichen Prompt aufrechterhalten wird. Das Optimierungsproblem wird wie folgt formuliert:
$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$
Unter der Nebenbedingung:
$x_0 = \text{DDIM}(c, \tau)$

$L_{toxic}(x_0)$ : Eine Verlustfunktion, welche die Unangemessenheit des generierten Bildes $x_0$ quantifiziert, typischerweise gemessen durch einen vortrainierten Bild-Sicherheitsklassifikator (z. B. Q16).
$L_{reg}(\tau)$ : Ein Regularisierungsterm, der sicherstellt, dass die optimierte Rausch-Trajektorie nahe an einer Standard-Gauß-Verteilung bleibt, um zu verhindern, dass der Generierungsprozess instabil wird.
$\lambda$ : Ein Hyperparameter, der die Stärke der Regularisierung steuert.

2.3. Algorithmus

PNO verwendet eine gradientenbasierte Optimierungsschleife (Algorithmus 2):

Initialisierung: Initialisierung des Prompt-Embeddings $c$ aus dem Text des Benutzers und der Rausch-Trajektorie $\tau$ durch Zufallsstichproben.
Sampling: Generierung eines Bildes $x_0$ unter Verwendung des DDIM-Samplers mit dem aktuellen $c$ und $\tau$ .
Evaluierung: Berechnung des Toxizitätsverlusts und des Regularisierungsverlusts.
Update: Berechnung der Gradienten bezüglich sowohl $c$ als auch $\tau$ und Aktualisierung dieser mittels eines Optimierers (z. B. Adam).
Terminierung: Der Prozess iteriert, bis der Toxizitätsverlust unter einen Schwellenwert fällt oder eine maximale Anzahl an Iterationen erreicht ist.

2.4. Theoretische Rechtfertigung der gemeinsamen Optimierung

Das Paper argumentt, dass die Optimierung nur des Prompts oder nur des Rauschens suboptimal ist:

Nur Rauschen: Kann nur niedrigdimensionale Details anpassen. Wenn der Prompt-Embedding ein toxisches Konzept kodiert, kann eine Rausch-Perturbation die semantische Toxizität auf hoher Ebene nicht entfernen.
Nur Prompt: Kann Toxizität entfernen, erfordert jedoch oft große Abweichungen im Embedding-Raum, was zu einem signifikanten Verlust der semantischen Ausrichtung mit dem ursprünglichen Prompt führt.
Gemeinsame Optimierung: Durch die Nutzung beider Richtungen kann die Rausch-Trajektorie einen Teil des "Toxizitäts-Gradienten" absorbieren, wodurch der Prompt-Embedding nur so viel bewegen muss, wie nötig ist, um die toxische Region zu verlassen. Dies führt zu einem überlegenen Trade-off zwischen Sicherheit und Ausrichtung.

3. Wesentliche Beiträge

Neuartiges Framework: Einführung von PNO, dem ersten Ansatz, der die inferenzzeitliche Optimierung sowohl der Prompt-Embeddings als auch der Diffusions-Rausch-Trajektorien nutzt, um die T2I-Sicherheit ohne Modell-Retraining zu erhöhen.
Synergie-Entdeckung: Demonstration der theoretischen und empirischen Synergie zwischen Prompt-Embeddings (die kontrollieren, was generiert wird) und Rausch-Trajektorien (die kontrollieren, wie es gerendert wird), um Sicherheitsziele zu erreichen.
Robustheit: Validierung, dass PNO robust gegenüber adversariellen Angriffen ist, die darauf abzielen, bestehende Sicherheitsmechanismen zu umgehen.
Optimaler Trade-off: Empirische Evidenz, dass PNO eine überlegene Pareto-Front erreicht, die Sicherheit und Prompt-Ausrichtung besser balanciert als alle anderen Methoden.
Effizienz: Eine trainingsfreie Methode, die nur geringfügige Inferenzkosten im Vergleich zu den hohen Ressourcenanforderungen von Fine-tuning oder Retraining verursacht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PNO auf dem I2P-Datensatz (natürliche toxische Prompts) und dem Ring-a-bell-Datensatz (adversarielle Prompts) unter Verwendung von Stable Diffusion 1.5 (SD1.5) als Backbone.

4.1. Reduktion der Toxizität

I2P Datensatz: PNO erreichte nahezu 100 % sichere Generationen in den meisten Kategorien und übertraf damit Baselines wie SafeGen, SalUn, UCE sowie inferenzzeitliche Methoden wie SLD und Negative Prompting signifikant.
Adversarielle Robustheit: Auf dem Ring-a-bell-Datensatz reduzierte PNO den Prozentsatz der Toxizität auf 0,00 % (Q16-Metrik), während andere Methoden erheblich kämpften und oft unsichere Bilder in einer Rate produzierten, die vergleichbar mit oder sogar höher als die des Basismodells war.
Generalisierung: Die Ergebnisse blieben konsistent, wenn sie mit unabhängigen Vision-Language-Modellen (VLMs) evaluiert und mit verschiedenen Sicherheitsklassifikatoren (MHSC) abgeglichen wurden, was gegen Reward Hacking gegen einen einzelnen Evaluator spricht.

4.2. Qualität und Ausrichtung

CLIP Score: PNO behielt hohe CLIP-Scores (Text-Bild-Ausrichtung) bei, was zeigt, dass die Durchsetzung von Sicherheit nicht auf Kosten der Beachtung des Benutzerprompts ging.
Trade-off: Die PNO-Konfigurationen (variierende Lernraten) bildeten eine dominante Pareto-Front und boten einen besseren Trade-off zwischen Sicherheit und Ausrichtung als jede andere evaluierte Methode.
Effizienz: PNO erreichte sichere Generationen innerhalb von 3 Iterationen (unter 20 Sekunden) für über 60 % der Prompts. Es erfordert keine zusätzlichen Trainingsdaten oder Modell-Fine-tuning und arbeitet effektiv auf Consumer-Grade-GPUs.

4.3. Ablationsstudien

Gemeinsam vs. Einzeln: Die gemeinsame Optimierung von Rauschen und Prompt übertraf die Optimierung einer einzelnen Komponente signifikant und erreichte eine nahezu Null-Toxizität bei angemessener Ausrichtung und weniger Iterationen.
Initialisierung: Die Zufallssuche nach der initialen Rausch-Trajektorie verbesserte die Leistung über alle Metriken hinweg.
Schrittweite (Step Size): Größere Schrittweiten minimierten die Toxizität schneller, während kleinere Schritte die Ausrichtung priorisierten, was Flexibilität für unterschiedliche Nutzerprioritäten bietet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass PNO einen bedeutenden Schritt darstellt, um T2I-Diffusionsmodelle vertrauenswürdig zu machen. Seine primäre Bedeutung liegt in:

Trainingsfreier Sicherheit: Es bietet eine praktische, einsetzbare Lösung, die nicht die prohibitiven Kosten eines Retrainings oder Fine-tunings großer Modelle erfordert.
Robustheit: Es adressiert die kritische Schwachstelle aktueller Systeme gegenüber adversariellen Angriffen und bietet einen Verteidigungsmechanismus, der schwer zu umgehen ist.
Balancierte Optimierung: Es löst den Konflikt zwischen Sicherheit und Nutzen, indem es die orthogonale Kontrolle durch Rausch-Trajektorien und Prompt-Embeddings nutzt und so ein Niveau an Erhaltung der Ausrichtung erreicht, das bisherige Sicherheitsinterventionen nicht leisten konnten.

Die Autoren kommen zu dem Schluss, dass PNO das Potenzial hat, ein Standardansatz für die sichere Bildgenerierung zu werden, wobei zukünftige Arbeiten auf die Optimierung der Inferenzgeschwindigkeit und die Entwicklung robusterer Zielfunktionen für die Sicherheitsbewertung fokussiert sind.