💻 computer science

SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training

SafeDiffusion-R1 führt ein Online-Reinforcement-Learning-Framework ein, das Group Relative Policy Optimization und einen neuartigen CLIP-basierten Lenkungs-Belohnungsmechanismus nutzt, um Diffusionsmodelle effektiv mit Sicherheitsbedingungen in Einklang zu bringen und die Generierungsqualität zu verbessern, ohne teure überwachte Daten zu benötigen oder unter katastrophalem Vergessen zu leiden.

Ursprüngliche Autoren: Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr talentierte Künstlerin namens Diffusion. Diese Künstlerin hat gelernt zu malen, indem sie Millionen von Bildern aus dem gesamten Internet betrachtet hat. Da das Internet alles enthält, hat die Künstlerin gelernt, wunderschöne Landschaften zu malen, aber auch gelernt, unangemessene oder gefährliche Dinge darzustellen.

Nun möchten Sie diese Künstlerin engagieren, um Bilder für ein familienfreundliches Magazin zu malen. Sie müssen ihr beibringen, niemals wieder diese schlechten Dinge zu malen, aber Sie möchten auch nicht ihre Fähigkeit ruinieren, schöne, komplexe Szenen zu malen (wie eine Katze, die auf einem roten Stuhl neben einem blauen Hund sitzt).

Dieser Artikel stellt eine neue Methode vor, um diese Künstlerin zu trainieren, namens SafeDiffusion-R1. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem mit alten Methoden

Früher war der Versuch, schlechte Gewohnheiten „zu verlernen", wie der Versuch, einem Schüler beizubringen, indem man ihm nur ein Lehrbuch mit „Guten Beispielen" und „Schlechten Beispielen" zeigt.

Das Problem: Man benötigte eine riesige Bibliothek dieser Beispiele (was teuer ist und schwer zu beschaffen ist).
Die Nebenwirkung: Wenn man versuchte, die Künstlerin zu zwingen, das Schlechte zu vergessen, vergaß sie oft alles andere auch. Sie wurde verwirrt, und ihre schönen Gemälde begannen verschwommen oder seltsam auszusehen. Dies wird als „katastrophales Vergessen" bezeichnet.

2. Die neue Lösung: „Der Online-Trainer"

Anstatt ein statisches Lehrbuch zu verwenden, agiert SafeDiffusion-R1 wie ein Live-Trainer, der neben der Künstlerin steht, während sie malt.

Online-Lernen: Die Künstlerin versucht, ein Bild basierend auf einem Prompt zu malen (selbst bei einem riskanten Prompt). Der Trainer betrachtet das Ergebnis sofort und gibt Feedback.
Der „Gruppen"-Trick: Der Trainer sagt nicht einfach „Gut" oder „Schlecht". Stattdessen bittet er die Künstlerin, vier verschiedene Versionen desselben Prompts zu malen. Dann vergleicht der Trainer sie: „Version A ist okay, aber Version B ist schrecklich." Dies hilft der Künstlerin, den relativen Unterschied zu lernen, ohne durch extreme Belohnungen verwirrt zu werden. Dies wird als Group Relative Policy Optimization (GRPO) bezeichnet.

3. Die geheime Waffe: „Der Kompass" (Steering Reward)

Dies ist die größte Innovation des Artikels. Normalerweise benötigt man, um einer Künstlerin zu sagen „Malen Sie keine Nacktheit", einen speziellen Experten (ein Reward-Modell), der das Bild betrachtet und „Nein" sagt. Das Trainieren dieses Experten ist schwierig.

SafeDiffusion-R1 verwendet stattdessen einen magischen Kompass.

Wie es funktioniert: Stellen Sie sich das Gehirn der Künstlerin als eine riesige Landkarte von Ideen vor. Auf dieser Karte befinden sich „Sichere" Ideen im Norden und „Unsichere" Ideen im Süden.
Der Trick: Das System benötigt keinen Menschen, der jedes Bild überprüft. Es nimmt einfach die Wörter, die der Benutzer eingegeben hat (den Prompt), und verwendet Mathematik, um die Wörter sanft in Richtung Norden (Sicher) zu drücken, bevor die Künstlerin überhaupt mit dem Malen beginnt.
Das Ergebnis: Wenn jemand nach einem riskanten Bild fragt, ändert das System die Anweisung im Kopf der Künstlerin subtil in eine sichere Version, bevor das Gemälde beginnt. Die Künstlerin malt dann ein sicheres Bild, weil ihr eine „sichere" Anweisung gegeben wurde, nicht weil sie für eine „schlechte" bestraft wurde.

4. Die Ergebnisse: Sicher, Intelligent und Scharf

Der Artikel testete diese Methode und fand drei große Vorteile:

Sicherheit: Sie reduzierte die Anzahl unangemessener Bilder drastisch. Wenn die alte Künstlerin 646 unangemessene Bilder aus einem Testset erstellte, erstellte diese neue Methode nur noch 15.
Generalisierung: Obwohl sie die Künstlerin hauptsächlich auf „Nacktheits"-Prompts trainierten, lernte die Künstlerin, auch andere schlechte Dinge zu vermeiden (wie Gewalt oder Hassrede), obwohl sie diese spezifischen Beispiele während des Trainings nie gesehen hatte. Es ist wie jemandem beizubringen, keine giftigen Äpfel zu essen, und plötzlich isst er auch keine giftigen Beeren mehr.
Qualität: Im Gegensatz zu alten Methoden, die die Gemälde der Künstlerin verschwommen oder kaputt machten, verbesserte diese Methode tatsächlich die Fähigkeit der Künstlerin, komplexen Anweisungen zu folgen (wie das Zählen von Objekten oder das Platzieren an bestimmten Stellen).

Zusammenfassung

SafeDiffusion-R1 ist eine neue Trainingstechnik, die KI-Bildgeneratoren beibringt, sicher zu sein, ohne eine riesige Bibliothek von „Gut gegen Schlecht"-Beispielen zu benötigen. Es verwendet einen Live-Trainer, um mehrere Versuche zu vergleichen, und einen mathematischen Kompass, um die Gedanken der KI sanft in Richtung Sicherheit zu lenken, bevor sie überhaupt mit dem Erstellen beginnt. Das Ergebnis ist eine KI, die sicherer, intelligenter ist und dabei ihr künstlerisches Talent nicht verliert.

Technische Zusammenfassung: SafeDiffusion-R1

Problemstellung

Text-zu-Bild (T2I)-Diffusionsmodelle, die auf großflächigen Webdaten trainiert wurden, haben die Generierung visueller Inhalte demokratisiert, haben jedoch unbeabsichtigt unsichere und explizite Assoziationen internalisiert. Bestehende Sicherheitsinterventionen weisen erhebliche Einschränkungen auf:

Datenknappheit und Kosten: Methoden, die auf überwachtem Feinabstimmen (SFT) oder offlineem Reinforcement Learning (RL) basieren, benötigen teure, kuratierte Datensätze von sicheren/unsicheren Bild-Text-Paaren oder negativen/positiven Bildpaaren, die schwer zu skalieren sind.
Katastrophales Vergessen: Offline-Ansätze, die synthetische Daten generieren oder auf festen Datensätzen basieren, leiden häufig unter katastrophalem Vergessen, was die allgemeinen generativen Fähigkeiten des Modells und die kompositorische Qualität beeinträchtigt.
Statische Überwachung: Aktuelle Paradigmen (SFT und offlinees RL) optimieren gegen feste Beispiele oder vorab generierte Daten. Sie versagen darin, ihre Trainingssignale an das sich entwickelnde generative Verhalten des Modells anzupassen, was sie unzureichend macht, um unsichere Inhalte zu verfolgen und zu unterdrücken, die während des Trainings dynamisch entstehen.
Overhead durch Reward-Modelle: Viele Sicherheitsausrichtungsverfahren erfordern das Training oder Feinabstimmen spezialisierter Reward-Modelle zur Klassifizierung von Bildern als sicher oder unsicher, was zusätzlichen rechnerischen Overhead einführt.

Methodik

Die Autoren schlagen SafeDiffusion-R1 vor, ein Online-Reinforcement-Learning-Framework, das darauf ausgelegt ist, Diffusionsmodelle mit Sicherheitsbeschränkungen abzugleichen, ohne überwachte gepaarte Daten oder Feinabstimmung spezialisierter Reward-Modelle zu benötigen. Das Framework integriert zwei Kernkomponenten:

1. Online-Policy-Optimierung via GRPO

Die Methode verwendet Group Relative Policy Optimization (GRPO) als Trainingsalgorithmus. Im Gegensatz zu Standard-PPO oder offlineem RL arbeitet GRPO on-policy:

Dynamisches Sampling: Das Modell generiert während des Trainings kontinuierlich Bildproben sowohl aus harmlosen als auch aus unsicheren Prompts.
Gruppenbasierte Advantage: Für jeden Prompt werden $K$ unabhängige Proben generiert. Die Advantages werden innerhalb der Gruppe normalisiert ( $A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$ ) und nicht global. Dies mildert Reward-Skalenunterschiede zwischen harmlosen und unsicheren Prompts, verhindert Überkorrekturen und gewährleistet stabile Updates relativ zur Verteilung der aktuellen Policy.
On-Policy-Lernen: Durch die Kopplung der Sicherheitsoptimierung mit der sich entwickelnden Sampling-Verteilung des Modells vermeidet die Methode Verteilungsabweichungen und bewahrt die allgemeinen generativen Fähigkeiten, während unsichere Konzepte progressiv verlernt werden.

2. Geometrie-bewusste Steering-Reward

Um den Bedarf an einem separaten sicheren/unsicheren Klassifikator oder Reward-Modell zu eliminieren, führen die Autoren einen Steering-Reward-Mechanismus ein, der die geometrischen Eigenschaften von CLIP-Embeddings ausnutzt:

Sicherheits-Richtungsvektor ( $v_{safe}$ ): Ein Einheitsvektor wird im Text-Embedding-Raum als die normalisierte Differenz zwischen den mittleren Embeddings einer kleinen Menge sicherer Textanker ( $T_{safe}$ ) und unsicherer Textanker ( $T_{unsafe}$ ) berechnet:
$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$
Bedingtes Steering: Für einen Eingabe-Prompt $c$ wird das Text-Embedding $z_T$ auf $v_{safe}$ projiziert. Wenn der Prompt als unsicher identifiziert wird (negative Projektion), wird das Embedding geometrisch in Richtung der sicheren Richtung gelenkt:
$z'_T = \text{normalize}(z_T + \alpha v_{safe})$
wobei $\alpha$ ein Hyperparameter für die Steering-Stärke ist.
Reward-Berechnung: Der Reward wird als kosinussähnlichkeit zwischen dem Bild-Embedding ( $z_I$ ) und dem gelenkten Text-Embedding ( $z'_T$ ) für unsichere Prompts berechnet, oder dem ursprünglichen Text-Embedding für sichere Prompts. Dies formt das Optimierungssignal neu, um die Ausrichtung mit sicheren semantischen Attributen zu fördern, ohne das Modell explizit dafür zu bestrafen, den unsicheren Prompt zu „verstehen".

Hauptbeiträge

Formulierung als Online-Policy: Das Papier formuliert die Sicherheitsausrichtung für T2I-Diffusionsmodelle als Problem der Online-Policy-Optimierung und führt ein GRPO-basiertes Framework ein, das Sicherheitslernen mit der sich entwickelnden generativen Verteilung des Modells koppelt, um katastrophales Vergessen zu verhindern.
Steering-Reward-Mechanismus: Es wird eine neuartige, geometrie-bewusste Reward vorgeschlagen, die Sicherheit als Richtung im CLIP-Embedding-Raum darstellt. Dies ermöglicht die Unterdrückung von Konzepten ohne das Training dedizierter sicherer/unsicherer Reward-Modelle oder die Abhängigkeit von überwachten gepaarten Daten.
Empirische Validierung: Umfassende Experimente zeigen, dass das Framework überwachte Feinabstimmung und Offline-Ausrichtungsverfahren in Sicherheitsbenchmarks übertrifft, während die Qualität der kompositorischen Generierung erhalten bleibt oder verbessert wird.

Experimentelle Ergebnisse

Die Methode wurde an Stable Diffusion v1.4 unter Verwendung des I2P-Benchmarks (Erkennung von Nacktheit) und GenEval (kompositorische Nützlichkeit) evaluiert.

Sicherheitsleistung:
- Erkennung von Nacktheit: SafeDiffusion-R1 reduzierte die Erkennung von Nacktheit auf 15 (im Vergleich zu 646 für das Basis-SD v1.4 und 66 für die RECE-Baseline).
- Unangemessene Inhalte: Die Methode reduzierte die Gesamtquote unangemessener Inhalte auf 18,07% (vs. 48,9% für SD v1.4). Bemerkenswerterweise erzielte sie starke Leistungen in sieben Schadenskategorien (Hass, Belästigung, Gewalt, Selbstverletzung, Sexuelles, Schockierendes, Illegale Aktivitäten), obwohl sie hauptsächlich auf auf Nacktheit fokussierte Prompts trainiert wurde, was eine starke Out-of-Distribution (OOD)-Generalisierung demonstriert.
Erhaltung der Nützlichkeit:
- Kompositorische Qualität: Im Gegensatz zu Baselines, die die Nützlichkeit verschlechtern, verbesserte SafeDiffusion-R1 den GenEval-Score von 42,08% (SD v1.4) auf 47,83%.
- Visuelle Fidelity: Die qualitative Analyse zeigt, dass das Modell strukturelle Integrität, Gesichtsdetails und Lichtkonsistenz bewahrt und Verzerrungen, übermäßiges Glätten oder semantische Inkohärenz vermeidet, wie sie bei Methoden wie EraseDiff oder ESD beobachtet werden.
- CLIP-Score: Das Modell behielt CLIP-T-Scores nahe der Baseline bei (0,311 vs. 0,313), was eine erhaltene Befolgung von Anweisungen anzeigt.

Bedeutung und Behauptungen

Das Papier behauptet, dass SafeDiffusion-R1 den kritischen Zielkonflikt zwischen Sicherheit und Nützlichkeit in Diffusionsmodellen adressiert. Durch die Nutzung von Online-GRPO und geometrischem Steering erreicht der Ansatz:

Eliminierung von Datenabhängigkeiten: Er entfernt den Bedarf an teuren, kuratierten überwachten Sicherheitsdatensätzen.
Vermeidung von Reward-Modell-Overhead: Er umgeht die Rechenkosten für das Training spezialisierter Reward-Klassifikatoren.
Gewährleistung von Stabilität: Die On-Policy-Formulierung und die gruppenrelative Normalisierung verhindern katastrophales Vergessen und Verteilungskollaps.
Robuste Generalisierung: Die Methode erzielt State-of-the-Art-Sicherheitsleistungen, die sich auf OOD-unsichere Prompts über diverse Schadenskategorien hinweg generalisieren, selbst wenn sie auf einer engen Menge unsicherer Konzepte trainiert wurde.

Die Autoren positionieren diese Arbeit als praktische Strategie für die Nachtrainings-Modifikation, die vortrainierte Modelle direkt anpasst, um unsichere Konzepte zu unterdrücken, ohne von Grund auf neu zu trainieren, und bleibt mit öffentlich veröffentlichten Systemen wie Stable Diffusion kompatibel.