When Safety Collides: Resolving Multi-Category Harmful Conflicts in Text-to-Image Diffusion via Adaptive Safety Guidance

Die Arbeit stellt Conflict-aware Adaptive Safety Guidance (CASG) vor, ein trainingsfreies Framework, das durch die dynamische Identifizierung und gezielte Anwendung sicherheitsrelevanter Richtungen für spezifische Kategorien Konflikte zwischen verschiedenen Schadenskategorien bei Text-zu-Bild-Diffusionsmodellen auflöst und so die schädliche Ausgaberate im Vergleich zu bestehenden Methoden signifikant senkt.

Das Wesentliche

Das Problem: Der Sicherheits-Verkehrsstau

Stell dir vor, du hast einen sehr talentierten, aber etwas ungestümen Maler (das ist der KI-Modell). Er kann wunderschöne Bilder malen, wenn du ihm sagst: „Male eine Katze." Aber manchmal fragt er dich auch: „Male eine Katze, die eine Waffe hält" oder „Male eine Katze, die nackt ist." Das wollen wir nicht.

Um das zu verhindern, gibt es Sicherheits-Guides (wie ein strenger Kunstlehrer). Diese Guides sagen dem Maler: „Hey, geh weg von der Ecke im Raum, wo die gefährlichen Bilder entstehen!"

Das alte Problem:
Bisher haben diese Guides alle „gefährlichen" Wörter in einen großen Sack geworfen. Wenn du sagst: „Male etwas Gewaltiges," schaut der Guide auf seinen Sack und denkt: „Oh, da sind Wörter für Gewalt, Hass und Sex drin." Er versucht dann, den Maler gleichzeitig von allen diesen gefährlichen Ecken wegzudrücken.

Das ist wie ein Verkehrspolizist, der versucht, Autos gleichzeitig von drei verschiedenen Baustellen wegzuleiten, indem er mit der Hand in alle drei Richtungen zeigt. Das Ergebnis? Der Maler ist verwirrt. Er weiß nicht, wohin er soll.

• Wenn er versucht, weg vom „Hass" zu gehen, landet er vielleicht versehentlich direkt in der „Sex"-Ecke.
• Die verschiedenen Anweisungen heben sich gegenseitig auf.
• Ergebnis: Statt sicherer Bilder entstehen oft schlimmere Bilder als vorher, weil der Sicherheitsversuch chaotisch war. Das nennen die Autoren „Harmful Conflicts" (Schädliche Konflikte).

---

Die Lösung: CASG – Der kluge Navigator

Die Forscher haben eine neue Methode namens CASG (Conflict-aware Adaptive Safety Guidance) entwickelt. Das ist wie ein intelligenter, flexibler Navigator, der nicht stur auf eine Liste schaut, sondern genau hinsieht, was gerade passiert.

CASG funktioniert in zwei Schritten, wie ein guter Koch, der genau weiß, welches Gewürz er wann braucht:

1. Der Detektiv (CaCI – Conflict-aware Category Identification)

Statt alle Gefahren gleichzeitig zu bekämpfen, fragt CASG den Maler während des Malens: „Was ist hier wirklich das Problem?"

• Der Maler ist gerade dabei, ein Bild zu erstellen.
• CASG schaut sich die Richtung an, in die der Maler gerade denkt.
• Es vergleicht: „Ah, der Maler denkt gerade stark an Sexualität. Die Gefahr ist also Sex, nicht Gewalt."
• Es identifiziert also genau eine Hauptgefahr, die gerade relevant ist.

2. Der präzise Lenker (CrGA – Conflict-resolving Guidance Application)

Sobald CASG weiß, dass es gerade um „Sex" geht, ignoriert es den Rest des Sacks mit den anderen Gefahrenwörtern.

• Es sagt dem Maler: „Geh nur weg von der Sex-Ecke! Die anderen Ecken (Hass, Gewalt) sind gerade egal."
• Dadurch wird die Anweisung klar und stark. Es gibt keinen Konflikt mehr zwischen „Weg von Hass" und „Weg von Sex", weil nur eine Richtung aktiv ist.

---

Eine Analogie aus dem Alltag

Stell dir vor, du fährst ein Auto und hast drei verschiedene Navi-Geräte im Armaturenbrett:

1. Navi A sagt: „Fahre links, um nicht in den Wald zu kommen."
2. Navi B sagt: „Fahre rechts, um nicht ins Wasser zu kommen."
3. Navi C sagt: „Fahre geradeaus, um nicht auf die Autobahn zu kommen."

Wenn du alle drei gleichzeitig befolgst, drehst du das Lenkrad wild hin und her und landest wahrscheinlich in einem Graben. Das war das alte System.

CASG ist wie ein Navigator, der sagt: „Moment, wir sind gerade am See. Das Wasser ist die Gefahr. Ignoriere den Wald und die Autobahn für einen Moment. Fahr einfach nur rechts." Sobald du den See passiert hast, schaut er wieder um.

Warum ist das so wichtig?

• Kein Nachtrainieren nötig: Das System muss nicht neu gelernt werden. Es ist wie ein Plug-in, das man einfach einsteckt.
• Bessere Ergebnisse: Die Tests zeigen, dass CASG viel weniger schädliche Bilder produziert als die alten Methoden (bis zu 15,4 % weniger).
• Qualität bleibt: Die schönen Bilder (z. B. eine Landschaft) werden nicht kaputtgemacht. Nur die gefährlichen Bilder werden sicher gestoppt.

Zusammenfassung

Die Forscher haben entdeckt, dass man Sicherheit nicht durch „Alles-gegen-alles" erreicht. Wenn man versucht, zu viele Probleme gleichzeitig zu lösen, entstehen neue Probleme. CASG löst das, indem es schlau und dynamisch entscheidet: „Welches Problem ist jetzt gerade das größte?" und bekämpft nur dieses eine. So wird die KI sicherer, ohne ihre Kreativität zu verlieren.

Technische Zusammenfassung

1. Problemstellung: Der „Harmful Conflict" (Schädlicher Konflikt)

Text-to-Image (T2I) Diffusionsmodelle wie Stable Diffusion sind leistungsstark, bergen aber das Risiko, schädliche Inhalte (Hass, Gewalt, Sexuelles, Illegales) zu generieren. Bestehende Sicherheitsmethoden, die auf Safety Guidance basieren (z. B. SLD, SAFREE), versuchen, die Generierung von schädlichen Bereichen im Latent- oder Text-Raum wegzusteuern.

Das zentrale Problem, das in diesem Paper identifiziert wird, ist der „Harmful Conflict":

• Kategorien-Agnostisches Design: Herkömmliche Methoden aggregieren alle schädlichen Schlüsselwörter zu einer einzigen Menge und leiten daraus eine einzige, einheitliche Sicherheitsrichtung ab.
• Inkonsistenz der Richtungen: Unterschiedliche schädliche Kategorien definieren jedoch oft inkonsistente oder sogar entgegengesetzte Sicherheitsvektoren im latenten Raum oder im Text-Embedding-Raum.
• Folgen der Aggregation:
  1. Safety Misalignment Degradation: Wenn die angewandte Sicherheitsrichtung nicht zur tatsächlichen schädlichen Intention des Prompts passt (z. B. „Hass"-Richtung auf einen „sexuellen" Prompt), wird die Sicherheit verschlechtert, und die schädliche Rate steigt drastisch an.
  2. Safety Averaging Degradation: Durch das Zusammenführen (Aggregieren) verschiedener Kategorien heben sich die Vektoren teilweise gegenseitig auf. Dies führt zu einer Abschwächung der Sicherheitswirkung, sodass weniger schädliche Inhalte unterdrückt werden als bei einer gezielten, einzelkategorischen Steuerung.

2. Methodik: Conflict-aware Adaptive Safety Guidance (CASG)

Um dieses Problem zu lösen, schlagen die Autoren CASG vor, ein training-freies, plug-and-play Framework, das dynamisch die relevanteste schädliche Kategorie identifiziert und die Sicherheitssteuerung ausschließlich entlang dieser Richtung anwendet.

CASG besteht aus zwei Hauptkomponenten:

A. Conflict-aware Category Identification (CaCI)

Anstatt statische Klassifikatoren zu verwenden, identifiziert CaCI dynamisch die schädliche Kategorie, die am besten mit dem aktuellen Generierungszustand des Modells übereinstimmt. Dies geschieht während des Denoising-Prozesses (Schritt für Schritt):

• Im Latent-Raum (z. B. für SLD): Es wird die Kosinus-Ähnlichkeit zwischen der ursprünglichen Prompt-Guidance und den Guidance-Vektoren jeder einzelnen schädlichen Kategorie berechnet. Die Kategorie mit der höchsten Ähnlichkeit (stärkste Ausrichtung) wird als dominant ausgewählt.
• Im Text-Raum (z. B. für SAFREE): Es wird die Residualgröße nach der orthogonalen Projektion des Prompt-Embeddings auf den Unterraum jeder schädlichen Kategorie gemessen. Die Kategorie, bei der das Residuum am kleinsten ist (d. h. der Prompt liegt am stärksten im schädlichen Unterraum), wird ausgewählt.

B. Conflict-resolving Guidance Application (CrGA)

Sobald die dominante Kategorie identifiziert ist, wird die Sicherheitskorrektur ausschließlich entlang der Richtung dieser einen Kategorie angewendet.

• Dies verhindert die Interferenz und gegenseitige Aufhebung, die bei der Aggregation mehrerer Kategorien entsteht.
• Das Framework ist kompatibel mit sowohl latenten (SLD) als auch textbasierten (SAFREE) Sicherheitsmechanismen.

3. Schlüsselbeiträge

1. Identifikation eines kritischen Defizits: Das Paper zeigt erstmals systematisch auf, dass die naive Aggregation mehrerer schädlicher Kategorien in T2I-Sicherheitsmethoden zu signifikanten Sicherheitsverlusten führt („Harmful Conflicts").
2. Entwicklung von CASG: Einführung des ersten training-freien, adaptiven Frameworks, das diese Konflikte durch dynamische, kategorienkonsistente Sicherheitssteuerung auflöst.
3. Umfassende Validierung: Experimente zeigen, dass CASG nicht nur die Sicherheit verbessert, sondern auch die Bildqualität für harmlose Prompts erhält.

4. Ergebnisse

Die Autoren evaluierten CASG auf vier etablierten Benchmarks (I2P, T2VSafetyBench, Unsafe Diffusion, CoProv2) unter Verwendung von Stable Diffusion v1.5.

• Verbesserung der Sicherheit: CASG+SLD erreichte einen State-of-the-Art in der Schadensreduktion. Im Vergleich zu bestehenden Methoden konnte die schädliche Rate um bis zu 15,4 % gesenkt werden.
  • Beispiel: Auf dem CoProv2-Datensatz sank die schädliche Rate von 7,1 % (SLD Basis) auf 3,9 % (CASG+SLD).
• Qualitätserhalt: Trotz der stärkeren Sicherheitskontrolle blieben die Metriken für Bildqualität (FID) und semantische Ausrichtung (CLIP Score) nahezu unverändert im Vergleich zu den Baseline-Methoden.
• Vergleich mit LLM-Alternativen: Im Gegensatz zu Ansätzen, die ein großes Sprachmodell (LLM) zur Prompt-Klassifizierung nutzen (was statisch ist und bei mehrdeutigen Prompts versagt), übertrifft CASG diese durch seine dynamische Anpassung an jedem Denoising-Schritt.
• Effizienz: Der Overhead ist minimal. Für textbasierte Methoden (SAFREE) beträgt die Erhöhung der Inferenzzeit nur ca. 2 %. Für latente Methoden (SLD) skaliert die Zeit linear mit der Anzahl der Kategorien, bleibt aber akzeptabel.

5. Bedeutung und Fazit

Die Arbeit ist von großer Bedeutung für die sichere Nutzung generativer KI, da sie ein fundamentales, bisher übersehenes Problem in der Sicherheitsarchitektur von Diffusionsmodellen aufdeckt. Sie zeigt, dass „mehr Kategorien" nicht automatisch „mehr Sicherheit" bedeuten, sondern oft das Gegenteil bewirken.

CASG bietet eine effiziente, sofort einsetzbare Lösung, die die Sicherheit von T2I-Modellen signifikant erhöht, ohne deren Nützlichkeit für harmlose Anwendungen zu beeinträchtigen oder teures Nachtrainieren zu erfordern. Dies ist ein wichtiger Schritt hin zu robusteren und zuverlässigeren KI-Systemen für den öffentlichen Einsatz.