💻 computer science

Closing the Safety Gap: Surgical Concept Erasure in Visual Autoregressive Models

Dieses Paper stellt VARE und S-VARE vor, neuartige Frameworks, die das chirurgische Löschen von Konzepten in visuellen autoregressiven Modellen ermöglichen, indem sie Hilfs-Visual-Tokens und spezialisierte Verlustfunktionen nutzen, um unsichere Konzepte zu eliminieren, während die Generationsqualität und semantische Treue erhalten bleiben.

Ursprüngliche Autoren: Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinhao Zhong, Yimin Zhou, Zhiqi Zhang, Junhao Li, Yi Sun, Bin Chen, Shu-Tao Xia, Xuan Wang, Ke Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr talentierten, hyperrealistischen Roboter-Künstler. Dieser Künstler malt nicht, indem er Farben auf einer Leinwand mischt, sondern baut Bilder Pixel für Pixel auf, wie man LEGO-Steine stapelt. Aber hier ist der Haken: Er baut die Bilder in Schichten auf, beginnend mit einer verschwommenen, niedrig auflösenden Skizze und fügt nach und nach mehr Details hinzu, bis das Bild scharf ist. Genau so funktionieren Visual Autoregressive (VAR) Modelle. Sie sind fantastisch darin, Bilder aus Text zu erstellen, aber sie haben einen gefährlichen Makel: Wenn man sie bittet, etwas Unangemessenes zu zeichnen (wie eine gewalttätige Szene oder eine nackte Figur), werden sie dies bereitwillig tun.

Das Problem ist, dass die „Sicherheitstools“, die wir derzeit für andere KI-Künstler (genannt Diffusion-Modelle) haben, bei diesem LEGO-stapelnden Roboter nicht funktionieren. Zu versuchen, diese alten Werkzeuge auf den neuen Roboter zu übertragen, ist so, als würde man versuchen, eine digitale Uhr mit einem Hammer zu reparieren, der für eine mechanische Uhr gedacht ist – es macht das Ganze kaputt.

Dieses Paper stellt einen neuen, „chirurgischen“ Weg vor, um den Roboter zu korrigieren, ohne seine Fähigkeit zu zeichnen zu zerstören. So haben sie es gemacht, erklärt durch einfache Analogien:

1. Das Problem: Der „Domino-Effekt“ der Fehler

Bei den alten Methoden, wenn man versuchte, den Roboter daran zu hindern, etwas Schlechtes (wie eine „Kirche“) zu zeichnen, sagten die Ingenieure dem Roboter: „Zeichne keine Kirche; zeichne stattdessen ein generisches Gebäude.“

Da der Roboter Bilder jedoch in Schichten aufbaut (von verschwommen zu scharf), wird ein kleiner Fehler in der ersten Schicht in der zweiten Schicht verstärkt und explodiert in der dritten. Bis das Bild fertig ist, hat der Roboter vergessen, wie man überhaupt etwas korrekt zeichnet. Das Bild sieht dann vielleicht aus wie ein geschmolzener Klumpen. Dies nennt man Fehlerakkumulation (error accumulation).

2. Die Lösung: Der „Stabilisierende Leitfaden“ (VARE)

Um zu verhindern, dass der Roboter auseinanderfällt, gaben die Autoren ihm einen stabilisierenden Leitfaden.

Stellen Sie sich vor, Sie bringen einem Schüler das Zeichnen eines Baumes bei. Anstatt nur zu sagen: „Zeichne keinen Baum“, halten Sie ein Bild eines generischen Baumes hoch und sagen: „Schau dir dieses Bild an. Versuche nun, etwas zu zeichnen, das fast so aussieht wie dieses, aber ohne die spezifischen Äste, die es zu einem Baum machen.“

Die Autoren fügten dem Training des Roboters „auxiliäre visuelle Token“ (das sind die Leitbilder) hinzu. Dies hält die Schichten des Roboters ausgerichtet. Es verhindert den „Domino-Effekt“ von Fehlern und stellt sicher, dass der Roboter immer noch weiß, wie er ein kohärentes Bild baut, während er gleichzeitig versucht, das schlechte Konzept zu entfernen.

3. Das Skalpell: „Gefilterte Kreuzentropie“ (S-VARE)

Soblich der Roboter stabil war, mussten die Autoren eine Möglichkeit finden, das schlechte Konzept präzise zu entfernen, ohne den Rest des Bildes zu ruinieren.

Der alte Weg: Man kann sich das wie den Versuch vorstellen, einen Splitter mit einem Vorschlaghammer zu entfernen. Man versucht, das Konzept zu löschen, indem man die Mathematik des Roboters perfekt an eine „sichere“ Version anpasst. Da der Roboter jedoch mit digitalen „Bits“ (An/Aus-Schaltern) statt mit glatten Gradienten arbeitet, zerstört dieser Vorschlaghammer-Ansatz oft das gesamte Bild.
Der neue Weg (S-VARE): Die Autoren haben ein Skalpell erfunden. Sie erkannten, dass der Roboter manchmal winzige Fehler macht, aber meistens bei der Hauptidee richtig liegt. Also entwickelten sie einen „Filter“.
- Wenn der Roboter das Bild bereits größtenteils richtig erfasst hat (z. B. wenn er den Himmel und den Boden korrekt identifiziert hat), ignoriert das Skalpell diese Teile.
- Es schneidet (passt an) nur die spezifischen Teile an, an denen der Roboter versucht, das „schlechte“ Konzept zu zeichnen (wie die Nacktheit oder das spezifische Objekt).
- Dies ist wie ein Chirurg, der nur am Tumor operiert und das gesunde Gewebe unberührt lässt.

4. Das Sicherheitsnetz: „Preservation Loss“

Manchmal, wenn man versucht, ein spezifisches Problem zu beheben, beschädigt man versehentlich andere Dinge. Zum Beispiel: Wenn man dem Roboter sagt „Zeichne keine Kirchen“, könnte er vergessen, wie man überhaupt Gebäude zeichnet, oder er könnte aufhören, das Wort „Himmel“ zu verstehen. Dies nennt man „Sprachdrift“ (language drift).

Um dies zu verhindern, fügten die Autoren ein Sicherheitsnetz hinzu. Sie erinnerten den Roboter ständig: „Während du die Kirche entfernst, stelle sicher, dass du den Himmel, das Gras und die Beleuchtung immer noch genau so zeichnest wie zuvor.“ Dies stellt sicher, dass der Roboter seine allgemeinen künstlerischen Fähigkeiten intakt behält, während er nur die Fähigkeit verliert, das spezifische, verbotene Objekt zu zeichnen.

Die Ergebnisse

Das Paper testete dies an einem Modell namens „Infinity“. Die Ergebnisse waren beeindruckend:

97 % Erfolg: Sie konnten erfolgreich verhindern, dass der Roboter sensible Inhalte (wie Nacktheit oder spezifische Objekte wie Kirchen) zeichnet.
Minimaler Schaden: Die Fähigkeit des Roboters, andere Dinge zu zeichnen, sank um weniger als 2 %. Er zeichnet weiterhin wunderschöne, hochwertige Bilder.
Robustheit: Selbst wenn Menschen versuchten, den Roboter mit verwirrenden oder „adversarialen“ Prompts zu täuschen (um das schlechte Konzept einzuschmuggeln), weigerte sich der Roboter weiterhin, es zu zeichnen.

Zusammenfassend lässt sich sagen: Die Autoren haben ein Framework entwickelt, das gleichzeitig als stabilisierender Leitfaden, chirurgisches Skalpell und Sicherheitsnetz fungiert. Dies ermöglicht es ihnen, gefährliche Konzepte aus dieser neuen Generation bildgenerierender KI chirurgisch zu entfernen, ohne die Fähigkeit der KI zur Kunstproduktion zu zerstören.

Technisches Resümee: Schließung der Sicherheitslücke: Chirurgische Konzept-Erasure in visuellen autoregressiven Modellen

Problemstellung

Der rasante Fortschritt bei visuellen autoregressiven (VAR) Modellen, wie etwa Infinity, hat die Qualität und Geschwindigkeit der Text-zu-Bild-Generierung durch die Vorhersage visueller Token in progressiv immer größeren Skalen erheblich verbessert. Diese Modelle verfügen jedoch über keine effektiven Sicherheitsmechanismen, was sie anfällig für die Generierung unsicherer Inhalte (z. B. NSFW-Bilder, Gewalt oder urheberrechtlich geschütztes Material) als Reaktion auf unangemessene Prompts macht.

Bestehende Techniken zur Konzept-Erasure (CE), die primär für Diffusionsmodelle (z. B. U-Net- oder FLUX-Architekturen) entwickelt wurden, lassen sich nicht auf VAR-Modelle generalisieren, da diese grundlegende architektonische Unterschiede aufweisen:

Vorhersage-Paradigma: Diffusionsmodelle sagen Rauschen in einem kontinuierlichen Raum voraus, während VAR-Modelle diskrete visuelle Token in einer hierarchischen, autoregressiven Weise vorhersagen.
Fehlerakkumulation: Die naive Anwendung von diffusionsbasierten CE-Methoden (die Vorhersagen auf einzelnen Skalen abgleichen) auf VARs führt zu kumulativen Fehlern über die Skalen hinweg. Da die VAR-Generierung hochgradig autoregressiv ist (jedes Token hängt von vorherigen Tokens grober Skalen ab), verursacht ein unabhängiger Abgleich eine schwere Kollaps der Bildqualität und semantische Verzerrungen.
Optimierungs-Mismatch: Standard-Regressionsverluste (z. B. Mean Squared Error), die in der Diffusions-Erasure verwendet werden, sind für den diskreten Wahrscheinlichkeitsraum der Token-Vorhersage in VARs ungeeignet und führen zu einer instabilen Optimierung.

Methodik

Die Autoren schlagen ein zweistufiges Framework vor: VARErasure (ein fundamentales Framework) und S-VARE (eine chirurgische Erasure-Methode).

1. VARErasure Framework: Hilfs-visuelle Tokens

Um die Akkumulation von Fehlern über die Skalen hinweg zu verhindern, führen die Autoren ein Framework ein, das hilfsweise visuelle Tokens nutzt.

Mechanismus: Anstatt das Modell darauf zu trainieren, Tokens basragend auf einem neutralen Prompt von Grund auf neu zu generieren, stellt das Framework dem visuellen Transformer zusätzliche Eingaben in Form von Hilfs-Tokens zur Verfügung, die vom Originalmodell (unter Verwendung entweder des Ziel-Prompts $c^*$ oder eines neutralen Prompts $c$ ) generiert wurden.
Effekt: Dies ermöglicht es dem feinabgestimmten Modell, sich darauf zu konzentrieren, die Cross-Attention-Antworten anzupassen, um das Zielkonzept zu berücksichtigen, während das allgemeine Generationsverhalten (Struktur und Semantik) weitgehend intakt bleibt. Dies mildert den „Kollaps“ ab, der bei naiver Feinabstimmung auftritt.

2. S-VARE: Chirurgische Konzept-Erasure

Aufbauend auf VARE führen die Autoren S-VARE ein, welches Standard-Regressionsverluste durch eine maßgeschneiderte Verlustfunktion ersetzt, die auf die diskrete Token-Vorhersage zugeschnitten ist.

Filtered Cross-Entropy Loss ( $L_{FCE}$ ):
- In Anerkennung dessen, dass VAR-Modelle (wie Infinity) Binary Spherical Quantization (BSQ) verwenden, um Vorhersagen in einen Wahrscheinlichkeitsraum zu projizieren, ersetzen die Autoren MSE durch Cross-Entropy.
- Filterstrategie: Um eine Überoptimierung zu vermeiden (bei der das Modell selbst korrekte Tokens verschlechtert), wird eine zweistufige Filterstrategie angewendet:
  1. Bit-Ebene: Verwendet einen Schwellenwert $\gamma$ basierend auf der Genauigkeit der binären Klassifizierung.
  2. Token-Ebene: Schließt Tokens aus der Verlustberechnung aus, wenn der Prozentsatz der fehlerhaften Bits unter einem Schwellenwert $\alpha$ liegt (festgesetzt auf 25 %, konsistent mit dem Selbstkorrektur-Bereich des Modells).
- Dies stellt sicher, dass nur Tokens mit signifikanten semantischen Diskrepanzen zu den Gradienten beitragen, was eine „chirurgische“ Entfernung unsicherer Konzepte ermöglicht.
Preservation Loss ( $L_{Pre}$ ):
- Um Nebenwirkungen der Feinabstimmung wie Sprachdrift und reduzierte Diversität entgegenzuwirken, wird ein Preservation Loss eingeführt.
- Mechanismus: Er richtet den Output des feinabgestimmten Modells (unter Verwendung eines neutralen Prompts $c$ ) mittels Kullback-Leibler-Divergenz an dem Output des ursprünglichen vortrainierten Modells aus.
- Ziel: Dies stellt sicher, dass das feinabgestimmte Modell die generativen Fähigkeiten und die Diversität des Originalmodells für Konzepte, die nicht zum gelöschten Ziel gehören, beibehält.

Wichtigste Beiträge

Systematische Analyse: Die Arbeit ist die erste, die die Limitationen der Anwendung von diffusionsbasierten CE-Methoden auf VAR-Modelle systematisch analysiert und dabei Fehlerakkumulation sowie Optimierungs-Mismatches als primäre Ausfallpunkte identifiziert.
VARE Framework: Schlägt ein neuartiges Framework vor, das Hilfs-visuelle Tokens nutzt, um die Generierung zu stabilisieren und den Optimierungs-Suchraum zu reduzieren, wodurch ein Kollaps der Bildqualität verhindert wird.
S-VARE Methode: Führt eine chirurgische Erasure-Methode ein, die folgende Merkmale aufweist:
- Einen Filtered Cross-Entropy Loss ( $L_{FCE}$ ), der gezielt unsichere Tokens adressiert und dabei die diskrete Natur von VAR-Vorhersagen respektiert.
- Einen Preservation Loss ( $L_{Pre}$ ), der die semantische Treue und die Output-Diversität aufrechterhält.
Empirische Validierung: Zeigt, dass der Ansatz hohe Erasure-Raten (97 % der sensiblen Konzepte) bei minimaler Degradierung der Generationsqualität (weniger als 2 % Abfall des CLIP-Scores) erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten S-VARE am Infinity-2B Modell über drei Erasure-Kategorien hinweg: NSFW (Nacktheit), Objekt (z. B. „Kirche“) und Stil (z. B. „Van Gogh“).

NSFW Erasure: Die Methode erreichte eine nahezu vollständige Löschung von Nacktheitskonzepten (signifikante Reduktion der Detektion sensibler Inhalte), während die Generierung normaler Körperteile erhalten blieb. Sie übertraf Baselines wie ESD, UCE und FMN, die entweder die Löschung nicht effektiv durchführten oder die Bildqualität stark verschlechterten.
Objekt- & Stil-Erasure: Die Methode entfernte Zielobjekte und Stile erfolgreich, während sie eine hohe Klassifizierungsgenauigkeit für irrelevante Klassen beibehielt und die Fähigkeit des Modells zur Generierung diverser, hochwertiger Bilder bewahrte.
Robustheit: Getestet gegen adversarielle Prompt-Datensätze (Ring-A-Bell, MMA, I2P), die zur Induktion von Nacktheitheit konzipiert wurden, reduzierte S-VARE die Adversarial Success Rate (ASR) im Vergleich zum Originalmodell und anderen Baselines signifikant.
Ablationsstudien: Bestätigten, dass der Filtered Cross-Entropy Loss entscheidend für die Effektivität der Erasure ist, während der Preservation Loss essenziell für die Aufrechterhaltung der Generationsqualität und der Instruktionstreue ist.

Bedeutung und Behauptungen

Das Paper behauptet, die Sicherheitslücke in der autoregressiven Text-zu-Bild-Generierung zu schließen. Während frühere Methoden für Diffusionsmodelle effektiv waren, waren sie für die aufkommende Klasse der VAR-Modelle nicht anwendbar. Durch die Einführung von VARE und S-VARE bieten die Autoren die erste effektive, chirurgische Konzept-Erasure-Lösung für VARs.

Die Arbeit zeigt, dass es möglich ist, unerwünschte Konzepte aus großskaligen autoregressiven Modellen zu entfernen, ohne die unpraktikable Rechenlast eines kompletten Retrainings oder die schwere Qualitätsdegradation einer naiven Feinabstimmung in Kauf nehmen zu müssen. Dies erleichtert den sicheren und skalierbaren Einsatz von VAR-basierten Generationssystemen in realen Anwendungen.