🤖 AI

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

Dieses Paper schlägt ein iteratives, selbstverbesserndes Framework vor, das das eigene Urteil eines vereinheitlichten multimodalen Modells nutzt, um unsichere Generierungen zu identifizieren und dessen visuellen Codebook adaptiv zu verfeinern, wodurch die Sicherheit bei der autoregressiven Bildgenerierung ohne die Notwendigkeit externen menschlichen Feedbacks erhöht wird.

Ursprüngliche Autoren: Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr talentierten, allwissenden Künstler, der Bilder basierend auf Ihren Beschreibungen malt. Dieser Künstler malt nicht mit einem Pinsel auf einer Leinwand; stattdin baut er Bilder Stein für Stein auf, wie ein Meisterbaumeister, der winzige „Pixel-Blöcke“ zusammensetzt, ähnlich wie Lego-Steine aus einer riesigen Kiste. Diese Kiste voller Steine wird als Codebook bezeichnet.

Das Problem ist, dass der Künstler manchmal, wenn man ihn bittet, etwas Bestimmtes zu malen (selbst wenn man nicht böswillig ist), versehentlich einen „schlechten Stein“ aus der Kiste wählen kann, der zu einem gruseligen, gewalttätigen oder unangemessenen Bild führt.

Dieses Paper schlägt einen cleveren Weg vor, um die Kiste des Künstlers mit Steinen so zu korrigieren, dass er nur noch sichere Bilder bauen kann, ohne dass ein menschlicher Lehrer seine Arbeit ständig kontrollieren muss. So funktioniert es, erklärt durch eine einfache dreistufige Geschichte:

1. Der Künstler wird sein eigener Lehrer (Selbstreflexion)

Normalerweise benötigt man einen Menschen, der sich jedes Gemälde ansieht und sagt: „Nein, das ist zu gewalttätig“ oder „Ja, das ist sicher“, um einen Künstler zu lehren, keine schlechten Bilder zu malen. Das dauert ewig.

Stattdessen lässt diese Methode den Künstler sein eigenes Werk betrachten.

Der Künstler versucht, ein Bild basierend auf einem Prompt zu malen.
Der Künstler betrachtet dann das Bild und fragt sich: „Sieht das gefährlich oder unangemessen aus?“
Wenn der Künstler denkt: „Ja, das ist schlecht“, erstellt er ein „schlechtes Beispiel“.
Dann versucht er, eine ähnliche, aber sichere Version dieses Bildes zu malen.
Nun hat der Künstler ein Paar: Ein „Schlechtes Bild“ und ein „Gutes Bild“.

2. Die „schlechten Steine“ finden (Der schädliche Raum)

Die Forscher haben erkannt, dass der Unterschied zwischen dem „schlechten Bild“ und dem „guten Bild“ nicht zufällig ist; er liegt in den spezifischen „Steinen“ (Tokens), die der Künstler gewählt hat.

Sie nehmen die „schlechten“ Steine und die „guten“ Steine und vergleichen sie.
Sie nutzen Mathematik, um die spezifische Richtung im Kasten der Steine zu finden, in der das „Schlechte“ existiert. Stellen Sie sich das wie das Finden einer spezifischen schattigen Ecke in einem Lagerraum vor, in der alle gefährlichen Lego-Teile versteckt sind.
Dann sperren sie diese Ecke ab. Sie stellen sicher, dass der Künstler niemals in diese schattige Ecke greifen kann, um wieder einen Stein daraus zu nehmen. Dies nennt man die Projektion des Codebooks in einen „unschädlichen Raum“.

3. Das Kunstwerk polieren (Adaptive Feinabstimmung)

Hier liegt der knifflige Teil: Wenn man einfach nur die schlechten Steine wegsperrt, könnte der Künstler anfangen, hässliche oder verschwommene Bilder zu malen, weil ihm einige Werkzeuge fehlen, die er für normale Kunst benötigt.

Um dies zu beheben, lassen die Forscher den Künstler wieder sichere Bilder malen, aber mit einer strengen Regel: Du darfst nur die Werkzeuge benutzen, die NICHT in der schattigen Ecke liegen.
Der Künstler lernt, seine Fähigkeiten unter Verwendung nur der „sicheren“ Werkzeuge neu aufzubauen, wodurch er die rauen Kanten glättet und die Bilder wieder wunderschön macht.
Dieser Prozess ist iterativ, was bedeutet, dass sie den Zyklus wiederholen: Versuchen zu malen -> Auf das Schlechte prüfen -> Die schlechte Ecke sperren -> Sicheres Malen üben -> Wiederholen. Jedes Mal wird der Künstler besser darin, das Schlechte zu vermeiden und gleichzeitig die hohe Qualität der Kunst beizubehalten.

Das Ergebnis

Am Ende dieses Prozesses besitzt der Künstler eine neue, verbesserte Kiste voller Steine.

Er kann immer noch wunderschöne, komplexe und emotionale Meisterwerke malen (wie die Beispiele der „Malerei des 19. Jahrhunderts“ oder des „düsteren emotionalen Porträts“ in der Arbeit).
Aber wenn man ihn bittet, etwas Schädliches zu malen (wie Gewalt oder Nacktheit), sind die „schlechten Steine“ einfach nicht mehr da, um ausgewählt zu werden. Der Künstler wird stattdin eine sichere Version der Szene malen.

Kurz gesagt: Das Paper lehrt einen KI-Künstler, sich selbst zu kontrollieren. Er findet seine eigenen Fehler, identifiziert genau jene „mentalen Werkzeuge“, die diese Fehler verursachen, entfernt diese Werkzeuge und lernt dann neu, ein großartiger Künstler zu sein, indem er nur die sicheren Werkzeuge nutzt. Das Beste daran? Er erledigt all dies, ohne dass ein Mensch tausende von schlechten Bildern für ihn kennzeichnen muss.

Technisches Resümee: Sicheres autoregressives Bildgenerierung mit iterativ selbstverbessernden Codebooks

Problemstellung

Autoregressive vereinheitlichte multimodale Modelle generieren Bilder, indem sie diskretisierte visuelle Token, die aus einem Codebook abgeleitet wurden, sequenziell vorhersagen, anstatt in kontinuierlichen latenten Räumen wie Diffusionsmodelle zu operieren. Während diese Architektur Vorteile in Bezug auf Geschwindigkeit und Text-Konditionierungskonsistenz bietet, wirft sie kritische Sicherheitsfragen auf: Wie sicher sind die Bilder, die diese autoregressiven Systeme generieren? Bestehende Sicherheitsmitigierungsmethoden für Diffusionsmodelle (z. B. Guidance im latenten Raum, Filterung nach der Generierung) stützen sich auf kontinuierliche Repräsentationen und lassen sich nicht gut auf die diskrete Token-basierte Generierung von autoregressiven Modellen übertragen. Darüber hinaus erfordern aktuelle Ansätze oft umfangreiche menschliche Annotationen oder externe Feedback-Schleifen, was ressourcenintensiv und schwer skalierbar ist.

Methodik

Das Paper schlägt Iterative Self-Improving Codebooks vor, eine Methode, welche die eigenen Fähigkeiten des vereinheitlichten multimodalen Modells nutzt, um schädliche Konzepte ohne externe menschliche Annotation zu identifizieren und zu eliminieren. Der Ansatz besteht aus zwei Kernschritten, die iterativ bis zur Konvergenz wiederholt werden:

1. Konstruktion des schädlichen Raums und Projektion

Selbstgenerierte Datenpaarung: Das Modell generiert Bilder aus einem Satz von Prompts, die spezifische schädliche Attribute enthalten. Unter Nutzung der eigenen Verständnisfähigkeiten des Modells identifiziert es, welche generierten Bilder schädlich sind. Für jeden schädlichen Prompt ( $x_u$ ) generiert das Modell einen semantisch ähnlichen, aber sicheren alternativen Prompt ( $x_s$ ), indem es unsichere Begriffe durch harmlose ersetzt. Dies erzeugt gepaarte Bild-Text-Datensätze: $(x_u, y_u)$ für schädlich und $(x_s, y_s)$ für sicher.
Extraktion von Merkmalsdifferenzen: Das Modell extrahiert Embedding-Features ( $F_u$ und $F_s$ ) für die Tokens, die diesen Prompts entsprechen, aus seinem Codebook. Die Differenz zwischen diesen Feature-Vektoren ( $F_u - F_s$ ) wird berechnet, um die spezifischen Merkmale des schädlichen Konzepts zu isolieren.
Subraum-Konstruktion: Diese Differenzvektoren werden aggregiert und mittels Singularwertzerlegung (SVD) verarbeitet, um die Hauptkomponenten zu extrahieren. Die Top- $k$ -Singulärvektoren definieren einen schädlichen Subraum ( $P$ ), der die Kernmerkmale des schädlichen Konzepts (z. B. Nacktheit, Gewalt) erfasst.
Harte Projektion: Das ursprüngliche Codebook ( $W_{ori}$ ) wird projiziert, um Komponenten zu entfernen, die innerhalb dieses schädlichen Subraums liegen. Das projektierte Codebook ( $W_{proj}$ ) wird wie folgt berechnet:
$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$
Dies stellt sicher, dass die neuen Embeddings orthogonal zu den schädlichen Informationen sind.

2. Adaptive Feinabstimmung im harmlosen Raum

Qualitätsrestaurierung: Die harte Projektion in Schritt 1 kann die Bildqualität beeinträchtigen, indem sie harmlose Details entfernt. Um dem entgegenzuwirken, führt die Methode eine adaptive Feinabstimmung auf dem projizierten Codebook durch.
Nullraum-Beschränkung: Eine Perturbationsmatrix ( $\Delta$ ) wird optimiert, um die Bildtreue zu verbessern. Entscheidend ist, dass diese Perturbation auf den Nullraum der Differenzmatrix $E$ (den Raum orthogonal zum schädlichen Subraum) beschränkt ist. Dies stellt sicher, dass der Feinabstimmungsprozess die visuelle Qualität verbessert, ohne schädliche Informationen wieder einzuführen.
Finales Codebook: Das finale sichere Codebook wird als $W_{safe} = W_{proj} + \Delta \cdot Q$ konstruiert, wobei $Q$ die Projektionsmatrix auf den Nullraum ist.

Der gesamte Prozess ist iterativ: Das aktualisierte Codebook wird verwendet, um neue Daten zu generieren, den schädlichen Raum zu verfeinern und Sicherheit sowie Qualität weiter zu verbessern.

Wichtigste Beiträge

Erste systematische Untersuchung: Die Autoren sind die Ersten, die die Sicherheit der Bildgenerierung innerhalb autoregressiver, vereinlichter multimodaler Frameworks systematisch adressieren und sie von der gut untersuchten Sicherheitslandschaft der Diffusionsmodelle abgrenzen.
Iterativer Selbstverbesserungsmechanismus: Das Paper führt eine Methode ein, die die internen Urteils- und Verständnisfähigkeiten des Modells nutzt, um schädliche/sichere Paare zu konstruieren und das Codebook zu aktualisieren, wodurch die Notwendigkeit von annotierten Datensätzen oder menschlichem Feedback entfällt.
Codebook-zentrierte Sicherheit: Im Gegensatz zu Methoden, die Generationspfade oder latente Räume modifizieren, verändert dieser Ansatz direkt die diskreten visuellen Token-Repräsentationen (das Codebook) und bietet somit eine fundamentale Lösung für autoregressive Modelle.

Experimentelle Ergebnisse

Die Methode wurde auf acht Datensätzen für schädliche Prompts (darunter I2P, CoPro, ViSU, P4D und MPUP) über fünf vereinlichte multimodale Modelle (Janus-Serie, VILA-U, Emu3, LlamaGen, OmniMamba) evaluiert.

Sicherheitsverbesserung: Die Methode reduzierte die Generierung unangemessener Inhalte in sieben Kategorien (Sexuell, Gewalt, Hassrede, Selbstverletzung, Illegale Aktivitäten, Belästigung, Schockierend) signifikant. Beispielsweise sank der Anteil sexueller Inhalte beim I2P-Datensatz von 0,12 (Baseline) auf 0,04 (Safe-CB).
Iterative Wirksamkeit: Experimente zeigten, dass iteratives Entfernen eine einmalige Entfernung übertrifft. Die Sicherheitsverbesserungen erreichtenت im Allgemeinen nach drei Iterationen eine Sättigung, wobei der schädliche Raum im Laufe der Zeit präziser wurde.
Erhalt von Fähigkeiten: Die Methode bewahrte die inhärenten Bildgenerierungs- und Textverständnis-Fähigkeiten des Modells. Benchmarks wie Geneval (Generierung) und MMMU (Verständnis) zeigten keine signifikante Verschlechterung.
Semantische Treue: Während die initiale harte Projektion zu einem Abfall der Prompt-Bild-Ausrichtung führte (gemessen durch CLIP-Score und TIFA), konnte die adaptive Feinabstimmungsphase die semantische Konsistenz erfolgreich wiederherstellen und die Leistung von Safe-CB bei benignen Prompts nahe an die Baseline bringen.
Generalisierung: Der Ansatz generalisierte gut auf Out-of-Distribution (OOD) Daten und verschiedene Modellgrößen (von 1B bis 7B Parametern).

Bedeutung und Ansprüche

Das Paper behauptet, dass diese Arbeit ein neues Paradigma für die Sicherheit in der autoregressiven Bildgenerierung etabliert. Indem sie das eigene Selbsturteil des Modells nutzt, um sein internes Codebook iterativ zu verfeinern, erreicht die Methode Sicherheitsverbesserungen, ohne auf externe menschliche Annotation oder ein vollständiges Retraining des gesamten Modells angewiesen zu sein. Die Autoren betonen, dass dieser Ansatz effektiv schädliche Abbildungen eliminiert und gleichzeitig hochwertige visuelle Details beibehält, was eine skalierbare und selbsttragende Lösung für die sichere multimodale Generierung bietet. Die Arbeit hebt hervor, dass Sicherheit in autoregressiven Modellen unterschiedliche Strategien erfordert als bei Diffusionsmodellen, insbesondere durch die gezielte Adressierung der diskreten Natur visueller Tokens.