💻 computer science

SHIFT: Steering Hidden Intermediates in Flow Transformers

Die Arbeit stellt SHIFT vor, ein leichtgewichtiges Framework zur gezielten Manipulation von Zwischenaktivitäten in DiT-basierten Diffusionsmodellen während der Inferenz, um unerwünschte visuelle Konzepte zu unterdrücken oder den Stil und Inhalt der generierten Bilder ohne aufwendiges Nachtraining flexibel zu steuern.

Ursprüngliche Autoren: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

Veröffentlicht 2026-04-13

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein moderner KI-Künstler (wie Flux) ist ein extrem talentierter, aber etwas wilder Maler. Er kann wunderschöne Bilder aus Textbeschreibungen erschaffen. Das Problem ist: Manchmal malt er Dinge, die wir gar nicht wollen – etwa unangemessene Inhalte, urheberrechtlich geschützte Figuren oder einfach nur Dinge, die nicht in das Bild passen sollen.

Bisher war es schwierig, diesen Maler zu korrigieren. Die alten Methoden waren wie ein schwerer Hammer: Man musste den gesamten Künstler neu ausbilden, was unglaublich teuer und zeitaufwendig war. Es war, als würde man einen ganzen Kochkurs geben, nur damit er aufhört, Salz in die Suppe zu tun.

SHIFT ist eine völlig neue, clevere Idee. Statt den Künstler neu zu erziehen, geben wir ihm während des Malens eine kleine, gezielte Stimme oder einen Kompass.

Wie funktioniert SHIFT? (Die Analogie)

Stell dir vor, der Maler hat in seinem Kopf ein riesiges, unsichtbares Regal voller Gedanken und Bilder (die sogenannten "latenten Räume"). Wenn er einen Begriff wie "Hund" hört, greift er zu einem bestimmten Regal. Wenn er "Katze" hört, zu einem anderen.

1. Der "Steuervektor" (Der Kompass):
Die Forscher haben herausgefunden, dass man diese Regale nicht umräumen muss. Stattdessen kann man dem Maler einen kleinen magnetischen Kompass in die Hand drücken.

Wenn man ein Bild ohne "Hund" will, gibt man den Kompass eine Richtung, die den "Hund"-Gedanken magnetisch wegzieht.
Wenn man einen "Cyberpunk"-Stil will, dreht man den Kompass in die Richtung "Zukunft und Neon".

2. Der Zeitpunkt (Wann man eingreift):
Das Tolle an SHIFT ist, dass man diesen Kompass nicht nur einmal braucht. Die Forscher haben entdeckt, dass dieser Kompass fast den ganzen Malprozess über funktioniert. Man muss ihn nicht bei jedem Pinselstrich neu justieren. Einmal einstellen, und er führt den Maler sicher durch den gesamten Prozess, von der ersten groben Skizze bis zum fertigen Bild.

3. Die Stärke (Wie stark der Magnet zieht):
Man kann die Stärke des Kompasses regeln.

Leichtes Ziehen: Das Bild bleibt fast gleich, aber ein kleines Detail (wie eine Brille) verschwindet.
Starkes Ziehen: Das Bild wandelt sich komplett in einen anderen Stil, oder ein ganzer Gegenstand wird durch etwas anderes ersetzt.

Was macht SHIFT besonders?

Kein Neulernen: Der Maler (das KI-Modell) muss nicht neu trainiert werden. Das spart enorme Rechenleistung und Zeit. Es ist wie das Hinzufügen eines Filters in einer Foto-App, statt die Kamera selbst zu zerlegen.
Präzision: Es entfernt genau das, was man will (z. B. "Nacktheit" oder "Snoopy"), ohne dass das ganze Bild kaputtgeht. Der Rest des Bildes bleibt schön und klar.
Vielseitigkeit: Es funktioniert nicht nur zum Löschen. Man kann damit auch Dinge hinzufügen (z. B. "mach den Mann älter" oder "setz ihm einen Hut auf") oder den Stil komplett ändern (z. B. "mach alles wie ein Anime").

Zusammenfassung in einem Satz

SHIFT ist wie ein intelligenter Fernsteuerungs-Hebel für KI-Künstler: Er erlaubt es uns, in Echtzeit zu sagen "Mach das Bild sicherer", "Ändere den Stil" oder "Entferne diesen Gegenstand", ohne den Künstler selbst jemals neu zu programmieren. Es ist einfach, schnell und funktioniert überraschend gut, selbst bei den neuesten und komplexesten KI-Modellen.

Titel: SHIFT: Steering Hidden Intermediates in Flow Transformers

1. Problemstellung

Diffusionsmodelle, insbesondere die neuen Diffusion Transformer (DiT) wie FLUX, haben den State-of-the-Art in der Text-zu-Bild-Generierung erreicht. Mit dieser Leistungsfähigkeit gehen jedoch erhebliche Risiken einher, wie die Generierung von schädlichen, urheberrechtlich geschützten oder unerwünschten Inhalten.

Das bestehende Problem liegt in der Konzept-Erasure (CE), also dem zuverlässigen Entfernen spezifischer semantischer Konzepte aus dem generativen Manifold eines Modells:

Hohe Kosten: Herkömmliche Methoden (z. B. ESD, Concept Ablation) basieren auf gradientenbasiertem Fine-Tuning. Dies ist bei großen DiT-Architekturen (z. B. FLUX mit 12 Mrd. Parametern) rechnerisch prohibitiv teuer.
Limitationen bei distillierten Modellen: Viele Methoden nutzen negative Guidance während des Trainings, was bei distillierten Modellen (wie Flux.1[schnell]), die für eine feste Guidance-Scale optimiert sind, nicht direkt anwendbar ist.
Architektur-Wandel: Frühere Ansätze zielten oft auf Cross-Attention-Layer in U-Net-Architekturen ab. Moderne DiTs nutzen jedoch Multimodal-DiT-Blöcke, in denen Text- und Bild-Token in einem gemeinsamen latenten Raum verarbeitet werden. Dies macht gezielte Eingriffe schwieriger, da die Trennung zwischen Text- und Bildverarbeitung aufgehoben ist.

2. Methodik: SHIFT Framework

Die Autoren stellen SHIFT vor, ein leichtgewichtiges Framework, das auf Activation Steering (Aktivierungssteuerung) basiert und ursprünglich aus der Forschung zu Large Language Models (LLMs) stammt. SHIFT manipuliert die internen Aktivierungen zur Inferenzzeit, ohne die Modellgewichte zu ändern.

Kernkomponenten:

Zielorte der Intervention: Im Gegensatz zu U-Nets steuert SHIFT zwei Schlüsselkomponenten im DiT:
1. Die gepoolte Embedding-Repräsentation des Text-Encoders (z. B. CLIP-Token).
2. Die Text-Token-Aktivierungen innerhalb der DiT-Blöcke (nach der gemeinsamen Attention-Schicht).
Konstruktion der Steering-Vektoren:
- Es wird ein kleines Datenset aus kontrastiven Prompt-Paaren erstellt (z. B. „ein Elefant" vs. „ein Elefant im Cyberpunk-Stil").
- Die Aktivierungen werden für beide Prompts aufgezeichnet.
- Der Steering-Vektor wird entweder als Mitteldifferenz der Aktivierungen oder durch Training eines linearen SVM (Support Vector Machine) auf den gepoolten Aktivierungen berechnet. Die SVM-Normale definiert die Trennebene zwischen Konzept und Nicht-Konzept.
Inferenzzeit-Anwendung:
- Der berechnete Vektor wird mit einer Stärke $\alpha$ zu den Aktivierungen addiert: $\tilde{a} = a + \alpha \cdot v$ .
- Dynamische Stärkeregelung: Für den DiT-Teil wird die Stärke durch ein leichtgewichtiges SVM-Klassifikator-Signal reguliert. Wenn das Zielkonzept noch stark in den Aktivierungen vorhanden ist, wird die Steuerung verstärkt; wenn es schwach ist, wird sie reduziert, um „Over-Steering" zu vermeiden.
- Für den Text-Encoder wird die Stärke basierend auf der kosinussimilitätsbasierten Differenz zwischen Start-Prompt und Ziel-Konzept skaliert.

Wichtige Erkenntnis zur Temporalität:
Die Studie zeigt, dass zeitinvariante Steering-Vektoren möglich sind. Ein einzelner Vektor, der auf allen Diffusionsschritten (Timesteps) angewendet wird, ist effektiv. Dies deutet darauf hin, dass semantische Konzepte in DiTs als stabile, globale Richtungen im latenten Raum kodiert sind.

3. Hauptbeiträge

Unified Steering Framework: SHIFT ist das erste umfassende Framework, das sowohl ursprüngliche als auch distillierte DiT-Modelle (Flux.1[dev] und Flux.1[schnell]) ohne Retraining steuern kann.
Analyse von Raum und Zeit: Durch umfangreiche Ablationsstudien wurde gezeigt, dass Steering-Vektoren über alle Timesteps hinweg konsistent funktionieren. Dies vereinfacht den Prozess erheblich, da keine timestepspezifischen Vektoren benötigt werden.
Cross-Distillation Transfer: Die Autoren beweisen, dass Steering-Vektoren, die auf einem distillierten Modell (Flux.1[schnell]) berechnet wurden, erfolgreich auf das nicht-distillierte Modell (Flux.1[dev]) übertragen werden können und umgekehrt.

4. Ergebnisse

Die Evaluation umfasste das Entfernen abstrakter Konzepte (z. B. Nacktheit), konkreter Objekte (z. B. Snoopy, Hüte) und Stil-Steering (z. B. Entfernen des Van-Gogh-Stils).

Konzept-Erasure (Sicherheit):
- Auf dem I2P-Benchmark (Nacktheitserkennung) übertraf SHIFT alle Baselines (ESD, CA, UCE, EAP) deutlich.
- Bei Flux.1[schnell] reduzierte SHIFT die Erkennung von Nacktheit um das 3- bis 4-fache im Vergleich zu den besten Baselines.
- Die Bildqualität (gemessen an FID auf MS-COCO) blieb dabei nahezu unverändert, was einen hervorragenden Kompromiss zwischen aggressiver Löschung und Qualität zeigt.
Konkrete Objekte:
- SHIFT konnte spezifische Objekte (z. B. Snoopy) effektiv entfernen, während ähnliche Konzepte (Mickey Mouse, Hunde) erhalten blieben.
- Die CLIP-Scores für nicht-Ziel-Konzepte blieben hoch, was die semantische Treue bestätigt.
Stil- und Objekt-Steering:
- Das Framework funktionierte nicht nur für das Löschen, sondern auch für das Hinzufügen von Objekten (z. B. eine Brille hinzufügen) und das Ändern von Stilen (z. B. in Cyberpunk-Stil).
- Es wurde gezeigt, dass kleine lokale Objekte (Hüte, Brillen) entfernt werden können, wobei jedoch klar ist, dass SHIFT ein globales Generierungs-Tool ist und keine räumliche Konsistenz eines spezifischen Eingabebildes garantiert (kein Bild-Editing im klassischen Sinne).

5. Bedeutung und Ausblick

SHIFT adressiert eine kritische Lücke in der Sicherheit und Kontrolle moderner Diffusionsmodelle.

Effizienz: Da kein Retraining erforderlich ist, ist die Methode extrem skalierbar und kosteneffizient, selbst für Modelle mit Milliarden von Parametern.
Flexibilität: Sie ermöglicht eine dynamische Kontrolle zur Laufzeit, was für Anwendungen in sicherheitskritischen Umgebungen oder für kreative Anpassungen essenziell ist.
Architektur-Übergang: Die Arbeit beweist, dass die Prinzipien des Activation Steerings erfolgreich von U-Nets auf die neuere DiT-Architektur übertragen werden können, was einen wichtigen Schritt für die zukünftige Kontrolle von Generativer KI darstellt.

Zusammenfassend bietet SHIFT einen robusten, retraining-freien Ansatz, um unerwünschte Inhalte in hochmodernen Diffusionsmodellen zu unterdrücken oder die Generierung in gewünschte Richtungen zu lenken, während die hohe Bildqualität erhalten bleibt.