💻 computer science

Vision-Language Binding in In-Context Image Generation

Diese Arbeit zeigt, dass in einheitlichen Aufmerksamkeitsmodellen für kontextbezogene Bildgenerierung wie FLUX.2 Text-Token als strukturierter Kanal fungieren, der allgemeine visuelle Eigenschaften (wie Stil und Farbe) aus Referenzbildern aufnimmt und weiterleitet, während spezifische Instanzidentitäten die Text-Token umgehen und über Bild-zu-Bild-Aufmerksamkeit direkt zum Ausgang fließen.

Ursprüngliche Autoren: Chris Ge, Rohit Gandikota, Antonio Torralba, Tamar Rott Shaham

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chris Ge, Rohit Gandikota, Antonio Torralba, Tamar Rott Shaham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen supersmartten Roboter-Künstler namens FLUX.2. Dieser Roboter kann eine schriftliche Anweisung (wie „Hut hinzufügen") und ein Referenzfoto (wie ein Bild eines roten Balls) aufnehmen und kombinieren, um ein neues Bild zu erstellen.

Lange Zeit wussten wir nicht, wie dieser Roboter tatsächlich die Verbindung zwischen den Wörtern und dem Bild versteht. Hatte er erst das Bild betrachtet und dann die Wörter separat? Oder hat er beides in einer großen Suppe vermischt?

Diese Arbeit agiert wie ein Detektiv, der mit speziellen Werkzeugen einen Blick in das Gehirn des Roboters wirft, während es arbeitet. Sie entdeckten, dass der Roboter eine sehr spezifische, organisierte Art hat, Informationen zu verarbeiten, fast wie eine zweispurige Autobahn, auf der verschiedene Arten von Informationen auf unterschiedlichen Straßen reisen.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die zwei Straßen: „Der Übersetzer" vs. „Die Direktleitung"

Die Forscher stellten fest, dass der Roboter nicht alle Informationen auf die gleiche Weise behandelt. Er teilt die Aufgabe in zwei getrennte Spuren auf:

Spur A: Der „Übersetzer" (Text-Token)
- Was hier reist: Allgemeine Stimmungen, Farben, Stile und die „Stimmung" der Szene.
- Die Analogie: Denken Sie an die Text-Token als Übersetzer oder Protokollführer. Wenn der Roboter ein Referenzfoto eines „sonnigen, im Cartoon-Stil gehaltenen Parks" sieht, absorbieren die Text-Token diese Beschreibung. Sie verwandeln den visuellen „sonnigen Cartoon-Park" in eine mentale Notiz, die besagt: „Lass es aussehen wie ein sonniger Cartoon."
- Das Ergebnis: Der Roboter schreibt diese Notizen in die Text-Token, und die Text-Token tragen sie zum endgültigen Bild. Wenn Sie die Text-Token daran hindern, das Foto zu sehen, vergisst der Roboter die „sonnige Cartoon"-Stimmung vollständig.
Spur B: Die „Direktleitung" (Bild-zu-Bild-Aufmerksamkeit)
- Was hier reist: Exakte Details, wie das Gesicht einer bestimmten Person, eine einzigartige Narbe oder die genaue Form eines bestimmten Gebäudes.
- Die Analogie: Denken Sie daran als privaten Draht oder direkten Telefonanruf. Wenn der Roboter ein bestimmtes Gesicht aus dem Referenzfoto kopieren muss, belästigt er nicht den Protokollführer (den Text). Er zieht einfach eine direkte Linie vom Referenzfoto zum neuen Bild.
- Das Ergebnis: Die Text-Token werden vollständig umgangen. Selbst wenn Sie den Text daran hindern, das Foto zu sehen, kann der Roboter das genaue Gesicht immer noch kopieren, da er eine direkte Leitung zu den Bilddaten hat.

2. Die drei Detektiv-Werkzeuge

Um dies herauszufinden, verwendeten die Forscher drei clevere Tricks (Interventionen):

Werkzeug 1: Die „Röntgenbrille" (T2I-Linse)
- Sie pausierten den Roboter mitten im Prozess, griffen die von den Text-Token geschriebenen „Notizen" und forderten den Roboter auf, ein Bild nur auf Basis dieser Notizen zu zeichnen (unter Ignorierung des Originalfotos).
- Was sie sahen: Die Notizen beschrieben die „Stimmung" erfolgreich (z. B. „ein roter Ball in einem Park"), aber sie versagten darin, das genaue Gesicht einer bestimmten Person zu beschreiben. Dies bewies, dass die Text-Token die allgemeinen Informationen enthalten, aber nicht die exakten Details.
Werkzeug 2: Die „Schere" (Attention-Knockout)
- Sie verwendeten digitale Scheren, um die Verbindungen zwischen den Teilen des Roboters zu durchtrennen.
- Was sie sahen: Als sie die Verbindung zwischen dem Foto und den Textnotizen durchtrennten, vergaß der Roboter die Farben und den Stil. Aber als sie die Verbindung zwischen dem Foto und dem endgültigen Bild durchtrennten, vergaß der Roboter die spezifischen Gesichter. Dies bestätigte die zwei getrennten Spuren.
Werkzeug 3: Der „Gedächtnis-Tausch" (I2I-zu-I2I-Patching)
- Sie nahmen die „Notizen" von einer Aufgabe (z. B. ein roter Ball) und klebten sie in eine andere Aufgabe (z. B. ein blaues Auto).
- Was sie sahen: Das neue Auto wurde plötzlich rot! Aber wenn sie versuchten, die „Notizen" zu tauschen, um das Gesicht einer Person zu ändern, geschah nichts. Dies bewies, dass die Notizen Farbe/Stil tragen, aber nicht die Identität.

3. Der geheime Ort: Das „Padding"

Eine der coolsten Entdeckungen war, wo im Text der Roboter diese Notizen schreibt.

Text hat normalerweise „Inhalt" (die tatsächlichen Wörter, die Sie eingegeben haben) und „Padding" (leerer Raum, der hinzugefügt wird, um den Text auf eine Standardlänge zu bringen).
Die Forscher stellten fest, dass der Roboter die eigentlichen Wörter ignoriert, um die Stimmung des Fotos zu speichern. Stattdessen schreibt er alle visuellen Details (Farben, Stile) in den leeren Padding-Bereich.
Die Analogie: Es ist wie ein Schüler, der die eigentlichen Hausaufgabenantworten auf die Hauptseite schreibt, aber den leeren Randbereich unten auf der Seite nutzt, um geheime Notizen über das Outfit des Lehrers zu kritzeln. Der Roboter nutzt den „leeren Raum" im Text, um das visuelle Gedächtnis zu speichern.

Zusammenfassung

Die Arbeit kommt zu dem Schluss, dass der Roboter, obwohl er ein großes Gehirn (einen vereinten Aufmerksamkeitsstrom) verwendet, um alles zu verarbeiten, sich natürlich organisiert:

Text-Token (speziell das leere Padding) fungieren als Träger für allgemeine Beschreibungen (Farben, Stile, Szenen).
Direkte Bildverbindungen fungieren als Hochgeschwindigkeitsleitung für exakte Details (Gesichter, spezifische Objekte).

Der Roboter mischt nicht einfach blind Wörter und Bilder; er verfügt über ein eingebautes, effizientes System, um zu entscheiden, was wohin gehört, und stellt sicher, dass allgemeine Stimmungen in Wörter übersetzt werden, während exakte Details direkt kopiert werden.

Technische Zusammenfassung: Vision-Language-Bindung bei der In-Context-Bildgenerierung

Problemstellung

Moderne In-Context-Bildgenerierungsmodelle, wie FLUX.2, nutzen eine einheitliche multimodale Architektur, bei der Text-Prompts, Referenzbilder und Rausch-Token zu einem einzigen Aufmerksamkeitsstrom (Attention Stream) verkettet werden. Im Gegensatz zu früheren Diffusionsmodellen, die separate Konditionierungskanäle verwendeten (z. B. Cross-Attention für Text, feste Konditionierung für Bilder), verarbeiten diese Modelle alle Modalitäten durch gemeinsame Diffusion-Transformer (DiT)-Blöcke ohne dedizierte Cross-Attention-Schichten für die Referenzkonditionierung.

Diese architektonische Vereinheitlichung wirft eine grundlegende Frage zum Informationsfluss auf: Welche Rolle spielen Text-Token, wenn ein Referenzbild vorhanden ist? Bleiben sie passive Träger der Bearbeitungsanweisung, oder absorbieren und transportieren sie aktiv visuelle Informationen vom Referenzbild zum generierten Output? Die Arbeit untersucht, wie Referenzinformationen zwischen Text-Token, Referenzbild-Token und generierten Bild-Token innerhalb eines einzigen Aufmerksamkeitsstroms geroutet werden.

Methodik

Die Autoren wenden drei kausale Interventionstechniken auf den multimodalen Aufmerksamkeitsstrom von FLUX.2 an, um den Informationsfluss nachzuverfolgen. Diese Methoden operieren auf den intermediären Aktivierungen der Modellschichten.

T2I-Linse: Diese Methode decodiert intermediäre Text-Token-Aktivierungen aus einer referenzkonditionierten Image-to-Image (I2I)-Bearbeitung. Die Aktivierungen werden in die rohen Text-Embeddings einer separaten, unbedingten Text-to-Image (T2I)-Generierung (unter Verwendung eines leeren Prompts) gepatcht. Wenn das resultierende T2I-Bild Eigenschaften des ursprünglichen Referenzbildes aufweist, deutet dies darauf hin, dass die Text-Token während des Vorwärtsdurchlaufs diese visuellen Informationen absorbiert hatten.
Attention Knockout: Diese Technik trennt spezifische Attention-Kanten, um kausale Pfade zu isolieren. Die Autoren blockieren die Aufmerksamkeit von Referenz-Token zu Text-Token ( $KO_{ref \to text}$ ) oder von Referenz-Token zu Bild-Token ( $KO_{ref \to img}$ ). Indem sie beobachten, welche Referenzeigenschaften (z. B. Farbe, Stil, Identität) im Output fehlen, wenn ein bestimmter Pfad blockiert ist, bestimmen die Autoren die notwendige Routing-Struktur für jede Eigenschaft.
I2I-zu-I2I-Patching: Diese Methode testet den kausalen Transfer, indem sie Text-Token-Aktivierungen aus einer „Quell"-I2I-Bearbeitung (mit einer spezifischen Referenz) in eine „Ziel"-I2I-Bearbeitung (mit einer anderen Referenz, aber derselben Anweisung) kopiert. Wenn der Ziel-Output Eigenschaften der Quell-Referenz übernimmt, sind die Text-Token kausal dafür verantwortlich, diese Eigenschaften zu tragen.

Die Evaluation nutzt ein Vision-Language-Modell (VLM), speziell Claude-Opus-4.7, als Richter, um das Vorhandensein oder Fehlen spezifischer Eigenschaften (Farbe, Stil, Identität, Szenensetting) in den generierten Bildern über 2.875 Bearbeitungsaufgaben hinweg zu verifizieren.

Wichtige Erkenntnisse und Ergebnisse

1. Emergente Vision-Language-Bindung

Die Studie zeigt eine implizite Bindung zwischen Text-Token und Referenzbildern auf. Text-Token halten nicht nur die Anweisung; sie absorbieren während des Vorwärtsdurchlaufs visuellen Referenzinhalt und beeinflussen kausal den endgültigen Output. Diese Bindung ist jedoch nicht bei allen visuellen Eigenschaften einheitlich.

2. Arbeitsteilung: Deskriptive vs. Pixelgenaue Eigenschaften

Die Autoren identifizieren eine klare Aufteilung, wie verschiedene Referenzeigenschaften geroutet werden:

Deskriptive Eigenschaften (Farbe, Stil, Szenensetting): Diese Eigenschaften werden zunächst in die Text-Token geschrieben.
- Beleg: Das Blockieren der Aufmerksamkeit von Referenz zu Text ( $KO_{ref \to text}$ ) zerstört den Farb- und Stiltransfer, während das Blockieren von Referenz zu Bild ( $KO_{ref \to img}$ ) nur minimale Auswirkungen hat.
- Beleg: Das Patchen von Text-Token von einer Quelle zu einem Ziel überträgt Farbe und Stil erfolgreich.
- Beleg: T2I-Linsen-Ausgaben, die aus gepatchten Text-Token generiert werden, rendern die Farbe und den Stil der Referenz deutlich.
Pixelgenaue Eigenschaften (Identität, Spezifische Instanz): Diese Eigenschaften umgehen die Text-Token vollständig und fließen direkt vom Referenzbild zum generierten Bild über Image-to-Image-Aufmerksamkeit.
- Beleg: Das Blockieren der Referenz-zu-Text-Aufmerksamkeit hat wenig Einfluss auf die Identitätserhaltung, während das Blockieren der Referenz-zu-Bild-Aufmerksamkeit diese zerstört.
- Beleg: Das Patchen von Text-Token überträgt keine menschliche Identität; der Ziel-Output behält die Identität seines eigenen Referenzbildes bei.

3. Lokalisierung auf Padding-Token

Die Bindung von Referenzinhalt an Text-Token ist spezifisch auf die Padding-Token der Textsequenz lokalisiert, nicht auf die Content-Token, die die Bearbeitungsanweisung kodieren.

Das Patchen nur der Padding-Token überträgt Farbe und Stil mit Raten, die fast identisch mit dem Patchen aller Text-Token sind.
Das Patchen nur der Content-Token (die Anweisung) scheitert daran, Referenzeigenschaften zu übertragen.
Die ausschließlich auf Padding-Token angewandte T2I-Linse rekonstruiert erfolgreich das Referenz-Szenensetting, während eine reine Content-Linse zu leeren oder nur anweisungsbezogenen Ergebnissen führt.

4. Schichtspezifische Bindung

Die Absorption von Referenzinhalt in Text-Token erfolgt in bestimmten Tiefen des Netzwerks:

Stil und Szene: Die Bindung wird um den 8. Double-Stream-Block etabliert.
Farbe: Die Bindung wird um den 10. Single-Stream-Block etabliert.
Experimente, bei denen Referenz-Token nach diesen Bindungsschichten entfernt wurden, bestätigen, dass die Text-Token die Information ohne weiteren direkten Referenzeingang weitertragen können.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass selbst in multimodalen generativen Modellen mit einheitlicher Aufmerksamkeit die Token-Modalität strukturiert, wie Konditionierungsinformationen repräsentiert und geroutet werden. Der gemeinsame Aufmerksamkeitsstrom löscht die unterschiedlichen Rollen von Text- und Bild-Token nicht aus; stattdessen partitioniert das Modell den Informationsfluss natürlich basierend auf der Natur des Inhalts:

Text-Token fungieren als strukturierter Kanal für hochrangige, sprachlich beschreibbare Attribute (Farbe, Stil, Szene).
Image-to-Image-Aufmerksamkeit übernimmt niedrigrangige, pixelgenaue Attribute (Identität).

Dieses Ergebnis legt nahe, dass die „Padding"-Token in der Textsequenz eine funktionale rechnerische Rolle als Register für cross-modale Bindung erfüllen, ein Mechanismus, der die expliziten Zwei-Encoder-Designs anderer Architekturen (z. B. Qwen-Image-Edit) widerspiegelt, bei denen ein Vision-Language-Encoder Semantik und ein VAE das Aussehen verarbeitet. Die Autoren argumentieren, dass diese Ergebnisse die Sichtweise einheitlicher Aufmerksamkeitsströme als Blackbox herausfordern und offenbaren, dass modalitätsspezifisches Routing implizit innerhalb des Trainingsziels entsteht.

Die Arbeit stellt diagnostische Werkzeuge (T2I-Linse, Attention Knockout, Patching) bereit, die auf jedes In-Context-multimodale Modell anwendbar sind, das Text- und Bild-Token mischt, und bietet einen Rahmen zum Verständnis und zur potenziellen Optimierung des Routings von Konditionierungsinformationen in zukünftigen generativen Architekturen.