Technische Samenvatting: Vision-Language Binding in In-Context Image Generation

Probleemstelling

Moderne in-context image generation-modellen, zoals FLUX.2, maken gebruik van een geünificeerde multimodale architectuur waarbij tekstprompts, referentieafbeeldingen en ruis-tokens worden samengevoegd tot één enkele attention-stroom. In tegenstelling tot eerdere diffusiemodellen die verschillende conditioneringkanalen gebruikten (bijvoorbeeld cross-attention voor tekst en vaste conditionering voor afbeeldingen), verwerken deze modellen alle modaliteiten via gedeelde Diffusion Transformer (DiT)-blokken zonder toegewijde cross-attention-lagen voor referentieconditionering.

Deze architecturale unificatie roept een fundamentele vraag op over informatieflow: Welke rol spelen teksttokens wanneer een referentieafbeelding aanwezig is? Blijven ze passieve dragers van de bewerkingsinstructie, of absorberen en vervoeren ze actief visuele informatie van de referentieafbeelding naar de gegenereerde output? Het artikel onderzoekt hoe referentie-informatie wordt gerouteerd tussen teksttokens, referentie-afbeeldingtokens en gegenereerde afbeeldingtokens binnen één enkele attention-stroom.

Methodologie

De auteurs passen drie causale interventietechnieken toe op de multimodale attention-stroom van FLUX.2 om de flow van informatie te traceren. Deze methoden werken op de intermediaire activaties van de lagen van het model.

1. T2I Lens: Deze methode decodeert intermediaire teksttoken-activaties uit een door een referentie geconditioneerde Image-to-Image (I2I)-bewerking. De activaties worden gepatcht in de ruwe tekstembeddings van een aparte, unconditional Text-to-Image (T2I)-generatie (met een lege prompt). Als het resulterende T2I-beeld eigenschappen van de oorspronkelijke referentie vertoont, geeft dit aan dat de teksttokens die visuele informatie tijdens de forward pass hebben geabsorbeerd.
2. Attention Knockout: Deze techniek doorbreekt specifieke attention-edges om causale paden te isoleren. De auteurs blokkeren attention van referentietokens naar teksttokens ($KO_{ref \to text}$) of van referentietokens naar afbeeldingtokens ($KO_{ref \to img}$). Door te observeren welke referentie-eigenschappen (bijvoorbeeld kleur, stijl, identiteit) niet verschijnen in de output wanneer een specifiek pad wordt geblokkeerd, bepalen de auteurs de noodzakelijke routing voor elke eigenschap.
3. I2I-to-I2I Patching: Deze methode test causale overdracht door teksttoken-activaties te kopiëren van een "bron"-I2I-bewerking (met een specifieke referentie) naar een "doel"-I2I-bewerking (met een andere referentie maar dezelfde instructie). Als de doeloutput eigenschappen van de bronreferentie overneemt, zijn de teksttokens causaal verantwoordelijk voor het dragen van die eigenschappen.

De evaluatie maakt gebruik van een Vision-Language Model (VLM), specifiek Claude-Opus-4.7, als rechter om de aanwezigheid of afwezigheid van specifieke eigenschappen (kleur, stijl, identiteit, scène-instelling) te verifiëren in de gegenereerde afbeeldingen over 2.875 bewerkingsTaken.

Belangrijkste Bevindingen en Resultaten

1. Emergente Vision-Language Binding

De studie onthult een impliciete binding tussen teksttokens en referentieafbeeldingen. Teksttokens houden niet alleen de instructie vast; ze absorberen visuele referentie-inhoud tijdens de forward pass en hebben een causale invloed op de uiteindelijke output. Deze binding is echter niet uniform over alle visuele eigenschappen.

2. Arbeidsverdeling: Beschrijvende versus Pixel-Exacte Eigenschappen

De auteurs identificeren een duidelijke verdeling in hoe verschillende referentie-eigenschappen worden gerouteerd:

• Beschrijvende Eigenschappen (Kleur, Stijl, Scène-instelling): Deze eigenschappen worden eerst geschreven in de teksttokens.
  • Bewijs: Het blokkeren van attention van referentie naar tekst ($KO_{ref \to text}$) vernietigt kleur- en stijltransfer, terwijl het blokkeren van referentie naar afbeelding ($KO_{ref \to img}$) een minimaal effect heeft.
  • Bewijs: Het patchen van teksttokens van een bron naar een doel slaagt erin kleur en stijl over te dragen.
  • Bewijs: T2I Lens-outputs gegenereerd uit gepatchte teksttokens renderen duidelijk de kleur en stijl van de referentie.
• Pixel-Exacte Eigenschappen (Identiteit, Specifiek Exemplaar): Deze eigenschappen omzeilen de teksttokens volledig en stromen direct van de referentieafbeelding naar de gegenereerde afbeelding via image-to-image attention.
  • Bewijs: Het blokkeren van referentie-naar-tekst-attention heeft weinig effect op het behoud van identiteit, terwijl het blokkeren van referentie-naar-afbeelding-attention dit vernietigt.
  • Bewijs: Het patchen van teksttokens draagt geen menselijke identiteit over; de doeloutput behoudt de identiteit van zijn eigen referentieafbeelding.

3. Lokalisatie naar Padding-tokens

De binding van referentie-inhoud aan teksttokens is specifiek gelokaliseerd tot de padding-tokens van de tekstsequentie, en niet tot de content-tokens die de bewerkingsinstructie coderen.

• Het patchen van alleen de padding-tokens draagt kleur en stijl over met een snelheid die bijna identiek is aan het patchen van alle teksttokens.
• Het patchen van alleen de content-tokens (de instructie) slaagt er niet in referentie-eigenschappen over te dragen.
• T2I Lens, uitsluitend toegepast op padding-tokens, reconstrueert succesvol de scène-instelling van de referentie, terwijl lensing alleen op content lege resultaten of resultaten met alleen de instructie oplevert.

4. Laagspecifieke Binding

De absorptie van referentie-inhoud in teksttokens vindt plaats op specifieke dieptes in het netwerk:

• Stijl en Scène: Binding wordt gevestigd rond het 8e double-stream block.
• Kleur: Binding wordt gevestigd rond het 10e single-stream block.
  Experimenten waarbij referentietokens na deze bindinglagen worden verwijderd, bevestigen dat de teksttokens de informatie kunnen blijven dragen zonder verdere directe referentie-invoer.

Betekenis en Claims

Het artikel stelt dat zelfs in geünificeerde attention multimodale generatieve modellen, token-modaliteit bepaalt hoe conditionering-informatie wordt gerepresenteerd en gerouteerd. De gedeelde attention-stroom wist de onderscheiden rollen van tekst- en afbeeldingtokens niet uit; in plaats daarvan partitioneert het model de informatieflow natuurlijk op basis van de aard van de inhoud:

• Teksttokens fungeren als een gestructureerd kanaal voor hoog-niveau, taal-beschrijfbare attributen (kleur, stijl, scène).
• Image-to-image attention behandelt laag-niveau, pixel-exacte attributen (identiteit).

Deze bevinding suggereert dat de "padding"-tokens in de tekstsequentie een functionele computationele rol vervullen als register voor cross-modale binding, een mechanisme dat de expliciete twee-encoder-ontwerpen in andere architecturen (bijvoorbeeld Qwen-Image-Edit) nabootst, waarbij een vision-language encoder semantics behandelt en een VAE de verschijning. De auteurs betogen dat deze resultaten het beeld van geünificeerde attention-stromen als black boxes uitdagen, en onthullen dat modaliteit-specifieke routing impliciet ontstaat binnen het trainingsdoel.

Het werk biedt diagnostische hulpmiddelen (T2I Lens, Attention Knockout, Patching) die toepasbaar zijn op elk in-context multimodaal model dat tekst- en afbeeldingtokens mengt, en biedt een raamwerk voor het begrijpen en potentieel optimaliseren van hoe conditionering-informatie wordt gerouteerd in toekomstige generatieve architecturen.