How Long Can Unified Multimodal Models Generate Images Reliably? Taming Long-Horizon Interleaved Image Generation via Context Curation

Dit paper introduceert UniLongGen, een trainingsvrije inferentiestrategie die de betrouwbaarheid van langdurige, interleaved beeldgeneratie in unified multimodale modellen verbetert door dynamisch irrelevante visuele informatie te verwijderen en zo de ophoping van visuele vervuiling te voorkomen.

De kern

Stel je voor dat je een kunstenaar bent die een lang verhaal schrijft, waarbij je na elke alinea tekst een nieuwe illustratie tekent. Je wilt een boek maken van 40 pagina's, waarbij elke pagina een nieuw plaatje heeft dat perfect aansluit bij de vorige.

In theorie klinkt dit geweldig. Maar in de praktijk, met de huidige slimme computerprogramma's (AI), gaat het vaak mis. Na ongeveer 20 plaatjes begint het verhaal te haperen. De personages veranderen van uiterlijk, de stijl wordt wazig, en de plaatjes lijken op een rommelige soep in plaats van een coherent verhaal.

Deze paper, genaamd UniLongGen, legt uit waarom dit gebeurt en biedt een slimme oplossing. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Visuele Rommel"

Waarom faalt de AI na een tijdje? De onderzoekers ontdekten iets verrassends. Het ligt niet aan het aantal woorden dat de computer moet onthouden (zoals bij een heel lang tekstboek), maar aan het aantal plaatjes.

• De Analogie: Stel je voor dat je in een kamer staat waar je een schilderij moet maken. Iedere keer dat je een nieuw schilderij maakt, wordt er een nieuwe foto van een eerdere foto op de muur gehangen.
  • Als je 100 foto's hebt, wordt de muur zo vol dat je niet meer weet waar je moet kijken.
  • De computer probeert naar alle oude foto's te kijken om het nieuwe plaatje te maken. Maar door al die oude foto's te zien, raakt hij in de war. Hij pakt per ongeluk details uit een verkeerde foto (bijvoorbeeld een hoed van 10 plaatjes geleden) en plakt die op het nieuwe plaatje.
  • Dit noemen de onderzoekers "visuele vervuiling". De oude plaatjes zijn niet zomaar "vergeten" informatie; ze zijn actief aan het storen en verpesten van het nieuwe werk.

2. De Oplossing: "Actief Vergeten"

De oplossing die UniLongGen voorstelt, klinkt misschien gek: vergeet dingen.

In plaats van te proberen alles te onthouden (wat leidt tot de rommel), kiest de AI er bewust voor om de meeste oude plaatjes te vergeten. Maar niet zomaar willekeurig vergeten.

• De Analogie: Stel je voor dat je een chef-kok bent die een gerecht moet koken. Je hebt een enorme kast vol met ingrediënten uit de afgelopen maand. Als je alles in de pan gooit, wordt het eten onsmakelijk.
  • De nieuwe methode is alsof de chef alleen de belangrijkste ingrediënten uit de kast haalt (bijvoorbeeld de specifieke kruiden die nodig zijn voor dit gerecht) en de rest van de kast sluit.
  • De AI kijkt even snel naar zijn eigen "gedachten" (de interne signalen van het model) en zegt: "Oké, voor dit nieuwe plaatje heb ik alleen de tekst van 5 minuten geleden nodig en het plaatje van 2 uur geleden. De rest? Die gooi ik weg."

3. Hoe werkt het precies? (De Slimme Filter)

De AI doet dit in twee stappen, alsof hij twee verschillende brillen opzet:

1. De Tekst-bril (Voor het begin): In de eerste fase kijkt de AI vooral naar de tekst om te begrijpen wat er moet gebeuren. Hij houdt alleen de tekstfragmenten vast die relevant zijn voor de instructie.
2. De Plaatjes-bril (Voor het maken): In de latere fase, wanneer het daadwerkelijke plaatje wordt getekend, kijkt de AI alleen naar de belangrijkste oude plaatjes. Hij kiest er slechts een paar uit (bijvoorbeeld de laatste 4) die het meest lijken op wat hij nu nodig heeft.

Het belangrijkste is dat hij de rest niet "samenvat" (wat vaak nog steeds rommel veroorzaakt), maar ze volledig verwijdert uit het geheugen. Dit maakt de "muur" weer leeg en helder, zodat de AI weer scherp kan tekenen.

4. Het Resultaat

Door deze methode ("Context Curation" of het zorgvuldig kiezen van wat je onthoudt) kan de AI nu:

• Veel langer doorgaan: Ze kunnen nu makkelijk 40 plaatjes achter elkaar maken zonder dat de kwaliteit instort.
• Beter consistent zijn: Het personage ziet er op plaatje 40 nog steeds uit als op plaatje 1.
• Sneller zijn: Omdat de computer minder informatie hoeft te verwerken, gaat het ook sneller.

Samenvattend:
De paper leert ons dat bij het maken van lange verhalen met plaatjes, "meer geheugen" niet altijd beter is. Soms is het slimmer om te kiezen wat je onthoudt en wat je vergeten. Door de "visuele rommel" actief weg te houden, blijft de kunstenaar (de AI) scherp en creatief, tot in het oneindige.

Technische samenvatting

Probleemstelling: Het "Reliability Gap" bij Lange Sequenties

Unified Multimodal Models (UMM's) hebben de belofte om uitgebreide, verweven verhalen te genereren waarin tekst en afbeeldingen elkaar afwisselen. Echter, praktijkervaringen tonen aan dat deze systemen falen bij het genereren van lange sequenties (long-horizon). Naarmate het aantal afbeeldingen in de sequentie toeneemt, stort de kwaliteit van de gegenereerde afbeeldingen snel in:

• Kwaliteitsverlies: Structuur breekt, identity (herkenbaarheid van personages) en stijl vervagen.
• De oorzaak is niet token-overflow: Traditionele hypothesen wijzen op een tekort aan geheugen of token-limieten. Het paper weerlegt dit echter. De degradatie hangt niet af van het totale aantal tokens, maar specifiek van het aantal discrete afbeeldingsgebeurtenissen (events). Een model kan 150k tekst-tokens verwerken, maar faalt vaak al na 20 afbeeldingen.

Kerninzicht: In tegenstelling tot tekstgeschiedenis die passief "verduistert" (dilution), fungeert een dichte visuele geschiedenis als actieve vervuiling (active pollution). Door de Softmax-mechanisme in de attention-laag veroorzaken historische visuele tokens "heavy-tailed" ruis. Irrelevante, maar visueel vergelijkbare patches uit het verleden kunnen de attention-budget "hijacken", waardoor onjuiste details en artefacten in de huidige generatie worden ingebracht.

Methodologie: UniLongGen

Om dit probleem op te lossen, stellen de auteurs UniLongGen voor. Dit is een training-vrije inferentie-strategie die zich richt op "context curatie" in plaats van het onthouden van alles. Het doel is om de attention-competitie te verminderen door onnodige visuele signalen actief te verwijderen.

De methode bestaat uit drie hoofdstappen:

1. One-Shot Context Profiling:
   Voordat een nieuwe afbeelding wordt gegenereerd, voert het model één forward pass uit met de volledige, dichte geschiedenis (KV-cache) om interne attention-signalen te peilen.

2. Dual-Depth Scoring (Twee-laags relevantie):
   Gebaseerd op de observatie dat verschillende lagen van het transformer-model gespecialiseerd zijn, worden relevantiescores berekend op twee dieptes:

   • Vroege lagen (Layer 1): Scoren historische tekstblokken. Dit zorgt voor "grounding" (het volgen van instructies en context).
   • Late lagen (bijv. Layer 15): Scoren historische VAE-afbeeldingsblokken. Dit zorgt voor visuele consistentie (identiteit en stijl).
   • Belangrijk: Het paper gebruikt Pre-Softmax QK-similariteitsscores in plaats van Post-Softmax attention weights om te voorkomen dat de selectie alleen gebaseerd is op recentheid (recency bias).

3. Layer-Split KV Visibility & Eviction:
   Tijdens de daadwerkelijke generatie wordt een vast beleid toegepast:

   • De KV-cache wordt niet gecomprimeerd (wat ruis kan behouden), maar direct verwijderd (evicted). Alleen de geselecteerde relevante tekst- en afbeeldingsblokken blijven zichtbaar.
   • Vroege lagen kijken alleen naar de gefilterde tekstgeschiedenis.
   • Late lagen kijken alleen naar de gefilterde visuele geschiedenis.
   • Dit voorkomt dat irrelevante visuele "competitors" de attention-mechanismen verstoren tijdens de synthese.

Belangrijkste Bijdragen

1. Systematische Diagnose van Degradatie: Het paper introduceert het concept van de "Event Bottleneck". Het bewijst dat de limiet voor lange sequenties wordt bepaald door het aantal visuele gebeurtenissen, niet door het token-aantal.
2. Mechanistisch Inzicht: Het identificeert "Attention Hijacking via Visual Pollution". Dichte visuele geschiedenis leidt tot een verdeling van attention die gevoelig is voor uitschieters (outliers), wat resulteert in actieve corruptie van de generatie in plaats van passieve verwarring.
3. UniLongGen Strategie: Een plug-and-play, training-vrije methode die model-interne signalen gebruikt om context dynamisch te cureren. Het combineert tekst-gebaseerde grounding met visuele consistentie via een gesplitste KV-beleid.

Resultaten

De auteurs evalueren UniLongGen op een benchmark van 40 afwisselende tekst-afbeelding sequenties (gebaseerd op het BAGEL-model):

• Kwaliteit en Consistentie: UniLongGen behaalt aanzienlijk betere scores dan baselines (zoals een dichte KV-cache of een simpele "sliding window" van recente afbeeldingen).
  • HPS v3 (Kwaliteit): Steeg van ~3.17 (basis) naar 7.57.
  • DINOv2 (Identiteitsconsistentie): Steeg van ~0.31 naar 0.42.
  • Stijlconsistentie: Significant verbeterd, waarbij personages en stijlen consistent blijven tot aan het einde van de 40-afbeelding sequentie.
• Efficiëntie: Door het verwijderen van niet-relevante tokens uit de KV-cache, blijft de inferentietijd stabiel en onafhankelijk van de totale contextlengte. Dit levert een snelheidswinst van tot wel 11x op bij lange contexten vergeleken met modellen die de volledige geschiedenis verwerken.
• Vergelijking met Orakels: Opmerkelijk genoeg presteert de door het model zelf bepaalde relevantie (attention-based) beter dan een "semantisch orakel" (waarbij menselijke annotatie bepaalt welke afbeeldingen relevant zijn). Dit onderstreept dat wat semantisch relevant lijkt voor een mens, niet altijd optimaal is voor de interne synthese-dynamiek van het model.

Betekenis en Conclusie

UniLongGen biedt een fundamenteel nieuw perspectief op het probleem van lange contexten in multimodale generatie. Het toont aan dat "meer context" niet altijd beter is; bij visuele generatie kan te veel geschiedenis schadelijk zijn.

De kernboodschap is dat actief vergeten (active forgetting) essentieel is voor stabiliteit. Door irrelevante visuele ruis te verwijderen en de context te cureren op basis van de interne attention-mechanismen van het model, kunnen unified multimodal modellen betrouwbaar lange, coherente verhalen met afbeeldingen genereren zonder in te storten. Dit opent de weg voor toepassingen zoals geïllustreerde boeken, langdurige storyboarding en iteratief visueel ontwerp.