Technische Samenvatting: Long-Context Consistent Image Generation met Sparse Relational Attention (LCG)

Probleemstelling

Hoewel recente generatieve modellen indrukwekkende getrouwheid hebben bereikt in enkelvoudige beeld-synthese, worstelen ze met het behouden van consistentie over sequentiële outputs die vereist zijn voor long-context toepassingen zoals strips, storyboards en visuele narratieven. Bestaande benaderingen kampen met een fundamentele afruil: het onafhankelijk genereren van panelen negeert cross-panel bewijslast, terwijl sequentiële generatie vroege identiteitsdrift of rol-mismatches doorgeeft aan de daaropvolgende frames. Bovendien leiden dense attention-mechanismen over alle panelen, die directe informatie-uitwisseling mogelijk maken, tot een kwadratische geheugenschaal ($O(N^2L^2D)$), wat snel de praktische geheugenbudgetten overschrijdt naarmate het aantal panelen ($N$) toeneemt. Bijgevolg blijft het ontwikkelen van modellen die efficiënt langetermijn visuele context kunnen exploiteren terwijl globale coherentie behouden blijft, een openstaande uitdaging.

Methodologie

De auteurs stellen Long-Context Generation (LCG) voor, een diffusion-gebaseerd framework ontworpen voor long-context multi-beeld tekst-naar-beeld generatie. Gegeven een reeks scène-specifieke prompts, synthetiseert LCG gezamenlijk een bijbehorende beeldsequentie, waarbij wordt gewaarborgd dat er overeenstemming is met individuele prompts terwijl karakteridentiteit, roltoewijzing en visuele continuïteit worden behouden. Het framework werkt door elke prompt toe te wijzen aan een parallelle generatie-tak en alle takken gezamenlijk te denoisen.

LCG introduceert twee kernmechanismen om schaalbaarheid en consistentie aan te pakken:

1. Sparse Relational Attention (SRA)

Om de geheugenbeperkingen van dense attention te overwinnen, herformuleert LCG cross-branch interactie naar een Sparse Relational Attention mechanisme. In plaats van te letten op alle tokens in alle branches, let elke generatie-tak selectief op de meest relevante regio's uit andere branches.

• Coarse Semantic Compression: Het model comprimeert token-sequenties uit alle branches naar block-level representaties om globaal relevante regio's te identificeren.
• Local and Global Selection: Queries halen eerst de top-$K$ relevante tokens op uit hun eigen branch (lokale context) en letten vervolgens op gecomprimeerde semantische representaties van alle branches om relevante blocks te selecteren (globale context).
• Fine-Grained Retrieval: Fine-grained tokens binnen de geselecteerde blocks worden opgehaald om sparse subsets te vormen voor attention-berekening.
• Complexiteit: Deze aanpak reduceert de computationele kosten van kwadratisch $O(N^2L^2D)$ naar ongeveer $O(NL(K_{loc} + K_{glob})D)$, waarbij $K$-waarden vaststaan en veel kleiner zijn dan de totale sequentielengte, waardoor long-context generatie computationeel hanteerbaar wordt.
• Branch-Level Encoding: Om simultane branches te onderscheiden, injecteert LCG unieke branch-identifiers in de temporele dimensie van de 3D Rotary Position Embedding (RoPE).

2. Routing Consistency Constraint (RCC)

Hoewel SRA efficiënte interactie mogelijk maakt, kunnen de sparse routes worden geselecteerd op basis van modelfeatures en kunnen ze instabiel zijn, wat leidt tot identiteitsdrift of rolverwarring (bijv. een karakter dat let op een visueel vergelijkbare maar semantisch incorrecte regio in een ander paneel).

• Mechanisme: RCC maakt gebruik van identity-aware masks om semantische en structurele correspondentie tussen parallelle branches af te dwingen. Het zet deze masks om in token-level routing targets.
• Loss Function: Het model berekent een consistentie loss ($L_{RCC}$) die afwijkingen tussen de voorspelde sparse attention map en de mask-afgeleide correspondentie bestraft. Specifiek moedigt het tokens die aan dezelfde karakteridentiteit zijn toegewezen over verschillende branches heen aan om sterkere cross-branch routes te vormen.
• Effect: Dit reguleert de attention-flow, waardoor wordt gewaarborgd dat identiteit en rol-bewijs naar de juiste panelen worden gepropageerd zonder dat er dense supervisie nodig is.

Belangrijkste Bijdragen

1. LCG Framework: Een nieuw framework voor long-context multi-beeld tekst-naar-beeld generatie dat sparse informatie-uitwisseling tussen parallelle generatie-takken mogelijk maakt, wat zowel cross-panel consistentie als schaalbaarheid verbetert.
2. Sparse Relational Attention (SRA): Een sparse cross-branch routing module die compacte semantische selectie combineert met fine-grained relationele token retrieval, waardoor efficiënte long-context berekening mogelijk is binnen praktische geheugenbudgetten.
3. Routing Consistency Constraint (RCC): Een loss functie die identity-aware masks omzet in token-level routing targets, wat identiteitsdrift effectief mitigeert en een consistente karakteridentiteit en scène-layout garandeert in complexe multi-subject scènes.
4. Long-Context Consistency Dataset (LCCD): De constructie van een grootschalige synthetische dataset bestaande uit 600K trainingssequenties (verdeeld in single- en multi-character scenario's) en een aparte testset van 1K. Elke sequentie bevat 6 tot 20 afbeeldingen, wat de 2-4 frame spans van bestaande datasets aanzienlijk uitbreidt. De dataset wordt gegenereerd via een gestructureerde pipeline met LLM's voor karakterdefinitie en prompt-synthese, gevolgd door automatische consistentie-screening.

Experimentele Resultaten

De auteurs evalueerden LCG op de LCCD testset en vergeleken dit met baselines inclusief Flux.1-dev, StoryDiffusion en Story2Board.

• Kwantitatieve Prestaties: LCG behaalde superieure scores over alle metrieken:
  • Prompt Alignment (VQAScore): 0.71 (vs. 0.64 voor Story2Board).
  • Subject Consistency (DreamSim): 0.75 (vs. 0.62 voor baselines).
  • Identity Preservation (FaceSim-Arc): 0.66 (vs. 0.52 voor Story2Board).
  • Visual Quality (Aesthetic Score): 0.62.
• Menselijke Evaluatie: In een gebruikersstudie met 30 deelnemers kreeg LCG de hoogste algemene voorkeur (4.03/5) en de sterkste beoordelingen voor tekst-alignment (4.08) en identiteitsconsistentie (4.18).
• Ablatie-studies:
  • Het vervangen van SRA door full attention verbeterde de prompt-getrouwheid licht, maar slaagde er niet in om coherentie over lange sequenties te behouden en overschreed de geheugenlimieten bij 20 panelen.
  • Het verwijderen van RCC leidde tot zwakkere prompt-realisatie, subtiele identiteitsdrift en spuria true artefacten.
  • De prestaties bleven competitief zelfs bij 20 panelen, hoewel een geleidelijke daling van de metrieken werd waargenomen naarmate de contextlengte toenam.
• Efficiëntie: SRA verminderde het piek VRAM-gebruik en de latentie aanzienlijk vergeleken met dense cross-branch attention. Terwijl dense attention out-of-memory (OOM) ging bij 20 panelen op H800 GPU's, genereerde SRA succesvol 20-panelen sequenties.

Betekenis en Claims

Het artikel claimt dat LCG een kritieke beperking van bestaande controleerbare diffusion frameworks aanpakt, die zich primair richten op single-image customization of subject conditioning in plaats van gezamenlijke long-context synthese. Door sparse relationele routing en een consistentie-constraint geleid door identity masks te introduceren, stelt LCG de generatie van coherente visuele narratieven mogelijk met consistente karakteridentiteiten over uitgebreide sequenties (6–20 afbeeldingen) en complexe multi-character interacties.

De auteurs positioneren LCG als een stap richting het oplossen van het "long-context drift" probleem in generatieve AI, en demonstreren dat het mogelijk is om globale coherentie en identiteitsgetrouwheid te behouden zonder prohibitieve computationele kosten te veroorzaken. Hoewel de methode de consistentie aanzienlijk verbetert, merken de auteurs bescheiden op dat het behouden van fine-grained identiteitsdetails uitdagender blijft naarmate de sequentielengte en het aantal interagerende karakters toenemen, wat wijst op toekomstig werk in sterkere identity tracking mechanismen.