Technische Samenvatting: JoLT – Joint Latent Trajectories voor Context-gestuurde Hoogresolutie Tiled Generatie

1. Probleemstelling

Huidige tekst-naar-afbeelding (T2I) generatieve modellen, zelfs state-of-the-art architecturen zoals FLUX.2, hebben moeite met het produceren van dicht gedetailleerde, hoogresolutie (HR) afbeeldingen die de globale coherentie behouden. Hoewel deze modellen uitblinken in het genereren van esthetisch aantrekkelijke composities bij lagere resoluties, falen ze vaak in het renderen van de complexe lokale details die vereist zijn voor grootformaat outputs (bijv. prints, muurschilderingen).

Bestaande oplossingen hanteren doorgaans een low-to-high-resolution paradigma:

1. Genereer een lage-resolutie (LR) afbeelding.
2. Upscale de LR-afbeelding en gebruik deze als een vaste conditie om HR-details te genereren.

De auteurs identificeren twee kritieke gebreken in deze sequentiële aanpak:

• Beperkte Rijkdom: Omdat de LR-afbeelding eerst wordt gegenereerd, is deze gebonden aan de inherente complexiteitsbeperkingen van het onderliggende model. De daaropvolgende verfijningsstap kan de textuurrijkdom niet significant verbeteren als de basisafbeelding die rijkdom mist.
• Coherentie-trade-off: Zodra de LR-afbeelding is gegenereerd, kan deze niet meer worden beïnvloed door HR-informatie. Dit maakt het moeilijk om fijnmazige elementen naadloos te integreren in de globale lay-out, wat leidt tot een trade-off tussen lokale detailgraad en globale scène-coherentie.

2. Methodologie: Joint Latent Trajectories (JoLT)

JoLT stelt een training-vrije, two-stream paradigma voor dat verschuift van sequentiële generatie naar gelijktijdige lage- en hoge-resolutie generatie. De methode koppelt een globale LR-traject aan een tiled HR-traject, waardoor ze bij elke sampling-stap informatie tweezijdig kunnen uitwisselen.

Kernarchitectuur

Het systeem maakt gebruik van een pre-trained Flow-Matching model (specifiek FLUX.2 Klein-9B) en opereert in de latent spaces.

• Initialisatie: Een gedeelde Gaussische ruis-sample initialiseert het HR-latent canvas ($\bar{x}_0$). Deze wordt willekeurig gesubsampleerd om de LR-latent ($x_0$) te creëren, wat ervoor zorgt dat beide stromen vanuit een consistente distributie starten.
• Dual Streams:
  • LR Stream: Denoist de gehele scène op basis van een "Master Prompt" ($c$) om de globale compositie en lay-out te handhaven.
  • HR Stream: Denoist overlappende ruimtelijke vensters (tiled diffusion) op basis van een "Detail Prompt" ($\bar{c}$) om lokale complexiteit te synthetiseren.

Bidirectionele Informatie-uitwisseling

De nieuwheid van JoLT ligt in de continue feedbackloop tussen de twee stromen:

1. LR $\to$ HR Conditioning (Joint Prior):

   • In elke stap $t$ berekent de LR-stroom een "one-shot" schatting van de schone latent ($\hat{x}_1$).
   • Deze schatting wordt gedecodeerd naar de pixelruimte, geupscaled en opnieuw gecodeerd om een Joint Prior ($\bar{r}_t$) te vormen.
   • Deze prior dient als een in-context referentie voor de HR-stroom. Het HR-model verwerkt elke tile door te conditioneren op zowel de huidige ruizige staat van de tile als de overeenkomstige crop van de geupscalede LR-prior ($F_i(\bar{r}_t)$). Dit zorgt ervoor dat lokale details overeenkomen met de evoluerende globale lay-out.

2. HR $\to$ LR Conditioning (Feedback):

   • Nadat de HR-stroom de latent ($\bar{x}_{t+\Delta t}$) heeft bijgewerkt, wordt deze willekeurig gesubsampleerd om de marginale distributie te behouden.
   • Deze gesubsamplede HR-data wordt lineair gemengd met de LR-update met behulp van een sterkteparameter $\alpha$.
   • Een variantie-matching correctie wordt toegepast om ervoor te zorgen dat de statistische eigenschappen van de LR-latent consistent blijven.
   • Dit mechanisme stelt de LR-stroom in staat om de fijne details die door de HR-stroom worden gegenereerd te "zien" en te incorporeren, waardoor de globale lay-out dynamisch wordt verfijnd.

Controlemechanismen

• Complexity Strength ($\alpha$): Een scalar in $[0, 1]$ die het gewicht van de HR-informatie controleert die in de LR-stroom wordt geïnjecteerd. Een hogere $\alpha$ levert dichtere, complexere afbeeldingen op.
• Detail Prompt ($\bar{c}$): Een secundaire tekstprompt die de HR-stroom stuurt om specifieke texturen, objecten of stilistische elementen toe te voegen zonder de master-compositie te wijzigen.

3. Belangrijkste Bijdragen

Het paper beschrijft drie primaire bijdragen:

1. Een Nieuw Joint-Latent Paradigma: JoLT transformeert de standaard low-to-high generatie-pipeline naar een simultaan proces, waardoor de LR- en HR-takken samen evolueren in plaats van sequentieel.
2. Bidirectionele Latent Informatie-uitwisseling: De auteurs introduceren een cross-resolutie feedbackmechanisme dat gebruikmaakt van de in-context capaciteiten van moderne diffusion transformers en variantie-gematchte latent subsampling.
3. Controleerbare High-Density Synthese: De methode maakt expliciete gebruikerscontrole mogelijk over visuele complexiteit ($\alpha$) en lokale inhoud/stijl (via $\bar{c}$) zonder dat model fine-tuning vereist is.

4. Experimentele Resultaten

De auteurs evalueerden JoLT tegen sterke baselines (DemoFusion, SEGA, ResDiT) met behulp van een gedestilleerde 4-step FLUX.2 backbone op 200 semantisch dichte prompts.

Kwantitatieve Prestaties

• Complexiteit: JoLT presteert significant beter dan alle baselines op complexiteitsmetrieken. Vergeleken met de sterkste baseline (DemoFusion) bereikt JoLT een winst van 50% in DCT-energie (613 vs. 920) en een winst van 26% in JPEG-ratio (0.104 vs. 0.131). Het vertoont ook een winst van 5% in IC9600.
• Tekst-Alignment: JoLT behoudt competitieve tekst-alignment scores. De LMM4LMM correspondentiescore (0.367) ligt binnen 0.004 van de leidende baseline, een verschil dat na correctie als statistisch insignificant wordt beschouwd. De auteurs merken op dat strikte decompositionele alignment-metrieken JoLT soms benadelen omdat de detail prompt opzettelijk plausibele inhoud toevoegt die verder gaat dan de master prompt.
• Esthetiek & Kwaliteit: JoLT behaalt de hoogste gemiddelde scores voor QIB Kwaliteit en LMM4LMM Perceptie, wat aantoont dat toegenomen complexiteit de visuele kwaliteit niet degradeert.

Human Preference Study

Een gebruikersstudie (2.700 pairwise oordelen) toonde aan:

• Detail & Complexiteit: Gebruikers gaven de voorkeur aan JoLT boven alle baselines voor visueel detail en complexiteit.
• Prompt Match: JoLT werd verkozen boven SEGA en ResDiT wat betreft prompt-adherentie, met geen significant verschil vergeleken met DemoFusion.
• Artistieke Aantrekkingskracht: Gebruikers gaven de voorkeur aan JoLS boven SEGA en ResDiT. Hoewel DemoFusion vergelijkbaar was in sommige metrieken, werd JoLT consequent hoger beoordeeld voor de dichtheid van de structuur.

Globale-Lokale Coherentie

Met behulp van een Qwen3.6-27B judge om te evalueren of lokale crops thuishoren in de omliggende scène, werd er significant meer voorkeur gegeven aan JoLT boven SEGA en ResDiT, en presteerde het op gelijke voet met DemoFusion, wat bevestigt dat de toegevoegde details de globale scène niet fragmenteren.

5. Betekenis en Claims

Het paper positioneert JoLT als een praktisch instrument voor grootformaat artistieke creatie. De betekenis ligt in:

• Herformulering van High-Resolution Synthese: Het demonstreert dat het behandelen van HR-synthese als twee gekoppelde trajecten effectiever is dan een low-to-high cascade voor het bereiken van dichte, hoogwaardige beelden.
• Expliciete Controle: Het zet impliciete modelgedragingen om in expliciete controles. Kunstenaars kunnen de visuele dichtheid instellen via $\alpha$ en de compositie restylen via taal alleen met behulp van de detail prompt.
• Training-vrije Efficiëntie: De methode bereikt deze resultaten zonder de basismodellen te finetunen, door te vertrou$n$ op architecturale innovaties in de inference-pipeline.

De auteurs blijven bescheiden over de beperkingen en erkennen dat de methode afhankelijk is van one-shot schattingen (wat het beperkt tot gedestilleerde modellen met korte sampling-schema's) en dat extreme detaildichtheid incidenteel de leesbaarheid van de scène kan verminderen. Ze merken ook op dat tekst-alignment metrieken sterk variëren in hun overeenstemming, wat suggereert dat menselijk oordeel de gouden standaard blijft voor het evalueren van prompt-adherentie in complexe scènes.