Frequency Autoregressive Image Generation with Continuous Tokens

Probleemstelling

Bestaande autoregressive (AR) modellen voor beeldgeneratie, die zijn geïntroduceerd door hun succes in taalmodellen (LLMs), hanteren doorgaans een tweestapsparadigma:

1. Discretisatie: Beelddata wordt omgezet in een eindige, discrete vocabulaire via vector quantization (VQ).
2. Rasterscan-predictie: De getokeniseerde tokens worden platgelegd tot een 1D-sequentie (bijv. van links naar rechts, van boven naar beneden) voor "next-token prediction".

Het paper identificeert twee fundamentele tekortkomingen in deze aanpak voor beeldgeneratie:

• Modaal verschil: Taal is discreet, causaal en 1D, terwijl beelden continu, niet-causaal en 2D zijn. Het forceren van beelden in een discrete, lineaire volgorde leidt tot informatieverlies (door quantisatie) en schendt de inherente ruimtelijke localiteit van beelden.
• Inefficiëntie: Traditionele AR-modellen vereisen vaak honderden stappen om een beeld te genereren (één stap per token), wat de inferentie extreem traag maakt.

Methodologie: FAR (Frequency Autoregressive)

De auteurs introduceren FAR (Frequency Autoregressive), een nieuw paradigma dat de generatie van beelden benadert via spectrale afhankelijkheid in plaats van ruimtelijke volgorde.

1. Spectrale Afhankelijkheid als Causaliteit
In plaats van pixels in een raster te voorspellen, bouwt FAR een beeld op van lage naar hoge frequenties:

• Lage frequenties: Vangen de algemene structuur, kleur en vormen op (de "schets").
• Hoge frequenties: Voegen details, randen en texturen toe.
  De auteurs stellen dat hoge frequenties inherent afhankelijk zijn van lage frequenties. Dit creëert een natuurlijke causaliteit die perfect past bij AR-modellen: je moet eerst de basisstructuur hebben voordat je details kunt toevoegen.

2. Continu Tokenizer
FAR maakt gebruik van een continu tokenizer (gebaseerd op VAE) in plaats van een discrete VQ-tokenizer. Dit minimaliseert informatieverlies en sluit beter aan bij de continue aard van beelddata. Om de uitdagingen van het modelleren van continue waarden op te lossen, wordt een diffusiemodel gebruikt als verliesfunctie en sampler.

3. Architectuur en Proces

• Next-Frequency Prediction: Het model voorspelt niet het volgende token, maar de volgende frequentie-niveau ($x_{i+1}$) op basis van het huidige niveau ($x_i$).
• Bidirectionele Aandacht: Binnen elk frequentieniveau worden alle tokens simultaan gemodelleerd met bidirectionele attention. Dit behoudt de ruimtelijke localiteit van het beeld (in tegenstelling tot raster-scan).
• Complexiteit: De inferentiestappen worden gereduceerd van $O(n^2)$ (aantal tokens) naar $O(n)$ (aantal frequentieniveaus), wat leidt tot een drastische versnelling.

4. Technische Innovaties voor Training en Inferentie
Om de integratie van FAR met continue tokens te optimaliseren, introduceren de auteurs drie technieken:

• Vereenvoudiging van Verdelingsmodelleren: In plaats van de complexe overgang $p(x_{i+1}|x_i)$ direct te modelleren, modelleert het netwerk de verdeling van het volledige beeld $p(x|x_i)$ en filtert het resultaat vervolgens. Dit verlaagt de optimalisatiecomplexiteit.
• Frequentie-bewuste Verliesstrategie: Hogere frequenties zijn makkelijker te voorspellen dan lage frequenties. Om te voorkomen dat het model vastloopt op de moeilijke lage frequenties, worden hogere verliesgewichten toegekend aan hogere frequentieniveaus (via een sinus-curve).
• Masker-mechanisme: Tijdens training worden tokens op lagere frequentieniveaus gemaskeerd om de rekentijd te verminderen en de diversiteit van de generatie te vergroten.
• Frequentie-bewuste Diffusie-sampling: Voor inferentie worden minder diffusiestappen gebruikt voor lagere frequenties (die minder details bevatten) en meer stappen voor hogere frequenties.

Belangrijkste Bijdragen

1. Het FAR-paradigma: Een nieuw AR-framework dat spectrale afhankelijkheid gebruikt als regressierichting, wat zowel voldoet aan de causaliteitseisen van AR-modellen als de ruimtelijke localiteit van beelden behoudt.
2. Integratie met Continue Tokens: Een robuuste implementatie van FAR met continue tokenizers, inclusief oplossingen voor optimalisatie-uitdagingen en variabiliteit.
3. Efficiëntie en Schaalbaarheid: Het verminderen van het aantal inferentiestappen tot het aantal frequentieniveaus (bijv. 10 stappen) zonder in te leveren op kwaliteit.

Resultaten

De auteurs evalueren FAR op de ImageNet-dataset (class-conditional) en voor text-to-image generatie.

• Class-conditional (ImageNet 256x256):
  • FAR-H (791M parameters) bereikt een FID van 3.21 en een IS van 300.6 met slechts 10 inferentiestappen.
  • Dit is vergelijkbaar met of beter dan state-of-the-art methoden zoals VAR en MAR, maar dan met aanzienlijk minder stappen (VAR/MAR vereisen vaak 50-256 stappen voor vergelijkbare kwaliteit).
  • De methode presteert beter dan VQ-gebaseerde modellen met een veel kleiner model.
• Text-to-Image:
  • Op de JourneyDB-dataset toont FAR veelbelovende resultaten met een veel kleiner model (564M), minder trainingsdata en lagere rekencosts dan concurrenten zoals DALL-E 2 of SD3.
  • Het behaalt een hoge alignement met prompts en genereert complexe composities in 10 stappen.
• Ablatie-studies:
  • De combinatie van VAR met continue tokens faalt (hoge FID, artefacten), wat de noodzaak van het spectrale benadering van FAR bevestigt.
  • Het masker-mechanisme verbetert de diversiteit (Recall) aanzienlijk.

Betekenis en Impact

Dit paper markeert een verschuiving in de visie op autoregressive beeldgeneratie. Het toont aan dat het blindelings kopiëren van taalmodellen (discrete tokens + raster-scan) suboptimaal is voor beelden. Door terug te keren naar de fundamentele eigenschappen van beelden (spectrale hiërarchie en continuïteit), biedt FAR een pad naar:

• Snellere generatie: Door het reduceren van stappen van honderden naar tientallen.
• Hogere kwaliteit: Door het vermijden van quantisatie-artefacten en het behoud van ruimtelijke samenhang.
• Efficiëntere modellen: Het bereiken van SOTA-resultaten met kleinere modelgroottes en minder trainingskosten.

FAR positioneert zich als een sterke kandidaat voor de toekomst van multimodale AGI-systemen die visuele en taalgeneratie op een uniforme, maar modaal-geoptimaliseerde manier willen verenigen.