Technische Samenvatting: FREPix

Probleemstelling

Hoewel latent-space diffusiemodellen het dominante paradigma voor beeldgeneratie zijn geworden vanwege hun efficiëntie, introduceren ze een structureel knelpunt: de generatiekwaliteit is strikt begrensd door de reconstructiefideliteit van de Variational Autoencoders (VAE's) die worden gebruikt om de data te comprimeren. Dit heeft de interesse hernieuwd in pixel-space generatie, waarbij modellen direct op ruwe afbeeldingen werken om representatie-artefacten te vermijden. Bestaande pixel-space-methoden behandelen beeldgeneratie echter grotendeels als een frequentie-homogeen proces. Ze modelleren de volledige afbeelding met één enkele staat en een gedeeld interpolatiepad, waarbij ze impliciet vertrouwen op het netwerk om de scheiding tussen globale structuren (laagfrequente) en fijne details (hoogfrequente) te ontdekken. Deze benadering negeert de onderscheidende statistische eigenschappen, energieverdelingen en leerdynamieken van deze frequentiecomponenten, waardoor een onnodig restrictieve inductieve bias wordt opgelegd aan het generatieproces.

Methodologie: FREPix

De auteurs stellen FREPix (FREquency-heterogene flow matching) voor, een raamwerk dat pixel-space beeldgeneratie expliciet decomposeert in laag- en hoogfrequente componenten gedurende het volledige proces. De methodologie bestaat uit vier kerninnovaties:

1. Frequentie-gedecomposeerde statespace en heterogene interpolatie

In plaats van de afbeelding $x_t$ te behandelen als één enkele homogene staat, reparameteriseert FREPix de staat met behulp van een orthonormale Discrete Wavelet Transform (DWT), $W$. De afbeelding wordt ontleed in een laagfrequente substaat $l_t$ (structuur) en een hoogfrequente substaat $h_t$ (detail).
Cruciaal wijst het raamwerk heterogene interpolatiepaden toe aan deze substaten. In plaats van één gedeeld schema toe te passen op alle frequenties, definieert FREPix aparte, strikt toenemende schema's, $g_l(t)$ en $g_h(t)$, voor de laag- en hoogfrequente componenten:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
Dit zorgt ervoor dat de transportdynamiek de natuurlijke asymmetrie van beeldvorming weerspiegelt, waarbij de globale structuur wordt vastgesteld voordat fijne details worden verfijnd. De auteurs bewijzen dat deze heterogene interpolatie een principiële uitbreiding is van standaard flow matching, waarbij de geldigheid van de continuïteitsvergelijking en de leerbare aard behouden blijven.

2. Gefactoriseerde generatieve modellering via expliciete architecturale ontkoppeling

Om te voorkomen dat de ontkoppelde transport terugkollabeert naar één enkel voorspellingsprobleem, hanteert FREPix een expliciet ontkoppeld architectuur. Het generatiedoel wordt gefactoriseerd in twee gespecialiseerde modules:

• Structuurvoorspeller ($f_\phi$): Een Diffusion Transformer (DiT) die de ruwe laagfrequente substaat $l_t$ als invoer neemt en het schone laagfrequente component $\hat{l}$ voorspelt. Deze module vangt lange-afhangafhankelijkheden en globale semantiek op.
• Detailverfijner ($g_\phi$): Een lichtgewicht, attentievrije decoder (aangepast van DeCo) die de ruwe hoogfrequente substaat $h_t$ en de voorspelde laagfrequente structuur $\hat{l}$ als voorwaarde neemt om het schone hoogfrequente component $\hat{h}$ te voorspellen.

Dit ontwerp maakt "grof-naar-fijn" generatie van een impliciete architecturale tendens tot een expliciet ontwerpprincipe, waarbij een conditionele afhankelijkheid wordt afgedwongen waarbij hoogfrequente details worden gegenereerd op basis van de gevestigde laagfrequente structuur.

3. Frequentie-gealigneerde flow matching-doelstelling

De trainingsdoelstelling is afgestemd op de gedecomposeerde structuur. Het raamwerk converteert de schone-afbeeldingsvoorspelling van het netwerk ($\hat{x}$) naar een geïnduceerd snelheidsveld gebaseerd op het heterogene interpolatiepad. Vervolgens wordt een frequentie-bewuste loss gedefinieerd, die tijdsafhankelijke gewichten $\lambda_l(t)$ en $\lambda_h(t)$ toepast op respectievelijk de laag- en hoogfrequente snelheidsfouten:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
Dit stelt het model in staat om de optimalisatieschwierigheid in de tijd te herbekijken (bijvoorbeeld door laagfrequente structuur vroeg in de trajectorie te prioriteren en hoogfrequente verfijning later), zonder het doel-marginaal snelheidsveld te wijzigen.

4. Auxiliaire losses

De uiteindelijke trainingsdoelstelling combineert de frequentie-gealigneerde flow matching loss met Representation Alignment (REPA) en LPIPS perceptuele losses om feature-consistentie en herstel van lokale patronen te garanderen.

Belangrijkste Resultaten

FREPix werd geëvalueerd op ImageNet class-naar-afbeelding generatie met resoluties van 256×256 en 512×512.

• Prestaties: Bij 256×256 bereikt FREPix-XL (674M parameters) een 1,91 FID en 295,6 IS na 320 epochen. Bij 512×512 bereikt het 2,38 FID en 334,7 IS. Deze resultaten zijn concurrerend met state-of-the-art pixel-space-modellen (zoals DeCo, PixelDiT) en benaderen de prestaties van latent-space-modellen, ondanks dat ze direct op pixels werken.
• Trainings-efficiëntie: Het model toont sterke prestaties vroeg in de training. Na slechts 80 epochen bereikt het een FID van 2,29, waarmee het andere pixel-space-baselines op vergelijkbare stadia overtreft.
• Sampling-efficiëntie: FREPix blinkt uit in het laag-NFE (Number of Function Evaluations) regime. Onder 25-staps Euler-sampling bereikt het een FID van 2,59, wat significant beter is dan DeCo (3,30) en PixNerd (3,28).
• Rekenkosten: FREPix-XL opereert op 230 GFLOPs per forward pass, wat lager is dan de meeste recente pixel-space-methoden (bijvoorbeeld PixelFlow op 5818 GFLOPs) en concurrerend met latent-space-modellen (bijvoorbeeld DiT op 238 GFLOPs), wat een verbeterde kwaliteit-berekening trade-off aantoont.

Betekenis en Claims

Het artikel stelt dat expliciete modellering van frequentie-heterogeniteit een sterkere inductieve bias biedt voor end-to-end pixel-space generatie. Door de onderscheidende rollen van laag- en hoogfrequente componenten expliciet te maken in de statespace, het transportpad, de architectuur en de doelstelling, transformeert FREPix het "grof-naar-fijn" generatieproces van een emergent gedrag tot een hard ontwerpprincipe.

De auteurs stellen dat deze aanpak:

1. Frequentie-entanglement mitigeert: Door voorspellingstargets te ontkoppelen, vermindert het model de effectieve dimensionaliteit en statistische complexiteit die elke tak moet leren, zoals ondersteund door hun generalisatiegrenzen.
2. Sampling-efficiëntie verbetert: Het heterogene transportontwerp is bijzonder gunstig bij sampling met weinig stappen, wat suggereert dat het afstemmen van het interpolatiepad op de natuurlijke herstelvolgorde van beeldfrequenties convergentie versnelt.
3. Een levensvatbaar alternatief voor latent space biedt: FREPix toont aan dat pixel-space generatie concurrerende kwaliteit kan bereiken zonder het representatieve knelpunt van VAE's, terwijl het een rekenefficiëntie behoudt die vergelijkbaar is met latent-space-methoden.

Het artikel concludeert dat frequentie-heterogeniteit een nuttig perspectief is voor het ontwerpen van toekomstige pixel-space generatieve modellen, hoewel het beperkingen erkent met betrekking tot de specifieke familie van onderzochte interpolatieschema's en de vaste aard van de gebruikte wavelet-decompositie.