Technische Samenvatting: Efficiënte Beeldsynthese met Sphere Latent Encoder

Probleemstelling

Kunstmatige beeldgeneratie in weinig stappen is aanzienlijk vooruitgegaan dankzij consistentie- en meanflow-gebaseerde methoden, maar deze benaderingen lijden vaak onder trainingsinstabiliteit, gevoeligheid voor hyperparameters en inherente conflicten in optimalisatiedoelstellingen. Een alternatief, de Sphere Encoder [40], bereikt hoogwaardige generatie in weinig stappen door latente representaties op een hypersfeer te projecteren. Het kader van de Sphere Encoder stuit echter op twee kritieke beperkingen:

1. Rekenkundige inefficiëntie: Het generatieproces vereist herhaalde overgangen tussen pixelruimte en latente ruimte (decoderen naar een afbeelding, vervolgens opnieuw coderen) voor elke bemonsteringsstap. Dit introduceert aanzienlijke rekenkundige overhead tijdens zowel training als inferentie.
2. Doelconflict: Het kader optimaliseert wederopbouw en generatie gezamenlijk binnen één encoder-decoder-architectuur. Eerdere onderzoeken suggereren dat deze taken verschillende representaties bevorderen; bijvoorbeeld, lagere ruisniveaus verbeteren de wederopbouw maar verslechteren de generatieve prestaties door de hypersferische dekking te verminderen. Deze spanning dwingt tot het gebruik van grotere architecturen om de kwaliteit van de steekproeven te handhaven.

Methodologie

De auteurs stellen Sphere Latent Encoder voor, een kader dat wederopbouw ontkoppelt van generatie om iteratieve pixelruimte-operaties te elimineren. De kerninnovatie bestaat uit het uitvoeren van het volledige generatieproces binnen een vaste sferische latente ruimte.

Architectuur

De methode bestaat uit drie hoofdcomponenten:

1. Vaste Beeldtokenisator: Een vooraf getrainde representatie-autoencoder (RAE) [43] wordt gebruikt als vaste encoder ($E$) en decoder ($D$). De encoder, gebaseerd op DINOv2, beeldt afbeeldingen af op latente representaties, terwijl de decoder afbeeldingen reconstrueert. Deze component is bevroren tijdens de training.
2. Latente Ruisverwijderingsmodel: Een apart transformer-gebaseerd ruisverwijderingsnetwerk ($G$, gebruikmakend van de SiT-architectuur [25]) werkt uitsluitend in de latente ruimte. Het neemt een ruisbeïnvloede sferische latent als invoer en voorspelt de schone latent.
3. Sferische Projectie: Latente representaties worden op een hypersfeer geprojecteerd met behulp van een op RMSNorm gebaseerde sferificatiefunctie ($F$), wat zorgt voor een uniforme latente structuur.

Trainingsdoelstelling

In tegenstelling tot Sphere Encoder, dat verliezen berekent in pixelruimte, verplaatst Sphere Latent Encoder alle supervisie naar de latente ruimte om efficiëntie te verbeteren. De training omvat twee ruisbeïnvloede sferische latents, $v_{NOISY}$ en $v_{noisy}$, gegenereerd door Gaussische ruis toe te voegen op verschillende schalen.

• Wederopbouwverlies ($L_{recon}$): Combineert een $\ell_1$-verlies en een cosinusgelijkheidsverlies tussen de voorspelde schone latent $G(v_{noisy})$ en de grondwahrheid schone latent $z$. Dit brengt de geruisverwijderde latent in lijn met de schone representatie.
• Consistentieverlies ($L_{cons}$): Handhaaft consistentie tussen voorspellingen uit verschillende ruisniveaus ($v_{NOISY}$ en $v_{noisy}$). De voorspelling van de latent met lagere ruis wordt behandeld als een vaste doelstelling (via stop-gradient) om lokale gladheid op de hypersfeer te bevorderen.
• Verwijdering van Latent Consistentieverlies: De auteurs verwijderen expliciet het latent consistentieverlies dat in Sphere Encoder werd gebruikt (dat gedecodeerde afbeeldingen opnieuw codeert), omdat dit rekenkundige overhead toevoegt zonder de prestaties te verbeteren in hun ontkoppelde opzet.

Bemonsteringsprocedure

Bemonstering vindt volledig plaats in de latente ruimte (Algoritme 1):

1. Een latent wordt bemonsterd uit een Gaussische verdeling.
2. Deze wordt geprojecteerd op de hypersfeer.
3. Het ruisverwijderingsmodel $G$ verfijnt de latent met behulp van classifier-free guidance.
4. De verfijnde latent wordt opnieuw geprojecteerd, verstoord met ruis, en gebruikt als invoer voor de volgende stap.
5. Deze iteratieve verfijning gaat door gedurende $T$ stappen.
6. De decoder wordt slechts één keer aan het einde aangeroepen om de uiteindelijke latent op pixels af te beelden.

De auteurs stellen ook een gewijzigde ruisbemonsteringsstrategie voor met behulp van een logit-normale verdeling om beter geschikt te zijn voor bemonstering in weinig stappen, wat verschilt van de uniforme bemonstering in Sphere Encoder.

Belangrijkste Bijdragen

1. Sphere Latent Encoder Kader: Een generatief kader dat volledig werkt in sferische latente ruimte en herhaalde pixel-latent-overgangen elimineert. Dit verlaagt de inferentiekosten met ongeveer 85% (ongeveer 6,5× minder FLOPs) ten opzichte van Sphere Encoder bij dezelfde bemonsteringsstappen.
2. Ontkoppelde Ontwerp: Door gebruik te maken van een vaste vooraf getrainde autoencoder en een apart ruisverwijderingsmodel, staat het kader wederopbouw en generatie toe om onafhankelijk te specialiseren, waardoor het doelconflict inherent aan gezamenlijke optimalisatie wordt opgelost.
3. Efficiënte Optimalisatie: De methode vermijdt doelstellingen voor eerste-orde benadering (bijv. Jacobiaan-vectorproducten) die door sommige flow-methoden voor weinig stappen worden vereist, en leert in plaats daarvan een direct latent ruisverwijderingsproces op een gestructureerd sferisch manifold.

Experimentele Resultaten

De methode werd geëvalueerd op Animal-Faces, Oxford-Flowers en ImageNet-1K (256×256).

• Prestaties versus Sphere Encoder: Op Animal-Faces en Oxford-Flowers overtrof de voorgestelde methode Sphere Encoder aanzienlijk in zowel generatiekwaliteit (FID) als rekenkundige kosten (GFLOPs) over 2, 4 en 6 bemonsteringsstappen. Bijvoorbeeld, op Animal-Faces met 4 stappen verbeterde de FID van 18,23 (Sphere Encoder) naar 6,89 (Onze), terwijl GFLOPs daalden van 4554 naar 390.
• ImageNet-1K Resultaten: Met 4 bemonsteringsstappen (8 NFE met guidance) bereikte de methode een FID van 2,25, een aanzienlijke verbetering ten opzichte van de 4,02 van Sphere Encoder onder hetzelfde budget. Het presteerde ook beter dan enkele recente baselines voor weinig stappen (bijv. MeanFlow, $\alpha$-Flow) en benaderde de prestaties van meerstapsdiffusiemodellen (bijv. DiT-XL/2) die 250+ stappen vereisen, maar met aanzienlijk minder functiebeoordelingen.
• Ablatiestudies:
  • Ruisverdeling: Log-normale bemonstering presteerde beter dan uniforme bemonstering.
  • Verliezen: Het combineren van wederopbouw- en consistentieverliezen leverde de beste resultaten op; het toevoegen van het latent consistentieverlies verslechterde de prestaties.
  • Autoencoder: De keuze van de tokenisator was cruciaal. RAE [43] (met DINOv2-kenmerken en $d=768$) presteerde aanzienlijk beter dan FLUX-VAE en GAE, wat de noodzaak benadrukt van sterke semantische representaties en hoogdimensionale latente ruimtes.

Betekenis en Claims

Het paper beweert dat Sphere Latent Encoder een eenvoudiger en efficiënter proces biedt voor beeldgeneratie in weinig stappen. Door de afhankelijkheid van iteratieve pixelruimte-verfijning te verwijderen, bereikt de methode:

• Hogere Efficiëntie: Drastische reductie in FLOPs en inferentietijd ten opzichte van Sphere Encoder.
• Betere Kwaliteit: Verbeterde steekproefkwaliteit (lagere FID) door de ontkoppeling van wederopbouw en generatie, waardoor het ruisverwijderingsmodel zich uitsluitend op generatie kan richten zonder de wederopbouwtrouw te compromitteren.
• Stabiliteit: Een trainingsproces dat de instabiliteit vermijdt die geassocieerd is met Jacobiaan-vectorproducten en de conflicterende doelstellingen van gezamenlijke optimalisatie.

De auteurs positioneren dit werk als een stap naar schaalbaar, efficiënt generatief modelleren dat de voordelen van sferische latente ruimtes benut zonder de rekenkundige straffen van eerdere implementaties. Ze erkennen beperkingen, waarbij ze wijzen op de huidige focus op generatie op basis van klassencondities en de afhankelijkheid van de kwaliteit van de vooraf getrainde autoencoder, wat de mogelijkheden voor één-stapsbemonstering kan beperken.