Technische Samenvatting: Continue Speculatieve Decodering voor Autoregressieve Beeldgeneratie

Probleemstelling

Continue visuele autoregressieve (AR) modellen zijn een veelbelovende alternatief voor discrete token-gebaseerde benaderingen voor beeldgeneratie, omdat ze een betere reconstructiekwaliteit bieden en de instabiliteit vermijden die geassocieerd wordt met vectorquantisatie. Echter, net als hun discrete tegenhangers en Large Language Models (LLMs), lijden deze continue AR-modellen onder inherent trage inferentiesnelheden vanwege hun sequentiële decoderingskarakter.

Hoewel speculatieve decodering discrete visuele AR-modellen en LLM's succesvol heeft versneld door een "draft-and-verify"-mechanisme (conceptontwerp-en-verificatie) toe te passen, stuit de directe toepassing ervan op continue distributies op twee fundamentele theoretische en praktische barrières:

1. Lage Acceptatiegraad: In continue domeinen leren de draft- en target-modellen vaak divergente datadistributies. Bijgevolg vallen de door het draft-model gegenereerde samples vaak buiten de gebieden met een hoge waarschijnlijkheid van het target-model. Dit leidt tot extreem lage waarschijnlijkheidsratio's en vervolgens tot een bijna nul-acceptatiegraad, waardoor de versnelling ineffectief wordt.
2. Niet-analytische Gemodificeerde Distributie: In speculatieve decodering moet, indien een draft-token wordt afgewezen, een nieuw token worden hergesampled uit een "gemodificeerde distributie" die wordt gedefinieerd als het genormaliseerde verschil tussen de target- en draft-distributies ($p(x) - q(x)$). In discrete ruimtes is deze normalisatieconstante een eenvoudige som. In continue ruimtes vereist dit een complexe integraal over de gehele ruimte, die geen analytische uitdrukking heeft, waardoor directe sampling onhandelbaar is.

Methodologie

Het paper stelt Continue Speculatieve Decodering voor, een framework ontworpen om deze specifieke uitdagingen in continue visuele AR-modellen te overwinnen. De aanpak integreert drie synergetische strategieën:

1. Benaderde Acceptatiecriterium en Trajectalignement

Om de lage acceptatiegraad veroorzaakt door distributionele inconsistentie aan te pakken, introduceren de auteurs een praktische benadering en een nieuwe alignementstrategie:

• Benaderd Criterium: In plaats van de ratio van gezamenlijke waarschijnlijkheden over de gehele denoising-traject te berekenen (wat computationeel duur is en gevoelig is voor divergentie), berekent de methode de ratio van gezamenlijke waarschijnlijkheden $p(Y_p)/q(Y_q)$ waarbij de draft- en target-trajecten dezelfde initiële latente variabele $x_0$ delen.
• Denoising Trajectalignement: Om de divergentie tussen de draft- en target-outputs te minimaliseren, stellen de auteurs voor om hun denoising-trajecten uit te lijnen. Gebaseerd op de Reparameterization Proximity-stelling, zorgt het instellen van dezelfde ruisvector $\epsilon_t$ voor zowel het draft- als het target-model tijdens de herparameterisatiestap ($x_{t-1} = \mu_\theta(x_t, t) + \Sigma_\theta(x_t, t)\epsilon_t$) voor een significante reductie van de verwachte afstand tussen hun outputs. Deze alignement zorgt ervoor dat het traject van het draft-model dichter bij de gebieden met een hoge waarschijnlijkheid van het target-model blijft, waardoor de acceptieratio wordt verhoogd.

2. Token Pre-filling

De auteurs observeren dat de acceptatiegraden bijzonder laag zijn tijdens de initiële autoregressieve stappen vanwege inconsistenties in prefix-embeddings tussen de draft- en target-modellen. Om dit te mitigeren, stellen zij token pre-filling voor, waarbij een klein deel (bijv. 5%) van de initiële tokens wordt gegenereerd door het target-model in plaats van het draft-model. Dit zorgt voor een consistente prefix, wat de acceptatiegraad in de vroege stadia stabiliseert zonder significante inferentie-latentie toe te voegen.

3. Acceptance-Rejection Sampling voor de Gemodificeerde Distributie

Om de niet-analytische gemodificeerde distributie ($p'(x)$) te behandelen, gebruikt het paper een Acceptance-Rejection Sampling-schema.

• Afleiding van de Bovengrens: De auteurs leiden een passende bovengrens $M$ af waarvoor geldt $M \cdot p(Y) \geq p'(Y)$. Door $M = 1/Z$ te stellen (waarbij $Z$ de onhandelbare normalisatieconstante is), elimineren zij de noodzaak om de integraal expliciet te berekenen.
• Efficiënte Drempelwaarde Berekening: Cruciaal is dat de afwijzingsdrempel $\alpha_s$ wordt afgeleid met behulp van dezelfde eigenschap van denoising-trajectalignement. Dit maakt het mogelijk om de drempelwaarde te berekenen met enkel de Gaussische distributies gedefinieerd door de parameters van de modellen, waardoor de noodzaak voor repetitieve, dure diffusiemodel-inferenties om te samplen uit de gemodificeerde distributie wordt vermeden.

Belangrijkste Bijdragen

Het paper claimt de volgende bijdragen:

• Eerste Continue Speculatieve Decodering: Het is het eerste werk dat de kloof van speculatieve decodering overbrugt naar continue distributies, wat substantiële versnelling mogelijk maakt voor continue visuele AR-modellen.
• Oplossingen voor Lage Acceptatiegraden: Het adresseert het probleem van de lage acceptatiegraad via een nieuw benaderd criterium, denoising-trajectalignement (gebaseerd op reparameterization proximity) en token pre-filling.
• Hanteerbare Resampling: Het maakt sampling uit de gemodificeerde distributie mogelijk via een op maat gemaakt acceptance-rejection sampling schema met een passende bovengrens, waardoor complexe integralen worden vermeden.
• Plug-and-Play Integratie: De methode wordt gevalideerd op drie bestaande continue visuele AR-modellen (MAR, xAR en Harmon) zonder dat extra training of architecturale wijzigingen vereist zijn.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op ImageNet (256×256 en 512×512 resoluties) en MSCOCO/MJHQ-datasets met behulp van MAR, xAR en Harmon.

• Versnelling: De aanpak bereikt een wall-time versnelling van meer dan 2× over diverse modellen en resoluties. Specifieke resultaten zijn:
  • MAR: Tot 2,33× versnelling.
  • xAR: Tot 2,72× versnelling.
  • Harmon: Tot 2,54× versnelling.
• Behoud van Kwaliteit: Kwantitatieve metrieken (FID, Inception Score, CLIPScore, Geneval) tonen aan dat de versnelde generatie een beeldkwaliteit behoudt die vergelijkbaar is met de originele target-modellen. De standaarddeviatie in de metrieken blijft laag, wat duidt op stabiliteit.
• Ablatie-studies:
  • Trajectalignement: Vermindert de gemiddelde afstand tussen draft- en target-tokens van >2,0 naar ~1,0, waardoor de acceptatiegraden stijgen van ~7% naar >30%.
  • Pre-filling: Een pre-filling ratio van 5% bleek optimaal, wat de acceptatiegraden in de vroege stadia aanzienlijk verbeterde en visuele artefacten verminderde vergeleken met 0% pre-filling.

Betekenis en Claims

Dit paper positioneert dit werk als een noodzakelijke evolutie in het versnellen van autoregressieve beeldgeneratie. Hoewel speculatieve decodering succesvol is geweest in discrete domeinen, heeft de afwezigheid van een analoge theorie voor continue distributies de efficiëntie van continue AR-modellen gehinderd. Door de theoretische uitdagingen van distributionele inconsistentie en niet-analytische integralen op te lossen, maakt dit werk de praktische inzet van snellere continue AR-modellen mogelijk. De auteurs beweren dat hun methode een robuuste, verliesloze (in termen van distributie) versnellingsstrategie biedt die naadloos kan worden geïntegreerd in bestaande architecturen, wat een pad biedt naar efficiëntere inferentie in visuele en potentieel andere domeinen die gebruikmaken van continue autoregressieve processen.