Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

Probleemstelling

Bestaande hybride modellen die Autoregressive (AR) generatie combineren met Diffusion-modellen (AR-Diffusion) bieden een uitstekende balans tussen semantische coherentie en visuele realisme. Ze vermijden echter de informatieverlies van discrete tokenisatie door te werken in continue latente ruimtes. Desondanks kampen deze modellen met een dubbele snelheidsbottleneck:

1. AR-fase: De sequentiële aard van AR-modellen veroorzaakt latentie.
2. Diffusion-decoder-fase: Het iteratieve, multi-staps ontdoemen (denoising) van de visuele decoder is computatief zwaar.

Bestaande versnellingsmethoden behandelen deze twee bottlenecks geïsoleerd (bijv. speculatieve decoding voor AR en distillatie voor diffusion). Dit leidt tot geen unified principe. Bovendien vereisen distillatiemethoden (zoals DMD) vaak nog steeds een multi-staps teacher of leiden ze tot kwaliteitsverlies. Er is een behoefte aan een methode die beide fasen gelijktijdig versnelt zonder kwaliteit te verliezen.

Kernobservatie

De auteurs identificeren een cruciaal, maar tot nu toe onbenut signaal: de voorspellingsentropie per positie in continue ruimte AR-modellen.

• Heterogeniteit: Realistische beelden hebben een ongelijkmatige informatieverdeling. Eenvoudige gebieden (bijv. lucht) hebben lage entropie, terwijl complexe structuren (texturen, randen) hoge entropie hebben.
• Dubbele rol: Deze entropie fungeert als een brug tussen de twee bottlenecks:
  1. Het geeft de betrouwbaarheid van "draft" (voorlopige) voorspellingen in de AR-fase aan (een mismatch in entropie tussen kleine en grote modellen leidt tot veel afwijzingen).
  2. Het encodeert de lokale moeilijkheidsgraad van de generatie, wat aangeeft hoeveel "correctieve inspanning" de visuele decoder nodig heeft.

Methodologie: Drift-AR

Drift-AR is een end-to-end trainbaar framework dat deze entropie-signaal gebruikt om beide fasen te versnellen via twee hoofdcomponenten:

1. Entropy-Informed Speculative Decoding (AR-versnelling)

Om de sequentiële AR-fase te versnellen, wordt speculatieve decoding toegepast, maar dan aangepast voor continue ruimtes.

• Probleem: Standaard methoden (zoals EAGLE) falen hier omdat kleine "draft"-modellen vaak overtuigende maar onnauwkeurige (lage entropie) voorspellingen doen, wat leidt tot een entropie-mismatch met het grote doelmodel.
• Oplossing:
  • Continu-regressieverlies: Vervanging van discrete classificatie door regressie op continue features.
  • Causal-genormaliseerde entropieverlies: Een nieuwe loss-functie die de entropie-verdeling van het draft-model expliciet aligneert met die van het doelmodel. Dit voorkomt dat het draft-model in overtuigende, maar verkeerde modes vastloopt.

2. Entropy-Parameterized Anti-Symmetric Drifting (Visuele Decoder-versnelling)

In plaats van een iteratieve diffusion-decoder, introduceert de auteurs een anti-symmetrisch driftveld dat in één stap (1-NFE) converteert.

• Entropie als Variantie: De AR-voorspellingsentropie wordt geïnterpreteerd als de fysieke variantie van de initiële verdeling van het driftproces.
  • Lage entropie (zeker): Lage variantie $\rightarrow$ De drift is zwak (de voorspelling is al goed).
  • Hoge entropie (onzeker): Hoge variantie $\rightarrow$ De drift is sterk $\rightarrow$ Het model moet meer corrigeren om naar de data-manifold te bewegen.
• Anti-symmetrie: Het driftveld $V_{p,q}$ is anti-symmetrisch ($V_{p,q} = -V_{q,p}$). Wanneer de gegenereerde verdeling $q$ gelijk is aan de data-verdeling $p$, verdwijnt de drift ($V=0$). Dit stelt het systeem in staat om in één enkele forward pass te convergeren zonder iteratieve ontdoemen of distillatie.

3. Unified Training Pipeline

Om de twee componenten te koppelen zonder instabiliteit, gebruiken de auteurs een tweefasige trainingsschema:

• Fase I (Joint Optimization): Het AR-model en de drift-decoder worden samen getraind. Een annealing-schedule zorgt ervoor dat het AR-model eerst stabiliseert.
• Fase II (Pure Drifting): Het AR-model wordt bevroren (de "prior" is statisch), en alleen het driftveld wordt geoptimaliseerd. Dit is noodzakelijk omdat het driftveld een stationaire bronverdeling vereist om in evenwicht te komen.

Belangrijkste Bijdragen

1. Unificatie via Entropie: Het identificeren van de dubbele rol van voorspellingsentropie als unificerend signaal voor zowel AR-versnelling als visuele decoder-versnelling.
2. Drift-AR Framework: De introductie van een nieuw framework dat speculatieve decoding koppelt aan een entropie-gestuurde, anti-symmetrische drift-decoder.
3. Echte 1-NFE Generatie: Het bereiken van visuele generatie in één stap (1 Noise Function Evaluation) zonder iteratieve denoising of distillatie, wat fundamenteel verschilt van bestaande versnellingsmethoden.
4. End-to-End Training: Een trainingsparadigma dat geen multi-stap teacher vereist en instabiliteiten van distillatie vermijdt.

Resultaten

Experimenten zijn uitgevoerd op drie populaire AR-Diffusion modellen: MAR, TransDiff en NextStep-1.

• Snelheid: Drift-AR bereikt een 3.8x tot 5.5x snelheidswinst ten opzichte van de baselines.
• Kwaliteit: De methode behoudt of verbetert de generatiekwaliteit (gemeten via FID en IS scores) vergeleken met de originele multi-stap modellen en andere versnellingsmethoden (zoals DMD of LazyMAR).
  • Bijvoorbeeld op ImageNet (MAR-H): 5.16x snelheidswinst met een verbeterde FID (1.53 vs 1.55) en IS (304.6 vs 303.7).
  • Bij NextStep-1 (Text-to-Image): 3.81x snelheidswinst met betere GenEval, FID en CLIP scores.
• Ablatie Studies: De studies tonen aan dat het verwijderen van de entropie-parameterisatie de grootste kwaliteitsdaling veroorzaakt, wat bevestigt dat de koppeling van entropie aan variantie essentieel is. Ook bevestigt de analyse dat het drift-decoder inderdaad in één stap werkt (FID 1.57 bij 1 stap vs 14.72 bij standaard diffusion bij 1 stap).

Betekenis en Impact

Drift-AR biedt een fundamenteel nieuw perspectief op het versnellen van generatieve modellen. Door entropie niet alleen als een onzekerheidsmaat te zien, maar als een fysieke parameter voor een driftproces, slaagt het erin om de iteratieve aard van diffusion-modellen volledig te elimineren. Dit opent de deur naar real-time, hoogwaardige visuele generatie zonder de kwaliteitsverliezen die vaak gepaard gaan met huidige versnellingsmethoden. De aanpak is bijzonder relevant voor toepassingen waar lage latentie cruciaal is, zoals interactieve creatieve tools of video-generatie.