BitDance: Scaling Autoregressive Generative Models with Binary Tokens

BitDance is een schaalbaar autoregressief beeldgeneratiemodel dat gebruikmaakt van binaire tokens en een diffusie-gebaseerde decodering om op ImageNet de beste FID-score te behalen, terwijl het tegelijkertijd aanzienlijk minder parameters en rekentijd vereist dan bestaande state-of-the-art modellen.

De kern

Stel je voor dat je een kunstenaar bent die een heel gedetailleerd schilderij moet maken, maar je mag alleen zwarte en witte pixels gebruiken om het te beschrijven. En niet zomaar een paar, maar een enorm groot aantal.

Dit is precies wat BitDance doet. Het is een nieuwe manier voor computers om prachtige afbeeldingen te maken, ontwikkeld door onderzoekers van ByteDance (de makers van TikTok). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Woordenboeken" van Computers

Vroeger probeerden computers afbeeldingen te maken door ze op te delen in kleine blokjes (tokens) en voor elk blokje een nummer te kiezen uit een woordenboek.

• Het oude probleem: Als je een heel groot woordenboek hebt (omdat je heel gedetailleerde plaatjes wilt), wordt het voor de computer een nachtmerrie om het juiste nummer te kiezen. Het is alsof je in een bibliotheek met miljarden boeken moet zoeken naar één specifiek boek, en je mag maar één keer raden. Als je het fout hebt, is je hele schilderij verpest.
• De oplossing van BitDance: In plaats van te zoeken naar een nummer, laat BitDance de computer direct de zwarte en witte pixels (de bits) voorspellen. Het is alsof je niet meer naar een nummer in een lijst kijkt, maar direct de kleur van de pixel bepaalt.

2. De Magische Truc: De "Binary Diffusion Head"

Hier komt de echte genialiteit. Omdat het woordenboek zo enorm groot is (het kan $2^{256}$ verschillende combinaties hebben, dat is meer dan het aantal atomen in het heelal!), kan de computer niet simpelweg "gokken".

BitDance gebruikt een slimme truc die we de "Binary Diffusion Head" noemen.

• De Analogie: Stel je voor dat je een vaas met modderige water hebt (de ruwe, onduidelijke voorspelling). Je wilt het water helder maken tot een kristalhelder glas.
• Normaal gesproken zou je proberen het water in één keer helder te maken, wat bijna onmogelijk is.
• BitDance doet het stap voor stap. Het begint met een wazig beeld en "ontmoddert" het beetje bij beetje, net zoals je een foto zou scherper maken door de focus langzaam bij te stellen. Op het einde heb je een perfect scherp beeld van zwarte en witte pixels. Dit werkt veel sneller en nauwkeuriger dan het oude "raad het nummer"-systeem.

3. De Snelheidstruc: "Next-Patch Diffusion"

Normaal gesproken maken deze computers een afbeelding één pixel tegelijk. Dat is alsof je een muur bouwt door elke steen één voor één te leggen. Het duurt eeuwen, vooral voor grote afbeeldingen.

BitDance heeft een nieuwe methode bedacht: Next-Patch Diffusion.

• De Analogie: In plaats van één steen tegelijk te leggen, legt de computer nu een heel blok stenen tegelijk neer. Omdat de computer slim is, weet hij dat stenen die dicht bij elkaar liggen (in een "patch" of blokje) op elkaar lijken.
• Het is alsof je niet meer één tegel legt, maar een heel vierkantje tegels in één keer op de muur plakt. Hierdoor is BitDance 30 keer sneller dan de vorige generatie modellen, terwijl het nog steeds net zo mooi is.

4. Wat kan het eigenlijk?

BitDance is niet alleen snel, het is ook een meesterkunstenaar:

• Kwaliteit: Het maakt foto's die eruitzien als echte foto's (fotorealistisch), zelfs op heel hoge resoluties (zoals 1024x1024 pixels).
• Tekst: Het kan tekst in de afbeelding schrijven (bijvoorbeeld "Een bordje met 'Hallo'") en dat doet het veel beter dan eerdere modellen.
• Efficiëntie: Het doet dit met een model dat 5 keer kleiner is dan de concurrenten, maar toch beter presteert. Het is alsof je een Formule 1-auto bouwt die kleiner is, minder brandstof verbruikt, maar sneller rijdt dan de grote auto's.

Samenvattend

BitDance is een nieuwe manier voor AI om te tekenen. Het vervangt het oude, trage systeem van "nummers raden" door een slim systeem van "stappen voor stappen helder maken" van zwarte en witte pixels. Door dit te doen in blokken in plaats van één voor één, is het niet alleen een stuk sneller, maar maakt het ook prachtige, gedetailleerde kunstwerken die eerder onmogelijk leken voor dit type computer.

Het is alsof je een trage, piepende ouderwetse printer hebt vervangen door een supersnelle, stille laserprinter die perfect schrijft, zelfs als je heel complexe teksten en plaatjes wilt maken.

Technische samenvatting

Titel: BitDance: Schalen van Autoregressieve Generatieve Modellen met Binaire Tokens

1. Het Probleem

Autoregressieve (AR) modellen, die succesvol zijn in taalmodellen (LLMs), staan voor aanzienlijke uitdagingen bij visuele generatie:

• Token-ontwerp en Schaalbaarheid: Bestaande discrete AR-modellen gebruiken vaak Vector Quantization (VQ) voor tokenisatie. Het schalen van het vocabulaire (codebook) om meer informatie te coderen leidt echter vaak tot "codebook collapse" en slechte reconstructie.
• Foutaccumulatie: Continue AR-modellen (zoals VAEs) hebben betere reconstructie, maar hun onbeperkte latente ruimtes leiden tot ernstige foutaccumulatie tijdens lange sequenties, wat de kwaliteit van hoogresolutie afbeeldingen verslechtert.
• Inferentie-efficiëntie: Het genereren van afbeeldingen token voor token (sequentieel) is een grote bottleneck. Bestaande parallelle AR-methoden proberen dit op te lossen door tokens onafhankelijk te samplingen, wat echter de onderliggende statistische afhankelijkheden tussen tokens negeert, wat resulteert in artefacten en lagere kwaliteit.
• Sampling in grote ruimtes: Het direct classificeren van een enorm binaire token-ruimte (bijv. $2^{256}$ toestanden) is computationeel onhaalbaar voor standaard softmax-classificatiekoppen.

2. Methodologie

BitDance introduceert een nieuw framework dat drie kerncomponenten combineert om deze problemen op te lossen:

A. Grote Vocabulaire Binaire Tokenizer

• In plaats van traditionele VQ, gebruikt BitDance Lookup-Free Quantization (LFQ) met binaire tokens.
• Tokens worden gereduceerd tot binaire vectoren van dimensie $d$ (waarbij elke component -1 of 1 is).
• Door de entropie te maximaliseren, wordt het vocabulaire geschaald tot $2^{256}$ toestanden. Dit is ordes van grootte groter dan bestaande discrete tokenizers.
• Om codebook-collapse te voorkomen en de berekening haalbaar te houden, wordt een groepsgewijze LFQ-strategie toegepast, waarbij kanalen worden verdeeld in groepen voor entropieberekening. Dit resulteert in een discrete representatie die reconstructiekwaliteit biedt die vergelijkbaar is met continue VAEs, maar met de stabiliteit van discrete tokens.

B. Binaire Diffusiehoofd (Binary Diffusion Head)

• Om het samplingprobleem in de enorme binaire ruimte op te lossen, vervangt BitDance de standaard classificatiekop (softmax) door een diffusiehoofd.
• In plaats van een index te voorspellen, worden binaire tokens gemodelleerd als hoekpunten van een hyperkubus in een continue ruimte.
• Het model gebruikt een Rectified Flow-formulering met een $x$-voorspellingsdoel (velocity matching) om de gezamenlijke verdeling van alle bits te leren.
• Tijdens inferentie wordt een Euler-oplosser gebruikt om van ruis naar een schone vector te gaan, gevolgd door een harde binarisatie (sign-functie) om terug te keren naar de binaire hyperkubus. Dit zorgt voor stabiel sampling zonder de foutaccumulatie van onbeperkte continue ruimtes.

C. Next-Patch Diffusie

• Om de inferentie te versnellen, voert BitDance Next-Patch Diffusie in. In plaats van één token per keer te voorspellen, worden tokens in blokken (patches) van $p \times p$ parallel voorspeld.
• Het model erkent dat tokens binnen een lokale patch sterk gecorreleerd zijn.
• Het binaire diffusiehoofd wordt uitgebreid om de gezamenlijke verdeling van alle tokens in een patch tegelijkertijd te modelleren, in plaats van ze onafhankelijk te behandelen.
• Dit wordt bereikt via een blokgewijze causale attention-maskering in de Transformer, die intra-patch interacties toestaat terwijl de autoregressieve afhankelijkheid tussen patches behouden blijft.

3. Belangrijkste Bijdragen

1. BitDance Framework: Een schaalbaar AR-model dat binaire tokens gebruikt voor visuele generatie, wat een nieuwe richting opent voor het ontwerp van visuele tokenizers.
2. Binaire Diffusiehoofd: Een innovatieve oplossing voor het samplingprobleem in extreem grote discrete vocabulaires, die zowel parameter-efficiëntie als hoge samplingnauwkeurigheid biedt.
3. Next-Patch Diffusie: Een nieuwe decoderingsmethode die parallelle voorspelling mogelijk maakt door de gezamenlijke verdeling van token-blokken te modelleren, wat leidt tot een enorme versnelling zonder kwaliteitsverlies.
4. Schaalbaarheid en Data-efficiëntie: Het model toont aan dat het schalen van token-entropie (tot $2^{256}$) in combinatie met een grotere Transformer-grootte leidt tot superieure prestaties, zelfs met minder trainingsdata dan concurrenten.

4. Resultaten

BitDance presteert state-of-the-art (SOTA) op zowel klassieke als tekst-naar-afbeelding taken:

• Class-conditional Image Generation (ImageNet 256x256):
  • Het 1B-parameter model bereikt een FID van 1.24, wat het beste resultaat is onder AR-modellen.
  • Het 260M-parameter model (BitDance-B-4x) verslaat een bestaand SOTA parallel AR-model met 1.4B parameters (RandAR-XXL) in kwaliteit, terwijl het 5.4x minder parameters gebruikt en 8.7x sneller is.
• Tekst-naar-Afbeelding Generatie:
  • Het 14B-parameter model (gebaseerd op Qwen3) bereikt SOTA-resultaten onder AR-modellen op benchmarks zoals GenEval (0.86), DPG-Bench (88.28), OneIG-EN (0.532) en OneIG-ZH (0.512).
  • Het presteert vergelijkbaar met gesloten bronmodellen (zoals GPT Image 1 en Seedream) en leidende diffusion-modellen, ondanks het gebruik van aanzienlijk minder trainingsdata (<450M afbeelding-tekstparen).
• Efficiëntie:
  • Bij het genereren van 1024x1024 afbeeldingen bereikt BitDance een versnelling van meer dan 30x ten opzichte van eerdere next-token AR-modellen (zoals NextStep-1 en Emu3.5).
  • De distilled versie van het model kan 64 tokens per stap genereren, wat de inferentie-tijd drastisch verlaagt.

5. Betekenis en Impact

BitDance is een doorbraak in het veld van autoregressieve visuele generatie. Het paper bewijst dat:

• Discrete tokenisatie met extreem hoge entropie superieur kan zijn aan continue methoden, mits de juiste samplingtechnieken worden gebruikt.
• Het combineren van diffusieprincipes met autoregressieve modellen de inherente beperkingen van beide benaderingen (foutaccumulatie bij AR, traagheid bij diffusion) kan overbruggen.
• Efficiënte parallelle generatie mogelijk is zonder de kwaliteit te offeren, wat de weg vrijmaakt voor snelle, hoogwaardige beeldgeneratie op schaal.

De code en modellen zijn openbaar gemaakt om verder onderzoek naar AR-foundation modellen te faciliteren.