💻 computer science

Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

UniAR introduceert een verenigd autoregressief framework dat een enkele discrete visuele tokenizer gebruikt om visueel begrip en generatie te overbruggen, wat hoogwaardige beeldsynthese en -bewerking mogelijk maakt door middel van gedeelde context, parallelle bitwise-voorspelling en een op diffusie gebaseerde decoder, terwijl het een state-of-the-art prestatie bereikt over multimodale benchmarks.

Oorspronkelijke auteurs: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotkunstenaar hebt. In het verleden, als je wilde dat deze robot naar een plaatje keek en vertelde wat hij zag, moest je een specifere bril gebruiken (een specifieke manier om afbeeldingen naar data te vertalen). Maar als je wilde dat de robot een nieuwe tekening maakte, moest je overschakelen naar een compleet andere bril die een andere taal sprak.

Dit betekende dat nadat de robot een plaatje had getekend, hij niet direct naar zijn eigen creatie kon "kijken" om het te begrijpen. De robot moest de tekening eerst weer door de "kijk-bril" halen en probeerde dan pas te begrijpen wat hij had gemaakt. Het was alsof je een brief in het Frans schreef, en die vervolgens weer naar het Engels moest vertalen voordat je hem zelf kon lezen.

UniAR is een nieuw systeem dat dit oplost door de robot slechts één paar brillen te geven voor zowel het zien als het tekenen.

Hier is hoe het werkt, uitgelegd aan de hand van eenvoudige concepten:

1. De Universele Vertaler (De Visual Tokenizer)

Normaal gesproken breken computers afbeeldingen af in kleine puzzelstukjes die "tokens" worden genoemd.

Het Probleem: Oude systemen gebruikten twee verschillende sets puzzelstukjes. Eén set was geweldig in het herkennen van een kat (hoge betekenis), maar slecht in het tekenen van de textuur van de vacht (lage details). De andere set was geweldig in het tekenen van vacht, maar raakte in de war over wat een "kat" eigenlijk is.
De UniAR Oplossing: Zij hebben een enkele vertaler gebouwd die afbeeldingen omzet in een speciale code bestaande uit binaire bits (gewoon 0'en en 1'en), zoals een enorme digitale morsecode.
- De Analogie: Stel je voor dat de robot in plaats van een woordenboek met 10.000 woorden, een code gebruikt waarbij elk woord een 64-cijferige combinatie van 0'en en 1'en is. Dit creëert een vocabulaire die zo groot is ( $2^{64}$ ) dat het bijna alles kan beschrijven zonder een gigantisch woordenboek nodig te hebben.
- De Magische Truc: Deze vertaler kijkt naar de afbeelding op verschillende "dieptes". Hij ziet de grove vorm (zoals een diepe laag) én de fijne details zoals textuur (zoals een ondiepe laag) allemaal tegelijkertig. Hierdoor kan de robot de afbeelding zowel begrijpen als perfect tekenen met dezelfde code.

2. De Snelle Schrijver (Parallel Bitwise Prediction)

Zodra de afbeelding is omgezet in die 0-en-1-code, moet de robot deze uitschrijven, bit voor bit.

Het Probleem: Het uitschrijven van een hele afbeelding bit voor bit is ontzettend traag. Het is alsof je een roman schrijft, letter voor letter, en telkens wacht tot de inkt droog is voordat je de volgende letter schrijft.
De UniAR Oplossing: In plaats van één bit tegelijk te schrijven, schrijft de robot groepen bits gelijktijdig.
- De Analogie: Stel je een typist voor die vroeger één letter typte en dan wachtte. Nu kan hij een heel woord (of zelfs een kort zinnetje) met één enkele toetsaanslag typen. Dit maakt de robot 32 keer sneller in het genereren van afbeeldingen omdat hij brokken van de code in één keer voorspelt.

3. De Schilder (De Visual Decoder)

De robot schrijft de code (de 0'en en 1'en), maar dat is nog geen plaatje. Er is een schilder nodig om die code terug te veranderen in een echte afbeelding.

De Innovatie: De robot schrijft de code, en een aparte "schilder" (een Diffusion Transformer) neemt die code en schildert de afbeelding.
De Efficiëntie: De robot hoeft niet elke pixel te schrijven. Hij schrijft een kleine, gecomprimeerde versie van de afbeelding, en de schilder "upscalet" dit naar een hoogwaardig meesterwerk (zoals 1024x1024 pixels). Dit houdt de taak van de robot licht en snel.

Wat kan deze robot doen?

Omdat de robot hetzelfde "brein" en dezelfde "taal" gebruikt voor zowel het kijken als het tekenen, heeft hij een aantal coole nieuwe vaardigheden:

Zelfcorrectie & Gesprek: Je kunt de robot vragen: "Teken een boot op het water." Hij tekent het. Daarna kun je, zonder de afbeelding opnieuw te scannen, vragen: "Is de boot blauw?" of "Verander de achtergrond in een strand." De robot begrijpt zijn eigen tekening direct omdat hij dezelfde taal spjekte om de tekening te maken als om deze te lezen.
Tekstweergave: Hij is erg goed in het tekenen van tekst binnen afbeeldingen (zoals het schrijven van "Hello" op een bord in een plaatje), wat normaal gesproken erg moeilijk is voor AI.
Bewerken: Hij kan objecten vervangen (zoals een geit in een konijn veranderen) of kleuren aanpassen op basis van jouw instructies.

Hoe hebben ze deze robot getraind?

Ze hebben de robot in drie stappen geleerd:

Basis van Lezen & Schrijven: Ze voerden de robot een enorme hoeveelheid data (tekst en afbeeldingen) om de universele code te leren.
Fine-tuning: Ze lieten hem hoogwaardige voorbeelden zien om ervoor te zorgen dat hij instructies goed opvolgt.
Reinforcement Learning (De "Oefenfase"): Ze lieten de robot afbeeldingen proberen te tekenen, controleerden of het resultaat goed was (met een beloningssysteem) en lieten hem leren van zijn fouten. Dit maakte zijn tekstweergave en het opvolgen van instructies nog scherper.

De Kernboodschap

UniAR is een doorbraak omdat het gestopt is met het behandelen van "begrijpen" en "creëren" als twee aparte taken. Door één enkele, efficiënte, op binaire gegevens gebaseerde code voor beide te gebruiken, kan de robot nu denken, tekenen en praten over zijn tekeningen in één continue, naadloze stroom, terwijl hij sneller en nauwkeuriger is dan eerdere modellen.

Technische Samenvatting: UniAR – Unified Multimodal Autoregressive Modeling met Gedeelde Context

Probleemstelling

Unified Multimodal Models (UMMs) streven ernaar om visueel begrip en generatie te integreren binnen één enkel systeem, waardoor een model in staat wordt om de door het model gegenereerde visuele inhoud te interpreteren zonder deze opnieuw te coderen. De huidige benaderingen vertrouwen echter doorgaans op twee uiteenlopende visuele tokenizers: één die geoptimaliseerd is voor hoogwaardige semantiek (begrip) en een andere voor laagwaardige details (generatie). Deze duale tokenizer-architectuur splitst de representatieruimte, waardoor gegenereerde afbeeldingen opnieuw gecodeerd moeten worden voordat het model ze kan begrijpen. Dit doorbreekt het doel van "gedeelde context" en belemmert ware unificatie. Bovendien blijft het ontwerpen van een enkele tokenizer die tegelijkertijd voldoet aan de tegenstrijdige behoeften van discriminatieve verstaan en generatieve details, terwijl de vocabulaire efficiënt wordt geschaald, een aanzienlijke uitdaging.

Methodologie

De auteurs stellen UniAR voor, een verenigd autoregressief framework dat begrip en generatie overbrugt met behulp van een enkele discrete visuele tokenizer. De architectuur bestaat uit drie kerncomponenten:

1. Unified Visuele Tokenizer

UniAR past een vooraf getrainde visuele encoder (SigLIP2-So400M ViT) aan tot een discrete tokenizer met behulp van Binary Spherical Quantization (BSQ).

Lookup-Free Bitwise Quantization: In plaats van kenmerken te mappen naar een expliciete codebook (zoals in VQ-VAE), kwantificeert BSQ visuele kenmerken in discrete binaire vectoren ( $u \in \{0, 1\}^{64}$ ). Dit elimineert de noodzaak voor een expliciete codebook en schaalt de theoretische vocabulaire grootte exponentieel ( $2^{64}$ ) met minimale overhead.
Multi-Level Feature Fusion: Om de spanning tussen hoogwaardige semantiek en laagwaardige details aan te pakken, aggregeert de tokenizer kenmerken uit meerdere lagen van de visuele encoder (de laatste laag plus drie tussenliggende lagen). Dit hiërarchische ontwerp behoudt zowel fijnmazige details als semantische aanwijzingen.
Trainingsdoel: De tokenizer wordt end-to-end getraind met een combinatie van de oorspronkelijke Cross-Entropy (CE) loss van de LLM en de BSQ soft entropy loss. Eenmaal aangepast, wordt de visuele encoder bevroren om consistente visuele indices te garanderen.

2. Unified Autoregressieve Model

Gebouwd op een vooraf getrainde LLM-backbone (Qwen3-8B), behandelt het model visuele en tekstuele tokens gelijkwaardig onder een next-token prediction paradigma.

Parallel Bitwise Prediction: Om de visuele sequentielengte te verminderen en generatie te versnellen, gebruikt UniAR een parallel bitwise voorspellingsmechanisme. Het voorspelt multi-level visuele binaire vectoren binnen een $2 \times 2$ ruimtelijk raster simultaan. Dit bereikt een 32× visuele compressieratio in autoregressieve voorspelling.
Visuele Voorspellingskop: Het model geeft logits uit voor groepen BSQ-indices. De outputdimensie wordt gedefinieerd als $d_{vis} = 2 \times d_{BSQ} \times g$ , waarbij $g$ het aantal hiërarchische niveaus en ruimtelijke eenheden vertegenwoordigt.
Robuustheid via Index Flipping: Om de kloof te overbruggen tussen teacher-forcing tijdens training en autoregressieve inferentie, past het model willekeurige visuele index flipping toe tijdens de pretraining. Dit simuleert cumulatieve fouten, wat de stabiliteit tijdens high-temperature sampling verbetert en daaropvolgende reinforcement learning vergemakkelijkt.

3. DiT-gebaseerde Visuele Decoder

Een Diffusion Transformer (DiT) decoder reconstrueert hoogwaardige afbeeldingen vanuit de voorspelde discrete visuele tokens.

Token-naar-Afbeelding Translatie: De decoder is uitsluitend geconditioneerd op visuele tokens (via elementgewijze optelling van het visuele signaal bij de ruisige verborgen toestanden) en neemt geen tekstprompts als input. Dit ontwerp laat alle semantische en structurele generatie over aan het autoregressieve model.
Resolutie Upsampling: Om de computationele last van autoregressieve modellering te verlichten, gebruikt de decoder een resolutie upsampling strategie (2D bicubische interpolatie). Dit maakt de generatie van hoge-resolutie afbeeldingen (bijv. $1024 \times 1024$ ) mogelijk terwijl slechts 256 visuele tokens worden voorspeld.

Trainingspipeline

UniAR volgt een driestaps trainingsproces:

Pre-training: Grootschalige pretraining op multimodale corpora (1T tokens) met een 1:1 ratio van begrip- naar generatiedata. Visuele generatie is beperkt tot specifieke resoluties (512×512 of 960×960) met ruimtelijke priors gedefinieerd door grid-dimensies.
Supervised Fine-Tuning (SFT): Training op gecureerde hoogwaardige data (ongeveer 50B tokens) met gebruik van het ChatML-formaat.
Reinforcement Learning (RL): Toegepast uitsluitend op beeldgeneratietaken om kwaliteit, tekstweergave en instructie-opvolging te verfijnen. De visuele decoder wordt pas in deze fase geïntroduceerd om afbeeldingen te decoderen voor de berekening van beloningen (rewards).

Belangrijkste Bijdragen

Unified Framework met Enkele Tokenizer: UniAR is het eerste verenigde model dat gebruikmaakt van multi-level bitwise visuele tokens, waardoor generatie en begrip effectief worden verenigd in een gedeelde context zonder hercodering.
Efficiënte Bitwise Quantization: De adoptie van lookup-free bitwise quantization op multi-level kenmerken vergroot de theoretische vocabulaire grootte aanzienlijk met lage overhead, terwijl multi-level fusie de kloof tussen generatieve en discriminatieve vereisten overbrugt.
Parallel Bitwise Prediction & Efficiënte Decoding: De introductie van parallel bitwise prediction vermindert de visuele sequentielengte, en de DiT-gebaseerde decoder met resolutie upsampling maakt efficiënte hoog-resolutie generatie mogelijk met compacte visuele sequenties.

Experimentele Resultaten

Uitgebreide experimenten tonen aan dat UniAR state-of-the-art (SOTA) prestaties levert in beeldgeneratie en -bewerking, terwijl het competitief blijft in multimodale verstaan.

Instructie-opvolging: Op GenEval behaalt UniAR een algemene score van 0,86 (0,86 met prompt rewriting), waarmee het propriëtaire modellen zoals GPT-4o (0,84) en generatie-georiënteerde modellen zoals FLUX.1-dev (0,82) overtreft. Het toont bijzondere kracht in objecten tellen, kleur-attribuut binding en ruimtelijke relaties.
Tekstweergave: UniAR behaalt SOTA-resultaten op benchmarks voor tekstweergave, met een score van 0,873 op OneIG-EN (superieur aan GPT-4o) en 0,917 op LongText-EN (superieur aan Gemini 2.5 Flash Image).
Beeldbewerking: Op ImgEdit Bench scoort UniAR 3,73, waarmee het gespecialiseerde bewerkingsmodellen zoals Flux.1 Kontext (3,71) en verenigde modellen zoals OmniGen2 (3,44) overtreft.
Multimodale Verstaan: UniAR presteert significant beter dan bestaande verenigde modellen op OCR-georiënteerde taken (OCRBench, DocVQA, InfoVQA) en video-verstaan (MVBench). Het bereikt prestaties die vergelijkbaar zijn met SOTA open-source VLMs zoals Qwen3-VL, hoewel er een lichte achterstand wordt opgemerkt op MMMU, wat wordt toegeschreven aan een gebrek aan pure tekst-pretraining data en de afwezigheid van RL voor verstaan-taken.
Emergente Capaciteiten: Het model vertoont een emergente capaciteit om geïntegreerde generatie en verstaan uit te voeren. Zonder specifieke training op multi-turn geïntegreerde data, kan UniAR een afbeelding genereren en vervolgens fijnmazige vragen over de eigen output beantwoorden binnen dezelfde context, wat de noodzaak voor hercodering elimineert.

Betekenis en Claims

Het artikel beweert dat UniAR een belangrijke stap vertegenwoordigt naar ware unificatie in multimodale modellering. Door gebruik te maken van een enkele discrete visuele tokenizer en een gedeelde autoregressieve context, lost UniAR de inherente spanning tussen visueel begrip en generatie op. De auteurs benadrukken dat hun aanpak:

De noodzaak voor uiteenlopende tokenizers en de daarmee gepaard gaande hercodings-overhead elimineert.
Hoogwaardige generatie en robuuste instructie-opvolging bereikt door efficiënte bitwise quantization en parallelle predictie.
Aantoont dat een verenigde representatieruimte emergente capaciteiten mogelijk maakt, zoals het zelf interpreteren van gegenereerde inhoud, wat moeilijk te bereiken is met gefragmenteerde architecturen.

Het werk suggereert dat de combinatie van multi-level feature fusion, lookup-free quantization en parallel bitwise prediction een schaalbare en efficiënte weg biedt voor verenigde multimodale systemen.