💻 computer science

Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

UniAR führt ein einheitliches autoregressives Framework ein, das einen einzelnen diskreten visuellen Tokenizer nutzt, um visuelles Verständnis und Generierung durch gemeinsamen Kontext, parallele Bit-Vorhersage und einen Diffusions-basierten Decoder zu überbrücken und dadurch eine hochgetreue Bildsynthese sowie Bildbearbeitung ermöglicht, während es gleichzeitig eine führende Leistung in multimodalen Benchmarks erzielt.

Ursprüngliche Autoren: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Künstler. In der Vergangenheit, wenn Sie wollten, dass dieser Roboter ein Bild betrachtet und Ihnen sagt, was er sieht, mussten Sie ihm eine spezielle Brille aufsetzen (eine spezifische Art, Bilder in Daten zu übersetzen). Aber wenn Sie wollten, dass der Roboter ein neues Bild zeichnet, mussten Sie zu einer völlig anderen Brille wechseln, die eine andere Sprache sprach.

Das bedeutete, dass der Roboter nach dem Zeichnen eines Bildes nicht sofort sein eigenes Werk „ansehen“ konnte, um es zu verstehen. Er musste die Zeichnung nehmen, sie durch die „Betrachtungs-Brille“ laufen lassen und dann erst versuchen, sie zu verstehen. Es war so, als würde man einen Brief auf Französisch schreiben und ihn dann erst zurück ins Englische übersetzen müssen, bevor man ihn selbst lesen kann.

UniAR ist ein neues System, das dies behebt, indem es dem Roboter nur eine einzige Brille für das Sehen und das Zeichnen gibt.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der universelle Übersetzer (Der Visual Tokenizer)

Normalerweise zerlegen Computer Bilder in winzige Puzzleteile, die „Token“ genannt werden.

Das Problem: Alte Systeme verwendeten zwei verschiedene Sets von Puzzleteilen. Ein Set war großartig darin, eine Katze zu erkennen (hohe Ebene der Bedeutung), aber schlecht darin, die Textur des Fells zu zeichnen (niedrige Ebene der Details). Das andere Set war gut darin, Fell zu zeichen, aber verwirrt darüber, was eine „Katze“ eigentlich ist.
Die UniAR-Lösung: Sie haben einen einzelnen Übersetzer gebaut, der Bilder in einen speziellen Code aus Binärbits (einfach nur 0 und 1) verwandelt, wie ein riesiger digitaler Morsecode.
- Die Analogie: Stellen Sie sich vor, anstatt ein Wörterbuch mit 10.000 Wörtern zu verwenden, nutzt dieser Roboter einen Code, bei dem jedes Wort eine 64-stellige Kombination aus 0 und 1 ist. Dies schafft ein so gewaltiges Vokabular ( $2^{64}$ ), dass es fast alles beschreiben kann, ohne ein riesiges Wörterbuch zu benötigen.
- Der magische Trick: Dieser Übersetzer betrachtet das Bild auf verschiedenen „Tiefen“. Er sieht die grobe Form (wie eine tiefe Schicht) und die feinen Details wie die Textur (wie eine flache Schicht) gleichzeitig. Dies ermöglicht es dem Roboter, das Bild sowohl zu verstehen als als auch perfekt mit demselben Code zu zeichnen.

2. Der schnelle Schreiber (Parallel Bitwise Prediction)

Sobald das Bild in diesen 0-und-1-Code umgewandelt wurde, muss der Roboter ihn ausschreiben, Bit für Bit.

Das Problem: Ein ganzes Bild Bit für Bit auszuschreiben, ist unglaublich langsam. Es ist, als würde man einen Roman Buchstabe für Buchstabe schreiben und jedes Mal warten, bis die Tinte getrocknet ist, bevor man den nächsten Buchstaben schreibt.
Die UniAR-Lösung: Anstatt ein Bit nach dem anderen zu schreiben, schreibt der Roboter Gruppen von Bits gleichzeitig.
- Die Analogie: Stellen Sie sich einen Tipper vor, der früher einen Buchstaben tippte und dann wartete. Jetzt kann er ein ganzes Wort (oder sogar einen kleinen Satz) mit einem einzigen Tastendruck tippen. Dies macht den Roboter bei der Generierung von Bildern 32-mal schneller, weil er die Chunks des Codes alle auf einmal vorhersagt.

3. Der Maler (Der Visual Decoder)

Der Roboter schreibt den Code (die 0 und 1), aber das ist noch kein Bild. Er braucht einen Maler, der diesen Code wieder in ein echtes Bild verwandelt.

Die Innovation: Der Roboter schreibt den Code, und ein separater „Maler“ (ein Diffusion Transformer) nimmt diesen Code und malt das Bild.
Die Effizienz: Der Roboter muss nicht jedes einzelne Pixel schreiben. Er schreibt eine kleine, komprimierte Version des Bildes, und der Maler „skaliert“ es zu einem hochauflösenden Meisterwerk hoch (wie 1024x1024 Pixel). Dies hält die Aufgabe des Roboters leicht und schnell.

Was kann dieser Robot tun?

Weil der Roboter dasselbe „Gehirn“ und dieselbe „Sprache“ für das Sehen und das Zeichnen verwendet, hat er einige coole neue Fähigkeiten:

Selbstkorrektur & Konversation: Sie können den Roboter bitten: „Zeichne ein Boot auf dem Wasser.“ Er zeichnet es. Dann können Sie, ohne das Bild neu scannen zu müssen, fragen: „Ist das Boot blau?“ oder „Ändere den Hintergrund zu einem Strand.“ Der Roboter versteht seine eigene Zeichnung sofort, weil er dieselbe Sprache gesprochen hat, um sie zu erschaffen und zu lesen.
Textdarstellung: Er ist sehr gut darin, Text innerhalb von Bildern zu zeichen (wie das Schreiben von „Hello“ auf ein Schild in einem Bild), was für KI normalerweise sehr schwierig ist.
Bearbeitung: Er kann Objekte austauschen (wie eine Ziege in ein Kaninchen zu verwandeln) oder Farben basierend auf Ihren Anweisungen ändern.

Wie haben sie ihn trainiert?

Sie haben den Roboter in drei Schritten gelehrt:

Grundlagen des Lesens & Schreibens: Sie fütterten ihn mit einer riesigen Menge an Daten (Text und Bilder), damit er den universellen Code lernt.
Feinabstimmung: Sie zeigten ihm hochwertige Beispiele, um sicherzustellen, dass er Anweisungen gut befolgt.
Reinforcement Learning (Die „Übungsphase“): Sie ließen den Roboter versuchen, Bilder zu zeichnen, prüften, ob das Ergebnis gut war (mithilfe eines Belohnungssystems), und ließen ihn aus seinen Fehlern lernen. Dies machte seine Textdarstellung und das Befolgen von Anweisungen noch schärfer.

Das Fazit

UniAR ist ein Durchbruch, weil es aufgehört hat, „Verstehen“ und „Erschaffen“ als zwei getrennte Aufgaben zu behandeln. Durch die Verwendung eines einzigen, effizienten, binärbasierten Codes für beides kann der Roboter nun denken, zeichnen und über seine Zeichnungen sprechen – in einem kontinuierlichen, nahtlosen Fluss, während er gleichzeitig schneller und genauer als bisherige Modelle ist.

Technisches Resümee: UniAR – Unified Multimodal Autoregressive Modeling with Shared Context

Problemstellung

Unified Multimodal Models (UMMs) zielen darauf ab, visuelles Verständnis und Generierung in einem einzigen System zu integrieren, was es einem Modell ermöglicht, seine eigenen generierten visuellen Inhalte zu interpretieren, ohne diese neu kodieren zu müssen. Bestehende Ansätze verlassen sich jedoch typischerweise auf zwei unterschiedliche visuelle Tokenizer: einen, der für hochgradige Semantik (Verständnis) optimiert ist, und einen anderen, der für Details auf niedriger Ebene (Generierung) optimiert ist. Diese Dual-Tokenizer-Architektur spaltet den Repräsentationsraum, wodurch generierte Bilder vor dem Verständnis erneut kodiert werden müssen. Dies durchbricht das Ziel eines „gemeinsamen Kontextes“ (shared context) und behindert eine echte Vereinigung. Darüber hinaus bleibt die Entwicklung eines einzelnen Tokenizers, der gleichzeitig die gegensätzlichen Anforderungen an diskriminatives Verständnis und generative Details erfüllt und gleichzeitig das Vokabular effizient skaliert, eine erhebliche Herausforderung.

Methodik

Die Autoren schlagen UniAR vor, ein vereinheitlichtes autoregressives Framework, das Verständnis und Generierung mittels eines einzigen diskreten visuellen Tokenizers überbrückt. Die Architektur besteht aus drei Kernkomponenten:

1. Einheitlicher visueller Tokenizer

UniAR passt einen vortrainierten Vision-Encoder (SigLIP2-So400M ViT) mithilfe von Binary Spherical Quantization (BSQ) in einen diskreten Tokenizer an.

Lookup-freie bitweise Quantisierung: Anstatt Merkmale auf ein explizites Codebuch abzubilden (wie bei VQ-VAE), quantisiert BSQ visuelle Merkmale in diskrete binäre Vektoren ( $u \in \{0, 1\}^{64}$ ). Dies eliminiert die Notwendigkeit eines expliziten Codebuchs und skaliert die theoretische Vokabulargröße exponentiell ( $2^{64}$ ) bei minimalem Overhead.
Multi-Level Feature Fusion: Um die Spannung zwischen hochgradiger Semantik und Details auf niedriger Ebene zu adressieren, aggregiert der Tokenizer Merkmale aus mehreren Schichten des visuellen Encoders (die finale Schicht plus drei Zwischenschichten). Dieses hierarchische Design bewahrt sowohl feingliedrige Details als als auch semantische Hinweise.
Trainingsziel: Der Tokenizer wird End-to-End unter Verwendung einer Kombination aus dem ursprünglichen Cross-Entropy (CE) Loss des LLMs und dem BSQ Soft-Entropy-Loss feinjustiert. Soborder die Anpassung ist der Vision-Encoder eingefroren, um konsistente visuelle Indizes zu gewährleisten.

2. Einheitliches autoregressives Modell

Aufbauend auf einem vortrainierten LLM-Backbone (Qwen3-8B) behandelt das Modell visuelle und Text-Token gleichermaßen unter einem Next-Token-Prediction-Paradigma.

Parallele bitweise Vorhersage: Um die Länge der visuellen Sequenz zu reduzieren und die Generierung zu beschleunigen, verwendet UniAR einen Mechanellen zur parallelen bitweisen Vorhersage. Es sagt mehrstufige visuelle binäre Vektoren innerhalb eines $2 \times 2$ räumlichen Gitters gleichzeitig voraus. Dies erreicht ein 32-faches Kompressionsverhältnis der visuellen Sequenz in der autoregressiven Vorhersage.
Visuelle Vorhersage-Kopf (Visual Prediction Head): Das Modell gibt Logits für Gruppen von BSQ-Indizes aus. Die Ausgabendimension ist definiert als $d_{vis} = 2 \times d_{BSQ} \times g$ , wobei $g$ die Anzahl der hierarchischen Ebenen und räumlichen Einheiten darstellt.
Robustheit durch Index-Flipping: Um die Lücke zwischen Teacher-Forcing-Training und autoregressiver Inferenz zu schließen, wendet das Modell während des Pretrainings zufälliges visuelles Index-Flipping an. Dies simuliert kumulative Fehler, verbessert die Stabilität bei High-Temperature-Sampling und erleichtert das anschließende Reinforcement Learning.

3. DiT-basierter visueller Decoder

Ein Diffusion Transformer (DiT) Decoder rekonstruiert hochauflösende Bilder aus den vorhergesagten diskreten visuellen Token.

Token-zu-Bild-Translation: Der Decoder wird ausschließlich durch visuelle Token konditioniert (durch elementweise Addition des visuellen Signals zu verrauschten Hidden States) und erhält keine Text-Prompts als Input. Dieses Design überlässt die gesamte semantische und strukturelle Generierung dem autoregressiven Modell.
Auflösungs-Upsampling: Um die Rechenlast der autoregressiven Modellierung zu mildern, nutzt der Decoder eine Resolution-Upsampling-Strategie (2D-bikubische Interpolation). Dies ermöglicht die Generierung hochauflösender Bilder (z. B. $1024 \times 1024$ ), während nur 256 visuelle Token vorhergesagt werden müssen.

Trainings-Pipeline

UniAR folgt einem dreistufigen Trainingsprozess:

Pre-training: Groß angelegtes Pretraining auf multimodalen Korpora (1T Tokens) mit einem Verhältnis von 1:1 zwischen Verständnis- und Generierungsdaten. Die visuelle Generierung ist auf spezifische Auflösungen (512×512 oder 960×960) mit durch Gitterdimensionen definierten räumlichen Priors beschränkt.
Supervised Fine-Tuning (SFT): Training auf kuratierten, hochwertigen Daten (ca. 50B Tokens) im ChatML-Format.
Reinforcement Learning (RL): Wird ausschließlich auf Bildgenerierungsaufgaben angewendet, um Qualität, Textdarstellung und das Befolgen von Instruktionen zu verfeinern. Der visuelle Decoder wird erst in dieser Phase eingeführt, um Bilder für die Belohnungsberechnung zu dekodieren.

Zentrale Beiträge

Vereinheitlichtes Framework mit Single Tokenizer: UniAR ist das erste vereinheitlichte Modell, das mehrstufige bitweise visuelle Token nutzt und dadurch Generierung und Verständnis effektiv in einem gemeinsamen Kontext ohne Neukodierung vereint.
Effiziente bitweise Quantisierung: Die Einführung der lookup-freien bitweisen Quantisierung auf Multi-Level-Features erweitert die theoretische Vokabulargröße signifikant bei geringem Overhead, während die Multi-Level-Fusion die Lücke zwischen generativen und diskriminativen Anforderungen schließt.
Parallele bitweise Vorhersage & effizientes Decoding: Die Einführung der parallelen bitweisen Vorhersage reduziert die Länge der visuellen Sequenz, und der DiT-basierte Decoder mit Resolution-Upsampling ermöglicht eine effiziente Hochauflösungs-Generierung mit kompakten visuellen Sequenzen.

Experimentelle Ergebnisse

Umfangreiche Experimente zeigen, dass UniAR eine State-of-the-Art (SOTA) Leistung in der Bildgenerierung und -bearbeitung erzielt, während es im Bereich des multimodalen Verständnisses wettbewerbsfähig bleibt.

Instruktionsbefolgung: Auf GenEval erreicht UniAR eine Gesamtpunktzahl von 0,86 (0,86 mit Prompt-Rewriting) und übertrifft damit proprietäre Modelle wie GPT-4o (0,84) sowie rein generative Modelle wie FLUX.1-dev (0,82). Es zeigt besondere Stärken beim Zählen von Objekten, der Bindung von Farbattributen und räumlichen Beziehungen.
Textdarstellung: UniAR erzielt SOTA-Ergebnisse in Textdarstellungs-Benchmarks mit einem Score von 0,873 auf OneIG-EN (übertrifft GPT-4o) und 0,917 auf LongText-EN (übertrifft Gemini 2.5 Flash Image).
Bildbearbeitung: Auf dem ImgEdit Bench erzielt UniAR 3,73 und übertrifft spezialisierte Editierungsmodelle wie Flux.1 Kontext (3,71) sowie vereinheitlichte Modelle wie OmniGen2 (3,44).
Multimodales Verständnis: UniAR übertrifft bestehende vereinheitlichte Modelle bei OCR-orientierten Aufgaben (OCRBench, DocVQA, InfoVQA) und dem Video-Verständnis (MVBench) deutlich. Es erreicht eine Leistung, die vergleichbar mit SOTA Open-Source-VLMs wie Qwen3-VL ist, merkt jedoch eine leichte Verzögerung bei MMMU an, was auf einen Mangel an rein textbasierten Pretraining-Daten und das Fehlen von RL für Verständnisaufgaben zurückzuführen ist.
Emergente Fähigkeiten: Das Modell demonstriert eine emergente Fähigkeit zur Interleaving-Generierung und -Verständnis. Ohne spezifisches Training auf Multi-Turn-Interleaved-Daten kann UniAR ein Bild generieren und anschließend detaillierte Fragen zu seinem eigenen Output innerhalb desselben Kontextes beantworten, was die Notwendigkeit einer Neukodierung eliminiert.

Bedeutung und Behauptungen

Das Paper behauptet, dass UniAR einen bedeutenden Schritt in Richtung echter Vereinheitchtung in der multimodalen Modellierung darstellt. Durch die Nutzung eines einzigartigen diskreten visuellen Tokenizers und eines gemeinsamen autoregressiven Kontextes löst UniAR die inhärente Spannung zwischen visuellem Verständnis und Generierung. Die Autoren betonen, dass ihr Ansatz:

Die Notwendigkeit disparater Tokenizer und den damit verbundenen Overhead der Neukodierung eliminiert.
Eine hochtreue Generierung und robuste Instruktionsbefolgung durch effiziente bitweise Quantisierung und parallele Vorhersage erreicht.
Zeigt, dass ein vereinheitlichter Repräsentationsraum emergente Fähigkeiten ermöglicht, wie etwa die Selbstinterpretation generierter Inhalte, was mit fragmentierten Architekturen schwer zu erreichen ist.

Die Arbeit legt nahe, dass die Kombination aus Multi-Level-Feature-Fusion, Lookup-freier Quantisierung und paralleler bitweiser Vorhersage einen skalierbaren und effizienten Weg für vereinheitlichte multimodale Systeme bietet.