A Simple Baseline for Unifying Understanding, Generation, and Editing via Vanilla Next-token Prediction

Das Paper stellt Wallaroo vor, ein einfaches autoregressives Modell, das durch Next-token-Vorhersage und eine vierstufige Trainingsstrategie multimodales Verständnis, Bildgenerierung und -bearbeitung sowie mehrsprachige Unterstützung vereint und dabei auf verschiedenen Benchmarks wettbewerbsfähige Ergebnisse erzielt.

Das Wesentliche

🦄 Wallaroo: Der Alleskönner unter den KI-Künstlern

Stell dir vor, du hast einen sehr intelligenten Assistenten, der drei verschiedene Jobs gleichzeitig erledigen kann:

1. Der Beobachter: Er schaut sich ein Bild an und versteht, was darauf passiert (z. B. „Das ist ein Hund im Park").
2. Der Maler: Er malt ein komplett neues Bild basierend auf einer Beschreibung (z. B. „Male mir einen Hund im Park").
3. Der Fotograf: Er nimmt ein bestehendes Bild und verändert es (z. B. „Mach aus dem Hund eine Katze").

Bisher waren diese drei Jobs oft getrennt. Ein Maler konnte nicht gut beobachten, und ein Beobachter konnte nicht gut malen. Die Forscher von Wallaroo haben nun einen Weg gefunden, alle drei Jobs in einem einzigen Gehirn unterzubringen.

1. Das Geheimnis: „Das nächste Wort erraten" 🧩

Die meisten modernen KI-Modelle, die Bilder malen, nutzen eine komplizierte Technik, die wie das „Hinzufügen von Rauschen" funktioniert (Diffusion). Das ist wie wenn man versucht, ein Bild zu malen, indem man erst einen grauen Nebel hat und ihn langsam klärt. Das ist langsam und kompliziert.

Wallaroo macht es ganz anders. Es nutzt eine Methode, die man „Nächstes-Wort-Vorhersage" nennt. Stell dir vor, du liest ein Buch. Du kennst den Satz: „Der Hund lief über die..." und du musst nur erraten, was als Nächstes kommt (z. B. „Wiese").
Wallaroo macht genau das, aber nicht nur mit Wörtern, sondern auch mit Bildteilen.

• Es zerlegt ein Bild in kleine Puzzleteile (Tokens).
• Es schaut sich die Teile an und sagt: „Ah, nach diesem Teil kommt wahrscheinlich dieser Teil."
• So baut es das Bild Stück für Stück auf, genau wie ein Text.

Warum ist das cool? Weil es viel einfacher und effizienter ist. Es ist wie ein einziger Fluss, der sowohl Text als auch Bilder fließen lässt, ohne dass man zwei verschiedene Maschinen verbinden muss.

2. Die Architektur: Ein Haus mit zwei Eingängen 🏠

Obwohl das Gehirn (das Modell) dasselbe ist, brauchen Malen und Beobachten unterschiedliche Werkzeuge.

• Beim Beobachten: Das Modell schaut sich das Bild an wie ein Mensch. Es nutzt ein System, das die Bilder in eine Art „Gedanken-Sprache" übersetzt, um sie zu verstehen.
• Beim Malen: Hier braucht das Modell einen anderen Weg. Es nutzt einen speziellen „Übersetzer" (einen VQ-Tokeniser), der das Bild in eine lange Liste von Zahlen (IDs) verwandelt, die das Modell dann wie einen Text abarbeiten kann.

Stell dir vor, das Modell ist ein Restaurant.

• Wenn ein Gast bestellt (Bild malen), gibt der Kellner die Bestellung in die Küche als Zahlenliste weiter.
• Wenn ein Gast fragt (Bild beschreiben), gibt der Kellner die Bestellung als normale Sprache weiter.
• Aber die Küche (das Gehirn) ist dieselbe! Sie kann beides verarbeiten.

3. Der Trainings-Plan: Von Anfänger zum Meister 🎓

Die Forscher haben Wallaroo nicht einfach so geboren. Sie haben es in vier Stufen trainiert, wie einen Schüler, der zur Schule geht:

1. Stufe 1 (Der Anfänger): Das Modell lernt erst einmal, wie man überhaupt Bilder aus Zahlen rekonstruiert. Es ist wie das Üben von Strichen auf einem Blatt Papier.
2. Stufe 2 (Der Schüler): Jetzt lernt es, Bilder zu verstehen UND zu malen. Es liest Bücher und malt gleichzeitig. Es lernt, dass ein Wort wie „Hund" auch ein Bild von einem Hund bedeutet.
3. Stufe 3 (Der Profi): Bisher waren die Bilder klein (384x384 Pixel). Jetzt lernt das Modell, Bilder in verschiedenen Größen zu malen – von kleinen Postkarten bis zu großen Plakaten. Es lernt auch, dass Bilder Zeilen haben (wie Text), damit es nicht alles durcheinander wirft.
4. Stufe 4 (Der Meister): Das Modell lernt, Bilder zu bearbeiten. Es bekommt Bilder, bei denen Teile fehlen (wie ein Puzzle), und muss die fehlenden Teile ergänzen. Hier lernt es, den Kontext zu verstehen: „Wenn ich den Hund entferne, muss der Schatten auch weg."

4. Was kann Wallaroo wirklich? 🌟

• Zweisprachig: Es spricht fließend Deutsch und Englisch.
• Vielseitig: Es kann Bilder in verschiedenen Auflösungen erstellen.
• Leistung: In Tests hat Wallaroo gezeigt, dass es fast so gut ist wie die besten Spezialisten für Malen oder Verstehen, obwohl es alles in einem Modell macht.
• Der Haken: Da Bilder in kleine Puzzleteile zerlegt werden, sind sie manchmal nicht ganz so scharf wie bei den komplexen Diffusions-Modellen (wie bei Midjourney oder DALL-E 3). Es ist ein kleiner Kompromiss für die Einfachheit und Geschwindigkeit.

5. Die Zukunft: Ein smarter Assistent 🚀

Das Spannendste an Wallaroo ist, dass es zeigt: Man braucht keine riesigen, komplizierten Maschinen mehr, um Bilder zu verstehen und zu erstellen. Ein einfaches „Erraten des nächsten Teils" reicht aus, um beides zu vereinen.

Die Forscher sagen: „Wir haben hier einen einfachen, aber mächtigen Beweis geliefert." Es ist wie der Beweis, dass man mit einem einzigen Schweizer Taschenmesser (Wallaroo) fast alles erledigen kann, wofür man früher einen ganzen Werkzeugkasten brauchte.

Zusammengefasst: Wallaroo ist ein KI-Modell, das Text und Bilder wie eine einzige Sprache behandelt. Es kann Bilder verstehen, neue Bilder malen und alte Bilder bearbeiten – alles mit derselben einfachen Methode, die auch Chatbots nutzen, um Texte zu schreiben. Ein großer Schritt hin zu einer echten „Allround-KI".

Technische Zusammenfassung

Titel: A SIMPLE BASELINE FOR UNIFYING UNDERSTANDING, GENERATION, AND EDITING VIA VANILLA NEXT-TOKEN PREDICTION

Autoren: Jie Zhu et al. (Peking University & Meituan)

---

1. Problemstellung

Die Integration von multimodalem Verständnis (Understanding), Bildgenerierung und Bildbearbeitung in einem einzigen Modell ist ein entscheidender Schritt hin zur künstlichen allgemeinen Intelligenz (AGI). Bisherige Ansätze lassen sich grob in drei Kategorien einteilen, die jedoch jeweils Nachteile aufweisen:

1. Verbesserte konditionale Encoder: Nutzen multimodale Modelle als Encoder für Diffusionsmodelle (z. B. OmniGen2). Dies führt zu einem unidirektionalen Informationsfluss (nur vom Verständnis zur Generierung) und schränkt die Interaktion ein.
2. Integration von Autoregressiv und Diffusion: Kombinieren beide Paradigmen innerhalb von Transformern (z. B. Bagel, JanusFlow). Dies führt jedoch zu einer relativ geringen Effizienz der Informationsinteraktion aufgrund von Rauschen in den Diffusionsdarstellungen.
3. Next-Token-Vorhersage: Verwenden autoregressive Modelle für beides. Bisherige Versuche (z. B. Chameleon, Janus) hatten oft Schwächen bei der Visualisierung oder trennten die Pfade nicht optimal.

Das Ziel ist es, ein einfaches, einheitliches Modell zu schaffen, das alle drei Aufgaben (Verstehen, Generieren, Bearbeiten) effizient und ohne komplexe Hybrid-Architekturen bewältigt.

---

2. Methodik: Wallaroo

Wallaroo ist ein einfaches, autoregressives Basismodell, das auf dem Prinzip der Next-Token-Vorhersage (Next-Token Prediction) basiert und keine Diffusionsprozesse verwendet.

Architektur

• Backbone: Das Modell baut auf Qwen2.5 VL (7B Parameter) auf und folgt dem Minimalismus-Prinzip, indem es so wenige Änderungen wie möglich vornimmt.
• Entkopplung der visuellen Kodierung:
  • Für Verständnis: Es wird der integrierte NaViT-Encoder von Qwen2.5 VL verwendet.
  • Für Generierung: Ein separater VQ-Tokenizer (aus LlamaGen) wandelt Bilder in diskrete IDs um, die dann als 1D-Sequenz verarbeitet werden.
  • Für Bearbeitung (Editing): Hier wird ein hybrider Ansatz gewählt. Sowohl NaViT (semantische/high-level Darstellung) als auch der VQ-Tokenizer (low-level Details) werden genutzt, um Eingabebilder zu kodieren. Dies dient als Brücke zwischen Verständnis und Generierung.
• Adapter und Heads:
  • Ein Generierungs-MLP-Adapter projiziert die VQ-Embeddings auf die Dimension des Transformers.
  • Separate Heads werden verwendet: Ein Text-Head für Verständnis, ein Generierungs-Head für Bildgenerierung und ein separater Edit-Head für Bildbearbeitung, um Konflikte beim Training zu vermeiden.

Trainingsstrategie (Vier-Stufen-Plan)

Um die Fähigkeiten des Modells schrittweise aufzubauen, wird ein vierstufiges Training angewendet:

1. Preliminary Generation Alignment: Anpassung des neuen Generierungs-Adapters und des Heads an den Repräsentationsraum von Qwen2.5 VL (nur diese Module werden trainiert).
2. Joint Pretraining: Gleichzeitiges Training mit multimodalen Verständnisdaten und Text-zu-Bild-Daten, um die Repräsentationen weiter abzugleichen.
3. Image Size Scaling & Multi-resolution Adaptation: Erweiterung der Bildgröße auf 512x512 und Einführung von Multi-Resolution-Training. Spezielle Tokens (<hw_info>, <eol>) werden eingefügt, um dem Modell Höhe, Breite und Zeilenumbrüche mitzuteilen.
4. Unified Fine-tuning: Feinabstimmung auf einem hochwertigen Datensatz, der Verständnis, Generierung und Bearbeitung (mit einem kleinen, hochwertigen Edit-Datensatz) kombiniert.

Trainingsziel

Das Modell wird ausschließlich mit dem Next-Token-Vorhersage-Verlust optimiert. Alle drei Aufgaben (Verstehen, Generieren, Bearbeiten) erhalten das gleiche Verlustgewicht (1:1:1).

---

3. Schlüsselbeiträge

• Pionierarbeit: Wallaroo ist eines der ersten Modelle, das multimodales Verständnis, Bildgenerierung und -bearbeitung erfolgreich in einem reinen autoregressiven Modell durch Next-Token-Vorhersage vereint.
• Vielseitigkeit: Das Modell unterstützt mehrfache Bildauflösungen (Multi-resolution) sowie zweisprachige Eingaben und Ausgaben (Chinesisch und Englisch).
• Effizienz: Durch die Vermeidung von Diffusionsrauschen und die Nutzung einer reinen Transformer-Architektur wird die Informationsinteraktion zwischen den Aufgaben effizienter gestaltet.
• Open Source: Der Code ist öffentlich verfügbar.

---

4. Ergebnisse

Die Evaluation erfolgte auf verschiedenen Benchmarks:

• Multimodales Verständnis:

  • Wallaroo erreicht wettbewerbsfähige Ergebnisse auf Benchmarks wie POPE, MME, MMB und MM-Vet.
  • Es übertrifft viele andere Unified-Modelle (z. B. Janus-Pro, Mogao, OmniGen2) in bestimmten Metriken (z. B. 83.0 auf MMB) und bleibt dem reinen Qwen2.5 VL sehr nahe, was zeigt, dass die Integration der Generierungsfähigkeit das Verständnis nicht signifikant beeinträchtigt.

• Bildgenerierung (Text-to-Image):

  • Auf GenEval und DPG erzielt Wallaroo konkurrenzfähige Ergebnisse im Vergleich zu anderen autoregressiven Modellen (wie Janus-Pro).
  • Es liegt jedoch hinter Diffusions-basierten Modellen (wie OmniGen2, BAGEL), was auf den Informationsverlust durch die Vektor-Quantisierung (VQ) zurückgeführt wird.

• Bildbearbeitung:

  • Auf dem ImgEdit-Benchmark erzielt Wallaroo mit 2.92 eine hervorragende Gesamtleistung und übertrifft viele reine Generierungs-/Bearbeitungsmodelle (z. B. AnyEdit, OmniGen).
  • Es bleibt hinter Diffusions-basierten Unified-Modellen zurück, zeigt aber das Potenzial des autoregressiven Ansatzes.

---

5. Bedeutung und Diskussion

• Potenzial des autoregressiven Ansatzes: Die Arbeit demonstriert, dass Next-Token-Vorhersage ein vielversprechender Weg ist, um Verständnis und Generierung zu vereinen, da sie eine verlustfreie Interaktion zwischen den Modalitäten ermöglicht (im Gegensatz zu Diffusionsmodellen).
• Herausforderungen: Der Hauptnachteil liegt in der Qualität der Bilddetails durch die VQ-Kodierung. Als Lösung wird vorgeschlagen, Diffusionsmodelle als Post-Processing-Schritt zu nutzen oder leistungsfähigere VQ-Tokenizer zu entwickeln.
• Einfluss der Reihenfolge: Die Autoren fanden heraus, dass die Reihenfolge der Token (z. B. Low-Level- vor High-Level-Repräsentationen) für die Bearbeitungsaufgabe entscheidend ist.
• Zukunftsausblick: Die Arbeit legt den Grundstein für zukünftige Forschung, die sich auf die Verbesserung der Tokenizer-Qualität und die dynamische Auswahl von "Heads" basierend auf dem Kontext konzentriert, um die Benutzerfreundlichkeit zu erhöhen.

Fazit: Wallaroo beweist, dass ein einfaches, auf Next-Token-Vorhersage basierendes Modell in der Lage ist, komplexe multimodale Aufgaben zu vereinen und dabei hohe Leistung in Verständnis und Bearbeitung zu erzielen, auch wenn die reine Bildgenerationsqualität noch durch die Limitierungen der VQ-Kodierung eingeschränkt ist.