Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model

Das Paper stellt AliTok vor, einen neuartigen, ausgerichteten Tokenizer, der durch die Umgestaltung der Abhängigkeitsstruktur von Bild-Token-Sequenzen die inhärente Fehlausrichtung zwischen bidirektionalen Tokenisierungen und unidirektionalen autoregressiven Modellen auflöst und so eine State-of-the-Art-Bildgenerierung mit hoher Qualität und schnellerer Inferenz als Diffusionsmodelle ermöglicht.

Das Wesentliche

🎨 Das Problem: Der falsche Bauplan für Bilder

Stell dir vor, du möchtest ein riesiges Mosaik aus Tausenden von kleinen Kacheln bauen.

• Die alten Methoden (Diffusionsmodelle): Diese arbeiten wie ein Künstler, der das ganze Bild erst grob skizziert und dann immer wieder über die gesamte Leinwand pinselt, um Details hinzuzufügen. Das funktioniert super gut, ist aber langsam und braucht viel Energie.
• Die autoregressiven Modelle (wie bei Text): Diese arbeiten wie ein Schreiber, der ein Buch Seite für Seite schreibt. Er kennt nur das, was er schon geschrieben hat, und muss das nächste Wort vorhersagen. Das ist sehr schnell und effizient.

Das Dilemma: Wenn man versucht, Bilder mit dem „Schreiber"-Modell zu erstellen, stößt man auf ein fundamentales Problem. Bilder sind nicht wie Bücher. In einem Buch ist das nächste Wort logisch vom vorherigen abhängig. In einem Bild hängen aber alle Teile gleichzeitig voneinander ab. Ein Baumstamm links beeinflusst die Äste rechts.

Die bisherigen „Schreiber"-Modelle für Bilder waren wie jemand, der versucht, ein Puzzle zu lösen, indem er nur die Kacheln links von sich betrachtet, aber die Kacheln rechts (die Zukunft) ignoriert. Das führt zu chaotischen Ergebnissen, weil das Modell raten muss, was auf der anderen Seite passiert.

💡 Die Lösung: AliTok – Der „Vorausschauende Übersetzer"

Die Forscher haben eine geniale Idee entwickelt: AliTok. Statt das Modell zu ändern, haben sie die Sprache geändert, in der das Modell das Bild „liest".

Stell dir vor, du hast einen Dolmetscher (den Tokenizer), der ein Bild in eine Folge von Wörtern (Tokens) übersetzt.

• Der alte Dolmetscher: Er schaut sich das ganze Bild an und schreibt eine Liste von Wörtern auf. Aber diese Wörter hängen stark voneinander ab. Das Wort für „Himmel" oben hängt vom Wort für „Boden" unten ab. Wenn der Schreiber (das KI-Modell) das Wort „Himmel" schreiben soll, weiß er nicht, was unten passiert, und gerät in Panik.
• Der neue Dolmetscher (AliTok): Er ist ein Meister der Organisation. Er schaut sich zwar auch das ganze Bild an, um es zu verstehen, aber er schreibt die Liste so um, dass jedes Wort nur von den vorherigen Wörtern abhängt. Er baut eine Art „Kette", bei der jedes Glied das nächste logisch vorbereitet.

Wie funktioniert das? (Die Magie hinter den Kulissen)

1. Der zweistufige Tanz:

   • Schritt 1 (Der strenge Lehrer): AliTok trainiert einen Encoder (den Übersetzer) mit einem sehr strengen Regler: Ein „Kausaler Decoder". Dieser Regler erlaubt dem Übersetzer beim Schreiben der Liste nur, auf das zu schauen, was er bereits geschrieben hat. Er darf nicht in die Zukunft spicken. Das zwingt den Übersetzer, das Bild so zu zerlegen, dass die Information in der richtigen Reihenfolge enthalten ist.
   • Schritt 2 (Der Detailverliebte): Damit das Bild am Ende nicht unscharf aussieht (weil der strenge Regler die Details manchmal verwässert), wird in einem zweiten Schritt ein neuer, freier Decoder trainiert, der die feinen Details wiederherstellt, ohne die logische Reihenfolge der Liste zu zerstören.

2. Die „Start-Booster" (Prefix Tokens):
   Da der Schreiber am Anfang der Liste (der ersten Bildzeile) keine Vorgeschichte hat, fehlt ihm der Kontext. AliTok fügt daher spezielle „Start-Wörter" hinzu, die wie ein Vorspann wirken und dem Modell sagen: „Pass auf, hier kommt eine neue Zeile, hier ist der Kontext."

🚀 Das Ergebnis: Schnell, scharf und besser als die Konkurrenz

Durch diese Umstellung der Bildsprache passiert etwas Wunderbares:

• Geschwindigkeit: Da das Modell jetzt wie ein schneller Schreiber arbeitet und nicht wie ein langsamer Maler, ist es 10-mal schneller als die besten aktuellen Methoden (Diffusionsmodelle).
• Qualität: Die Bilder sind unglaublich scharf und detailliert. Auf dem ImageNet-Test (ein Standard-Test für KI-Bilder) hat das AliTok-Modell mit nur 662 Millionen Parametern (was für KI-Verhältnisse klein ist) bessere Ergebnisse erzielt als Modelle, die viel größer sind und Diffusionsverfahren nutzen.
• Effizienz: Es braucht weniger Rechenleistung, um ein Bild zu erzeugen.

🌟 Zusammenfassung in einem Satz

AliTok ist wie ein genialer Übersetzer, der ein komplexes Bild in eine einfache, logische Geschichte verwandelt, damit eine schnelle KI-Geschichte (ein autoregressives Modell) das Bild Seite für Seite perfekt und blitzschnell nachbauen kann, ohne dabei die Details zu verlieren.

Die Forscher haben damit gezeigt, dass man nicht immer das Modell selbst komplizierter machen muss, sondern dass man oft nur die Art und Weise ändern muss, wie die Daten dem Modell präsentiert werden.

Technische Zusammenfassung

Titel: Towards Sequence Modeling Alignment Between Tokenizer and Autoregressive Model

Veröffentlicht bei: ICLR 2026

---

1. Das Problem: Fehlende Ausrichtung zwischen Tokenizer und AR-Modell

Autoregressive (AR) Bildgenerierungsmodelle (ähnlich wie GPT für Text) sagen das nächste Token basierend auf den vorherigen voraus. Ein fundamentales Problem besteht jedoch in der Diskrepanz zwischen der Natur von Bilddaten und der Architektur dieser Modelle:

• Bidirektionale Abhängigkeiten in Bildern: Herkömmliche Bild-Tokenizer (z. B. VQ-VAE, VQ-GAN) optimieren die Rekonstruktion durch globale Zusammenarbeit aller Token. Dies führt dazu, dass die Darstellung eines Tokens stark von seinem nicht-kausalen Kontext (insbesondere von zukünftigen Tokens in der Raster-Scan-Reihenfolge) abhängt.
• Unidirektionale Natur von AR-Modellen: Standard-Decodier-only-Transformer können nur auf vergangene Kontexte zugreifen. Wenn das Ziel-Token jedoch Informationen aus der „Zukunft" (unbeobachtete Bildteile) benötigt, um korrekt rekonstruiert zu werden, entsteht eine hohe Unsicherheit in der bedingten Wahrscheinlichkeitsverteilung.
• Folge: Dies führt zu einer extrem komplexen Lernaufgabe für das AR-Modell, was die Generierungsqualität (gFID) und die Trainingsstabilität stark einschränkt. Bisherige Ansätze versuchten, die Modelle zu ändern (z. B. Masked-AR oder Next-Scale-Prediction), was die Einfachheit des AR-Paradigmas aufgab.

2. Methodik: AliTok (Aligned Tokenizer)

Die Autoren schlagen AliTok vor, einen neuartigen Tokenizer, der die Abhängigkeitsstruktur der Token-Sequenz so verändert, dass sie mit der unidirektionalen Natur von AR-Modellen übereinstimmt.

Kernidee:
Statt die Modellarchitektur an die Daten anzupassen, wird die Datenrepräsentation (die Tokens) so gestaltet, dass sie eine starke kausale Abhängigkeit aufweisen, während gleichzeitig die Rekonstruktionsqualität erhalten bleibt.

Architektur und Trainingsprozess (Zweistufig):

1. Bidirektionaler Encoder mit kausalem Decoder (Stage 1):

   • Der Encoder ist ein bidirektionaler Transformer, der globale semantische Informationen effizient komprimiert.
   • Der entscheidende Trick ist ein kausaler Decoder, der während des Trainings nur Zugriff auf Tokens in Raster-Scan-Reihenfolge (Vergangenheit) hat.
   • Wirkung: Dieser Decoder wirkt als starker impliziter Regularizer. Um den Rekonstruktionsverlust unter dieser Einschränkung zu minimieren, muss der Encoder die notwendigen Kontextinformationen für die Rekonstruktion eines Patches strategisch innerhalb der kausalen Historie der vorherigen Tokens organisieren. Dies erzeugt eine Token-Sequenz, die sowohl semantisch reichhaltig als auch hochvorhersagbar ist.

2. Prefix-Tokens und Hilfsverlust (Laux):

   • Da der kausale Decoder für die ersten Zeilen des Bildes (kein vorheriger Kontext) schlechte Ergebnisse liefert, werden 16 Prefix-Tokens eingeführt.
   • Diese Tokens werden durch einen speziellen Hilfsverlust optimiert, der sicherstellt, dass sie die notwendigen Kontextpriors für die erste Bildzeile liefern, ohne die Gradienten der restlichen Rekonstruktion zu stören.

3. Zweistufiges Training (Stage 2):

   • Um die Rekonstruktionsqualität (rFID) zu maximieren, ohne die Generierungsfreundlichkeit zu verlieren, wird der Encoder und der Codebook nach Stage 1 eingefroren.
   • Ein leistungsfähiger bidirektionaler Decoder wird neu trainiert, um Details und visuelle Kontinuität zu verbessern. Dies trennt die Ziele: Der Encoder liefert AR-freundliche Tokens, der Decoder sorgt für hohe Rekonstruktionsqualität.

3. Schlüsselbeiträge

1. Identifikation des Engpasses: Die Arbeit zeigt auf, dass herkömmliche Tokenizer bidirektionale Abhängigkeiten schaffen, die fundamental mit unidirektionalen AR-Modellen kollidieren.
2. AliTok-Design: Ein einfacher, aber effektiver Ansatz, der durch einen kausalen Decoder eine kausale Bias in die Token-Sequenz einbringt, ohne die Kompressionsfähigkeit zu opfern.
3. Leistungsfähigkeit: Ein Standard-Decodier-only-AR-Modell (ohne komplexe Maskierungsmechanismen) kann mit diesem Tokenizer State-of-the-Art (SOTA) Diffusionsmodelle übertreffen.

4. Ergebnisse

Die Methode wurde auf dem ImageNet-Datensatz (256×256 und 512×512) evaluiert.

• Generierungsqualität (gFID):
  • Das AliTok-XL-Modell (662M Parameter) erreicht einen gFID von 1.28 (mit Classifier-Free Guidance).
  • Dies übertrifft das SOTA-Diffusionsmodell LightningDiT (1.35 gFID) und ist besser als alle bisherigen AR-Modelle (z. B. RAR-XXL mit 1.5B Parametern bei 1.48 gFID).
  • Selbst das kleine AliTok-B (177M Parameter) erreicht 1.44 gFID, was besser ist als Modelle mit deutlich mehr Parametern.
• Sampling-Effizienz:
  • Dank der reinen AR-Architektur und der Nutzung von KV-Caching ist AliTok-XL 10-mal schneller beim Sampling als Diffusionsmodelle (LightningDiT).
  • Im Vergleich zu Masked-AR-Modellen (wie MAR) ist die Geschwindigkeit um den Faktor 33 höher.
• Rekonstruktion:
  • Durch das zweite Trainingstage erreicht AliTok einen rFID von 0.86, was mit großen Tokenizern wie GigaTok (0.81) konkurrieren kann, jedoch mit deutlich weniger Parametern (390M vs. 621M).
• Skalierbarkeit:
  • Auf 512×512 Auflösung erreicht das 318M-Modell einen gFID von 1.39, was erneut SOTA ist.

5. Bedeutung und Fazit

Diese Arbeit demonstriert, dass die Diskrepanz zwischen Daten und Modellarchitektur nicht durch komplexe Modelländerungen, sondern durch eine intelligente Anpassung der Datenrepräsentation (Tokenizer) gelöst werden kann.

• Paradigmenwechsel: Statt die Modelle zu verkomplizieren, um bidirektionale Daten zu modellieren, wird die Datenstruktur so angepasst, dass sie dem einfachen, skalierbaren AR-Paradigma entspricht.
• Effizienz: Es wird gezeigt, dass reine Autoregressive Modelle, wenn sie richtig aligniert sind, sowohl in der Qualität als auch in der Geschwindigkeit Diffusionsmodelle übertreffen können.
• Zukunft: Dies ebnet den Weg für effiziente, hochleistungsfähige multimodale Generierungsmodelle, die Text und Bild in einer einzigen AR-Architektur vereinen können.

Zusammenfassend stellt AliTok einen Durchbruch dar, der die theoretische Lücke zwischen der bidirektionalen Natur visueller Daten und der unidirektionalen Vorhersagekraft von LLMs schließt.