End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

1. Problemstellung

Die autoregressive (AR) Bildgenerierung hat sich als starke Alternative zu Diffusionsmodellen etabliert, die diskrete visuelle Token nutzen, um Bilder in latente Darstellungen zu komprimieren. Allerdings stehen bestehende Ansätze vor zwei Hauptproblemen:

• Räumliche Fehlausrichtung: Die meisten Bild-Tokenizer verwenden 2D-Gitterstrukturen (zur Erhaltung des räumlichen Layouts). Dies induziert bidirektionale Abhängigkeiten zwischen den Token, was im Widerspruch zur unidirektionalen Faktorisierung steht, die für die Standard-Raster-Reihenfolge-AR-Modellierung erforderlich ist.
• Suboptimale Trainingsparadigmen: Aktuelle Methoden verwenden typischerweise eine zweistufige Trainingsstrategie: Zuerst wird ein Tokenizer zur Rekonstruktion trainiert (eingefroren), danach wird ein AR-Modell auf den resultierenden Token trainiert. Dies verhindert, dass sich der Tokenizer an die spezifischen Anforderungen der Generierungsaufgabe anpasst.
• Lücken in der Verlustfunktion: Der in AR-Modellen verwendete Next-Token Prediction (NTP)-Verlust operiert im diskreten Token-Raum und korreliert nicht direkt mit der endgültigen Generierungsqualität im Pixelraum. Eine Optimierung ausschließlich für NTP kann zu einem „Kollaps des latenten Raums" führen, bei dem der Tokenizer nur wenige Token verwendet, um den Vorhersageverlust zu minimieren, was die Bildtreue verschlechtert.

2. Methodik: EOSTok

Die Autoren schlagen EOSTok (End-to-end One-dimensional Semantic Tokenizer) vor, ein Framework, das einen 1D-Vision-Tokenizer und ein AR-Generierungsmodell in einer einstufigen Pipeline gemeinsam optimiert.

A. 1D Vision Transformer Tokenizer

• Architektur: Basierend auf einer ViT-Autoencoder-Struktur (ähnlich wie TiTok).
• Prozess: 2D-Bild-Patches werden abgeflacht und mit lernbaren Query-Token verknüpft. Ein kausaler ViT-Encoder verarbeitet diese Sequenz und gibt nur die 1D-latenten Token aus (räumliche Patch-Embeddings werden verworfen).
• Quantisierung: Es wird IBQ (Improved Bottleneck Quantization) verwendet, um kontinuierliche latente Vektoren auf ein diskretes Codebuch abzubilden, was eine AR-Modellierung ermöglicht.
• Decoder: Ein 1D-ViT-Decoder rekonstruiert Bilder, indem er die quantisierten Token mit lernbaren Mask-Token verknüpft.

B. End-to-End Gemeinsames Training

Anstatt den Tokenizer einzufrieren, werden Encoder, Decoder und AR-Modell gleichzeitig trainiert. Die Gesamtverlustfunktion kombiniert:

1. Rekonstruktionsverlust ($L_{recon}$): Standard-VQ-VAE-Verluste (L1/L2, Perzeptuell, GAN), um die Bildtreue sicherzustellen.
2. Next-Token Prediction Loss ($L_{NTP}$): Standard-Cross-Entropy-Verlust für das AR-Modell.
3. Autoregressive Prediction Reconstruction (APR) Loss ($L_{APR}$):
   • Die Innovation: Um die Lücke zwischen Token-Vorhersage und Pixelqualität zu schließen, werden die vom AR-Modell vorhergesagten Token (im Teacher-Forcing-Modus) vom Decoder des Tokenizers zurück in den Pixelraum decodiert.
   • Mechanismus: Der Verlust vergleicht diese decodierten Pixel mit dem Ground-Truth-Bild.
   • Effekt: Dies bietet dem Tokenizer eine end-to-end generative Überwachung und verhindert, dass der Tokenizer den NTP-Verlust „hackt", indem er den latenten Raum kollabieren lässt (zu wenige Token verwendet).

C. Semantische Repräsentationsausrichtung (VFM)

Um globale semantische Informationen einzubringen, ohne 2D-räumliche Priors durchzusetzen (was die AR-Leistung beeinträchtigen würde), schlagen die Autoren eine Implizite Ausrichtung vor:

• Direkte Ausrichtung (Abgelehnt): Die direkte Ausrichtung von 1D-latenten Token an 2D-VFM-Features erzwingt eine 2D-Struktur im 1D-Raum und verschlechtert die Leistung.
• Direkter Ersatz (Abgelehnt): Ersetzen von Bild-Patches durch VFM-Features als Eingabe.
• Implizite Ausrichtung (Vorgeschlagen): Ausrichtung der versteckten Patch-Embeddings des 1D-Encoders (bevor die Query-Token extrahiert werden) mit den VFM-Features (z. B. von DINOv2). Dies destilliert semantisches Wissen in den sequenziellen latenten Raum, ohne explizite 2D-räumliche Einschränkungen aufzuerlegen.
• Decoder-Ausrichtung: Der Decoder wird ebenfalls mit VFM-Features ausgerichtet, um die Rekonstruktion als bedingte Generierungsaufgabe zu behandeln und die Konvergenz zu unterstützen.

3. Hauptbeiträge

1. End-to-End Trainingsframework: Eine neuartige einstufige Pipeline, die Rekonstruktion und Generierung gemeinsam optimiert und dem Tokenizer ermöglicht, Darstellungen zu erlernen, die speziell für AR-Modellierung zugeschnitten sind.
2. APR-Verlust: Eine kritische Verlustfunktion, die AR-Vorhersagen in den Pixelraum decodiert und sicherstellt, dass der Tokenizer einen latenten Raum lernt, der sowohl rekonstruktiv als auch generativ vorhersagbar ist, was einen latenten Kollaps verhindert.
3. Implizite semantische Ausrichtung: Eine Strategie zur Nutzung von Vision Foundation Models (VFMs) für 1D-Tokenizer, die die Generierungsqualität verbessert, ohne die 2D-räumlichen Verzerrungen wieder einzuführen, die die AR-Modellierung behindern.
4. State-of-the-Art-Leistung: Erzielung von SOTA-Ergebnissen bei der ImageNet-256×256-Generierung ohne Classifier-Guidance.

4. Experimentelle Ergebnisse

Das Modell wurde am Benchmark ImageNet-1K 256×256 evaluiert.

• Generierungsqualität:
  • EOSTok-H (644M Parameter): Erreicht einen gFID von 1,48 (ohne Guidance) und einen IS von 239,5. Dies ist ein neuer State-of-the-Art für AR-Modelle ohne Guidance und übertrifft diffusionsbasierte Modelle wie REPA-XL/2 (gFID 1,42 mit Guidance) sowie andere AR-Baselines.
  • EOSTok-L (312M Parameter): Erreicht einen gFID von 1,74 ohne Guidance.
• Rekonstruktionsqualität:
  • EOSTok-L erreicht einen rFID von 0,73 und demonstriert hohe Rekonstruktionsfähigkeiten.
• Ablationsstudien:
  • APR-Verlust: Ohne APR sinkt die Codebuch-Nutzung drastisch (von ~99 % auf ~51 %), und der gFID verschlechtert sich erheblich (8,01 vs. 3,32).
  • Semantische Ausrichtung: Die implizite Ausrichtung verbessert den gFID von 12,27 (Baseline) auf 3,32. Eine direkte Ausrichtung verschlechtert die Leistung, was bestätigt, dass 2D-Priors für die 1D-AR-Modellierung nachteilig sind.
  • Sequenzreihenfolge: Modelle, die mit End-to-End-Überwachung trainiert wurden, zeigen bei den ursprünglichen Token-Sequenzen eine deutlich bessere Leistung als bei umgekehrten oder zufälligen Sequenzen, was beweist, dass der latente Raum für kausale Vorhersagen optimiert ist.
  • Skalierung: Die Leistung verbessert sich konsistent mit der Modellgröße (S bis H) und der Codebuchgröße, wobei größere Modelle den Kompromiss zwischen Rekonstruktion und Generierung mildern.

5. Bedeutung

Dieses Paper verschiebt das Paradigma der autoregressiven Bildgenerierung grundlegend:

• Von Zwei-Stufen zu Ein-Stufe: Es zeigt, dass das gemeinsame Training von Tokenizer und Generator bessere Ergebnisse liefert als der traditionelle Ansatz mit eingefrorenem Tokenizer.
• Tauglichkeit von 1D-Tokenisierung: Es beweist, dass 1D-Tokenizer, wenn sie richtig mit semantischer Führung und End-to-End-Feedback trainiert werden, 2D-gitterbasierte Tokenizer für die AR-Generierung übertreffen können, indem sie Konflikte räumlicher Abhängigkeiten eliminieren.
• Überbrückung der Verlustlücke: Die Einführung des APR-Verlusts löst das kritische Problem, dass die Optimierung auf Token-Ebene nicht in Pixelqualität übersetzt wird, ein häufiger Engpass in der diskreten generativen Modellierung.
• Skalierbarkeit: Die Methode skaliert effektiv und erzielt SOTA-Ergebnisse mit einem 644M-Parameter-Modell, was einen vielversprechenden Weg für die Skalierung von AR-Vision-Modellen auf größere Größen andeutet.