VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations

1. Problemstellung

Autoregressive (AR) Modelle zur Bildgenerierung (z. B. LlamaGen) haben zwar eine wettbewerbsfähige Leistung gezeigt, stehen aber im Vergleich zu Diffusionsmodellen vor erheblichen Hindernissen für die Produktionseinführung. Der primäre Engpass ist die Skalierbarkeit hinsichtlich Auflösung und Seitenverhältnissen:

• Token-Explosion: Herkömmliche 2D-Tokeniser (z. B. VQGAN) erzeugen Token-Sequenzen, die linear mit der Bildauflösung wachsen. Für ein 1024×1024-Bild ergibt dies Tausende von Tokens (z. B. 4.096 Tokens).
• Quadratische Rechenkosten: AR-Modelle basieren auf Self-Attention, was eine Komplexität von $O(T^2)$ aufweist, wobei $T$ die Sequenzlänge ist. Mit steigender Auflösung wachsen die Inferenz-FLOPs quadratisch, was die Generierung hoher Auflösungen rechnerisch prohibitiv macht.
• Steifheit: Die meisten AR-Modelle werden auf festen Auflösungen trainiert (z. B. 256×256) und haben Schwierigkeiten, sich ohne Nachtraining oder komplexe Super-Resolution-Pipelines auf beliebige Seitenverhältnisse oder höhere Auflösungen zu verallgemeinern.
• Dominanz der Diffusionsmodelle: Diffusionsmodelle bewältigen natürliche beliebige Auflösungen, wodurch AR-Modelle bei flexiblen, produktionsreifen Anwendungsfällen zurückbleiben.

2. Methodik

Die Autoren schlagen eine zweigeteilte Lösung vor: VibeToken (ein neuartiger Tokeniser) und VibeToken-Gen (ein AR-Generator).

A. VibeToken: Auflösungsagnostischer 1D-Tokeniser

VibeToken ist ein auf 1D-Transformern basierender Bild-Tokeniser, der entwickelt wurde, um Bilder beliebiger Auflösung in eine feste, vom Benutzer kontrollierbare Anzahl von Tokens (z. B. 32–256) zu kodieren und dabei die Token-Anzahl von der räumlichen Auflösung zu entkoppeln.

Zu den wichtigsten architektonischen Innovationen gehören:

1. Dynamische Gitter-Positionale Embeddings: Anstelle fester absoluter positionaler Embeddings verwendet VibeToken ein gelerntes Gitter von Embeddings, das differenziell (via bilinearer/bikubischer Interpolation) angepasst wird, um dem Eingabe-Patch-Gitter ($T_H \times T_W$) zu entsprechen. Dies ermöglicht dem Modell, beliebige Seitenverhältnisse ohne Qualitätsverlust zu verarbeiten.
2. Adaptive Patch-Embeddings: Inspiriert von FlexiViT unterstützt das Modell variable Patch-Größen ($k$) während des Trainings und der Inferenz. Ein Weight-Resizing-Operator bildet die Basis-Projektionsgewichte auf die aktuelle Patch-Größe ab, sodass sich das Modell ohne Neuparametrisierung an verschiedene Auflösungen anpassen kann.
3. Adaptive Decoder-Auflösung: Der Decoder sagt Pixel bei einer festen hohen Auflösung (4× der Patch-Größe) voraus und verwendet eine lernbare 2D-faltende Downsampling-Schicht, um auf die Ziel-Auflösung abzubilden. Dies ermöglicht native Super-Resolution ohne ein separates Upscaler-Modul.
4. Dynamische Tokenisierung: Das Modell wird mit einer gleichmäßigen Stichprobenziehung latenter Längen $L \in [32, 256]$ trainiert. Der Encoder erzeugt genau $L$ Tokens, und der Decoder verbraucht genau $L$, wodurch Padding oder feste Längenbeschränkungen überflüssig werden.
5. Quantisierung: Es wird Multi-Vector-Quantisierung (MVQ) mit 8 Codebüchern verwendet, um eine Vokabulargröße von 32.768 zu erreichen und dabei Kompression und Rekonstruktionsqualität auszubalancieren.

B. VibeToken-Gen: Effizienter AR-Generator

VibeToken-Gen ist ein klassenbedingtes AR-Modell (basierend auf der LlamaGen-Architektur), das auf den kurzen, auflösungsagnostischen Token-Sequenzen operiert, die von VibeToken erzeugt werden.

• Konstantes Rechenbudget: Da die Token-Sequenzlänge $L$ fest ist (z. B. 64 Tokens), unabhängig von der Ausgabeanflösung, bleiben die Inferenz-FLOPs konstant.
• Bedingung: Das Modell konditioniert auf die Zielauflösung $(H, W)$ und das Seitenverhältnis zusammen mit dem Klassen-Label, um geometrische Verzerrungsartefakte zu verhindern.
• Training: Trainiert auf ImageNet-1k mit gemischten Auflösungen (256×256 bis 512×512) und Seitenverhältnissen unter Verwendung eines Token-Budgets, das mit festen Auflösungs-Baselines vergleichbar ist.

3. Hauptbeiträge

1. Auflösungsagnostische Tokenisierung: Der erste 1D-Transformer-Tokeniser, der nativ beliebige Auflösungen und Seitenverhältnisse unterstützt und dabei ein kurzes, dynamisches Token-Budget (32–256 Tokens) beibehält.
2. Rechenleistungseffizienz: Entkoppelt die AR-Inferenzkosten von der Bildauflösung. VibeToken-Gen hält für jede Auflösung konstante 179 GFLOPs ein, wohingegen Baselines wie LlamaGen für 1024×1024-Bilder auf ~11 TFLOPs skalieren (ein 63,4-facher Effizienzgewinn).
3. Native Super-Resolution: Die Architektur unterstützt die Generierung hochauflösender Bilder aus niedrigauflösenden Eingaben (oder beliebigen Zielen) ohne separate Upscaling-Module.
4. State-of-the-Art-Leistung: Erreicht wettbewerbsfähige Rekonstruktions- (rFID) und Generierungsqualität (gFID) im Vergleich zu sowohl 2D-Tokenisern als auch Diffusionsmodellen, trotz der Verwendung deutlich weniger Tokens.

4. Experimentelle Ergebnisse

Das Paper evaluiert VibeToken und VibeToken-Gen auf den Datensätzen ImageNet-1k und FFHQ über verschiedene Auflösungen (256×256 bis 1024×1024) und Seitenverhältnisse.

• Rekonstruktionsqualität:
  • VibeToken-LL erreicht 0,40 rFID bei 256×256 und 2,40 rFID bei 1024×1024.
  • Es übertrifft andere 1D-Tokeniser (z. B. TiTok, One-D-Piece) in der Auflösungsverallgemeinerung und entspricht oder übertrifft 2D-Tokeniser (z. B. IBQ, MAGViT) in der Kompressionseffizienz.
• Generierungsqualität:
  • VibeToken-Gen (XXL) synthetisiert 1024×1024-Bilder unter Verwendung von nur 64 Tokens mit einem gFID von 3,94.
  • Vergleich:
    • Vs. Diffusion (NiT): VibeToken-Gen ist 2,35× schneller (0,46 s vs. 1,08 s) und erreicht bei 1024×1024 eine bessere Qualität (3,94 gFID vs. 5,87 gFID).
    • Vs. AR-Baseline (LlamaGen): LlamaGen benötigt für 1024×1024 ~11 TFLOPs, während VibeToken-Gen konstante 179 GFLOPs verwendet.
• Effizienz:
  • Die Token-Anzahl wird von ~4.096 (in 2D-Tokenisern) auf 64 Tokens für 1024×1024-Bilder reduziert.
  • Die Inferenzgeschwindigkeit liegt für die Generierung hoher Auflösungen unter einer Sekunde (0,46 s), verglichen mit 32+ Sekunden für Baseline-AR-Modelle bei ähnlichen Auflösungen.

5. Bedeutung

Diese Arbeit schließt die Lücke zwischen autoregressiven Modellen und Diffusionsmodellen hinsichtlich Flexibilität und Effizienz.

• Produktionsfähigkeit: Indem AR-Modelle befähigt werden, beliebige Auflösungen mit konstanter Rechenleistung zu verarbeiten, macht VibeToken die AR-Generierung für reale Anwendungen viable, bei denen Eingabe-/Ausgabedimensionen variieren (z. B. mobile Apps, diverse Displayformate).
• Skalierbarkeit: Sie zeigt, dass AR-Modelle ohne quadratische Rechenexplosion auf hohe Auflösungen skalieren können und stellt damit die Annahme in Frage, dass Diffusion der einzige Weg zu hochauflösender generativer KI ist.
• Zukünftige Richtung: Der Ansatz ebnet den Weg für vereinheitlichte multimodale Modelle (Text, Bild, Video), die unter einem festen, vom Benutzer kontrollierbaren Rechenbudget operieren können, unabhängig von der räumlichen Komplexität des generierten Inhalts.

Zusammenfassend löst VibeToken das Problem der „Auflösungsskalierung" in der AR-Generierung, indem es die Last der Auflösungsanpassung vom generativen Modell auf einen flexiblen, auflösungsagnostischen Tokeniser verlagert, was zu einem System führt, das schneller, günstiger und flexibler ist als aktuelle State-of-the-Art-Alternativen.