🤖 AI

Parallel Rollout Approximation for Pixel-Space Autoregressive Image Generation

Dieses Paper führt die Parallel Rollout Approximation (PRA) ein, ein skalierbares Framework, das die Kluft zwischen Training und Inferenz bei der autoregressiven Bildgenerierung im Pixelraum überbrückt, indem es niedrigdimensionale Zwischenzustände generiert, um Inferenz-Zeit-Bedingungen zu approximieren, wodurch es auf ImageNet-1K State-of-the-Art FID-Scores mit signifikant weniger Parametern als bisherige Modelle in Milliarden-Skala erreicht.

Ursprüngliche Autoren: Jiayi Xu, Di He, Guolin Ke

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiayi Xu, Di He, Guolin Ke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Meisterwerk zu malen, ein winziges farbiges Quadrat nach dem anderen. Genau das macht die Pixel-Space Autoregressive (AR) Bildgenerierung. Anstatt fertige „Stempel“ oder „Codes“ zu verwenden, um ein Bild aufzubauen, betrachtet der Roboter die rohen Pixel (die tatsächlichen Farben) und versucht, das nächste Quadrat basierend auf den bereits gemalten Quadraten vorherzusagen.

Die Arbeit stellt eine neue Methode namens Parallel Rollout Approximation (PRA) vor, um zwei große Probleme zu lösen, an denen dieser Roboter scheitert.

Die zwei großen Probleme

1. Das „Schwerstarbeiter“-Problem (Ausgabeseite)
Stellen Sie sich vor, Sie bitten den Roboter, das nächste Quadrat eines Gemäldes vorherzusagen. Wenn dieses Quadrat ein winziger, einfacher Punkt ist, ist das leicht. Aber in dieser Methode muss der Roboter ein ganzes Stück des Bildes (ein Patch) vorhersagen, das gleichzeitig hunderte von Farbwerten enthält. Es ist, als würde man von einem Schüler verlangen, einen ganzen Aufsatz mit einem einzigen Atemzug zu schreiben.

Das Ergebnis: Der Robot macht bei jedem einzelnen Schritt große Fehler, weil die Aufgabe zu schwer ist.

2. Das „Übung vs. Leistung“-Problem (Inputseite)
Während des Trainings gibt der Lehrer (der Computer) dem Roboter die perfekten vorherigen Quadrate, auf die er schauen soll. Es ist, als würde ein Schüler eine Prüfung ablegen, bei der der Lehrer ihm die richtigen Antworten für die vorherigen Fragen zuflüstert.

Die Realität: Wenn der Roboter tatsächlich alleine malt (Inferenz), muss er auf seine eigenen vorherigen Vermutungen schauen, die vielleicht leicht falsch sind.
Das Ergebnis: Da der Roboter mit perfekten Daten geübt hat, aber mit unperfekten Daten arbeitet, summieren sich seine kleinen Fehler auf. Eine falsche Farbe führt zu einer falschen Vorhersage für das nächste Quadrat, was wiederum zu einer falschen Vorhersage für das darauffolgende Quadrat führt und das gesamte Gemälde ruiniert.

Die Lösung: PRA (Die „Skizzieren und Übersetzen“-Methode)

Die Autoren schlagen PRA vor, das beide Probleme gleichzeitig löst, indem es einen cleveren Zwei-Schritte-Trick verwendet.

Schritt 1: Die „Skizze“ (Lösung des Schwerstarbeiter-Problems)
Anstatt den Roboter zu bitten, direkt ein hochauflösendes Farbfeld vorherzusagen, bittet PRA ihn zuerst, eine winzige, einfache Skizze (einen niedrigdimensionalen Zwischenzustand) zu zeichnen.

Analogie: Anstatt den Roboter zu bitten, ein detailliertes Gesicht zu malen, bitten Sie ihn, eine einfache Strichmännchen-Umrisszeichnung zu erstellen.
Die Magie: Sobald der Roboter diese einfache Skizze gezeichnet hat, verwandelt ein spezieller „Übersetzer“ (ein Pixel Decoder) diese Skizze sofort zurück in das vollständige, detaillierte Farbfeld.
Warum es funktioniert: Eine einfache Skizze vorherzusagen ist viel einfacher, als ein komplexes Bild vorherzusagen, sodass der Roboter bei jedem Schritt weniger Fehler macht.

Schritt 2: Die „Generalprobe“ (Lösung der Diskrepanz zwischen Übung und Leistung)
Um den Unterschied zwischen Übung und Leistung zu beheben, ändert PRA die Art und Weise, wie der Roboter trainiert.

Alter Weg: Der Roboter übte, indem er perfekte, vom Lehrer bereitgestellte Bilder betrachtete.
PRA-Weg: Während des Trainings zeigt man dem Roboter Bilder, die durch denselben Übersetzer „korrumpiert“ wurden, den er während der eigentlichen Leistung verwendet.
Analogie: Stellen Sie sich einen Musiker vor, der übt. Anstatt auf einer perfekten, stillen Bühne zu spielen, übt er, während er Noise-Cancelling-Kopfhörer trägt, die seine eigenen, leicht unsauberen Töne aus dem vorherigen Takt wiedergeben. Dies zwingt ihn dazu, zu lernen, wie er aus seinen eigenen Fehlern in Echtzeit wieder aufholt.
Der „Parallele“ Trick: Um dies zu simulieren, müsste man den Roboter normalerweise Schritt für Schritt das ganze Bild malen lassen, was unglaublich langsam wäre. PRA ist intelligent: Es erstellt diese „unperfekten Übungsbilder“ für jeden einzelnen Schritt gleichzeitig (in Parallel). Es ist, als ließen 100 Schauspieler ihre Texte gleichzeitig proben, anstatt darauf zu warten, dass ein Schauspieler fertig ist, bevor der nächste beginnt.

Die Ergebnisse

Die Autoren testeten dies an einem berühmten Datensatz von Bildern (ImageNet).

Der Gewinner: Ihr neues Modell, PRA, erzeugte Bilder, die signifikant schärfer und realistischer waren als bisherige Methoden, die versuchten, direkt mit Pixeln zu malen.
Die Größenordnung: Selbst eine kleinere Version ihres Modells (mit 135 Millionen „Gehirnzellen“) schlug viel größere, Milliarden-Skala-Modelle anderer Forscher.
Bonus: Da das Modell lernte, Rohpixel so gut zu verstehen, wurde es auch sehr gut darin, zu erkennen, was in den Bildern zu sehen war (Klassifizierung), was darauf hindeutet, dass es ein tiefes Verständnis für Bilder erworben hat und nicht nur gelernt hat, sie zu kopieren.

Zusammenfassung

PRA ist wie ein Abkürzung für einen Künstler: Anstatt zu versuchen, jedes Detail in einem Rutsch perfekt zu malen, zeichnet er eine schnelle Skizze und lässt eine Maschine die Details ausfüllen. Er übt zudem, indem er seine eigenen unperfekten Skizzen betrachtet, damit er nicht verwirrt ist, wenn er alleine malen muss. Das Ergebnis ist eine schnellere, intelligentere und genauere Art für Computer, Bilder von Grund auf zu generieren.

Technisches Resümee: Parallel Rollout Approximation für die autoregressive Bildgenerierung im Pixelraum

1. Problemstellung

Die autoregressive (AR) Bildgenerierung im Pixelraum zielt darauf ab, Bilder als Sequenzen von rohen Pixel-Patches zu modellieren, ohne auf diskrete Tokenisierung oder separat vortrainierte Tokenizer angewiesen zu sein. Obwohl dieser Ansatz konzeptionell unkompliziert ist, steht er vor zwei gekoppelten Herausforderungen, die seine Leistung im Vergleich zu Latent-Space-AR oder Diffusionsmodellen historisch begrenzt haben:

Problem auf der Ausgabeseite (Hochdimensionale Vorhersage): Die direkte Vorhersage hochdimensionaler roher Pixel-Patches (z. B. 768-dimensionale Vektoren für 16×16 Patches) in einem einzigen AR-Schritt ist schwierig, was zu großen Fehlern bei der Einzel-Schritt-Generierung führt.
Problem auf der Eingabeseite (Trainings-Inferenz-Mismatch): Das Standard-Teacher-Forcing konditioniert das Modell während des Trainings auf saubere Ground-Truth-Präfixe. Während der Inferenz muss sich das Modell jedoch auf seine eigenen, zuvor generierten (und potenziell fehlerhaften) Pixel-Patches stützen. Dieser Mismatch führt dazu, dass sich Fehler über die AR-Schritte hinweg akkumulieren und fortpflanzen – ein Phänomen, das als Exposure Bias bekannt ist.

Bestehende Minderungsstrategien, wie etwa die $x$ -Vorhersage (effektiv in Diffusionsmodellen) oder das Injizieren von Eingangsrauschen, adressieren diese Probleme nur teilweise. Exaktes Rollout-Training, welches das Modell während des Trainings seinen eigenen generierten Präfixen aussetzen würde, ist für kontinuierliche Token-AR rechentechnisch zu aufwendig, da es eine sequentielle Stichprobenentnahme für jeden Token erfordert.

2. Methodik: Parallel Rollout Approximation (PRA)

Die Autoren schlagen die Parallel Rollout Approximation (PRA) vor, ein skalierbares Framework, das sowohl die Ausgabe- als auch die Eingabeproblematik gemeinsam adressiert und dabei eine „Pixel-in, Pixel-out“-Schnittstelle beibehält.

2.1 Ausgabeseite: End-to-End Zwischenziele

Um die Schwierigkeit der Einzel-Schritt-Generierung zu verringern, sagt PRA nicht direkt hochdimensionale Pixel-Patches voraus. Stattdessen generiert es niedrigdimensionale Zwischenzustände ( $z_i \in \mathbb{R}^{d_z}$ , wobei $d_z \ll d$ ).

Konstruktion der Ziele: Während des Trainings wird der Ground-Truth-Pixel-Token $x_i$ und die kausale Präfix-Repräsentation $h_{i-1}$ über ein leichtgewichtiges Projektionsnetzwerk $g_\psi$ auf einen Ziel-Zwischenzustand $z_i$ abgebildet. Dieses Ziel ist kontextbewusst und bezieht Informationen aus dem Präfix ein.
Dekodierung: Ein kausaler Pixel-Decoder $D_\phi$ bildet den generierten Zwischenzustand $\hat{z}_i$ (und die vorherigen Zustände $\hat{z}_{<i}$ ) zurück in den Pixelraum ab und erzeugt so den Ausgabe-Token $\hat{x}_i$ .
Training: Das AR-Modell wird darauf trainiert, $z_i$ unter Verwendung eines Token-Level-Diffusions-Heads (Rectified-Flow-Objektiv) vorherzusagen, während der Decoder darauf trainiert wird, $x_i$ aus $z_i$ zu rekonstruieren. Dies ermöglicht es dem AR-Backbone, in einem niedrigerdimensionalen Raum zu operieren, während die externe Schnittstelle im Pixelraum verbleibt.

2.2 Eingabeseite: Parallele Inferenz-ähnliche Eingaben

Um die Lücke zwischen Training und Inferenz ohne sequentielles Rollout zu schließen, konstruiert PRA inferenz-ähnliche Pixel-Eingaben in Parallelität.

Mechanismus: Anstatt auf sauberen Ground-Truth-Pixeln zu trainieren, stört PRA die Ziel-Zwischenzustände $z_i$ (mittels Rectified-Flow-Interpolation), um verrauschte Zustände $\tilde{z}_t$ zu erzeugen. Diese werden durch denselben Pixel-Decoder geleitet, der auch bei der Inferenz verwendet wird, um rekonstruierte Pixel-Token $\bar{x}_i$ zu generieren.
Parallelität: Da jedes $\bar{x}_i$ unabhängig von seinem entsprechenden Zielzustand konstruiert wird (anstatt aus einer sequentiellen autoregressiven Trajektorie), bleibt dieser Prozess vollständig parallelisierbar.
Trainingsschleife: Das AR-Modell wird dann darauf trainiert, den Zielzustand $z_i$ zu prädizieren, konditioniert auf das Präfix dieser rekonstruierten, inferenz-ähnlichen Pixel $\bar{x}_{<i}$ . Dies approximiert die Fehlerstruktur des Rollouts zur Inferenzzeit, behält aber die Effizienz des Teacher-Forced-Trainings bei.

3. Kernbeiträge

Unified Framework: PRA ist das erste skalierbare Framework, das die hochdimensionalen Fehler der Ausgabe und den Trainings-Inferenz-Mismatch in der Pixel-Raum-AR-Generierung gemeinsam adressiert, ohne einen separat vortrainierten Tokenizer zu benötigen.
Lernen von Zwischenzuständen: Die Arbeit führt einen end-to-end gelernten Zwischenziel-Raum ein, der spezifisch für das kausale AR-Modell optimiert ist, anstatt sich auf eingefrorene Latent-Spaces aus VAEs zu verlassen.
Parallel Rollout Approximation: Die Methode approximiert erfolgreich die Vorteile des Rollout-Trainings (das Modell den generierten Kontext aussetzen), durch eine parallele, nicht-sequentielle Konstruktion dekodierter Pixel-Eingaben.
Pixel-In, Pixel-Out Schnittstelle: Im Gegensatz zu Latent-Space-AR-Modellenen bewahrt PRA eine direkte Schnittstelle mit rohen Pixel-Patches, was potenzielle Anwendungen in der vereinheitlichten Bildgenerierung und dem Bildverständnis erleichtert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PRA bei der klassenbedingten ImageNet-1K Generierung bei einer Auflösung von 256×256.

State-of-the-Art Performance:
- PRA-S (135M Parameter): Erreichte einen FID von 2,58 und übertraf damit bisherige Milliarden-Parameter-starke Pixel-Raum-AR-Modelle (z. B. FARMER-1.9B mit FID 3,60).
- PRA-L (511M Parameter): Erreichte einen FID von 1,94 und etablierte damit einen neuen Stand der Technik für Pixel-Raum-AR-Modelle.
Ablationsstudien:
- Zwischenziele (Intermediate Targets): Kontextbewusste Ziele (die die Präfix-Repräsentation einbeziehen) schnitten besser ab als rein lokale Ziele oder eingefrorene LDM-Encoder. Eine Zwischendimension von $d_z=16$ erwies sich als optimal.
- Eingangskonstruktion: Die Verwendung dekodierter Pixel-Eingaben (PRA) übertraf das Training auf sauberen Ground-Truth-Pixeln, Ground-Truth-Zwischenzuständen oder einfachem Rausch-Injektion signifikant, was die Notwendigkeit der Übereinstimmung mit der Inferenzzeit-Pixel-Feedback-Schleife bestätigt.
Bildverständnis:
- Bei der Anwendung auf ImageNet Linear Probing erreichte PRA-L eine Top-1 Genauigkeit von 68,80 %, womit es sowohl Latent-Space-AR-Baselines (SphereAR-L: 52,19 %) als auch Pixel-Raum-Diffusions-Baselines (JiT-L: 42,76 %) übertraf. Dies deutet darauf hin, dass das Modell transferierbare visuelle Repräsentationen lernt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass PRA die fundamentalen Engpässe löst, die verhinderten, dass Pixel-Raum-AR mit Diffusions- und Latent-Space-AR-Modellen konkurrieren kann. Durch die Reduzierung der Schwierigkeit der Einzel-Schritt-Generierung mittels niedrigdimensionaler Zwischenzustände und die Milderung der Fehlerakkumulation durch Parallel Rollout Approximation ermöglicht PRA eine qualitativ hochwertige Bildgenerierung direkt aus rohen Pixeln.

Die Autoren heben hervor, dass die „Pixel-in, Pixel-out“-Natur von PRA, kombiniert mit der starken Leistung beim Linear Probing, auf das Potenzial für vereinheitlichte Pixel-Raum-Modelle hindeutet, die sowohl hochfrequente Bildgenerierung als auch robustes visuelles Verständnis ermöglichen können, wodurch die Notwendigkeit separater Tokenizer oder Autoencoder entfällt.

Einschränkungen: Die Autoren merken an, dass PRA zusätzliche Komponenten einführt (Zwischenzustands-Encoder, Pixel-Decoder und einen zusätzlichen parallelen AR-Vorwärtspass während des Trainings). Obwohl diese end-to-end trainiert werden, ist weitere Forschung notwendig, um das Framework über breitere Datendomänen und Generierungsaufgaben hinweg zu validieren.