Autoregressive Image Generation with Randomized Parallel Decoding

Das Paper stellt ARPG vor, ein neuartiges visuelles autoregressives Modell, das durch einen entkoppelten Decodierungsansatz zufällige parallele Generierung ermöglicht und damit die Effizienz, den Speicherverbrauch sowie die Zero-Shot-Generierungsfähigkeit im Vergleich zu herkömmlichen sequenziellen Ansätzen erheblich verbessert.

Das Wesentliche

🎨 ARPG: Der schnelle und flexible Maler, der nicht mehr von links nach rechts malt

Stell dir vor, ein Computer soll ein Bild malen. Die meisten bisherigen KI-Modelle arbeiten wie ein sehr pedantischer Maler, der immer strikt von links oben nach rechts unten malt (Zeile für Zeile).

• Das Problem: Das ist langsam, weil der Maler immer warten muss, bis die vorherige Zeile fertig ist, bevor er die nächste anfängt. Außerdem kann er das Bild nicht einfach in der Mitte korrigieren oder erweitern, ohne alles neu zu malen.

Die Forscher aus diesem Papier haben eine neue Methode namens ARPG entwickelt. Sie nennen es "Autoregressives Bildgenerieren mit zufälliger paralleler Entschlüsselung". Klingt kompliziert? Machen wir es einfach:

1. Das alte Problem: Der starre Zug

Bisher mussten KIs Bilder wie einen Zug bauen: Der erste Waggon (Pixel) muss da sein, bevor der zweite angehängt werden kann. Wenn du ein Bild in hoher Auflösung willst, dauert das ewig. Und wenn du ein Loch in das Bild füllen willst (z. B. einen fehlenden Baum), muss die KI den ganzen Zug von vorne neu bauen, weil sie nicht weiß, was "hinter" dem Loch kommt.

2. Die neue Lösung: Der Bauplan und die Baufirma

ARPG trennt den Prozess in zwei kluge Schritte, die wie eine gut organisierte Baufirma funktionieren:

• Schritt 1: Die "Kontext-Bibliothek" (Der Bauplan)
  Die KI schaut sich zuerst alle Teile des Bildes an, die sie bereits kennt. Sie erstellt eine Art "Gedächtnis" oder Bibliothek mit allen Informationen über das Bild. Wichtig: Sie macht das chaotisch und zufällig, nicht in einer festen Reihenfolge. Sie lernt also, wie die Farben und Formen zusammenhängen, egal in welcher Reihenfolge sie sie betrachtet.

  • Analogie: Stell dir vor, du hast ein Puzzle. Du nimmst alle fertigen Teile und legst sie in eine Schachtel, sortiert nach Farbe und Form, aber nicht nach ihrer Position im Bild.

• Schritt 2: Die "Ziel-gerichteten Fragen" (Die Baufirma)
  Jetzt kommt der Clou. Anstatt zu raten, welches Teil als nächstes kommt, sagt die KI: "Ich brauche jetzt das Teil an Position X!" Sie schickt eine spezielle Frage (einen "Query") an die Bibliothek aus Schritt 1.

  • Die Magie: Diese Frage sagt genau: "Ich bin das fehlende Teil an Position X." Die Bibliothek liefert sofort die passenden Informationen.
  • Der Vorteil: Da die Fragen so klar sind, kann die KI viele Teile gleichzeitig anfertigen! Sie muss nicht warten. Sie kann 10, 20 oder 50 Lücken im Bild auf einmal füllen.

3. Warum ist das so genial? (Die drei Superkräfte)

• 🚀 Geschwindigkeit (Der Turbo):
  Weil die KI viele Teile gleichzeitig malt (parallel), ist sie unglaublich schnell. Das Papier sagt, sie ist bis zu 30-mal schneller als die alten Methoden. Ein Bild, das früher Minuten brauchte, ist jetzt in Sekunden fertig.

  • Vergleich: Ein alter Maler malt ein Bild in 100 kleinen Strichen nacheinander. ARPG malt 50 Striche gleichzeitig und ist dann schon fast fertig.

• 🧠 Intelligenz (Der "Zero-Shot"-Trick):
  Da die KI nicht an eine feste Reihenfolge gebunden ist, kann sie Aufgaben lösen, für die sie nie extra trainiert wurde.

  • Beispiel: Du kannst ein Bild geben und sagen: "Füge hier einen Baum hinzu" (Inpainting) oder "Mache das Bild breiter" (Outpainting). Die KI weiß sofort, wo sie hinsehen muss, weil sie die Positionen kennt, nicht nur die Reihenfolge.
  • Analogie: Ein alter Maler würde bei einem Loch im Bild panisch werden und alles neu anfangen. ARPG schaut einfach in seine Bibliothek, findet die passenden Teile für das Loch und setzt sie ein.

• 💾 Effizienz (Der sparsame Rucksack):
  Die KI braucht viel weniger Speicherplatz im Computer (RAM). Das liegt daran, dass sie nicht alles doppelt speichern muss. Sie nutzt eine geteilte "Gedächtnisbank" für alle Teile.

  • Vergleich: Statt 100 verschiedene Notizbücher zu führen, nutzt ARPG ein einziges, sehr gut organisiertes Lexikon, auf das alle zugreifen können.

4. Was hat das Ergebnis?

Die Forscher haben ihre KI auf dem berühmten "ImageNet"-Test (eine Art Olympiade für Bild-KIs) getestet.

• Qualität: Die Bilder sind extrem scharf und realistisch (besser als viele aktuelle Spitzenmodelle).
• Geschwindigkeit: Sie ist der unangefochtene Schnellste.
• Flexibilität: Sie kann Bilder malen, bearbeiten, erweitern und sogar aus Textbeschreibungen erstellen – alles mit derselben schnellen Technik.

Zusammenfassung in einem Satz

ARPG ist wie ein genialer Architekt, der nicht mehr Stein für Stein in einer starren Reihenfolge baut, sondern erst den gesamten Bauplan im Kopf hat und dann ganze Wände gleichzeitig hochziehen kann – schnell, flexibel und ohne dass das Haus einstürzt.

Das Papier zeigt also, dass wir Bilder nicht mehr "Zeile für Zeile" schreiben müssen, um sie zu erstellen. Wir können sie "ganzheitlich" und parallel bauen, was die Zukunft der KI-Bildgenerierung revolutionieren könnte.

Technische Zusammenfassung

Titel: Autoregressive Bildgenerierung mit randomisiertem parallelem Decodieren (ARPG)

Veröffentlicht als: Konferenzpapier bei ICLR 2026
Autoren: Haopeng Li, Jinyue Yang, Guoqi Li, Huan Wang (Westlake University & CAS)

---

1. Problemstellung

Traditionelle autoregressive (AR) Modelle für die Bildgenerierung (z. B. VQGAN, LlamaGen) leiden unter zwei wesentlichen Einschränkungen:

1. Ineffizienz durch sequenzielle Abhängigkeit: Diese Modelle generieren Token streng nacheinander in einer vordefinierten Reihenfolge (meist Raster-Scan). Dies verhindert eine parallele Inferenz und macht die Generierung hochauflösender Bilder extrem langsam.
2. Eingeschränkte Zero-Shot-Verallgemeinerung: Aufgrund der strikten kausalen Struktur (nächster Token hängt nur von vorherigen ab) können diese Modelle Aufgaben wie Inpainting (Ausfüllen von Lücken), Outpainting (Erweiterung des Bildes) oder Resolution Expansion nicht ohne weiteres in „Zero-Shot"-Szenarien durchführen, da diese Aufgaben nicht-kausale Abhängigkeiten erfordern.

Alternativen wie Masked Modeling (z. B. MaskGIT) ermöglichen zwar parallele Generierung in zufälliger Reihenfolge, benötigen jedoch bidirektionale Aufmerksamkeit. Dies verhindert die Nutzung von KV-Caches (Key-Value Caches), was zu hohem Rechenaufwand und Speicherverbrauch führt. Andere parallele AR-Ansätze (z. B. Block-AR, RandAR) sind entweder durch feste Blockordnungen eingeschränkt oder erhöhen die Sequenzlänge und damit den Speicherbedarf drastisch.

2. Methodik: ARPG Framework

Das Paper stellt ARPG (Autoregressive Image Generation with Randomized Parallel Decoding) vor, ein neues Framework, das die Vorteile der kausalen AR-Modellierung mit der Flexibilität des zufälligen Token-Ordnens vereint.

Kernidee: Entkoppeltes Decodieren

Der zentrale Insight ist, dass die Bestimmung der Position des nächsten Tokens explizit vom Inhalt getrennt werden muss. ARPG nutzt einen zweistufigen Decoder-Ansatz:

1. Pass 1: Lernen der Inhaltsrepräsentation (Content Refinement Pass)

   • Ein Standard-Decoder mit kausaler Selbst-Aufmerksamkeit verarbeitet die bereits bekannten Token in einer zufälligen Reihenfolge.
   • Ziel: Erzeugung reicher, kontextbewusster Darstellungen (Key-Value Pairs) für alle bekannten Token.
   • Wichtig: Es werden hier keine Token vorhergesagt, sondern nur Repräsentationen gelernt. Dies vermeidet das Problem der „Leckage" von Labels und stellt sicher, dass die KV-Caches vollständig gelernt sind.

2. Pass 2: Positionsgeführtes Decodieren (Position-Guided Prediction Pass)

   • Dieser Pass nutzt Cross-Attention.
   • Die Queries (Q) werden aus [MASK]-Token generiert, die mit spezifischen Positions-Informationen (Zielpositionen) versehen sind. Diese Queries sind datenunabhängig und dienen als „zielgerichtete Anweisungen".
   • Die Keys (K) und Values (V) stammen aus den Repräsentationen von Pass 1.
   • Mechanismus: Die Queries attendieren auf die KV-Caches der bekannten Token, um den Inhalt an der spezifischen Zielposition vorherzusagen.
   • Vorteil: Da die Queries unabhängig voneinander sind, können mehrere Token gleichzeitig (parallel) in einem einzigen Inferenzschritt vorhergesagt werden, ohne die kausale Bedingung zu verletzen.

Schlüsseltechniken

• Randomized Order: Das Modell wird auf vollständig zufälligen Permutationen der Token-Reihenfolge trainiert.
• KV-Cache Optimierung: Da Pass 1 nur kausal arbeitet, können die KV-Caches effizient zwischengespeichert werden. Im Inferenzschritt werden mehrere Queries gleichzeitig auf denselben Cache angewendet.
• Generalisierte Aufmerksamkeit: Während des Trainings wird kausale Aufmerksamkeit verwendet. Während der Inferenz kann diese auf blockweise bidirektionale Aufmerksamkeit erweitert werden, um die lokale Konsistenz zu verbessern, ohne das probabilistische Modell zu brechen.

3. Hauptbeiträge

1. Neues Decodierungs-Paradigma: Einführung eines entkoppelten Zwei-Pass-Mechanismus, der Positions-Informationen (Queries) von Inhaltsrepräsentationen (KV) trennt. Dies ermöglicht vollautomatische parallele Generierung in zufälliger Reihenfolge unter Beibehaltung kausaler Effizienz.
2. Zero-Shot-Verallgemeinerung: Durch die Trennung von Position und Inhalt kann das Modell Aufgaben wie Inpainting, Outpainting und Resolution Expansion ohne spezifisches Fine-Tuning durchführen, indem bekannte Regionen in Pass 1 gefüllt und fehlende Regionen in Pass 2 generiert werden.
3. Effizienzsteigerung: Das Modell eliminiert die Notwendigkeit von bidirektionaler Aufmerksamkeit (wie bei MaskGIT) und vermeidet die Verdopplung der Sequenzlänge (wie bei RandAR), was zu signifikant geringerem Speicherbedarf und höherem Durchsatz führt.

4. Ergebnisse

Die Experimente wurden auf dem ImageNet-1K (256×256) und 512×512 Benchmark durchgeführt.

• Qualität (FID):
  • ARPG-XXL erreicht einen FID von 1.83 mit nur 32 Schritten.
  • Dies übertrifft state-of-the-art Modelle wie LlamaGen (FID ~2.62) und VAR (FID ~2.09) bei weitem.
• Geschwindigkeit (Throughput):
  • Im Vergleich zu Raster-Order-Modellen (z. B. LlamaGen) erreicht ARPG eine 30-fache Beschleunigung.
  • Im Vergleich zu anderen parallelen AR-Modellen (z. B. VAR, RandAR) ist es 3-mal schneller.
  • Bei 64 Schritten erreicht ARPG-L einen Durchsatz von 130 Bildern/Sekunde.
• Speichereffizienz:
  • Reduktion des Speicherverbrauchs um 75% im Vergleich zu ähnlichen skalaren Modellen (z. B. VAR benötigt 10.8 GB vs. ARPG-L mit 2.78 GB).
• Anwendungsbreite:
  • Text-to-Image: Erreicht vergleichbare Qualität zu LlamaGen mit nur 7% der Trainingsdaten, aber deutlich höherem Durchsatz.
  • Steuerbare Generierung: Übertrifft ControlVAR und ControlAR in Aufgaben wie Canny-Edge- und Depth-Map-gesteuerter Generierung.
  • Zero-Shot Tasks: Erfolgreiche Demonstration von Inpainting, Outpainting und Skalierung ohne Anpassung des Modells.

5. Bedeutung und Fazit

ARPG stellt einen Durchbruch in der effizienten Bildgenerierung dar. Es löst das fundamentale Dilemma zwischen der Geschwindigkeit paralleler Modelle und der Qualität/Effizienz kausaler Modelle.

• Technische Innovation: Die Entkopplung von Positions-Queries und Inhalts-KV-Caches ist ein elegantes Design, das die Limitierungen bestehender Ansätze (wie die Ineffizienz von Masked Modeling oder die Starrheit von Block-AR) umgeht.
• Praktische Relevanz: Die drastische Reduktion des Speicherbedarfs und die hohe Geschwindigkeit machen ARPG für Echtzeitanwendungen und den Einsatz auf ressourcenbeschränkter Hardware attraktiv.
• Zukunftsperspektive: Das Framework legt den Grundstein für skalierbare, einheitliche Multimodal-Modelle, die sowohl Verständnis als auch Generierung in einem effizienten, parallelen Rahmen vereinen können.

Zusammenfassend bietet ARPG einen neuen Standard für autoregressive Bildgenerierung, der hohe Bildqualität mit beispielloser Inferenzgeschwindigkeit und Flexibilität kombiniert.