💻 computer science

SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation

Das Papier stellt Spatially Speculative Decoding (SSD) vor, ein Framework, das die inhärenten 2D-räumlichen Korrelationen von Bildern nutzt, um mehrere Token gleichzeitig vorherzusagen und dadurch die autoregressive Bildgenerierung um bis zu das 13,3-fache zu beschleunigen, während eine hohe Wiedergabetreue beibehalten wird.

Ursprüngliche Autoren: Shilong Xiang, Zirui Zhang, Lijun Yu, Chengzhi Mao

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shilong Xiang, Zirui Zhang, Lijun Yu, Chengzhi Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, hochauflösendes Wandgemälde zu malen, aber Sie sind gezwungen, einer sehr strengen, altmodischen Regel zu folgen: Sie dürfen immer nur einen einzigen Punkt auf einmal malen, und Sie müssen sich in einem perfekten „Schlangenmuster“ bewegen. Sie beenden die erste Reihe von links nach rechts, springen dann zum Ende der zweiten Reihe, gehen nach links, springen zum Ende der dritten Reihe und so weiter.

So funktionieren aktuelle KI-Bildgeneratoren (genannt „autoregressive Modelle“). Sie behandeln ein Bild wie eine lange, flache Liste von Wörtern. Obwohl ein Bild von Natur aus ein 2D-Gitter ist (oben/unten, links/rechts), machen diese KIs es zu einer 1D-Linie flach. Das macht den Prozess unglaublich langsam, weil die KI ihr gesamtes „Gehirn“ (Milliarden von Parametern) laden muss, nur um die Farbe des nächsten einzelnen Punktes zu entscheiden. Es ist, als würde man zum Supermarkt laufen, um einen einzigen Apfel zu kaufen, dann wieder nach Hause laufen, dann wieder zum Supermarkt laufen, um den nächsten Apfel zu kaufen.

Das Problem: Die „Memory Wall“ (Speicherbarriere)

Das Paper bezeichnet dies als die „Memory Wall“. Die KI verbringt die meiste Zeit damit, ihr Gehirn in den Speicher zu laden, um eine winzige Entscheidung zu treffen, anstatt tatsächlich zu „denken“. Da sie dies tausendfach für ein einziges Bild tun muss, dauert die Generierung eines Bildes sehr lange.

Die Lösung: SSD (Spatially Speculative Decoding)

Die Autoren führen eine neue Methode namens SSD ein. Sie haben erkannt, dass Bilder nicht eigentlich 1D-Listen sind, sondern 2D-Gitter. Wenn man weiß, wie ein Punkt aussieht, kann man oft auch erraten, wie der Punkt direkt darunter aussehen wird – genauso einfach, wie man erraten kann, wie der Punkt rechts daneben aussieht.

So verändert SSD das Spiel, erklärt durch ein paar Analogien:

1. Die „Rate-Analogie“

Der alte Weg (1D): Die KI rät den nächsten Punkt, prüft, ob er richtig ist, und rät dann den nächsten. Es ist ein langsamer Staffellauf Schritt für Schritt.
Der SSD-Weg (2D): Die KI agiert wie ein Team von Ratenden. Während eine Person den nächsten Punkt nach rechts rät, rät eine andere Person gleichzeitig den Punkt direkt darunter. Sie warten nicht darauf, dass die erste Schätzung abgeschlossen ist, bevor sie mit der zweiten beginnen. Sie raten einen ganzen Block von Punkten auf einmal.

2. Die „Entwurfs-Analogie“
Stellen Sie sich die KI wie einen Schreiber vor.

Standard-KI: Schreibt ein Wort, hält inne, prüft ein Wörterbuch, schreibt das nächste Wort.
SSD: Schreibt einen ganzen Satz (oder sogar einen Absatz) in einem Rutsch als „Entwurf“. Dann liest sie diesen Entwurf schnell durch, um zu sehen, ob er Sinn ergibt. Wenn ein Wort leicht daneben liegt, korrigiert sie nur dieses eine Wort, ohne den ganzen Absatz neu zu schreiben.

3. Der „Auto-Correct“-Twist
Das Paper erwähnt einen cleveren Trick. Normalerweise, wenn eine KI einen Block von Token (Punkten) rät und einer davon falsch ist, wirft sie den ganzen Block weg und fängt von vorne an. SSD ist klüger. Es behandelt die „falschen“ Schätzungen als grobe Entwürfe. Es führt eine schnelle Überprüfung (Verification) durch und korrigiert die spezifischen Fehler an Ort und Stelle, ohne den ganzen Block wegzuwerfen. Es ist wie eine Rechtschreibprüfung, die Tippfehler sofort korrigiert, anstatt Sie die ganze Seite neu schreiben zu lassen.

Die Ergebnisse: Das Wandgemälde beschleunigen

Das Paper hat diese Methode an drei leistungsstarken KI-Modellen getestet. Die Ergebnisse waren dramatisch:

Geschwindigkeit: Sie haben die Bildgenerierung um das bis zu 13-fache beschleunigt.
- Beispiel: Ein Modell, das 339 Sekunden (fast 6 Minuten) brauchte, um ein Bild zu erstellen, benötigt nun nur noch 25 Sekunden.
Qualität: Trotz der enormen Geschwindigkeit sehen die Bilder genauso gut aus wie die der langsamen Versionen. Die „Schätzungen“ waren genau genug, dass das fertige Bild keinen Detailverlust erlitt.
Plug-and-Play: Diese Methode erfordert nicht den Umbau des „Gehirns“ der KI. Es ist, als würde man einen Turbolader zu einem bestehenden Automotor hinzufügen. Man kann ihn einschalten, wenn man Geschwindigkeit braucht, oder ausschalten, und das Auto läuft genau wie zuvor.

Zusammenfassung

Das Paper argumentt, dass wir, indem wir die natürliche 2D-Form von Bildern (oben/unten und links/rechts) respektieren, anstatt sie in eine 1D-Linie zu zwingen, die „Memory Wall“ durchbrechen können. Durch das gleichzeitige Raten mehrerer Punkte und das Korrigieren kleiner Fehler im laufenden Betrieb verwandelt SSD einen langsamen Schritt-für-Schritt-Prozess in einen schnellen, parallelen Prozess, wodurch die Generierung hochwertiger KI-Kunst nahezu instantan wird.

Technisches Resümee: Spatially Speculative Decoding (SSD)

1. Problemstellung

Autoregressive Modelle haben signifikante Erfolge in der visuellen Generierung erzielt, indem sie Bilder als 1D-Sequenzen diskreter Token behandeln, analog zum Sprachmodellieren. Dieser Ansatz erzwingt jedoch einen geometrischen Kompromiss: Er flacht die intrinsische 2D-räumliche Lokalität visueller Signale in eine lineare Raster-Scan-Sequenz ab.

Diese Abflachung erzeugt einen schweren Rechenengpass während der Inferenz, der oft als „Memory Wall“ bezeichnet wird. Die Generierung eines $n \times n$ Bildes erfordert $n^2$ sequentielle Vorwärtsläufe. Da jeder Durchgang die gesamten Transformer-Parameter neu laden muss, um einen einzelnen Token vorherzusagen, ist der Prozess stark durch die Speicherbandbreite und weniger durch die Rechenleistung begrenzt.

Bestehende Beschleunigungstechniken, wie das Standard-Speculative-Decoding und die Jacobi-basierte Iteration, versuchen, Methoden aus der natürlichen Sprachverarbeitung (NLP) auf die Vision zu übertragen. Diese Methoden bleiben jedoch an die 1D-sequentielle Annahme gebunden. Da visuelle Patches eine hohe lokalisierte Entropie ohne starre Grammatik aufweisen, führt das Antizipieren mehrerer Token entlang eines abgeflachten 1D-Horizonts zu niedrigen Akzeptanzraten für die Draft-Tokens. Folglich bieten diese Methoden nur moderate Beschleunigungen (1,8× bis 3,7×) oder verschlechtern die Bildqualität durch das Aufzwingen unnatürlicher Unabhängigkeitsannahmen.

2. Methodik: Spatially Speculative Decoding (SSD)

Die Autoren schlagen Spatially Speculative Decoding (SSD) vor, ein Framework, das das prädiktive Ziel mit der natürlichen 2D-Geometrie von Bildern in Einklang bringt. Anstatt nur den unmittelbar nächsten Token in einer 1D-Sequenz vorherzusagen, sagt SSD gleichzeitig den benachbarten horizontalen Token und den direkt darunter liegenden Token voraus.

Kernmechanismen

2D-Räumliche Antizipation:
- SSD faktorisiert die 2D-Antizipation in zwei orthogonale 1D-Vorhersageströme: horizontal (entlang des Raster-Scans) und vertikal (entlang der Spalten).
- Das Modell verwendet leichtgewichtige Heads, um eine ganze Zeile horizontal zu entwerfen (Drafting) und anschließend nachfolgende Zeilen vertikal parallel zu entwerfen.
- Dieser Ansatz nutzt die Beobachtung, dass die Abhängigkeit eines Tokens vom direkt darüber liegenden Token ebenso stark ist wie seine Abhängigkeit vom unmittelbar links liegenden Token, trotz des großen Offsets in der abgeflachten Sequenz.
- Komplexitätsreduktion: Durch das Entwerfen ganzer räumlicher Blöcke parallel reduziert SSD die theoretische Inferenzkomplexität von $O(n^2)$ auf $O(n)$ für ein $n \times n$ Bild.
Kontinuierliche latente Raumvorhersage:
- Die direkte Vorhersage diskreter Token-IDs ist schwierig, da dies zu flachen Wahrscheinlichkeitsverteilungen über große Codebücher führt, was niedrige Akzeptanzraten (<5 %) zur Folge hat.
- SSD sagt stattdessen die kontinuierlichen latenten Merkmale des letzten Transformer-Layers voraus (speziell den Hidden State vor der finalen RMSNorm).
- Ein leichtgewichtiger Prädiktor $f_\phi$ nimmt den Hidden State und das Token-Embedding als Input, um den Hidden State an einem spezifischen räumlichen Offset vorherzusagen.
- Die vorhergesagten Hidden States werden dann durch die bestehenden Output-Layer des Basismodells dekodiert, um Token-Kandidaten zu erhalten.
Verifizierung als Auto-Korrektur:
- Im Gegensatz zum Standard-Speculative-Decoding, das einen gesamten Block beim ersten Mismatch verwirft, behandelt SSD die Verifizierung als selbstkorrigierenden Mechanismus.
  ich Da Entwürfe kohärente räumliche Blöcke bilden, können geringfügige Repräsentationsabweichungen lokal gelöst werden.
- Abgelehnte Tokens werden nicht einfach verworfen; stattdessen sampelt das System aus einer Residuen-Verteilung, um diese innerhalb desselben Vorwärtslaufs zu reparieren.
- Dieser Prozess wird für $r$ Runden wiederholt, wobei die abgelehnten Positionen aktualisiert werden und der KV-Cache für die Re-Evaluierung zurückgesetzt wird, was lediglich $r+1$ Vorwärtsläufe pro Block statt einer sequentiellen Regeneration erfordert.
Modularität:
- SSD ist ein Plug-and-Play-Modul. Es erfordert keine Modifikationen am vortrainierten Backbone.
- Nur die leichtgewichtigen Drafting-Heads werden mittels Selbst-Distillation trainiert, wodurch der FLOPs-Overhead minimal bleibt.

3. Wichtigste Beiträge

Geometrische Neuausrichtung: Die Arbeit zeigt, dass die Berücksichtigung der zugrunde liegenden 2D-Geometrie massive rechnerische Effizienzen freisetzt und über das „rechenintensive Artefakt“ der 1D-sequentiellen Dekodierung hinausgeht.
Latenter Raum-Entwurf: Die Einführung der kontinuierlichen latenten Merkmalsvorhersage verbessert die Genauigkeit der Entwürfe im Vergleich zur diskreten Token-Vorhersage im visuellen Bereich erheblich.
Auto-korrigierende Verifizierung: Eine neuartige Verifizierungsstrategie, die abgelegte Tokens parallel repariert, anstatt sie zu verwerfen, wodurch die Vorteile des räumlichen Entwurfs erhalten bleiben.
Plug-and-Play-Beschleunigung: Ein Framework, das die Generierung beschleunigt, ohne die massiven Backbone-Modelle neu trainieren zu müssen, anwendbar auf jedes vereinheitlichte autoregressive Modell, das diskrete visuelle Tokens produziert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SSD auf drei State-of-the-Art autoregressiven Modellen: Janus-Pro-7B, Lumina-mGPT-7B und Emu3-8B, unter Verwendung der Benchmarks DPG-Bench und GenEval.

Beschleunigung: SSD erreicht eine bis zu 13,3× höhere Wandzeit-Beschleunigung im Vergleich zur Standard-autoregressiven Inferenz.
- Emu3-8B: 339s $\to$ 25,5s (13,27× Beschleunigung).
- Lumina-mGPT-7B: 91,6s $\to$ 7,5s (12,19× Beschleunigung).
- Janus-Pro-7B: 7,8s $\to$ 1,4s (5,74× Beschleunigung).
Qualität: Die Methode bewahrt eine hohe Treue; die Qualitätsmetriken auf DPG-Bench und GenEval bleiben vergleichbar mit den Baseline-autoregressiven Modellen und übertreffen die 1D-MTP-Baselines (die unter schwerer Qualitätsminderung litten) deutlich.
Vergleich:
- 1D-MTP: Erreichte eine ~2,0–2,4× Beschleunigung, verursachte aber signifikante Qualitätsverluste (z. B. sank der Gesamtwert von Emu3 von 78,69 auf 53,11).
- SJD (Jacobi-basiert): Bewahrte die Qualität, war aber auf eine 1,5–2,9× Beschleunigung begrenzt.
- SSD: Erreichte die höchste Beschleunigung bei gleichzeitiger Wahrung der Qualität.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Ineffizienz der aktuellen autoregressiven visuellen Generierung keine inhärente Limitierung der Modelle ist, sondern eine Folge der 1D-sequentiellen Annahme, die aus dem Sprachmodellieren übernommen wurde. Durch die Abkehr von dieser Annahme und die Ausrichtung des Dekodierungsprozesses an der intrinsischen 2D-Geometrie von Bildern überwindet SSD die Memory Wall.

Die Autoren betonen, dass dieser geometrische Wechsel den Weg für Echtzeit-, hochauflösende autoregressive generative Modelle ebnet. Die Ergebnisse legen nahe, dass die Berücksichtigung der visuellen Lokalität massive Rechenersparnisse ermöglicht, ohne die Vereinheitlichung von Vision und Sprache in einem einzigen Backbone zu gefährden. Die Methode wird als allgemeine Lösung präsentiert, die auf bestehende vereinheitlichte Modelle angewendet werden kann, um deren Inferenzgeschwindigkeit konkurrenzfähig zu machen.