🤖 machine learning

SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models

Das Papier stellt SPA-Cache vor, ein neuartiges Caching-Framework für Diffusions-Sprachmodelle, das einen niedrigdimensionalen singulären Proxy zur effizienten Identifizierung von Updates und eine adaptive Budget-Allokationsstrategie zur Überwindung nicht-kausaler Einschränkungen nutzt und damit eine bis zu 8-fache Steigerung des Durchsatzes im Vergleich zur herkömmlichen Decodierung sowie eine 2- bis 4-fache Beschleunigung gegenüber bestehenden Baselines erzielt.

Ursprüngliche Autoren: Wenhao Sun, Rong-Cheng Tu, Yifu Ding, Zhao Jin, Jingyi Liao, Yongcheng Jing, Dacheng Tao

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenhao Sun, Rong-Cheng Tu, Yifu Ding, Zhao Jin, Jingyi Liao, Yongcheng Jing, Dacheng Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das Dilemma „Alles neu schreiben"

Stellen Sie sich vor, Sie schreiben eine Geschichte, aber statt sie wortweise von links nach rechts zu verfassen (wie ein normaler Mensch), schreiben Sie sie in einer zufälligen Reihenfolge. Vielleicht schreiben Sie zuerst das Ende, dann springen Sie zur Mitte und kehren dann wieder zum Anfang zurück. So funktionieren Diffusion Language Models (DLMs). Sie sind flexibel und können Lücken überall füllen, was großartig für Kreativität und komplexe Aufgaben ist.

Allerdings gibt es einen enormen Nachteil. Da Sie hin und her springen, können Sie sich nicht einfach daran erinnern, was Sie vor fünf Minuten geschrieben haben, und weitermachen. Jedes Mal, wenn Sie ein neues Wort hinzufügen, ändert sich die gesamte Geschichte leicht. Um das nächste Wort richtig zu bekommen, muss der Computer die gesamte Geschichte jedes Mal von Grund auf neu lesen und neu berechnen.

Der alte Weg (Autoregressiv): Wie das Lesen eines Buches. Sie erinnern sich an die letzte Seite, blättern um und lesen die nächste. Schnell und einfach.
Der Diffusions-Weg: Wie der Versuch, ein Puzzle zu lösen, bei dem sich jedes Mal, wenn Sie ein Teil legen, das Bild auf den anderen Teilen verschiebt. Sie müssen jedes Mal, wenn Sie ein Teil bewegen, das gesamte Puzzle-Brett neu scannen. Dies ist unglaublich langsam und teuer.

Die Lösung: SPA-Cache

Die Autoren haben ein System namens SPA-Cache entwickelt, um dies zu beschleunigen. Denken Sie daran als an eine intelligente „Spielstand speichern"-Funktion für dieses chaotische Puzzle. Anstatt die gesamte Geschichte neu zu berechnen, versucht das System herauszufinden: „Welche Teile der Geschichte haben sich tatsächlich geändert und welche Teile sind immer noch gleich?"

Wenn sich ein Teil der Geschichte nicht geändert hat, überspringt der Computer ihn und verwendet einfach das alte Gedächtnis (den „Cache"). Wenn sich ein Teil geändert hat, berechnet er nur diesen spezifischen Teil neu.

Das Paper stellt zwei Haupttricks vor, um dies effizient zu ermöglichen:

1. Der „Niedrigauflösende Schnappschuss" (Singular Proxies)

Um zu entscheiden, was neu berechnet werden muss, muss der Computer prüfen, ob sich die Geschichte geändert hat.

Das alte Problem: Früher versuchten Computer, die gesamte hochauflösende Version der Geschichte zu prüfen, um zu sehen, ob sie sich geändert hat. Das war wie der Versuch, einen Tippfehler zu finden, indem man jeden einzelnen Buchstaben eines 500-seitigen Buches in hoher Auflösung liest. Es dauerte zu lange und zunichte machte die Geschwindigkeitsgewinne.
Der neue Trick (Singular Proxy): Die Autoren erkannten, dass sie nicht die hochauflösende Version benötigen, um eine Änderung zu erkennen. Sie können einen niedrigauflösenden „Schnappschuss" (eine vereinfachte, komprimierte Version) verwenden, um nach Änderungen zu suchen.
- Analogie: Stellen Sie sich vor, Sie prüfen, ob ein Gemälde verändert wurde. Anstatt jeden einzelnen Pinselstrich unter einem Mikroskop zu untersuchen (hohe Kosten), treten Sie einen Schritt zurück und schauen sich ein unscharfes, niedrig aufgelöstes Foto des Gemäldes an. Wenn das unscharfe Foto gleich aussieht, hat sich das Gemälde nicht geändert. Wenn das unscharfe Foto anders aussieht, dann wissen Sie, dass Sie die Details prüfen müssen.
- Ergebnis: Dieser „Schnappschuss"-Check ist unglaublich schnell und ermöglicht es dem System, schnell zu identifizieren, welche Teile der Geschichte neu geschrieben werden müssen, ohne den gesamten Prozess zu verlangsamen.

2. Das „Intelligente Budget" (Adaptive Caching)

Sobald das System weiß, was geprüft werden soll, muss es entscheiden, wie viel neu berechnet werden soll.

Das alte Problem: Bisherige Methoden verwendeten eine „Einheitsgröße"-Regel. Sie sagten: „Berechnen Sie 25 % der Geschichte neu, egal was passiert."
- Das Problem: Einige Teile der Geschichte sind sehr stabil (wie die Szenerie oder Charakternamen) und ändern sich selten. Andere sind chaotisch (wie die Plot-Twists) und ändern sich ständig. Die stabilen Teile neu zu berechnen ist eine Verschwendung von Energie, während das zu geringe Neuberechnen der chaotischen Teile zu Fehlern führt.
Der neue Trick (Adaptives Budget): Das System agiert nun wie ein intelligenter Manager, der die Geschichte betrachtet und sagt: „Dieses Kapitel ist langweilig und stabil? Lassen Sie uns nur 5 % davon aktualisieren. Dieses Kapitel ist voller Action und ändert sich schnell? Lassen Sie uns 40 % davon aktualisieren."
- Analogie: Denken Sie an eine Baufirma. Wenn das Fundament eines Gebäudes solide ist und sich nicht bewegen wird, schicken Sie kein Team, um es jeden Tag zu prüfen. Aber wenn ein Dach undicht ist und im Wind wackelt, schicken Sie ein Team, um es sofort zu reparieren. SPA-Cache schickt sein „Reparatur-Team" nur dorthin, wo der „Wind" am stärksten weht.

Die Ergebnisse: Das Chaos beschleunigen

Durch die Kombination dieser beiden Tricks zeigt das Paper, dass SPA-Cache Diffusion Language Models erheblich schneller macht:

8-mal schneller: Es ist bis zu 8-mal schneller als die Standard-, langsame Art, diese Modelle auszuführen.
2–4-mal schneller als andere Tricks: Es schlägt frühere Versuche, diese Modelle zu beschleunigen, um das 2- bis 4-fache.
Kein Qualitätsverlust: Trotz des Überspringens von Berechnungen bleibt die Qualität der Geschichte (die Antworten, die das Modell gibt) genauso gut wie bei der Ausführung aller Arbeiten.

Zusammenfassung

Das Paper löst das Problem des „langsamen Puzzles" von Diffusion Language Models, indem es dem Computer beibringt:

Einen schnellen, unscharfen Schnappschuss zu verwenden, um Änderungen zu erkennen, anstatt einen langsamen, detaillierten Scan.
Seine Energie klug einzusetzen, indem es sich nur auf die Teile der Geschichte konzentriert, die sich tatsächlich ändern, und die stabilen Teile ignoriert.

Dies macht diese flexiblen, nicht-linearen KI-Modelle für den realen Einsatz praktikabel, ohne ihre einzigartige Fähigkeit zu opfern, in beliebiger Reihenfolge zu denken.

Technischer Zusammenfassung: Singuläre Proxies für adaptives Caching in Diffusions-Sprachmodellen

Problemstellung

Diffusions-Sprachmodelle (DLMs) bieten eine flexible Alternative zu autoregressiven (AR) Modellen, indem sie Decodierung in beliebiger Reihenfolge und parallele Generierung ermöglichen. Ihre nicht-kausale Natur und die Abhängigkeit von bidirektionaler Aufmerksamkeit machen jedoch das Standard-Key-Value-(KV)-Caching, einen Eckpfeiler der AR-Effizienz, unvereinbar. In DLMs können verborgene Zustände nicht einfach ohne Neuberechnung wiederverwendet werden, um sich entwickelnde globale Abhängigkeiten zu erfassen, was zu prohibitiver Inferenz-Latenz führt (Komplexität $O(T \times N^2)$ ).

Bestehende Versuche, dies durch Caching zu mildern, stoßen auf zwei Hauptgrenzen:

Kostspielige Identifikation: Aktuelle Methoden verlassen sich auf hochdimensionale Ähnlichkeitsberechnungen (z. B. Überwachung der Drift des Value-Zustands), um zu identifizieren, welche Tokens Aktualisierungen benötigen. Dieser Identifikationsaufwand gleicht die Gewinne durch sparse Updates oft aus, sobald die Sequenzlängen skalieren.
Starre Budgetzuweisung: Bestehende Ansätze wenden typischerweise ein einheitliches Aktualisierungsbudget über alle Modellschichten hinweg an. Dies berücksichtigt nicht die heterogene Dynamik verborgener Zustände, bei der einige Schichten stabil sind (wenige Aktualisierungen erforderlich) und andere volatil sind (häufige Aktualisierungen erforderlich), was entweder zu rechnerischer Redundanz oder Leistungsverschlechterung führt.

Methodik: SPA-Cache

Die Autoren schlagen SPA-Cache (Singular Proxies for Adaptive Caching) vor, ein Framework, das die Identifikation von Updates und die Budgetzuweisung gemeinsam optimiert. Der Arbeitsablauf für eine einzelne Transformer-Schicht ist in drei Phasen unterteilt:

1. Identifikation von Updates via Singuläre Proxies

Anstatt Ähnlichkeit im vollständigen hochdimensionalen Raum ( $d$ ) zu berechnen, führt SPA-Cache einen singulären Proxy ein, um update-kritische Tokens in einem niedrigdimensionalen Unterraum ( $r \ll d$ ) zu identifizieren.

Theoretische Grundlage: Die Autoren beweisen, dass die Stabilität der Value-Zustände eine hinreichende Bedingung für die Stabilität der Attention-Ausgaben und der nachfolgenden FFN-Ausgaben ist. Daher bietet die Überwachung der Value-Zustände eine konservative Garantie für die Ausgabe-Stabilität.
Dimensionsreduktion: Um den rechnerischen Engpass der hochdimensionalen Projektion zu vermeiden, wendet die Methode eine Singulärwertzerlegung (SVD) auf die Value-Projektionsmatrix $W$ an. Es werden nur die top $r$ Singulärvektoren und -werte beibehalten, um eine abgeschnittene Projektion $W_r$ zu erstellen.
Mechanismus: Eingabezustände werden in diese niedrigdimensionale Mannigfaltigkeit projiziert. Die Kosinusähnlichkeit zwischen dem aktuellen singulären Proxy und dem zwischengespeicherten Proxy wird berechnet. Tokens mit der geringsten Ähnlichkeit (höchste Drift) werden zur Neuberechnung ausgewählt.
Effizienz: Dies reduziert die Identifikationskomplexität von $O(d)$ auf $O(r)$ und den Projektionsaufwand von $O(d^3)$ auf $O(rd^2)$ .

2. Adaptive Budgetzuweisung

In Anerkennung der Tatsache, dass die Drift verborgener Zustände zwischen den Modellschichten erheblich variiert, ersetzt SPA-Cache statische, einheitliche Aktualisierungsraten durch eine dynamische, schichtweise adaptive Strategie.

Beobachtung: Die Drift ist in frühen Schichten (Embedding-Transformationen) gering, erreicht in mittleren Schichten (komplexe semantische Transformationen) ihren Höhepunkt und stabilisiert sich in späten Schichten.
Implementierung: Das Aktualisierungsverhältnis $\rho(l)$ für Schicht $l$ wird mittels einer stückweisen Gauß-Funktion parametrisiert. Dies weist ein höheres Aktualisierungsbudget für volatile mittlere Schichten zu und cacht stabile frühe und späte Schichten aggressiv, wodurch der Durchsatz maximiert wird, ohne die Qualität zu beeinträchtigen.

3. Sparse Execution

Die ausgewählten Tokens (Indizes $I$ ) werden verwendet, um sparse Queries, Keys und Values zu generieren. Der Attention-Mechanismus berechnet Ausgaben unter Verwendung dieser sparse Queries gegen einen teilweise aktualisierten KV-Cache. Das Feed-Forward-Netzwerk (FFN) verarbeitet nur die sparse Attention-Ausgaben, und die Ausgabe der letzten Schicht wird nur an den ausgewählten Indizes aktualisiert, wobei andere Positionen zwischengespeicherte Merkmale wiederverwenden.

Hauptbeiträge

Theoretische Begründung für Value-Proxies: Die Arbeit liefert formale Beweise (Sätze 3.1 und 3.2), die zeigen, dass die Ähnlichkeit des Value-Zustands die Divergenz von Attention- und FFN-Ausgaben begrenzt und damit die Verwendung von Value-Zuständen als prinzipieller Identifikator für die Update-Auswahl validiert.
Singulärer Proxy für Identifikation mit geringem Overhead: Durch die Nutzung einer abgeschnittenen SVD führen die Autoren eine Methode ein, um kritische Tokens in einem niedrigdimensionalen Unterraum zu identifizieren, was die rechnerischen Kosten des Identifikationsprozesses selbst erheblich reduziert.
Adaptive Budgetzuweisung: Die Einführung einer dynamischen Update-Strategie, die Rechenressourcen mit der schichtweisen Heterogenität in Einklang bringt und die Ineffizienzen einer einheitlichen Zuweisung vermeidet.
Orthogonalität zur parallelen Decodierung: SPA-Cache ist so konzipiert, dass es orthogonal zu sequenzweiten Optimierungen ist und in parallele Decodierungs-Frameworks integriert werden kann, um Durchsatzgewinne zu verstärken.

Experimentelle Ergebnisse

Die Autoren evaluierten SPA-Cache an zwei DLMs (LLaDA-8B und Dream-v0-Instruct-7B) über sieben Benchmarks hinweg (einschließlich GSM8K, MMLU-PRO, MBPP und HumanEval).

Durchsatzverbesserungen: SPA-Cache erzielt im Vergleich zur naiven Decodierung eine Durchsatzverbesserung von bis zu 8× und eine 2–4× Beschleunigung gegenüber bestehenden Caching-Baselines (dLLM-Cache, Fast-dLLM).
Spezifische Benchmarks:
- Auf MBPP mit LLaDA-8B erreichte SPA-Cache eine 8,0×-Beschleunigung.
- Auf MMLU-PRO wurden 6,0× (LLaDA-8B) und 6,2× (Dream-7B) Beschleunigungen erzielt.
Integration mit paralleler Decodierung: In Kombination mit Methoden zur parallelen Decodierung erzielte SPA-Cache auf dem BBH-Benchmark eine Gesamt-28×-Beschleunigung gegenüber der naiven Decodierung bei gleichzeitiger Aufrechterhaltung vergleichbarer Genauigkeit.
Ablationsstudien:
- Der Ersatz von volldimensionalen Value-Identifikatoren durch den singulären Proxy ( $r=128$ ) verbesserte Tokens pro Sekunde (TPS) von ~165 auf ~179 ohne Genauigkeitsverlust.
- Die adaptive Budgetzuweisung erhöhte TPS weiter auf ~189, indem das durchschnittliche Aktualisierungsverhältnis von 25 % auf 16 % reduziert wurde, während ein einheitliches Verhältnis von 16 % zu Genauigkeitsverschlechterung führte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SPA-Cache eine neue Effizienz-Basislinie für Diffusions-Sprachmodelle etabliert und sie als rechnerisch tragfähige Alternative für hochdurchsatzfähige, reale Anwendungen positioniert. Indem es den Inferenz-Engpass durch prinzipielle theoretische Analyse und adaptive Ressourcenallokation grundlegend adressiert, ermöglicht die Methode DLMs, effektiv zu skalieren, ohne die Generierungstreue zu beeinträchtigen. Die Autoren betonen, dass ihr Ansatz training-frei ist und mit bestehenden Strategien zur parallelen Decodierung kompatibel ist, was den Weg für die praktische Bereitstellung diskreter Diffusionsmodelle ebnet.