💻 computer science

VeriCache: Turning Lossy KV Cache into Lossless LLM Inference

VeriCache ist ein Inferenzframework, das einen verlustfreien LLM-Ausgang erzielt, der identisch mit der Decodierung über den vollständigen KV-Cache ist, während es den Durchsatz erheblich steigert, indem es komprimierte KV-Caches zum Entwerfen von Tokens verwendet und diese gegen den vollständigen Cache verifiziert, der außerhalb des GPU-Speichers gehalten und nur bei Bedarf eingebracht wird.

Ursprüngliche Autoren: Jiayi Yao, Samuel Shen, Kuntai Du, Shaoting Feng, Dongjoo Seo, Rui Zhang, Yuyang Huang, Yuhan Liu, Shan Lu, Junchen Jiang

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiayi Yao, Samuel Shen, Kuntai Du, Shaoting Feng, Dongjoo Seo, Rui Zhang, Yuyang Huang, Yuhan Liu, Shan Lu, Junchen Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Speicherüberlastung"

Stellen Sie sich einen superschlauen KI-Assistenten (ein Large Language Model) vor, der eine enorme Menge an Informationen speichern muss, um Ihre Fragen zu beantworten. Diese Informationen werden in einem speziellen „Notizblock" namens KV Cache gespeichert.

Wenn Gespräche länger werden (wie beim Schreiben eines ganzen Buches oder der Analyse einer riesigen Codebasis), wird dieser Notizblock so groß, dass er nicht mehr in den schnellen, teuren Speicher (GPU) des KI-Systems passt.

Die alte Lösung: Um ihn unterzubringen, begannen Ingenieure, den Notizblock zu „komprimieren". Sie warfen einige Details weg oder vereinfachten die Zahlen (wie beim Zusammenfassen eines 100-seitigen Berichts auf 10 Seiten).
Der Haken: Diese Komprimierung ist verlustbehaftet. Es ist, als würde man versuchen, ein Auto mit einer unscharfen Karte zu fahren. Für kurze Strecken ist das in Ordnung. Aber bei langen Fahrten (wie beim Schreiben von Code oder beim Aufrufen von Tools) beginnt die KI, kleine Fehler zu machen. Diese Fehler häufen sich, und schließlich schreibt die KI möglicherweise Code, der abstürzt, oder liefert die falsche Antwort, selbst wenn die Wörter richtig aussehen.

Die neue Lösung: VeriCache

Die Forscher haben VeriCache entwickelt, ein System, das es Ihnen erlaubt, die „unscharfe Karte" (komprimierter Cache) für Geschwindigkeit zu nutzen, aber die „echte Karte" (voller Cache) überprüft, um sicherzustellen, dass Sie sich nicht verirren.

Denken Sie daran wie an einen schnellen Zeichner und einen strengen Lektor.

Wie es funktioniert (Die Analogie)

Der Zeichner (Komprimierter Cache):
Die KI nutzt den kleinen, schnellen, komprimierten Speicher, um schnell eine Reihe von Sätzen (Tokens) auf einmal zu schreiben. Das ist superschnell, weil der Speicher klein ist und leicht auf den Computer passt.
- Analogie: Ein Schüler, der im Zeitraffer schreibt und die nächsten paar Wörter basierend auf einer schnellen Zusammenfassung errät.
Der strenge Lektor (Voller Cache):
Bevor die Arbeit des Schülers an Sie gesendet wird, prüft ein „strenger Lektor" sie. Der Lektor hat Zugriff auf den gesamten ursprünglichen, perfekten Speicher (der zu groß ist, um ständig auf dem Schreibtisch zu liegen, also wird er in einem Aktenschrank im anderen Raum aufbewahrt).
- Der Trick: Der Lektor holt den schweren Aktenschrank nur dann auf den Schreibtisch, wenn er eine Gruppe von Wörtern überprüfen muss.
Der „gestaffelte" Tanz (Das Geheimnis):
Hier wird VeriCache clever. Normalerweise, wenn Sie anhalten und eine schwere Datei holen müssen, kommt alles zum Stillstand.
- Der Zug von VeriCache: Während der Lektor zum Aktenschrank läuft, um die schwere Datei zu holen, schreibt der Schüler weiter!
- Da das Holen der Datei (Übertragen von Daten vom Speicher in den Arbeitsspeicher) und das Schreiben des nächsten Satzes (Nutzung der GPU) unterschiedliche „Straßen" im Computer verwenden, können sie gleichzeitig passieren, ohne sich zu behindern.
- Bis der Lektor mit der Datei zurückkehrt, hat der Schüler bereits einen ganzen neuen Absatz geschrieben. Der Lektor prüft den vorherigen Absatz, korrigiert etwaige Fehler und genehmigt den Rest.

Warum das eine große Sache ist

Verlustfreie Geschwindigkeit: Frühere Methoden zwangen Sie zur Wahl: Schnell aber falsch (komprimiert) ODER Langsam aber perfekt (voll). VeriCache bietet Ihnen Schnell UND perfekt. Die endgültige Ausgabe ist identisch mit dem, was Sie erhalten hätten, wenn Sie die ganze Zeit den langsamen, vollen Speicher verwendet hätten.
Keine „stillen Ausfälle" mehr: Bei Aufgaben wie dem Codieren oder dem Geben spezifischer Befehle ist ein winziger Fehler eine Katastrophe. VeriCache fängt diese Fehler ab, bevor sie Sie erreichen.
Funktioniert mit allem: Es ist egal, wie der Speicher komprimiert wurde. Ob sie Wörter weggeworfen oder Zahlen vereinfacht haben – VeriCache kann diese komprimierte Version als „Zeichner" nutzen und sie gegen die „volle" Version verifizieren.

Die Ergebnisse

In ihren Tests konnte VeriCache Text bis zu 4-mal schneller generieren als die Verwendung des vollen, langsamen Speichers, während es exakt die gleichen korrekten Ergebnisse lieferte.

Kurz gesagt: VeriCache lässt die KI auf einer schnellen, leichten Strecke laufen, setzt aber Sicherheitsgeländer auf, die im Hintergrund die schwere, perfekte Strecke überprüfen, um sicherzustellen, dass die KI niemals vom Rand fällt.

Technische Zusammenfassung: VeriCache

Problemstellung

Die rasche Expansion der Kontextlängen von Large Language Models (LLMs) (über eine Million Tokens) hat aufgrund der Größe des Key-Value (KV) Caches zu einem schweren Engpass im Inferenz-Serving geführt. Dieser Engpass zeigt sich auf zwei Arten:

Overhead innerhalb einer Anfrage: Dekodierungsschritte erfordern das Lesen des gesamten KV Caches aus dem GPU High Bandwidth Memory (HBM), was einen Engpass bei der Speicherbandbreite erzeugt, der linear mit der Kontextlänge skaliert. Große Caches reduzieren zudem die Batch-Größe, die in den GPU-Speicher passt.
Overhead zwischen Anfragen: Die Wiederverwendung voraufbereiteter KV Caches für gemeinsame Präfixe (z. B. System-Prompts) erfordert die Übertragung großer Datenmengen aus dem Speicher oder über Netzwerke, was oft die Latenz der Anfrage dominiert.

Um dies zu adressieren, wurden zahlreiche Methoden zur Komprimierung des KV Caches (Token-Dropping und Quantisierung) vorgeschlagen. Diese Methoden sind jedoch inhärent verlustbehaftet. Während sie metrikbasierte Token-Level-Metriken (z. B. Perplexität, F1-Score) für kurze Ausgaben möglicherweise erhalten, führen sie zu einer systematischen Verzerrung in der Next-Token-Verteilung. Mit fortschreitender Generierung akkumuliert sich diese Verzerrung und führt dazu, dass die Ausgabe signifikant von der Baseline mit vollem KV-Cache abweicht. Dies führt zu „katastrophalen Ausfällen" in Anwendungen, die eine strikte funktionale Korrektheit erfordern, wie z. B. Code-Generierung (Syntaxfehler) und Tool-Aufrufe (falsche Argumente), wodurch traditionelle Komprimierung für diese kritischen Aufgaben ungeeignet wird.

Methodik: VeriCache

VeriCache ist ein Inferenz-Framework, das entwickelt wurde, um die Durchsatzvorteile der KV-Cache-Komprimierung zu erzielen und gleichzeitig verlustfreie Ausgaben zu garantieren, die mit der Dekodierung mittels vollem KV-Cache identisch sind. Es nutzt verlustbehaftete Komprimierungsmethoden als Schicht für spekulative Ausführung und nicht als direktes Serving-Mechanismus.

Kernalgorithmus

VeriCache arbeitet in einer Schleife aus Entwurf und Verifikation:

Entwurf: Das Modell generiert eine Sequenz von Kandidaten-Token ( $x$ ) unter Verwendung des komprimierten KV Caches ( $KV_{comp}$ ). Dieser Schritt ist schnell und speichereffizient.
Verifikation: Das System führt einen einzigen Vorwärtsdurchlauf unter Verwendung des vollen KV Caches ( $KV_{full}$ ) durch, um die entworfenen Token parallel zu verifizieren.
Akzeptanz: Token werden bis zum ersten Missverhältnis akzeptiert. Wenn alle entworfenen Token mit der Vorhersage des vollen KV Caches übereinstimmen, wird ein zusätzliches „Bonus"-Token akzeptiert. Der Prozess beginnt erneut beim letzten akzeptierten Token.

Wichtige Systeminnovationen

Um zu verhindern, dass der Verifikations-Overhead die Durchsatzgewinne der Komprimierung zunichtemacht, führt VeriCache zwei kritische Systemdesigns ein:

1. Versetzte Ressourcennutzung (P1)
Traditionelle spekulative Dekodierung läuft oft im Takt (alle entwerfen, dann alle verifizieren), was zu Ressourcenkonflikten führt. VeriCache nutzt die Tatsache aus, dass Entwurf und Verifikation komplementäre Ressourcenengpässe haben:

Entwurf ist bandbreitengebunden an den GPU HBM (Lesen von komprimiertem KV und Gewichten).
Verifikation ist bandbreitengebunden an die Interconnect-Verbindung (Laden des vollen KV von CPU/Speicher) und rechengebunden.
Mechanismus: Der Runtime-Scheduler versetzt Anfragen so, dass während einige Anfragen entwerfen (unter Nutzung des HBM), andere verifizieren (Laden des vollen KV über PCIe/Netzwerk). Dies ermöglicht es dem System, Datenübertragung mit Berechnung zu überlagern, wodurch sowohl Interconnect als auch GPU HBM ausgelastet bleiben, ohne zu blockieren.

2. Verlängerte Verifikationsperiode durch hohe Akzeptanzraten (P2)
Im Gegensatz zur traditionellen spektralen Dekodierung, die ein kleineres, anderes Modell als Entwurfsmodell verwendet (was zu einer schnellen Divergenz der Verteilung und kurzen Akzeptanzlängen führt), verwendet VeriCache dasselbe Zielmodell mit komprimiertem KV.

Da die Modellgewichte und dominierenden Aufmerksamkeitsmuster erhalten bleiben, behält der Entwurf mit komprimiertem KV auch bei langen Entwurfslängen eine hohe Akzeptanzrate (z. B. 25–40 Token pro Runde im Vergleich zu 2–3 bei kleinen Entwurfsmodellen).
Diese hohe Akzeptanzrate amortisiert die Kosten der teuren Verifikation mit vollem KV-Cache und ermöglicht es dem System, seltener zu verifizieren, während die Korrektheit gewahrt bleibt.

Architekturunterstützung

VeriCache unterstützt zwei primäre Einsatzszenarien:

Dekodierung mit langer Kontextlänge: Der komprimierte KV-Cache befindet sich im GPU HBM, während der volle KV-Cache im CPU-Speicher gespeichert ist. Die Verifikation beinhaltet das Laden des vollen KV-Caches von der CPU auf die GPU über die PCIe-Verbindung.
Remote Prefix Caching: Der komprimierte KV-Cache wird über eine langsame Netzwerkverbindung zu einer Remote-GPU für den Entwurf gestreamt. Der volle KV-Cache wird über eine schnelle lokale Verbindung zu einer lokalen GPU für die Verifikation geladen. Dies entkoppelt den langsamen Speichertransfer von der Rechenleistung der Remote-GPU.

Das Framework stellt eine einheitliche Kompressor-Schnittstelle bereit, die es ermöglicht, mit verschiedenen bestehenden Token-Dropping- und Quantisierungsmethoden (z. B. KVzip, KIVI, SnapKV) zu integrieren, ohne die Scheduling- oder Verifikationslogik zu ändern.

Hauptbeiträge

Verlustfreie Inferenz mit Komprimierung: VeriCache ist das erste Framework, das eine verlustfreie LLM-Inferenz unter Verwendung inhärent verlustbehafteter KV-Komprimierungstechniken ermöglicht und die Identität der Ausgabe mit der Dekodierung mittels vollem KV-Cache sicherstellt.
Systemdesign für Verifikations-Overhead: Es führt eine versetzte Ressourcennutzung und verlängerte Verifikationsperioden ein, um die Latenz beim Laden voller KV Caches zu verbergen und die typischerweise mit spektraler Verifikation verbundene Durchsatzverschlechterung zu lösen.
Einheitliche Schnittstelle: Es bietet eine generische Schnittstelle, die eine breite Familie von Komprimierungsmethoden (sowohl Token-Dropping als auch Quantisierung) unterstützt, im Gegensatz zu früheren Systemen, die spezifische Kompressoren fest verdrahten.
Unterstützung für Dual-Szenarien: Es adressiert sowohl die Dekodierung mit langer Kontextlänge (HBM-Engpass) als auch Remote Prefix Caching (Netzwerk/Speicher-Engpass).

Experimentelle Ergebnisse

Evaluiert an Modellen einschließlich Mistral-24B, Qwen-32B und Llama-70B über verschiedene Workloads (Code-Generierung, Tool-Aufrufe, mathematisches Schlussfolgern):

Durchsatz: VeriCache erreicht bis zu 4× höheren Durchsatz als Inferenz mit vollem KV-Cache bei der Dekodierung mit langer Kontextlänge und bis zu 2× beim Remote Prefix Caching.
Korrektheit: Es erzeugt Ausgaben, die identisch mit der Inferenz mittels vollem KV-Cache sind (unter gieriger Dekodierung), während verlustbehaftete Baselines signifikante Einbußen bei der funktionalen Genauigkeit erleiden (z. B. sinkt die Syntaxvalidität von Code bei 4× Komprimierung in Baselines auf nahezu Null).
Qualitäts-Durchsatz-Abwägung: Während verlustbehaftete Baselines eine Abwägung erzwingen, bei der höhere Komprimierung zu geringerer Qualität führt, behält VeriCache die volle Qualität bei, während es auf den Durchsatzniveaus der komprimierten Inferenz operiert.
Komposition: VeriCache kann mit traditioneller spektraler Dekodierung (z. B. EAGLE) kombiniert werden und erreicht bis zu 4,35× ideale Beschleunigung, indem orthogonale Engpässe angegriffen werden (Batch-Größe durch Komprimierung, Token-Geschwindigkeit durch Entwurf mit kleinen Modellen).

Bedeutung

Die Arbeit argumentiert, dass die aktuelle Dichotomie – die Wahl zwischen hochdurchsatziger verlustbehafteter Komprimierung (mit Risiko funktionaler Ausfälle) oder niedrigem Durchsatz bei Inferenz mit vollem KV-Cache – unnötig ist. VeriCache zeigt, dass Komprimierung die exakte Berechnung nicht ersetzen, sondern diese beschleunigen sollte. Durch die Nutzung der hohen Akzeptanzraten des Entwurfs mit komprimiertem gleichem Modell und ausgeklügelter Ressourcenversetzung ermöglicht VeriCache den Einsatz von LLMs mit langer Kontextlänge in kritischen Anwendungen (Programmierung, agentic Workflows), ohne die für diese Aufgaben erforderliche funktionale Korrektheit zu opfern.