🤖 machine learning

A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs

JoLT erreicht eine nahezu verlustfreie 2-3-fache Kompression des KV-Caches in großen Sprachmodellen durch die Anwendung einer partiellen Tucker-Zerlegung auf die Token- und Feature-Achsen sowie die Wiederherstellung verworfener Informationen über ein mittels Johnson-Lindenstrauss rotierte Low-Bit-Residuum, wobei alles unter einem einheitlichen Byte-Budget optimiert wird, um die Baseline-Leistung bei Perplexity und Downstream-Aufgaben beizubehalten.

Ursprüngliche Autoren: Rahul Krishnan, Volker Schulz

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rahul Krishnan, Volker Schulz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie steuern ein riesiges, superintelligentes Robotergehirn (ein Large Language Model), das versucht, eine Geschichte zu erzählen. Um die Geschichte am Laufen zu halten, muss der Roboter jedes einzelne Wort, das er jemals in der aktuellen Konversation gesagt hat, im Gedächtnis behalten. Er bewahrt dieses Gedächtnis in einem speziellen „Notizbuch“ namens KV-Cache auf.

Das Problem ist: Je länger die Geschichte wird, desto größer wird dieses Notizbuch. Es wird so groß, dass es den gesamten Speicher des Roboters auffrisst und alles verlangsamt. Es ist, als würde man versuchen, eine ganze Bibliothek in einem Rucksack zu tragen, während man einen Marathon läuft; irgendwann bleibt man einfach stehen.

Wissenschaftler haben schon früher versucht, dieses Notizbuch zu schrumpfen. Einige versuchten, das Ganze in eine winzige Box zu quetschen (Quantisierung), andere versuchten, die Seiten durch das Finden von Mustern in Zeilen oder Spalten zusammenzufassen (Low-Rank-Methoden). Aber die Autoren dieser Arbeit, Rahul Krishnan und Volker Schulz, bemerkten etwas, das diese anderen Methoden übersehen haben: Das Notizbuch ist nicht einfach ein flacher Stapel Papier. Es ist ein 3D-Block mit drei verschiedenen Seiten: Heads (verschiedene Arten des Denkens), Tokens (die Wörter) und Features (die Details).

Sie fanden heraus, dass zwei dieser Seiten voller langweiliger, repetitiver Dinge sind, die leicht gequetscht werden können, aber die anderen Seiten sind einzigartig und können nicht gequetscht werden, ohne die Gehirnleistung des Roboters zu verlieren.

Die große Entdeckung: Die „JoLT“-Methode

Das Team erfand einen neuen Trick namens JoLT (Joint Tucker and JL-residual allocation). Stellen Sie sich das wie einen superintelligenten Packservice für Ihren Rucksack vor.

Das intelligente Quetschen (Partial Tucker): Anstatt zu versuchen, den gesamten 3D-Block zu quetschen, betrachtet JoLT die Daten und sagt: „Okay, die ‚Heads‘ und ‚Layers‘ sind einzigartig und kostbar; lassen wir sie in Ruhe. Aber die ‚Tokens‘ und ‚Features‘ sind voll mit Fluff (Füllmaterial).“ Also quetscht es nur diese zwei spezifischen Seiten. Es ist, als würde man ein riesiges, flauschiges Kissen nehmen und nur die Luft aus der Mitte herauspressen, während die stabilen Kanten intakt bleiben.
Das Sicherheitsnetz (JL-Residual): Wenn man ein Kissen quetscht, entweicht etwas Luft. Wenn man es einfach so lässt, ist das Kissen flach und nutzlos. JoLT fängt diese „entweichende Luft“ (die verlorenen Informationen) auf und speichert sie in einem winzigen, supereffizienten Sicherheitsnetz namens JL-Residual. Dieses Netz ist so gut darin zu packen, dass es die fehlenden Details in nur wenigen Bits halten kann.
Die perfekte Balance (Lagrangian Dual): Hier liegt der Zauber. Der Roboter hat ein striktes Budget dafür, wie viel Platz er verwenden darf (sagen wir, 1 Byte). JoLT nutzt einen mathematischen „smarten Allokator“, um genau zu entscheiden, wie viel das Kissen gequetscht wird versus wie viel Platz dem Sicherheitsnetz gegeben wird. Es erkennt, dass einige Teile des Gedächtnisses (die „Keys“) leicht zu quetschen sind, während andere (die „Values“) hartnäckig sind und mehr Platz im Sicherheitsnetz benötigen. Es verschiebt das Budget dynamisch, um das beste Ergebnis zu erzielen.

Was sie bewiesen haben (und was nicht)

Die Autoren testeten dies an zwei berühmten Robotergehirnen: Mistral-7B (das einen „Grouped-Query“-Stil verwendet) und LLaMA-2-13B (das einen „Multi-Head“-Stil verwendet).

Die „Freizone“: Sie fanden einen Sweet Spot, in dem sie das Gedächtnis um das 2- bis 3-fache (2–3×) schrumpfen konnten, ohne dass die Leistung des Roboters sank. Es war „nahezu verlustfrei“.
- In Tests wie GSM8K (Mathematikaufgaben) und RULER (eine Nadel im Heuhaufen von Text zu finden) erzielte der komprimierte Roboter exakt das gleiche Ergebnis wie der unkomprimierte, innerhalb der statistischen Fehlertoleranz.
- Der Fehler bei der Rekonstruktion des Gedächtnisses war winzig: etwa 0,009 für Keys und 0,006 für Values. Das ist etwa 10-mal besser (eine Größenordnung besser) als bisherige Methoden wie 4-Bit-Quantisierung oder Cross-Layer-SVD.
Die „Klippe“: Sie fanden auch ein Limit. Wenn man versucht, das Gedächtnis zu stark zu quetschen (über das 3-fache hinaus), wird es chaotisch.
- Der Mistral-Roboter verschlechterte sich graduell und verlor mit stärkerem Quetschen langsam etwas an Leistung.
- Der LLaMA-Roboter hingegen traf auf eine „Klippe“ zwischen der 4-fachen und 5-fachen Kompression. Seine Leistung stürzte ab, wobei der Perplexity-Wert von 5,39 auf 9,07 sprang (ein riesiger Sprung in der Perplexity, was bedeutet, dass er viel schlechter darin wurde, Wörter vorherzusagen).

Die schnelle Version: FlashJoLT

Die Berechnung des perfekten Quetschens braucht Zeit. Um dies zu beheben, entwickelten sie FlashJoLT. Anstatt die schwere Mathematik jedes Mal perfekt auszuführen, nutzt es eine „randomisierte“ Abkürzung, die die Hauptmuster schnell errät.

Das Ergebnis: Es ist 5- bis 13-mal schneller beim Komprimieren des Gedächtnisses, aber die Qualität bleibt exakt dieselbe wie die der langsamen, perfekten Version.

Was sie ausgeschlossen haben

Das Paper ist sehr deutlich darüber, was für dieses spezifische Problem nicht gut funktioniert:

Alles zu quetschen: Zu versuchen, alle drei Seiten (Heads, Tokens und Features) zu komprimieren, ist eine schlechte Idee. Die „Heads“ und „Layers“ sind zu einzigartig; sie zu quetschen schadet dem Gehirn des Roboters.
Festgelegte Bit-Quantisierung: Nur die Anzahl der Bits für jede einzelne Zahl zu senken (wie z. B. alles auf 4 Bit zu zwingen), kann den „Sweet Spot“ der 2–3-fachen Kompression nicht erreichen. Es ist entweder nicht genug komprimiert oder verliert zu viel Qualität.
Einheitslösung für alle: Man kann „Keys“ und „Values“ nicht gleich behandeln. Die „Values“ sind viel schwerer zu komprimieren (2–3× schwerer) und benötigen daher ein anderes Budget an Platz.

Das Fazit

Die Autoren haben dies auf echter Hardware (einer A100 GPU) gemessen und festgestellt, dass JoLT einen nahezu verlustfreien Weg bietet, das Gedächtnis um das 2- bis 3-fache zu schrumpfen, ohne die Intelligenz des Roboters zu beeinträchtigen.

Sie sind jedoch vorsichtig zu betonen, dass dies kein Allheilmittel für alles ist.

Es funktioniert großartig für die „Freizone“ (2–3×), aber wenn man bei bestimmten Robotertypen (wie LLaMA) weiter drückt, kommt es zu einem starken Qualitätsabfall.
Obwohl das Speichern des Gedächtnisses kleiner ist, muss der Roboter immer noch einige mathematische Operationen durchführen, um das Gedächtnis „entzuquetschen“, während er spricht. Sie schlagen vor, dass Ingenieure spezielle Computerchips (Fused Kernels) bauen müssen, damit dies für den praktischen Einsatz wirklich effizient wird, indem diese Chips das gequetschte Gedächtnis direkt lesen können, ohne es vorher entpacken zu müssen.

Kurz gesagt: JoL T ist ein brillanter, mathematisch komplexer Verpackungstrick, der enorm viel Platz für lange Konversationen spart, aber er hat eine Grenze und benötigt ein wenig Hilfe von zukünftiger Hardware, um bei voller Geschwindigkeit zu laufen.

Technisches Resümee: Ein JOLT für den KV-Cache

Problemstellung

In der autoregressiven Transformer-Inferenz stellt der Key-Value (KV)-Cache die dominante Speicherbelastung dar, die als $O(\text{batch} \times T \times L \times n_h \times d_h)$ skaliert. Bei langen Kontexten oder großen Batches wird der KV-Cache, statt der Modellgewichte, zum primären Speicherengpass und begrenzt den Durchsatz. Bestehende Kompressionsmethoden lassen sich in zwei Familien unterteilen, die beide daran scheitern, die strukturelle Redundanz des Caches vollständig auszuschöpfen:

Low-Rank-Methoden: Diese faktorisieren zweidimensionale Schnitte (z. B. pro-Head-Matrizen oder Cross-Layer-Blöcke), verpflichten sich jedoch auf eine einzige Achse der Redundanz und ignorieren dabei die anderen.
Quantisierungsmethoden: Diese reduzieren die Bitbreite jedes einzelnen Eintrags, sind jedoch durch feste Bitraten (z. B. 4-Bit) begrenzt, was eine „Kompressionsuntergrenze“ schafft, die verhindert, dass mittlere Kompressionsraten (2–3×) erreicht werden, bei denen die Qualität oft erhalten bleibt.

Die Kernbeobachtung, die diese Arbeit motiviert, ist, dass der KV-Cache auf einer Ebene ein Tensor dritter Ordnung ( $n_h \times T \times d_h$ ) ist, wobei die Achsen sehr unterschiedliche Mengen an Redundanz aufweisen. Insbesondere sind die Head- und Layer-Achsen weitgehend inkompressibel, während die Token- und Feature-Achsen den Großteil der kompressiblen Struktur enthalten. Darüber hinaus sind Werte (Values) empirisch gesehen 2–3× schwerer zu komprimieren als Keys aufgrund ihrer unterschiedlichen spektralen Eigenschaften.

Methodik: JoLT

Die vorgeschlagene Methode, JoLT (Joint Tucker and JL-residual allocation), adressiert diese Herausforderungen, indem sie den Cache als Tensor dritter Ordnung behandelt und eine gezielte Kompressionsstrategie anwendet.

1. Partielle Tucker-Zerlegung

Im Gegensatz zu vollständigen Tensor-Faktorisierungen, die alle Achsen komprimieren, wendet JoLT eine partielle Tucker-Zerlegung an. Sie kürzt nur die Token- und Feature-Achsen (die Redundanz tragen), während die Head- und Layer-Achsen intakt bleiben (die inkompressibel sind). Dies wird mittels Sequentieller Truncated Higher-Order SVD (ST-HOSVD) erreicht.

Motivation: Die Komprimierung der Head- oder Layer-Achsen verursacht signifikante Fehler, während die Kürzung der Token- und Feature-Achsen den Großteil der Redundanz erfasst.

2. JL-rotierter Residual

Ein reiner Low-Rank-Backbone ist für eine nahezu verlustfreie Treue nicht ausreichend, insbesondere für Werte, die ein flaches Spektrum aufweisen, bei dem die Kürzung signifikante Energie verwirft. JoLT stellt diese verworfene Energie mithilfe eines Johnson-Lindenstrauss (JL) rotierten Low-Bit-Residuals wieder her:

Der Truncation-Residual $R = X - \tilde{X}$ wird berechnet.
Eine zufällige JL-Rotation wird auf den Residual angewendet.
Der rotierte Residual wird gleichmäßig mit $b \in \{0, 2, 4, 8\}$ Bits quantisiert.
Die Dekodierung erfolgt durch Invertierung der Rotation. Dieser Residual fungiert als Hebel, um einen verlustbehafteten Backbone in einen nahezu verlustfreien zu verwandeln, was besonders wertvoll für Werte ist.

3. Gemeinsame Lagrangian-Allokation

Die Methode verwendet einen einzigen Lagrange-Dual, um Ressourcen über die zwei Stufen (Tucker-Ränge und Residual-Bitbreiten) und über verschiedene Ziele (Keys vs. Values, Layer-Gruppen) hinweg gemeinsam zu allokieren.

Ziel: Minimierung des Rekonstruktionsfehlers unter einem globalen Byte-Budget.
Mechanismus: Die Dualvariable ermöglicht es dem Allokator, Bits zwischen Rängen und Residuals sowie zwischen Keys und Values zu verschieben und dabei die Asymmetrie der Kompressibilität (z. B. die starke Finanzierung des Value-Residuals bei gleichzeitiger Reduzierung der Key-Residual-Bits) dynamisch auszunutzen.
Granularität: Die Allokation erfolgt pro Layer-Gruppe und separat für Keys und Values.

4. FlashJoLT (Schnelle Variante)

Um die Rechenkosten einer exakten SVD bei langen Kontexten zu bewältigen, ersetzt FlashJoLT die exakte Token-Mode-SVD durch eine randomisierte Low-Rank-SVD.

Es berechnet nur die obersten $q_{cap}$ Token-Mode-Richtungen.
Es verwendet eine Tail-Mass-Accounting-Methode, die den weggelassenen spektralen Schwanz als synthetischen Residual-Singulärwert hinzufügt, um zu verhindern, dass der Allokator die durch einen gegebenen Rang erfasste Energie unterschätzt.
Diese Variante erzielt eine 5–13× Beschleunigung der Kompressionszeit bei vernachlässigbarem Qualitätsverlust in der „Free Zone“.

Kernbeiträge

Spektralanalyse: Eine empirische Studie, die identifiziert, dass Head- und Layer-Achsen inkompressibel sind, während Token- und Feature-Achsen Redundanz enthalten, wobei Werte signifikant schwerer zu komprimieren sind als Keys.
JoLT-Algorithmus: Ein neuartiger Kompressor, der eine partielle Tucker-Zerlegung mit einem JL-rotierten Residual kombiniert, gekoppelt über einen einzigen Lagrange-Dual für die gemeinsame Allokation von Rängen und Bits.
FlashJoLT: Eine randomisierte SVD-Variante, die die Kompressionszeit drastisch reduziert und gleichzeitig die Qualität bewahrt.
Empirische Validierung: Eine umfassende Studie zu GQA (Mistral-7B) und MHA (LLaMA-2-13B) Modellen, die eine „Free Zone“ nahezu verlustfreier Kompression etabliert.

Ergebnisse

Die „Free Zone“ (2–3× Kompression)

Das Paper identifiziert ein 2–3× Kompressionsverhältnis als eine „Free Zone“, in der die Modellqualität innerhalb des statistischen Rauschens der unkomprimierten Baseline erhalten bleibt:

Perplexity: Sowohl bei Mistral-7B (GQA) als auch bei LLaMA-2-13B (MHA) ist der Perplexity-Drift bei 2–3× für Kontextlängen bis zu 1024 vernachlässigbar.
Rekonstruktionsfehler: Bei 2× Kompression erreicht JoLT einen relativen Frobenius-Fehler von 0,009 (Keys) und 0,006 (Values). Dies ist etwa eine Größenordnung niedriger als die 4-Bit-Quantisierung und Cross-Layer-SVD-Baselines.
Downstream-Aufgaben:
- GSM8K: Komprimierte Modelle (2–3×) bleiben innerhalb des 95%-Konfidenzintervalls der Baseline.
- RULER (Needle-in-a-Haystack): Mistral behält eine Retrieval-Genauigkeit von 100 % bei 2–3×; LLaMA erreicht das Niveau seiner Baseline.

Architektur-Divergenz

Jenseits der 2–3× Free Zone divergieren die beiden Architekturen:

Mistral (GQA): Degradiert kontrolliert und verliert bei jedem ganzzahligen Schritt über 4× etwa 4 % der Perplexity.
LLaMA (MHA): Degradiert scharf zwischen 4× und 5×, wobei die Perplexity bei 4× um ~27 % und bei 5× um ~68 % steigt. Die Reasoning-Aufgaben (GSM8K) für LLaMA brechen bei höheren Verhältnissen signifikant ein.

Effizienz

Speicher: Der persistente KV-Footprint schrumpft linear mit dem Kompressionsverhältnis (z. B. von 268,4 MB auf 134,6 MB bei 2× für Mistral bei Kontext 2048). Der Spitzenwert des Prozessspeichers bleibt durch Gewichte/Aktivierungen begrenzt.
Geschwindigkeit: FlashJoLT bietet eine 5–13× Beschleunigung der Kompressionszeit im Vergleich zum exakten Backbone.

Bedeutung und Ansprüche

Das Paper behauptet, dass JoLT eine nahezu verlustfreie 2–3× Kompression des KV-Caches bietet, wodurch der Speicherengpass für die Inferenz mit langem Kontext ohne Qualitätsverlust beseitigt wird. Durch die Behandlung des Caches als Tensor und die Ausnutzung der spezifischen spektralen Asymmetrie zwischen Keys und Values übertrifft JoLT bestehende Low-Rank- und Quantisierungsmethoden im mittleren Kompressionsregime.

Die Autoren positionieren die Methode als direkten Hebel zur Reduzierung der Kosten für das Serving langer Kontexte. Sie merken zwei primäre Grenzen an:

Architektur-Limits: Die Methode ist robust für GQA-Modelle, erfährt aber für MHA-Modelle jenseits von 4× eine starke Degradierung, was darauf hindeutet, dass das 2–3× Band die sichere, modellagnostische Empfehlung ist.
Deployment-Kosten: Während der Speicherplatz reduziert wird, erfordert die Dekodierung derzeit die Rekonstruktion des Caches aus den Faktoren bei jedem Schritt. Die Autoren identifizieren die Entwicklung eines fusionierten Rekonstruktions-und-Attention-Kernels als den entscheidenden nächsten Schritt, um die Inferenz-Parität zu erreichen und das volle Potenzial der Methode zu realisieren.