🤖 machine learning

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

OSCAR ist eine einsetzbare 2-Bit-KV-Cache-Quantisierungsmethode, die eine offline durchgeführte spektrale Kovarianzschätzung nutzt, um attention-abgestimmte Rotationen und Clipping-Schwellenwerte abzuleiten, wodurch bei langen Kontext-Reasoning-Aufgaben eine nahezu verlustfreie Genauigkeit erreicht wird, während gleichzeitig der Speicherverbrauch erheblich gesenkt und der Inferenz-Durchsatz in modernen LLM-Serving-Frameworks verbessert wird.

Ursprüngliche Autoren: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Erinnerungs-Hoarding"

Stellen Sie sich ein großes Sprachmodell (LLM) als eine brillante, aber vergessliche Bibliothekarin vor. Wenn Sie ihr eine lange Frage stellen, muss sie eine laufende Liste von allem, was Sie bisher gesagt haben (den „KV-Cache"), führen, um den Kontext zu verstehen.

Je länger das Gespräch wird (bis zu 32.000 Wörter oder mehr), desto riesiger wird diese Liste. Um sie zu speichern, benötigt die Bibliothekarin eine enorme Menge an teurem Speicher (wie ein riesiges, hochgeschwindigkeitsfähiges Lagerhaus). Wenn das Lagerhaus voll wird, muss die Bibliothekarin aufhören zu arbeiten oder verlangsamt sich drastisch.

Das Ziel dieses Papiers ist es, dieses Lagerhaus um den Faktor 8 zu verkleinern, ohne dass die Bibliothekarin etwas Wichtiges vergisst. Sie wollen die Notizen von „High-Definition" (BF16) auf die Größe einer „winzigen Skizze" (2-Bit) komprimieren.

Der alte Weg: Der „Hadamard-Wirbel"

Früher versuchten Forscher, diese Notizen zu verkleinern, indem sie die Wörter einfach durcheinanderwirbelten. Sie benutzten einen mathematischen Trick namens Hadamard-Rotation.

Die Analogie: Stellen Sie sich einen unordentlichen Raum vor, in dem ein paar riesige, unhandliche Sofas (Ausreißer) und viele kleine Stühle stehen. Sie können nicht alle in eine kleine Kiste packen. Die alte Methode bestand darin, einen riesigen Mixer zu nehmen und den Raum zu drehen. Dadurch verteilen sich die riesigen Sofas so, dass sie wie ein paar etwas größere Stühle aussehen, was das Packen erleichtert.
Der Fehler: Dieses Mischen ist „blind". Es weiß nicht, welche Teile des Raums für die Arbeit der Bibliothekarin tatsächlich wichtig sind. Wenn Sie alles auf eine winzige 2-Bit-Skizze komprimieren, verwischt dieses blinde Mischen versehentlich die wichtigsten Details, sodass die Bibliothekarin anfängt zu halluzinieren oder falsche Antworten zu geben. Es ist, als würde man versuchen, eine zerbrechliche Vase und einen Felsen zusammen zu packen; wenn Sie die Kiste einfach nur schütteln, zerbricht die Vase.

Die neue Lösung: OSCAR (Der „intelligente Architekt")

Die Autoren schlagen OSCAR (Offline Spectral Covariance-Aware Rotation) vor. Anstatt den Raum blind zu schütteln, agiert OSCAR wie ein intelligenter Architekt, der genau untersucht, wie die Bibliothekarin arbeitet, bevor das Packen beginnt.

1. Die „Offline-Kalibrierung" (Die Lernphase)

Bevor die Bibliothekarin anfängt, Kunden zu bedienen, nimmt OSCAR eine kleine Stichprobe von Gesprächen und fragt: „Welche Teile des Speichers nutzt die Bibliothekarin tatsächlich, um Entscheidungen zu treffen?"

Die Analogie: Stellen Sie sich vor, die Bibliothekarin muss ein Buch basierend auf einer spezifischen Frage auswählen. OSCAR erkennt, dass die Bibliothekarin sich sehr intensiv um die Farbe des Bucheinbands (die „Query") kümmert, aber sich wenig um die Dicke der Seiten (den „Value") sorgt.
Das Ergebnis: OSCAR erstellt eine benutzerdefinierte Karte (eine Rotationsmatrix), die den Speicheraufbau auf diese spezifischen Bedürfnisse ausrichtet. Es stellt sicher, dass die Teile, um die sich die Bibliothekarin am meisten kümmert, mit hoher Präzision erhalten bleiben, während die weniger wichtigen Teile aggressiver komprimiert werden.

2. Das „intelligente Packen" (Die Rotation)

OSCAR nutzt diese Karte, um die Daten in eine Form zu drehen, die perfekt für die Komprimierung geeignet ist.

Die Analogie: Anstatt den Raum einfach zufällig zu drehen, ordnet OSCAR die Möbel so an, dass alle zerbrechlichen Gegenstände so ausgerichtet sind, dass sie perfekt in die kleine Kiste passen. Es trennt die „wichtigen Richtungen" vom „Rauschen".
Die Magie: Auf diese Weise können sie die Daten auf 2 Bit (extrem klein) komprimieren und dennoch die Genauigkeit der Bibliothekarin fast identisch zur ursprünglichen High-Definition-Version halten.

3. Das „Hybrid-Lagerhaus" (Das System)

OSCAR komprimiert nicht alles auf einmal. Es verwendet ein cleveres Hybridsystem:

Die „Sink"- und „Recent"-Tokens: Die allerersten paar Wörter (der Anfang der Geschichte) und die allerletzten paar Wörter (das, was Sie gerade gesagt haben) bleiben in High-Definition erhalten. Dies sind die wichtigsten Ankerpunkte.
Die „History"-Tokens: Der mittlere Teil des Gesprächs (die lange Geschichte) ist der Teil, der mit der intelligenten OSCAR-Rotation in die winzige 2-Bit-Skizze komprimiert wird.

Warum das wichtig ist (Die Ergebnisse)

Das Papier testete dies an einigen der intelligentesten verfügbaren KI-Modelle (wie Qwen und GLM) mit sehr langen Kontexten.

Genauigkeit: Wenn andere Methoden versuchten, auf 2 Bit zu komprimieren, vergaßen die Modelle im Grunde, wie man denkt (die Genauigkeit sank auf nahezu Null). OSCAR hielt die Modelle fast so intelligent wie die ursprüngliche High-Definition-Version.
Geschwindigkeit & Speicher: Da die Daten 8-mal kleiner sind, passt das Lagerhaus 8-mal mehr Gespräche. Das bedeutet, das System kann 7-mal mehr Benutzer gleichzeitig bedienen, ohne den Speicher zu erschöpfen.
Einsatzbereit: Die Autoren haben nicht nur eine Theorie geschrieben; sie bauten ein funktionierendes System, das in moderne KI-Server (SGLang und vLLM) passt. Es ist, als hätten sie nicht nur eine bessere Kiste entworfen, sondern einen neuen LKW gebaut, der diese Kiste nutzt und schneller fährt.

Zusammenfassung

OSCAR ist eine Methode, die verhindert, dass KI-Modelle „vergessen", wenn sie versuchen, Speicher zu sparen. Anstatt Daten blind zu quetschen, untersucht sie zuerst, worauf die KI tatsächlich achtet, ordnet die Daten entsprechend diesen Bedürfnissen neu an und komprimiert sie dann. Dies ermöglicht es der KI, riesige Mengen an Informationen (wie ein ganzes Buch) mit einem winzigen Bruchteil des Speichers zu behalten, ohne ihre Intelligenz zu verlieren.

Technische Zusammenfassung: OSCAR – Offline spektrale kovarianzbewusste Rotation für die 2-Bit-Quantisierung des KV-Caches

1. Problemstellung

Die Inferenz mit langem Kontext in Large Language Models (LLMs) wird zunehmend durch den Speicherbedarf des Key-Value (KV)-Caches limitiert. Mit wachsender Kontextlänge, Batch-Größe und Modelltiefe verbraucht der Cache erhebliche GPU-Speicherressourcen, was den Durchsatz und die Skalierbarkeit einschränkt. Obwohl die Komprimierung des KV-Caches auf Ultra-Niedrig-Precision (z. B. INT2) eine 8-fache Speicherreduktion bietet, steht er vor einer kritischen Herausforderung hinsichtlich der Genauigkeit: KV-Aktivierungen enthalten schwerwiegende kanalweise Ausreißer.

Unter einer Low-Bit-Quantisierung dominieren diese Ausreißer den Quantisierungsskalierungsfaktor, wodurch die Mehrheit der „normalen" Werte in nur wenige effektive Quantisierungsstufen gezwungen wird, was die Qualität der Aufmerksamkeit (Attention) erheblich verschlechtert. Bestehende rotationsbasierte Methoden (z. B. Hadamard-Transformationen) versuchen, diese Ausreißer zu glätten, indem sie die Energie über die Kanäle verteilen. Diese Methoden sind jedoch datenblind; sie glätten zwar die rohe Cache-Verteilung, stimmen aber nicht mit den spezifischen Richtungen überein, die von nachgelagerten Aufmerksamkeitsmechanismen tatsächlich genutzt werden. Bei INT2, wo nur vier Quantisierungsstufen existieren, führt diese Fehlausrichtung dazu, dass naive Rotationsmethoden kollabieren und auf Reasoning-Aufgaben eine Genauigkeit nahe null erreichen.

2. Methodik: OSCAR

Die Autoren schlagen OSCAR (Offline Spectral Covariance-Aware Rotation) vor, eine Methode, die aufmerksamkeitsbewusste Kovarianzstrukturen offline schätzt, um feste Rotationen und Clipping-Schwellenwerte abzuleiten. Im Gegensatz zu früheren Arbeiten, die den rohen euklidischen Rekonstruktionsfehler ( $\|K - \hat{K}\|_F$ ) minimieren, minimiert OSCAR die Verzerrung in nachgelagerten Aufmerksamkeitswerten und Ausgaben.

2.1 Theoretische Motivation

Die Arbeit argumentiert, dass das optimale Rotationsziel aus den Statistiken der Aufmerksamkeit selbst abgeleitet werden sollte:

Für Keys ( $K$ ): Die Verzerrung in den Aufmerksamkeits-Logits wird durch die Query-Kovarianz $Q^\top Q$ kontrolliert, nicht nur durch die Key-Kovarianz $K^\top K$ .
Für Values ( $V$ ): Die Verzerrung in der Aufmerksamkeitsausgabe wird durch die Aufmerksamkeitswerte $S$ gewichtet, was zu einem Zielkovarianz von $V^\top S^\top S V$ führt.

2.2 Algorithmus-Design

OSCAR arbeitet in zwei Phasen:

A. Offline-Kalibrierungsphase:

Kovarianzschätzung: Unter Verwendung eines kleinen Kalibrierungsdatensatzes berechnet die Methode empirische Zielkovarianzen:
- $C_Q = \frac{1}{N} \sum q_n^\top q_n$ (Query-bewusstes Key-Ziel).
- $C_S = \frac{1}{N} V^\top S^\top S V$ (Score-bewusstes Value-Ziel).
Rotationsermittlung: Die Methode führt eine Eigenzerlegung dieser Matrizen durch, um die optimalen Eigenbasen ( $U_Q$ und $U_S$ ) zu finden.
Aufbau der zusammengesetzten Rotation: Die finalen Rotationsmatrizen ( $R_K, R_V$ $R_{K}, R_{V}$ ) werden als Produkt dreier Komponenten konstruiert:
- $U_Q/U_S$ : Die aufmerksamkeitsbewusste Eigenbasis, die Kanäle mit Wichtigkeitsrichtungen ausrichtet.
- $H_{Had}$ : Eine Hadamard-Transformation, die die Wichtigkeitsmetrik über die Kanäle ausgleicht und die Energie der Ausreißer verteilt.
- $P_{br}$ : Eine Bitumkehr-Permutation, die hoch- und niedrigvarianzige Kanäle interleaved, um ausgeglichene dynamische Bereiche innerhalb der Quantisierungsgruppen sicherzustellen.
- Formel: $R_K = U_Q H_{Had} P_{br}$ und $R_V = U_S H_{Had} P_{br}$ .
Clipping-Schwellenwerte: Pro-Schicht-Clipping-Schwellenwerte werden aus den rotierten Kalibrierungsaktivierungen geschätzt, um Ausreißer zu kontrollieren.

B. Online-Betriebsphase:

Mixed-Precision-Layout: Das System verwaltet einen gepageten KV-Cache, wobei „Sink"-Tokens (initial) und „recent" (aktuelle) Tokens in voller BF16-Präzision gehalten werden. Der historische mittlere Kontext wird nach Anwendung der festen OSCAR-Rotation und des Clippings in INT2 gespeichert.
Kernel-Integration: Die Autoren entwickelten einen benutzerdefinierten, fusionierten Triton-Kernel für das SGLang-Serving-Framework. Dieser Kernel übernimmt das Entpacken, Dequantisieren, die inverse Rotation und die Aufmerksamkeitsberechnung für den INT2-Historiekontext und gewährleistet dabei die Kompatibilität mit pagierter Aufmerksamkeit und Prefix-Caching, ohne zusätzlichen Speicherverkehr zu erzeugen.

3. Hauptbeiträge

Identifikation des fehlenden Ziels: Die Arbeit identifiziert, dass generische Rotationen Ausreißer zwar streuen, aber bei INT2 versagen, da sie nicht mit der nachgelagerten Aufmerksamkeit übereinstimmen. Das Rotationsziel muss durch Aufmerksamkeitsstatistiken ( $Q^\top Q$ und $V^\top S^\top S V$ ) induziert werden, nicht durch die rohe Cache-Rekonstruktion.
OSCAR-Framework: Ein vollständig einsetzbares INT2-KV-Cache-Quantisierungssystem, das eine Offline-Kalibrierung zur Ableitung aufmerksamkeitsbewusster Rotationen nutzt. Eine theoretische Analyse zeigt, dass diese Ziele unter der Annahme eines Surrogats mit eingefrorenem Fehler optimal sind.
Produktionsreifes System: Ein benutzerdefinierter INT2-Aufmerksamkeits-Kernel, der in SGLang integriert ist und pagierte KV-Cache-Layouts sowie Prefix-Caching unterstützt. Er ermöglicht eine nahtlose Integration in moderne Serving-Frameworks (SGLang, vLLM) bei gleichzeitiger Aufrechterhaltung eines hohen Durchsatzes.

4. Experimentelle Ergebnisse

Die Autoren bewerteten OSCAR an Reasoning-Modellen (Qwen3-4B, Qwen3-8B, Qwen3-32B) und einem Frontier-Modell (GLM-4.7, 358 Milliarden Parameter) über fünf Benchmarks (AIME25, GPQA, HumanEval, LiveCodeBench, MATH500) und langkontextuelle Abrufaufgaben (RULER-NIAH bis zu 128k).

Erhalt der Genauigkeit:
- Bei Qwen3-4B-Thinking und Qwen3-8B reduziert OSCAR die Genauigkeitslücke zu BF16 auf 3,78 bzw. 1,42 Punkte. Im Gegensatz dazu kollabiert naive Rotations-INT2 auf nahezu null Genauigkeit.
- Bei Qwen3-32B und GLM-4.7 bleibt OSCAR effektiv auf dem Niveau von BF16 (innerhalb von 0,02–0,27 Punkten), während andere INT2-Baselines eine signifikante Verschlechterung erfahren.
- Bei der langkontextuellen Abrufleistung (RULER-NIAH) behält OSCAR bis zu 128k Tokens eine robuste Leistung bei, wohingegen naive INT2- und rein Hadamard-basierte Methoden bereits bei viel kürzeren Längen kollabieren (z. B. 16k).
Systemleistung:
- Speicher: Reduziert den KV-Cache-Speicherbedarf um etwa 8-fach im Vergleich zu BF16.
- Durchsatz: Verbessert den Durchsatz bei großen Batch-Größen unter demselben Speicherbudget um bis zu 7-fach.
- Latenz: Beschleunigt das Decoding bei Batch-Größe 1 um bis zu 3-fach gegenüber BF16 aufgrund reduzierter Speicherbandbreiten-Overheads.
- Skalierbarkeit: Zeigt die Fähigkeit, bis zu 28 gleichzeitige Anfragen mit 100k-Token-Eingaben auf einer einzelnen H100 zu verarbeiten, ein Bereich, in dem BF16- und INT4-Baselines den Speicher erschöpfen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OSCAR erfolgreich die Lücke zwischen dem theoretischen Versprechen ultra-niedriger Bitbreiten (INT2) für KV-Caching und der praktischen Einsetzbarkeit schließt. Durch die Verschiebung des Rotationsziels von der rohen Datenrekonstruktion hin zur aufmerksamkeitsbewussten Kovarianz gewinnt OSCAR die durch naive Quantisierung verlorene Genauigkeit zurück, behält aber die massiven Speicher- und Durchsatzvorteile der 2-Bit-Speicherung bei.

Die Autoren betonen, dass ihr Ansatz nicht lediglich eine algorithmische Verbesserung, sondern eine Systemlösung ist. Indem sie einen benutzerdefinierten Kernel bereitstellen, der in pagierte Aufmerksamkeit und Prefix-Caching integriert ist, demonstrieren sie, dass INT2-Quantisierung in Produktions-Serving-Frameworks (wie SGLang) eingesetzt werden kann, ohne die Effizienzmerkmale (wie Prefix-Wiederverwendung) zu opfern, auf die das moderne LLM-Serving angewiesen ist. Die Arbeit legt nahe, dass für langkontextuelles Reasoning der Schlüssel zu einer erfolgreichen Quantisierung darin liegt, die Kompressionsstrategie mit den spezifischen statistischen Anforderungen des Aufmerksamkeitsmechanismus in Einklang zu bringen.