🤖 machine learning

HeadQ: Model-Visible Distortion and Score-Space Correction for KV-Cache Quantization

Dieses Papier stellt HeadQ vor, eine KV-Cache-Quantisierungsmethode, die das Optimierungsziel von der Rekonstruktion des Rohspeicherplatzes auf die für das Modell sichtbare Verzerrung in Score- und Wertebereichen verlagert und dadurch die Perplexität erheblich reduziert, indem sie Schlüssel-Logits durch gelernte Query-Basen korrigiert und die Wertverzerrung durch aufmerksamkeitsgewichtete Surrogate minimiert.

Ursprüngliche Autoren: Jorge L. Ruiz Williams

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jorge L. Ruiz Williams

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Falsche Messen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek an Büchern (das Gedächtnis der KI) in einen kleinen Koffer zu packen. Die meisten, die dies versuchen, konzentrieren sich auf den Speicherplatz. Sie fragen: „Wie stark unterscheidet sich das Buch, nachdem ich es verkleinert habe?" Wenn das Cover etwas anders aussieht, denken sie, sie hätten einen schlechten Job gemacht.

In KI-Terminologie nennt man dies Mean Squared Error (MSE). Es misst, wie stark sich die rohen Zahlen im Gedächtnis (die „Keys" und „Values") verändert haben.

Die Erkenntnis des Papers: Die Autoren argumentieren, dass die KI die Bücher nicht tatsächlich „liest", indem sie auf die Cover schaut. Sie liest sie, indem sie einen Score (eine Note) berechnet, um zu entscheiden, welches Buch gerade am wichtigsten ist.

Die Analogie: Stellen Sie sich vor, Sie sind ein Lehrer, der einen Stapel Aufsätze benotet. Ihnen ist egal, ob das Papier leicht zerknittert ist oder ob die Schriftgröße geändert wurde (Speicherfehler). Ihnen ist nur wichtig, ob sich die Note ändert, die Sie dem Aufsatz geben.
Der Fehler: Aktuelle Methoden versuchen, das zerknitterte Papier perfekt aussehen zu lassen. Aber die KI kümmert sich nur darum, ob die Note (der „Logit" oder „Score") gleich bleibt. Sie können eine riesige Veränderung im Aussehen des Papiers haben, die die Note überhaupt nicht ändert, oder eine winzige Veränderung, die die Note komplett umkehrt.

Die Lösung: HeadQ (Der „Noten-Korrigierer")

Die Autoren schlagen eine neue Methode namens HeadQ vor. Anstatt zu versuchen, das rohe Gedächtnis perfekt aussehen zu lassen, konzentrieren sie sich darauf, die Noten zu korrigieren.

So funktioniert HeadQ, Schritt für Schritt:

Die „Basis"-Komprimierung: Zuerst komprimieren sie das Gedächtnis normal, genau wie alle anderen auch. Dies erstellt eine „Basis"-Version der Daten.
Finden der „Geister"-Fehler: Sie erkennen, dass einige Teile der Daten, selbst wenn sie anders aussehen, die Note nicht verändern. Es ist wie das Hinzufügen einer konstanten Menge Zucker zu jeder Tasse Kaffee; der Geschmack ändert sich leicht, aber wenn man allen die gleiche Menge hinzufügt, bleibt die Reihenfolge, wer den süßesten Kaffee hat, gleich.
- Die Autoren nennen dies „softmax-null"-Fehler. Sie sind für den Entscheidungsprozess der KI unsichtbar.
Der „Seiten-Code": HeadQ ignoriert die Teile, die keine Rolle spielen. Stattdessen sucht es nach den winzigen, spezifischen Teilen der Daten, die die Note tatsächlich verändern. Es speichert eine winzige „Randnotiz" (einen Low-Rank-Code), die sagt: „Hey, für diese spezifische Frage muss die Note um diesen Betrag angepasst werden."
Die Korrektur: Wenn die KI das Gedächtnis liest, nimmt sie die komprimierte Basisdaten und fügt die „Randnotiz"-Korrektur hinzu.
- Analogie: Stellen Sie sich vor, Sie senden eine Textnachricht. Sie komprimieren das Foto, um Daten zu sparen. Normalerweise verkleinern Sie einfach das Foto. HeadQ sagt: „Eigentlich ist das Foto in Ordnung, aber die Bildunterschrift braucht eine winzige Anpassung, um Sinn zu ergeben." Es sendet das Foto plus eine winzige Textkorrektur.

Warum das wichtig ist (Die Ergebnisse)

Das Paper testete dies an sechs verschiedenen KI-Modellen (wie GPT-2, Pythia und Mistral) unter Verwendung eines Standardtests (WikiText-103).

Die „2-Bit"-Herausforderung: Sie versuchten, das Gedächtnis auf nur 2 Bit zu komprimieren (extrem klein, wie das Umwandeln eines hochauflösenden Fotos in ein winziges, pixeliges Icon).
Das Ergebnis: Ohne HeadQ wurde die KI sehr verwirrt und fing an, Unsinn zu produzieren (hohe „Perplexity"). Mit HeadQ erholte sich die KI und erreichte 84 % bis 94 % ihrer verlorenen Leistung.
Der „falsches Vorzeichen"-Test: Die Autoren führten einen Tricktest durch. Sie nahmen die Korrektur und kehrten sie um (machten sie negativ). Die KI wurde noch schlechter als zuvor. Dies bewies, dass die Verbesserung nicht einfach daher rührte, dass sie mehr Daten hinzufügten; es lag daran, dass sie die richtige Art von Daten in die richtige Richtung hinzufügten.

Die „Value"-Seite der Geschichte

Das Paper erwähnt auch „Values" (den eigentlichen Inhalt, den die KI liest).

Keys sind wie die Etiketten auf den Büchern (verwendet, um das richtige Buch zu finden).
Values sind der Text innerhalb der Bücher.
Die Autoren stellten fest, dass Keys zwar eine „score-basierte" Komprimierung benötigen, Values jedoch eine andere Art von Mathematik erfordern (ein „A2-gewichteter" Ansatz). Sie zeigten, dass, wenn man die Keys mit HeadQ korrigiert und die Values korrekt behandelt, das gesamte System besser zusammenarbeitet.

Was dieses Paper NICHT behauptet

Um die Grenzen dieser Forschung klar zu machen:

Es ist kein fertiges Produkt: Die Autoren geben zu, dass dies eine „mechanistische" Studie ist und kein einsatzbereites Software-Update für Ihr Telefon oder Ihren Laptop.
Keine Geschwindigkeitsbehauptungen: Sie haben nicht getestet, ob dies die KI schneller laufen lässt oder weniger Akku verbraucht. Sie maßen nur, ob die Antworten der KI genauer waren.
Keine medizinischen oder klinischen Anwendungen: Dies handelt rein davon, wie KI-Modelle Dinge erinnern, nicht davon, Krankheiten zu diagnostizieren oder Ärzten zu helfen.

Zusammenfassung

Stellen Sie sich das Gedächtnis der KI als einen riesigen Aktenschrank vor.

Alte Methode: Versuchen Sie, die Akten so zu verkleinern, dass sie genau wie die Originale aussehen.
HeadQ-Methode: Erkennen Sie, dass sich die KI nur um die Indexkarte (den Score) kümmert, die ihr sagt, welche Akte sie auswählen soll. HeadQ verkleinert die Akten, behält aber eine winzige, spezielle Notiz bei, um sicherzustellen, dass die Indexkarte immer korrekt ist. Dies ermöglicht viel kleinere Akten, ohne dass die KI verwirrt wird.

Technische Zusammenfassung: HeadQ: Modell-sichtbare Verzerrung und Korrektur im Score-Raum für die KV-Cache-Quantisierung

1. Problemstellung

Aktuelle Methoden zur Quantisierung des KV-Caches optimieren überwiegend die Rekonstruktion des Speicherplatzes, typischerweise durch Minimierung des mittleren quadratischen Fehlers (MSE) zwischen originalen und quantisierten Schlüsseln und Werten. Die Autoren argumentieren jedoch, dass dieses Ziel nicht mit der Art und Weise übereinstimmt, wie Aufmerksamkeitsmechanismen Cache-Daten tatsächlich konsumieren.

Schlüssel werden über Logits (Query-Key-Scores) gelesen, was bedeutet, dass nur spezifische lineare Projektionen der Schlüssel die Aufmerksamkeitsverteilung beeinflussen.
Werte werden über eine gewichtete Auslesung mittels Aufmerksamkeit ( $\sum p_j v_j$ ) gelesen.

Die Arbeit geht davon aus, dass persistente Cache-Fehler in modell-sichtbaren Koordinaten gemessen werden sollten und nicht in rohen euklidischen Speicherkoordinaten. Eine Störung kann einen großen Speicher-MSE aufweisen, aber keine Auswirkung auf die Aufmerksamkeit haben (wenn sie in eine „Softmax-null"-Richtung zeigt), oder einen kleinen Speicher-MSE haben, aber katastrophale Schäden an der Aufmerksamkeit verursachen (wenn sie die „score-sichtbare" Richtung betrifft). Diese Diskrepanz führt zu suboptimalen Quantisierungsstrategien, die Bits für irrelevante Komponenten verschwenden, während sie verhaltenskritische Komponenten nicht schützen.

2. Theoretische Grundlage: Modell-sichtbare Geometrie

Die Arbeit etabliert einen geometrischen Rahmen, der zwischen Speicherfehler und Verhaltensfehler unterscheidet:

2.1 Schlüssel-Score-Raum (Fisher-Geometrie)

Für eine feste Query $q$ induziert eine Schlüsselstörung $\delta k_j$ eine Score-Störung $\delta s_j = q^\top \delta k_j / \sqrt{d}$ .

Softmax-null-Richtungen: Eine token-geteilte Translation (Hinzufügen eines konstanten Vektors $\mu$ zu allen Schlüsseln) fügt allen Scores einen konstanten Wert hinzu. Da Softmax gegenüber konstanten Verschiebungen invariant ist, ist diese Störung soft-max-null und verursacht keinen Aufmerksamkeitsverlust, trotz potenziell großen Speicher-MSE.
Score-sichtbarer Raum: Die Aufmerksamkeit hängt nur von den zentrierten aktiven Koeffizienten der Schlüsselstörung relativ zur Query ab.
Fisher-Information: Die lokale Geometrie zweiter Ordnung der Softmax-Verteilung wird durch die Fisher-Informationsmatrix erfasst. Die Arbeit leitet her, dass die KL-Divergenz zwischen der ursprünglichen und der gestörten Aufmerksamkeitsverteilung lokal proportional zu einer Fisher-gewichteten Varianz von Score-Fehlern (Gleichung 6) ist und nicht zum rohen Schlüssel-MSE.

2.2 Wert-Auslesegeometrie

Werte werden über eine gewichtete Summe konsumiert. Für feste Aufmerksamkeitsgewichte $p$ ist der Auslesefehler $\Delta o = \sum p_j \Delta v_j$ .

Die Arbeit schlägt eine $A^2$ -gewichtete Token-Verzerrung als geeigneten Surrogat für Wertfehler vor. Im Gegensatz zum rohen Wert-MSE gewichtet diese Metrik die Verzerrung jedes Tokens mit dem Quadrat seiner Aufmerksamkeitswahrscheinlichkeit ( $p_j^2$ ) und spiegelt wider, dass Fehler in stark beachteten Tokens mehr zum Ausgabefehler beitragen.

3. Methodik: HeadQ

HeadQ ist eine Quantisierungsmethode auf der Schlüsselseite, die den „score-sichtbaren" Residualanteil bewahrt, anstatt den rohen Schlüsselvektor.

Algorithmus-Übersicht

Kalibrierung: Für jede Schicht und jeden Kopf wird eine Basis niedrigen Rangs $U_h$ (Rang $r$ ) mittels PCA aus Kalibrierungs-Queries (nach RoPE) gelernt.
Cache-Schreiben:
- Ein Standard-Quantizer mit niedriger Bitbreite $B_b$ generiert einen Basisschlüssel $\hat{k}^{base}_j$ .
- Der Residualanteil $e_j = k_j - \hat{k}^{base}_j$ wird berechnet.
- Der Residualanteil wird auf die gelernte Basis projiziert: $z_j = Q_q(U_h^\top e_j)$ , wobei $Q_q$ ein Quantizer mit niedriger Bitbreite für die Seite ist.
- Der Cache speichert den Basisschlüssel und den Seitencode $z_j$ .
Cache-Lesen (Inferenz):
- Die aktuelle Query $q$ wird verwendet, um den Seitencode zu dequantisieren.
- Eine additive Logit-Korrektur wird angewendet:
  $\hat{s}_j = \frac{q^\top \hat{k}^{base}_j}{\sqrt{d}} + \frac{q^\top U_h \hat{z}_j}{\sqrt{d}}$
- Diese Korrektur zielt direkt auf den Score-Fehler ab und umgeht die Notwendigkeit, den vollständigen Schlüsselvektor zu rekonstruieren.

Hauptunterschied: HeadQ speichert nicht die aktuelle Query; es speichert einen Residualcode in einer kalibrierungsgelernten Basis, die die Runtime-Query in eine Logit-Korrektur decodieren kann.

4. Hauptbeiträge

Formulierung modell-sichtbarer Verzerrung: Die Arbeit definiert Schlüsselverzerrung als „score-sichtbaren Fehler modulo konstanter Verschiebungen" und Wertverzerrung als „auslesesichtbaren Fehler mit einem $A^2$ -diagonalen Surrogat". Dies erklärt, warum roher MSE ein schlechter Proxy für die Verhaltensleistung ist.
HeadQ-Algorithmus: Ein praktischer Cache-Schreib-/Lese-Algorithmus, der einen Residualcode niedrigen Rangs in einer Query-Basis speichert und diesen als additive Logit-Korrektur anwendet.
Falsifizierbare Evidenzkette:
- Überlegenheit der Metrik: Fisher-/Score-Raum-Fehler sagen die Aufmerksamkeits-KL-Divergenz über sechs Modelle hinweg signifikant besser voraus (Spearman $\rho \approx 0,62\text{--}0,69$ Gewinn) als roher Schlüssel-MSE.
- Gegenbeispiele: Gekoppelte Experimente zeigen, dass ein Quantizer mit niedrigerem Speicher-MSE einen höheren Aufmerksamkeits-KL und Ausgabefehler haben kann, was beweist, dass Speicher-MSE kein ausreichender Proxy ist.
- Eingriffe im Nullraum: Die Wiederherstellung einer „soft-max-null"-Mittelkomponente (die dichte Aufmerksamkeit ignoriert) erhöht den Fisher-Schaden für nicht-äquivariante Quantizer mit festem Gitter drastisch und zeigt, dass Verschwendung in Speicherkoordinaten die Verhaltensleistung beeinträchtigt.
- Einsatzfähigkeit: Aus Kalibrierungsdaten gelernte Query-PCA-Basen approximieren den aktiven Residualanteil erfolgreich, während zufällige Basen mit gleichem Budget versagen.
- Richtungssensitivität: Das Umkehren des Vorzeichens der HeadQ-Korrektur („falsches Vorzeichen"-Kontrolle) führt zu katastrophalem Versagen und bestätigt, dass die Methode funktioniert, indem sie das spezifische Score-Objekt in die richtige Richtung korrigiert.

5. Experimentelle Ergebnisse

Experimente wurden auf WikiText-103 mit sechs Modellen (GPT-2, Pythia, Qwen2, Qwen2.5, TinyLlama, Mistral) durchgeführt.

Nur-K-Experimente (dichte Werte):
- Auf den am stärksten geschädigten 2-Bit-Reihen entfernt HeadQ (Rang 4) bei Modellen wie Qwen2, Pythia und GPT-2 etwa 84–94 % des zusätzlichen Perplexity (PPL) im Vergleich zu einer KIVI-ähnlichen Baseline.
- TinyLlama zeigt eine deutliche Verbesserung; Mistral erreicht in diesem Protokoll bereits nahezu dichte Leistung.
Vollständige KV-Komposition (2-Bit):
- Die Kombination von HeadQ (Schlüsselseite) mit einer $A^2$ -gewichteten Wertepolitik verbessert die Leistung über alle sechs Modelle bei 2-Bit-Präzision hinweg.
Anomalie-Analyse:
- Pythia-160M zeigte in spezifischen niedrig-entropischen „Route-Flip"-Regimen eine schwächere Korrelation zwischen Fisher und KL (wo kleine Störungen das Top-1-Token umdrehen). Diese Anomalie war auf eine spezifische, familienspezifische Grenze lokalisiert und schwächte sich in größeren Pythia-Checkpoints (410M, 1B) ab.

6. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Operator-Matching die entscheidende Design-Lehre für die KV-Cache-Quantisierung ist:

Schlüssel sind Score-Objekte; Kompression muss query-sichtbare Residualanteile bewahren und vermeiden, Auflösung für soft-max-null-Verschiebungen zu verschwenden.
Werte sind Auslese-Objekte; Kompression sollte $A^2$ -gewichtete Fehler priorisieren.

Die Autoren stellen ausdrücklich fest, dass diese Arbeit mechanistisch und diagnostisch ist und keine Behauptung eines einsatzbereiten Serving-Systems aufstellt. Sie beanspruchen nicht, gepackte Kernel, Latenz oder Durchsatz optimiert zu haben. Die Bedeutung liegt in:

Der Korrektur des theoretischen Ziels der KV-Cache-Quantisierung von Speicherrekonstruktion zu modell-sichtbarer Verzerrung.
Der Bereitstellung einer einsetzbaren Methode (HeadQ), die in niedrigen Bit-Regimen eine erhebliche PPL-Wiederherstellung erreicht, indem sie die richtige Fehlergeometrie anvisiert.
Der Demonstration, dass Standard-Speichermetriken (MSE) verhaltensirreführend sein können, was eine Verschiebung hin zu Score-Raum-Proxys erfordert.

Die Arbeit schließt, dass der nächste Schritt darin besteht, diese operator-angepasste Sichtweise in einen vollständig optimierten Voll-KV-Codec zu überführen, anstatt Speicher-MSE als Standardziel zu behandeln.