🤖 machine learning

Regularize or Localize: When Training-Time KV-Cache Geometry Pays Under Quantization

Diese Arbeit zeigt, dass die Anwendung des LeJEPA-Anti-Collapse-Objektivs allein auf die Hidden States zwar keine Verbesserung der KV-Cache-Quantisierung bewirkt, die direkte Regularisierung der KV-Cache-Geometrie während des Trainings jedoch die Leistung unter groben, pro Kanal erfolgenden Quantisierungsschemata signifikant steigert, wenngleich dieser Vorteil abnimmt, wenn anspruchsvollere Quantisierungskonfigurationen wie KIVI eingesetzt werden.

Ursprüngliche Autoren: Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

Veröffentlicht 2026-07-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Geschichtenerzählen beizubringen. Um dies zu tun, geben Sie ihm eine riesige Bibliothek von Büchern und lassen ihn lernen, indem er das nächste Wort in einem Satz vorhersagt, immer und immer wieder. So funktionieren moderne KI-Sprachmodelle. Aber es gibt einen Haken: Während der Roboter liest, baut er ein „Gedächtnis“ der bisherigen Geschichte auf, den sogenannten KV-Cache (Key-Value Cache). Denken Sie bei diesem Cache wie bei einem Stapel Klebezettel, die der Roboter auf seinem Schreibtisch aufbewahrt. Jedes Mal, wenn der Roboter ein neues Wort schreibt, fügt er eine Notiz hinzu. Wenn der Roboter eine lange Geschichte im Gedächtnis behalten muss, wird dieser Stapel riesig, und das Speichern beansprucht viel Computerspeicher.

Um Platz zu sparen, versuchen Ingenieure, diese Klebezettel durch einen Prozess namens Quantisierung zu verkleinern. Es ist so, als würde man ein hochauflösendes Foto in ein winziges Vorschaubild komprimieren. Normalerweise funktioniert das gut, aber manchmal sind die „Notizen“ im Gedächtnis des Roboters auf eine seltsame, einseitige Weise geschrieben. Sie häufen sich alle in eine Richtung an, wie ein Haufen Bleistifte, die alle in dieselbe Richtung lehnen. Das macht sie schwer zu komprimieren, ohne wichtige Details zu verlieren. Die große Frage für Informatiker ist: Können wir den Roboter von vornherein dazu bringen, seine Notizen auf eine ausgewogenere, „rundere“ Weise zu schreiben, damit sie später leichter zu schrumpfen sind? Diese Arbeit untersucht genau das, indem sie einen speziellen Trainings-Trick verwendet, um zu sehen, ob dies die Form des Gedächtnisses des Roboters verändert und ihm hilft, in eine kleinere Box zu passen.

Das Experiment: Die Formung des Robotergedächtnisses

Die Forscher in dieser Arbeit beschlossen, einen speziellen Trainings-Trick namens SIGReg zu testen. Stellen Sie sich vor, das Gehirn des Roboters ist eine riesige, vielschichtige Fabrik. Normalerweise versucht die Fabrik nur, die richtige Antwort zu finden (das nächste Wort vorherzusagen). SIGReg fügt eine zweite Regel hinzu: „Hey, stelle sicher, dass die Formen deiner Gedanken nicht alle in dieselbe Richtung lehnen.“ Es drängt die internen Repräsentationen des Roboters dazu, eher einer perfekten, runden Datenwolke zu ähneln als einem flachen, einseitigen Pfannkuchen.

Das Team trainierte einen mittelgroßen Roboter (110 Millionen Parameter) auf einem massiven Datensatz von 10 Milliarden Wörtern. Sie testeten drei Hauptideen und agierten dabei wie Detektive, die versuchen, ein Rätsel darüber zu lösen, woher die Form des Gedächtnisses kommt.

1. Funktioniert der Trick bei den „Gedanken“ des Roboters?
Ja, das tut er. Als sie SIGReg auf die verborgenen Gedanken des Roboters (die internen Verarbeitungsschritte) anwandten, sank die „Einseitigkeit“ dieser Gedanken um 38 %. Der Roboter wurde beim Schreiben von Geschichten nicht wesentlich schlechter; sein Verwirrungsgrad (Perplexity) stieg um weniger als 0,35 %, was kaum wahrnehmbar ist. Der Trick gelang es also, die interne Geometrie des Roboters umzugestalten, ohne seine Fähigkeit zu sprechen zu beeinträchtigen.

2. Repariert der Trick die „Klebezettel“ (den KV-Cache)?
Hier folgt die Wendung der Handlung. Die Forscher fanden heraus, dass allein das Reparieren der Gedanken des Roboters den Klebezettel (den Cache) nicht automatisch reparierte. Der Cache blieb einseitig, genau wie zuvor.

Die gescheiterte Reparatur: Sie versuchten, den Roboter „nachzurüsten“, indem sie sein Gehirn einfroren und einfach neue Köpfe hinzufügten, die die Notizen lesen sollten. Dies funktionierte nicht.
Die echte Lösung: Um die Form der Klebezettel tatsächlich zu ändern, mussten sie das Gehirn des Roboters entsperrt lassen und den SIGReg-Trick direkt auf die Notizen selbst anwenden, während der Roboter weiterlernte. Als sie dies taten, sank die Einseitigkeit des Caches um massive 94 %.
Die Lektion: Man kann nicht einfach das Gehirn reparieren und hoffen, dass das Gedächtnis folgt. Man muss das Gedächtnis direkt trainieren.

3. Macht ein runderer Cache bessere Vorschaubilder (Quantisierung)?
Dies ist der spannendste Teil. Das Team versuchte, die Klebezettel in winzige 3-Bit-Vorschaubilder zu schrumpfen (eine sehr kleine Größe), um zu sehen, wie sehr die Qualität der Geschichte darunter litt.

Die gute Nachricht: Für den mit dem direkten Cache-Trick trainierten Roboter war der „Schaden“ durch das Schrumpfen der Notizen 4,3- bis 7,9-mal kleiner als bei dem normalen Roboter. Tatsächlich war der trainierte Roboter der einzige, der eine bestimmte Art der Messung der Notizen (Per-Channel-Skalierung) bevorzugte, die viel besser für die Kompression geeignet war.
Die schlechte Nachricht (der Haken): Dieser riesige Vorteil zeigte sich nur, wenn sie eine einfache, „grobe“ Methode zum Schrumpfen der Notizen verwendeten. Als sie ein fortgeschritteneres, realistischeres Setup verwendeten (eine sogenannte „KIVI-Stil“-Konfiguration, die verschiedene Skalierungsmethoden mischt und Nullpunkte hinzufügt), verschwand der Vorteil. In diesem komplexen Szenario verhielten sich der trainierte Roboter und der normale Roboter fast identisch.

Das Urteil

Was haben sie also gelernt? Die Arbeit legt nahe, dass man ein Sprachmodell dazu bringen kann, ein „runderes“ und ausgewogeneres Gedächtnis (KV-Cache) zu haben, indem man einen spezifischen Regularisierungs-Trick direkt auf dieses Gedächtnis während des Trainings anwendet. Dies macht das Gedächtnis viel einfacher zu komprimieren, wenn man einfache, grobe Kompressionsmethoden verwendet.

Die Arbeit ist jedoch sehr vorsichtig darin zu betonen, dass dies kein Allheilmittel für alle Arten der Kompression ist. Wenn man die hochentwickelten, modernen Kompressionstechniken verwendet, die in realen Systemen zum Einsatz kommen (mit gemischten Skalierungen und Nullpunkten), verschwindet der Vorteil dieses Trainings-Tricks. Die „Rundheit“ des Gedächtnisses half in diesen komplexen Szenarien nicht weiter.

Kurz gesagt: Die Forscher haben einen Weg gefunden, das Gedächtnis des Roboters umzugestalten, und das funktioniert hervorragend bei einfachen Schrumpfungsaufgaben. Aber für die schicken, High-Tech-Schrumpfungsaufgaben, die in der Praxis verwendet werden, brachte das zusätzliche Training jedoch keinen zusätzlichen Geschwindigkeits- oder Platzgewinn. Der Vorteil ist real, aber er hat eine sehr spezifische Grenze: Er hilft nur, wenn die Kompressionsskalen „grob“ sind, und hält der Komplexität moderner, gemischter Konfigurations-Quantisierung nicht stand.

Technisches Resümee: Regularisieren oder Lokalisieren: Wenn die Geometrie des K/V-Caches während des Trainings unter Quantisierung zahlt

Problemstellung

Transformer-Sprachmodelle, die mit Cross-Entropy (CE) trainiert werden, entwickeln typischerweise eine anisotrope Verteilung der Hidden-State-Geometrie, bei der sich Repräsentationen entlang weniger gemeinsamer Richtungen konzentrieren. Joint-Embedding Predictive Architectures (JEPA) haben Ziele wie SIGReg (ein skizziertes Epps–Pulley-Normalitätstests-Verfahren) eingeführt, um Embeddings in Richtung Isotropie ( $N(0, I)$ ) zu drücken; bisherige Versuche, SIGReg auf Large Language Models (LLMs) anzuwenden, lieferten jedoch neutrale Ergebnisse. Diese Fehlschläge traten auf, wenn SIGReg als Hilfsobjekt für nicht-standardmäßige Streams oder nur für die Zustände der finalen Schichten während des Fine-Tunings angewendet wurde.

Es besteht eine kritische Lücke: Verformt SIGReg die Geometrie der standardmäßigen autoregressiven (AR) Pretraining-Phase, und wichtiger noch: Profitiert der Key/Value (K/V)-Cache davon während der Post-hoc-Quantisierung? Bestehende Arbeiten konzentrieren sich auf Post-hoc-Kompression oder architektonische Änderungen und lassen die Frage weitgehend ungeklärt, ob eine verteilungsbasierte Regularisierung während der Trainingszeit der Standard-K/V-Cache-Geometrie die Robustheit gegenüber Quantisierung verbessern kann.

Methodik

Die Autoren verwenden ein dreistufiges experimentelles Design unter Verwendung von 110M-Parameter-Llama-ähnlichen Modellen, die auf 10B FineWeb-Tokens vortrainiert wurden.

1. Phase 1: Dosis-Wirkungs-Beziehung und Charakterisierung der Hidden States

Ziel: Bestimmen, ob das Hinzufügen von SIGReg zum CE-Loss während des Pretrainings die Anisotropie der Hidden States reduziert.
Setup: Die Autoren führen einen Sweep über das Regularisierungsgewicht $\lambda$ durch ($0, 0.001, 0.01, 0.1, 1.0$).
Metrik: Paarweiser Kosinus-Anisotropie und Perplexität.
Ergebnis: $\lambda=0.01$ wird als optimaler Arbeitspunkt identifiziert, der die Anisotropie signifikant reduziert, bei minimalen Kosten für die Perplexität.

2. Phase 2: Bridge Probes (Adaption vs. Retrofit)

Um zu bestimmen, ob sich die Änderung der Geometrie auf den K/V-Cache überträgt und wie dies erreicht werden kann, testen die Autoren drei spezifische Probes, ausgehend von einem $\lambda=0.01$ Checkpoint:

A1 (Adaptation): Auftauen des Trunks und Fortsetzung des Trainings, wobei SIGReg direkt auf sowohl die Hidden States ( $h$ ) als auch die K/V-Projektionen ( $K_\ell, V_\ell$ ) über alle Schichten hinweg angewendet wird.
A2 (Frozen Prediction): Training von pro-Schicht-Prädiktoren auf einem eingefrorenen Trunk, um zu sehen, ob die K/V-Geometrie allein aus den Hidden States rekonstruierbar ist.
A3 (Frozen Decoding): Training von Decodern zur Rekonstruktion von K/V aus dem finalen Hidden State des eingefrorenen Trunks.
Kontrolle: Eine "Matched Continuation", bei der der Trunk für das gleiche Token-Budget fortgesetzt wird, aber ohne den K/V-Regularisierungsterm ( $\lambda_{KV}=0$ ).

3. Phase 3: Quantisierungs-Evaluierung

Die Autoren evaluieren die resultierenden Modelle unter Post-hoc Fake-Quantisierung (Quantisierung $\to$ Dequantisierung) des K/V-Caches.

Getestete Schemata: Symmetrische Group-Free-Quantisierung (pro-Token vs. pro-Kanal), asymmetrische Gitter (mit Zero-Points) und gemischte Anordnungen (KIVI-Stil: pro-Kanal K, pro-Token V).
Metrik: $\Delta$ NLL (Negative Log-Likelihood) im Verhältnis zum eigenen Full-Precision-Referenzmodell.

Kernergebnisse

1. Hidden State Geometrie

Bei $\lambda=0.01$ reduziert SIGReg die paarweise Kosinus-Anisotropie der Hidden States um 38 % über drei gepaarte Seeds hinweg. Die Perplexität steigt um weniger als 0,35 %, und die Zero-Shot-Fähigkeiten (LAMBADA, HellaSwag, etc.) bleiben stabil ohne Anzeichen einer signifikanten Degradierung.

2. K/V-Cache Geometrie und das "Retrofit"-Versagen

Keine automatische Propagation: Die Reduktion der Anisotropie in den Hidden States überträgt sich nicht automatisch auf den K/V-Cache. Die Frozen-Trunk-Probes (A2 und A3) scheitern daran, die Geometrie zu rekonstruieren, was darauf hindeutet, dass die K/V-Anisotropie nicht bloß eine Funktion des finalen Hidden State ist.
Direkte Regularisierung ist erforderlich: Nur A1 (fortgesetztes Training mit direkter K/V-Regularisierung) reduziert die Cache-Anisotropie erfolgreich und erreicht eine 94 %ige Reduktion der mittleren Cache-Anisotropie.
Isolierung des Mechanismus: Die Matched Continuation ohne den K/V-Term ( $\lambda_{KV}=0$ ) kann diesen Effekt nicht reproduzieren, was den K/V-Term als notwendige Ursache isoliert.

3. Quantisierungs-Vorteil

Die Vorteile der regularisierten Geometrie sind stark abhängig vom Quantisierungsschema:

Grobe Skalen (Group-Free): Unter untransformierter symmetrischer Group-Free-Quantisierung ist das A1-adaptierte Modell das einzige Modell, das pro-Kanal-Skalierung gegenüber pro-Token-Skalierung bevorzugt. Unter 3-Bit symmetrischer pro-Kanal-Quantisierung erleidet das Baseline-Modell ein 4,3- bis 7,9-fach höheres $\Delta$ NLL-Schaden als das A1-Modell.
Feinkörnige Skalen (KIVI-Stil): Unter einer vollständigen simulierten KIVI-Stil-Konfiguration (gemischte Anordnung, Zero-Points und gruppierte Skalen mit $g=32$ ) verschwindet der Vorteil. Alle Modelle, einschließlich der Baseline, erreichen nahezu identische Leistungen.
Speicher-Overhead: Selbst wenn man den Metadaten-Overhead für gruppierte Zero-Points berücksichtigt (wodurch 3-Bit-gruppierte Speicherung mit 4-Bit Group-Free vergleichbar wird), verschwindet der Vorteil des Trainings-Zeitpunkts unter der Konfiguration mit Token-lokaler Gruppierung und gemischter Skalierung.

Bedeutung und Ansprüche

Das Paper behauptet, die erste Arbeit zu sein, die eine verteilungsbasierte Regularisierung der Standard-K/V-Cache-Geometrie während des Trainings gegen die Post-hoc-Cache-Quantisierung evaluiert.

Geometrische Kontrolle: Die Autoren demonstrieren, dass die K/V-Cache-Geometrie während des Trainings durch direkte Regularisierung explizit gesteuert werden kann, dieser Effekt jedoch nicht allein aus der Hidden-State-Regularisierung resultiert und nicht via Frozen-Trunk-Probes "retrograd angepasst" werden kann.
Bedingte Nützlichkeit: Die Intervention während des Trainings bietet einen greifbaren Nutzen nur dann, wenn die Quantisierer-Skalen grob sind (über lange Token-Bereiche hinweg). Der Vorteil ist spezifisch für die Interaktion zwischen der regularisierten Geometrie und dem Quantisierungsschema; er generalisiert nicht auf moderne, feinkörnige Konfigurationen (wie KIVI-Stil mit Zero-Points und lokaler Gruppierung).
Interpretation der Metrik: Das Paper stellt klar, dass die Metrik der paarweisen Kosinus-Anisotropie die mittlere Ausrichtung (dominiert durch gemeinsame Mittelwerte) misst, statt die Kovarianz-Whitening-Eigenschaft. Die Ergebnisse zeigen eine Dissoziation: Während die mittlere Ausrichtung sinkt, verhalten sich die spektralen Eigenschaften (wie der Top-1-Anteil) für K- und V-Schichten unterschiedlich, was darauf hindeutet, dass der Regularisierer primär auf den Mittelwert/die Rogue-Richtungen wirkt.

Limitationen

Die Autoren grenzen ihre Ansprüche explizit ein:

Regime: Die Ergebnisse sind auf 110M Parameter und den FineWeb-Korpus beschränkt; größere Modelle mit anderen Cache-Layouts (GQA/MQA) wurden nicht getestet.
Simulation: Die Quantisierung wird simuliert (Fake-Quantisierung) ohne Messung von Rechenzeit oder Speicherbedarf.
Scope der Probes: Die negativen Ergebnisse für Frozen Probes basieren auf spezifischen Kapazitäten und Budgets; ein "Mittelweg" (z. B. LoRA-skalierte Adaption) bleibt ungetestet.
Kein "Erster Isotropie"-Anspruch: Sie behaupten nicht, die Ersten zu sein, die für Isotropie regularisieren (unter Bezugnahme auf CosReg, SimCTG, etc.), sondern die Ersten, die gezielt die K/V-Cache-Geometrie auf Quantisierungsrobustheit untersuchen.