🤖 machine learning

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference

MomentKV adressiert den Engpass des richtungsbezogenen Mismatch bei der Eviction des KV-Caches in Langkontexten, indem es kompakte Moment-Statistiken aufrechterhält, um die geometrische Regularität der evikierten Token sicherzustellen, und eine geschlossene Korrektur für deren Attention-Beitrag bereitstellt, wodurch es bestehende Methoden über verschiedene Benchmarks und Kompressionsstufen hinweg signifikant übertrifft.

Ursprüngliche Autoren: Yu Li, Binxu Li, Tian Lan

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Li, Binxu Li, Tian Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine sehr lange Geschichte zu erinnern, um sie weiterzuschreiben. Um dies zu tun, führt Ihr Gehirn ein „Notizblatt“ (den KV-Cache) über alles, was Sie bisher gelesen haben. Das Problem ist: Wenn die Geschichte länger wird, wird dieses Notizblatt riesig und füllt schließlich Ihren gesamten Schreibtisch aus, was es unmöglich macht, weiterzuarbeiten.

Um dies zu beheben, nutzen aktuelle Methoden eine „Mülleimer“-Strategie: Sie schauen sich die Geschichte an, wählen die wichtigsten Sätze aus, die auf dem Schreibtisch bleiben sollen, und werfen den Rest weg. Sie gehen davon aus, dass, wenn sie die „besten“ Sätze behalten, sie den Rest einfach ignorieren können.

Die große Entdeckung des Papers: Das „Richtungs“-Problem
Die Autoren dieses Papers, MOMENTKV, haben erkannt, dass die „Mülleimer“-Strategie einen verborgenen Fehler hat.

Stellen Sie sich vor, Sie versuchen, die Richtung eines Windes anhand einiger Blätter zu erraten, die Sie auf Ihrem Schreibtisch aufbewahrt haben.

Der alte Weg: Sie behalten die Blätter, die am stärksten wehen (die „wichtigsten“), und werfen den Rest in den Müll. Dann versuchen Sie, die Windrichtung allein anhand der Blätter auf Ihrem Schreibtisch zu erraten.
Das Problem: Die Blätter, die Sie weggeworfen haben, könnten in eine völlig andere Richtung wehen (senkrecht zu denen, die Sie behalten haben). Selbst wenn Sie 90 % der Blätter weggeworfen haben, wenn die verbleibenden 10 % nach Norden zeigen und der Müll nach Osten, wird Ihre Schätzung völlig falsch sein. Sie können die Nord-Blätter nicht einfach „renormalisieren“ (neu berechnen), um den fehlenden Ostwind zu korrigieren. Der Fehler liegt nicht darin, wie viel Sie weggeworfen haben; es geht um die Richtung, die Sie verloren haben.

Die Lösung: MOMENTKV
Anstatt den Müll einfach nur wegzuwerfen und zu hoffen, dass es gut geht, bewahrt MOMENTKV eine winzige, ultra-kompakte „Zusammenfassung“ über den Müll auf, bevor er in die Tonne wandert.

Stellen Sie sich das so vor:

Die Zusammenfassung (Moment-Statistiken): Bevor ein Satz weggeworfen wird, berechnet das System schnell ein paar einfache Zahlen über ihn: „Was war die durchschnittliche Bedeutung?“ und „Wie verändert sich diese Bedeutung normalerweise mit dem nächsten Wort?“ Es speichert nicht den ganzen Satz, sondern nur diese wenigen „Momente“ (wie einen statistischen Fingerabdruck).
Intelligenteres Wegwerfen: Bei der Entscheidung, was weggeworfen werden soll, fragt das System: „Ist dieser Satz bereits gut durch meine Zusammenfassungen repräsentiert?“ Wenn ja, ist es sicher, ihn wegzuwerfen. Wenn nein (er hat eine einzigartige Richtung, die die Zusammenfassung nicht erfasst), behält er ihn. Dies hält den „Müll“ geometrisch regelmäßig und vorhersehbar.
Die magische Korrektur: Wenn das Modell das nächste Wort schreiben muss, schaut es nicht nur auf die Sätze auf dem Schreibtisch. Es nutzt jene winzigen „Zusammenfassungen“ aus dem Müll, um mathematisch zu rekonstruieren, was die fehlenden Sätze beigetragen hätten. Es sagt im Grunde: „Ich weiß, dass ich diese weggeworfen habe, aber basierend auf meinen Notizen kann ich erraten, in welche spezifische Richtung sie die Geschichte gedrückt haben, also werde ich das wieder hinzufügen.“

Warum es funktioniert
Das Paper hat dies an zwei berühmten KI-Modellen (LLaMA und Qwen) unter Verwendung von zwei verschiedenen Benchmarks (LongBench und RULER) getestet.

Die Ergebnisse: MOMENTKV schnitt konsistent besser ab als alle anderen Methoden, insbesondere wenn der „Platz auf dem Schreibtisch“ sehr begrenzt war (aggressive Kompression).
Die Analogie: Es ist wie ein Bibliothekar, der nicht nur die beliebtesten Bücher im Regal behält, sondern auch für jedes Buch im Keller eine winzige Karteikarte führt. Wenn Sie eine Frage stellen, kann der Bibliothekar diese Karteikarten nutzen, um sofort die Essenz der Bücher im Keller abzurufen, was Ihnen eine viel bessere Antwort liefert, als wenn er den Keller einfach komplett ignorieren würde.

Kurz gesagt
Aktuelle KI-Methoden werfen alten Kontext weg und hoffen, dass die verbleibenden Teile ausreichen. MOMENTKV erkennt, dass die Richtung der weggeworfenen Teile genauso wichtig ist wie die Teile selbst. Indem es eine winzige, intelligente Zusammenfassung des „Mülls“ behält und diese nutzt, um das Gedächtnis der KI mathematisch zu korrigieren, ermöglicht es dem Modell, viel längere Geschichten zu verarbeiten, ohne den Faden zu verlieren oder Fehler zu machen.

Technisches Resümee: MOMENTKV

Problemstellung

Die autoregressive Dekodierung in Transformer-basierten Sprachmodellen stützt sich auf den Key-Value (KV)-Cache, der zuvor berechnete Projektionen speichert, um diese über Dekodierungsschritte hinweg wiederzuverwenden. Wenn die Sequenzlängen auf Zehntausende oder Hunderttausende von Token skalieren, wächst der Speicherbedarf des KV-Caches linear, was zum primären Engpass für die Inferenz mit langem Kontext wird.

Das KV-Cache-Eviction (Verwerfen) adressiert dies, indem eine feste Teilmenge von Key-Value-Paaren beibehalten und der Rest verworfen wird. Bestehende Methoden haben zwar die Strategien zur Token-Selektion verbessert (z. B. basierend auf kumulativen Attention-Gewichten oder wertbewusstem Scoring), teilen jedoch eine grundlegende Einschränkung: Nach dem Eviction renormalisiert die Attention ausschließlich über die beibehaltenen Tokens und verwirft den evictierten Satz vollständig.

Die Autoren identifizieren, dass die primäre Quelle der Leistungsdegradierung nicht bloß die verbleibende Attention-Masse auf den evictierten Tokens ist (welche bestehende Methoden bereits minimieren), sondern ein Richtungs-Mismatch (Directional Mismatch) zwischen dem beibehaltenen und dem evictierten Tokensatz. Die empirische Analyse zeigt, dass die evictierten Tokens in der Praxis oft nahezu orthogonal zu den beibehaltenen sind. Folglich kann selbst eine geringe Menge an evictierter Attention-Masse einen erheblichen Richtungsfehler verursachen, den eine Standard-Renormalisierung nicht korrigieren kann. Dies erzeugt eine „Richtungslücke“ (directional gap), bei der die Verbesserung der reinen Token-Selektion nur noch abnehmende Erträge liefert, da eine selektivere Beibehaltung den beibehaltenen Satz auf spezifische, query-ausgerichtete Richtungen konzentriert und damit die Lücke zum evictierten Set weiter vergrößert.

Methodik: MOMENTKV

Um diese Richtungslücke zu schließen, schlagen die Autoren MOMENTKV vor, ein Framework, das kompakte, kleine Moment-Statistiken über den evictierten Tokensatz aufrechterhält. Diese Statistiken dienen einem doppelten Zweck: der Steuerung der Eviction-Entscheidungen und der Korrektur der Attention-Ausgabe während der Inferenz.

1. Kompakte Moment-Statistiken

Anstatt die evictierten Tokens zu speichern, pflegt MOMENTKV vier laufende Summen pro Attention-Head, die bei jedem Eviction inkrementell aktualisiert werden:

Anzahl ( $n_e$ ): Die Anzahl der evictierten Tokens.
Key-Summe ( $s_k$ ): $\sum_{i \in E} k_i$ .
Value-Summe ( $s_v$ ): $\sum_{i \in E} v_i$ .
Äußeres Produkt der Summe ( $S$ ): $\sum_{i \in E} v_i k_i^\top$ .

Diese Statistiken ermöglichen die Berechnung des Key-Mittelwerts ( $\bar{k}$ ), des Value-Mittelwerts ( $\bar{v}$ ) und der Value-Key-Kovarianz ( $\tilde{S}$ ), ohne die evictierten Tokens erneut aufrufen zu müssen. Der Speicheraufwand beträgt insgesamt $O(d^2)$ pro Head, unabhängig von der Kontextlänge.

2. Erstordnung-Approximation der evictierten Ausgabe

Während der Inferenz leitet MOMENTKV eine geschlossene Erstordnung-Approximation der evictierten Attention-Ausgabe, $\hat{f}_E(q)$ , ab. Durch die Zentrierung der Logits um den Mittelwert und die Anwendung einer Taylor-Entwicklung erster Ordnung auf die Softmax-Funktion leiten die Autoren Folgendes her:
$\hat{f}_E(q) = \bar{v} + \frac{1}{n_e \sqrt{d}} \tilde{S} q$

Der $\bar{v}$ -Term fungt als query-unabhängige Baseline und stellt die mittlere Richtung der evictierten Sub-Ausgabe wieder her.
Der $\tilde{S} q$ -Term fungt als query-adaptive Korrektur und erfasst die senkrechte Variation (Richtungsgehalt), die die Baseline allein nicht erfassen kann.

Diese Approximation ermöglicht es dem Modell, eine Schätzung der verlorenen evictierten Komponente zu rekonstruieren und somit effektiv die Richtungsinformation wiederherzustellen, die eine Standard-Eviction auslöscht.

3. Moment-informiertes Eviction

Die Moment-Statistiken leiten auch den Eviction-Prozess selbst. Für jeden beibehaltenen Token $j$ berechnet der Algorithmus ein Moment-Residuum:
$r_j = v_j - \bar{v} - \frac{1}{n_e \sqrt{d}} \tilde{S} k_j$
Dieses Residuum misst, wie viel neuartige Richtungs-Information der Token $j$ trägt, die über das, was die akkumulierte Zusammenfassung bereits erfasst, hinausgeht. Der Eviction-Score ist definiert als das Produkt aus dem Attention-Gewicht und der Norm des Residums: $\text{score}(j) = \alpha_j \cdot \|r_j\|$ .

Tokens mit niedrigen Residuen werden gut durch das Moment-Modell vorhergesagt und werden vorrangig für das Eviction ausgewählt.
Tokens mit hohen Residuen (die einzigartige Richtungs-Informationen tragen) werden beibehalten, selbst wenn ihre Attention-Gewichte niedriger sind.

Dies schafft eine wechselseitig verstärkende Schleife: Moment-informiertes Eviction hält den evictierten Satz „geometrisch regulär“ (niedrige Logit-Streuung $\sigma$ ), was die Approximationsgrenze für die Inferenz-Korrektur verschärft. Im Gegenzug liefert die präzise Korrektur bessere Residuen für zukünftige Eviction-Entscheidungen.

4. Normalisierungs-korrigierte Inferenz

Die finale Attention-Ausgabe wird als konvexe Kombination der beibehaltenen Ausgabe ( $f_R$ ) und der approximierten evictierten Ausgabe ( $\hat{f}_E$ ) rekonstruiert:
$\hat{f}(q) = \hat{w}_R f_R(q) + (1 - \hat{w}_R) \hat{f}_E(q)$
Das Mischgewicht $\hat{w}_R$ wird unter Verwendung einer Untergrenze auf die evictierte Partitionsfunktion ermittelt, die mittels der Jensen-Ungleichung abgeleitet wurde. Dies stellt sicher, dass das Modell die Magnitude der evictierten Masse berücksichtigt und gleichzeitig deren Richtung korrigiert.

Zentrale Beiträge

Identifikation der Richtungslücke: Die Arbeit stellt fest, dass die dominante Fehlerquelle beim KV-Cache-Eviction die nahezu orthogonale Beziehung zwischen den beibehaltenen und den evictierten Sub-Ausgaben ist, nicht bloß die Magnitude der evictierten Attention-Masse.
Kompakte Moment-Statistiken: Einführung einer speichereffizienten Methode zur Verfolgung der geometrischen Eigenschaften (Mittelwert und Kovarianz) der evictierten Tokens unter Verwendung von nur $O(d^2)$ Speicher pro Head.
Geschlossene Form der Korrektur: Ableitung einer Erstordnung-Approximation für die evictierte Attention-Ausgabe, die sowohl die mittlere Richtung als auch die query-abhängigen Variationen wiederherstellt.
Dualer Mechanismus: Ein einheitliches Framework, in dem Moment-Statistiken gleichzeitig die Eviction-Selektion optimieren (indem sie redundante Tokens identifizieren) und die Inferenz-Ausgaben korrigieren (indem sie verlorene Richtungs-Informationen wiederherstellen).

Experimentelle Ergebnisse

Die Autoren evaluierten MOMENTKV auf den LongBench- und RULER-Benchmarks unter Verwendung von LLaMA-3.1-8B-Instruct und Qwen3-4B-Instruct.

Leistung: MOMENTKV übertraf konsistent alle Baselines (H2O, SnapKV, PyramidKV, Ada-KV) über alle Cache-Budgets hinweg ( $L \in \{128, 256, 512, 1024\}$ ).
Aggressive Kompression: Die größten Gewinne wurden unter aggressiver Kompression beobachtet. Auf LongBench mit $L=128$ und LLaMA-3.1-8B erreichte MOMENTKV eine durchschnittliche Score-Verbesserung von +1,35 gegenüber der stärksten Baseline (Ada-KV) und behielt 94,1 % der Performance des vollen Caches bei.
Retrieval-Aufgaben: Auf RULER, das präzises Token-Retrieval testet, zeigte MOMENTKV proportionale Gewinne von +3,4 und +3,5 gegenüber Ada-KV für LLaMA bzw. Qwen, was die Effektivität in retrieval-intensiven Settings validiert.
Ablationsstudien:
- Die Normalisierungs-korrigierte Inferenz (NC) trug signifikant mehr bei (+2,41) als das Moment-informierte Eviction (MI) allein (+0,57), was bestätigt, dass die Wiederherstellung der evictierten Richtung der primäre Treiber der Leistung ist.
- Die Kombination beider Mechanismen ergab einen synergistischen Effekt (+3,17 Gesamtzunahme), der die Summe der Einzelgewinne übersteigt.
Effizienz: Die Methode fügt lediglich 1,6 ms Latenz pro Token hinzu und benötigt 4,1 MB zusätzlichen Speicher (6,4 % des beibehaltenen Caches), während sie die Latenz pro Token im Vergleich zu einem vollen Cache um über 65 % reduziert.

Bedeutung

Die Arbeit argumentiert, dass der Weg zu weiteren Verbesserungen bei der Inferenz mit langem Kontext nicht allein in einer besseren Token-Selektion liegt, sondern in der Wiederherstellung der Richtungs-Informationen, die aktuelle Eviction-Strategien auslöschen. MOMENTKV demonstriert, dass es durch die Pflege kompakter Statistiken über den evictierten Satz möglich ist, die Richtungslücke zu schließen und die „irreduziblen Kosten“ des Evictions in einen korrigierbaren Approximationsfehler zu verwandeln. Dieser Ansatz bietet eine praktische, skalierbare Lösung für den Einsatz von Sprachmodellen mit langem Kontext, ohne die Effizienz von Fixed-Budget-KV-Caches zu opfern.