💻 computer science

Still: Amortized KV Cache Compaction in a Single Forward Pass

Das Paper stellt Still vor, einen leichtgewichtigen, wiederverwendbaren pro-Layer Perceiver, der eine amortisierte KV-Cache-Kompaktierung in einem einzigen Vorwärtspass durchführt und dabei über extrem hohe Kompressionsraten und Kontextlängen hinweg überlegene Speed-Quality-Trade-offs erzielt sowie iteratives Langzeit-Inferenz ermöglicht.

Ursprüngliche Autoren: Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

Veröffentlicht 2026-06-09

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „unendliche“ Notizbuch

Stellen Sie sich vor, ein großes Sprachmodell (wie ein superintelligenter KI-Assistent) liest ein sehr langes Buch, um eine Frage zu beantworten. Um sich zu merken, was es gelesen hat, führt die KI ein „Notizbuch“ (den sogenannten KV Cache) neben ihrem Gehirn. Jedes Mal, wenn sie ein neues Wort liest, schreibt sie eine Notiz in dieses Notizbuch.

Das Problem: Wenn das Buch 100 Seiten lang ist, ist das Notizbuch klein. Aber wenn das Buch 1.000.000 Seiten lang ist, wird das Notizbuch riesig. Irgendwann wird das Notizbuch so groß, dass es nicht mehr in den Speicher des Computers (RAM) passt.
Die aktuellen Lösungen:
1. Dinge wegwerfen: Die KI schaut in ihre Notizen und löscht diejenigen, die sie für langweilig hält. Das ist schnell, aber sie könnte versehentlich den einen Satz wegwerfen, der die Antwort enthält.
2. Das Ganze neu schreiben: Die KI versucht, das ganze Buch in einen kurzen Absatz zusammenzufassen. Das ist klug, aber es dauert jedes Mal sehr lange, wenn sie eine neue Seite liest.

Die Lösung: „Still“ (Der smarte Zusammenfasser)

Die Autoren führen ein neues Werkzeug namens Still ein. Stellen Sie sich Still als einen supereffizienten, sofort einsatzbereiten Editor vor, der zwischen der KI und ihrem Notizbuch sitzt.

Anstatt einfach nur Notizen zu löschen oder das ganze Buch neu zu schreiben, macht Still etwas Cleveres: Es betrachtet das gesamte Notizbuch und komprimiert es augenblicklich in eine winzige, hochwertige Zusammenfassungskarte.

Wie es funktioniert (Die Analogie)

Stellen Sie sich vor, Sie sind ein Museumskurator mit einer riesigen Bibliothek voller Artefakte (das vollständige Notizbuch). Sie müssen alle diese Artefakte in ein winziges Schaukasten (den komprimierten Cache) passen, damit Sie sie leicht bewegen können.

Der alte Weg (Selektion): Sie wählen 10 zufällige Artefakte aus und werfen den Rest weg. Dabei könnten Sie das wichtigste Stück verlieren.
Der alte Weg (Synthese/Pro-Kontext): Sie setzen sich hin und erstellen sorgfältig eine perfekte Zusammenfassung für diese spezifische Bibliothek. Das ist großartig, aber es dauert Stunden. Wenn eine neue Bibliothek ankommt, müssen Sie wieder von vorne anfangen.
Der „Still“-Weg: Sie besitzen eine magische Kamera (das Perceiver-Modul). Sie machen ein Foto der gesamten Bibliothek, und die Kamera verarbeitet das Bild augenblicklich in eine einzige, perfekte 4x6-Karte, die die Essenz von allem enthält, was in der Bibliothek zu finden ist.
- Entscheidender Punkt: Sie müssen nur ein einziges Mal lernen, wie man diese Kamera benutzt. Danach können Sie sie bei jeder beliebigen Bibliothek einsetzen, sofort und ohne anzuhalten, um nachzudenken oder zu rechnen.

Warum „Still“ besonders ist

1. Es ist schnell (Der „One-Shot“-Trick)
Die meisten smarten Zusammenfassungen müssen jedes Mal, wenn sie neuen Text sehen, viel Mathematik betreiben. Still ist anders. Es wurde einmal trainiert, um ein „schneller Vorwärtspass“ zu sein.

Analogie: Stellen Sie sich einen Koch vor, der Gemüse für eine Suppe schneiden muss.
- Alte Methoden: Der Koch hält an, um jede einzelne Karotte und Zwiebel perfekt abzumessen, bevor er schneidet (langsam).
- Still: Der Koch besitzt ein vortrainiertes Muskelgedächtnis. Er schneidet den ganzen Haufen in einer einzigen, fließenden Bewegung. Es geschieht in einem einzigen Schritt.

2. Es ist smart (Synthese vs. Selektion)
Still wählt nicht einfach nur die „besten“ Notizen aus, die es behält; es vermischt sie miteinander, um neue, extrem dichte Notizen zu erstellen.

Analogie: Wenn Sie eine Bibliothek mit 1.000 Büchern haben, würde ein „Selektor“ vielleicht 50 der besten Bücher behalten. Still nimmt die Ideen aus allen 1.000 Büchern und verschmilzt sie zu 50 neuen „Super-Büchern“, die die DNA der Originale in sich tragen. Das bedeutet, dass es die Antwort bewahren kann, selbst wenn die Antwort in einem Satz versteckt war, den ein einfacher Selektor gelöscht hätte.

3. Es funktioniert für lange Geschichten (Iterative Kompaktierung)
Die Arbeit zeigt, dass Still immer wieder verwendet werden kann. Während die KI eine Geschichte Kapitel für Kapitel liest, kann Still das Gedächtnis von Kapitel 1 komprimieren, dann das Gedächtnis von Kapitel 2 komprimieren und so weiter.

Analogie: Stellen Sie sich vor, Sie schreiben ein Tagebuch. Jeden Abend, anstatt jedes einzelne Blatt zu behalten, schreiben Sie eine eintägige Zusammenfassung des Tages. Am nächsten Tag lesen Sie Ihre eintägige Zusammenfassung, fügen die Ereignisse des heutigen Tages hinzu und schreiben eine neue eintägige Zusammenfassung. Sie können dies ewig fortsetzen, ohne dass Ihr Tagebuch zu schwer wird.

Die Ergebnisse (Was die Arbeit herausgefunden hat)

Die Autoren testeten Still an verschiedenen Modellen (Qwen und Gemma) und unterschiedlichen Textlängen (von 8.000 bis 128.000 Wörtern).

Geschwindigkeit vs. Qualität: Sie fanden heraus, dass Still den „Sweet Spot“ trifft. Es ist viel schneller als die klügsten Zusammenfassungs-Methoden und wesentlich genauer als die einfachen „Lösche das Langweilige“-Verfahren.
Extreme Kompression: Selbst als sie das Gedächtnis um das 200-fache komprimierten (sodass ein 128k-Dokument den Platz eines 600-Wörter-Dokuments einnahm), blieb die KI dank Still fähig, Fragen korrekt zu beantworten.
Zusammenfassung: Es funktioniert nicht nur für das Beantworten von Multiple-Choice-Fragen, sondern auch für das Schreiben von freien Zusammenfassungen.

Die Kehrseite (Einschränkungen)

Die Arbeit ist ehrlich darüber, was Still noch nicht kann:

Es ist keine Magie: Wenn Sie etwas zu stark komprimieren (wie das 200-fache bei einem sehr langen Text), werden Sie einige Details verlieren. Es ist nicht perfekt.
Training ist erforderlich: Sie müssen ein spezifisches „Still“-Modul für jedes spezifische KI-Modell trainieren, das Sie verwenden. Sie können es nicht einfach in jedes Modell einbauen, ohne einen kleinen Vorbereitungsaufwand zu leisten.
Exakter Rückruf: Wenn Sie benötigen, dass die KI einen ganz bestimmten Satz wortwörtlich aus 100.000 Wörtern vor einiger Zeit wiedergibt, könnte Still Schwierigkeiten haben. Es ist hervorragend darin, die Bedeutung zu verstehen, aber nicht unbedingt darin, ein perfekter Fotokopierer zu sein.

Zusammenfassung

Still ist ein neues Werkzeug, das KI-Assistenten ermöglicht, riesige Mengen an Text zu behalten, ohne dass der Speicher ausgeht. Es funktioniert, indem es das gesamte Gedächtnis augenblicklich in eine winzige, smarte Zusammenfassungskarte „destilliert“. Es ist schnell genug für den Echtzeitgebrauch, klug genug, um die wichtigen Details zu bewahren, und flexibel genug, um Geschichten zu handhaben, die über Stunden gehen.

Technisches Resümee: Still: Amortisierte KV-Cache-Kompaktierung in einem einzigen Vorwärtspass

1. Problemstellung

Der KV-Cache (Key-Value-Cache) ist der primäre Speicherengpass beim Einsatz von Large Language Models (LLMs) über lange Horizonte hinweg, wie etwa bei mehrtägigen Coding-Agenten oder Reasoning-Aufgaben auf Repository-Ebene. Aktuelle Deployment-Strategien stehen vor einer „Alles-oder-Nichts“-Wahl:

Verlustfreie Caching-Verfahren (Lossless Caching): Der Cache wächst linear mit der Kontextlänge und stößt schließlich an Speicherlimits.
Verlustbehaftete Alternativen (Lossy Alternatives): Methoden wie Fine-Tuning, Retrieval-Augmented Generation (RAG) oder Dokumentenzusammenfassungen geben die interne Repräsentationsstruktur und die Treue des Modells auf.

Bestehende Methoden zur Kompaktierung des KV-Caches fallen in zwei Kategorien, die jeweils signifikante Einschränkungen aufweisen:

Selektionsmethoden: Diese bewerten Token und entfernen eine Teilmenge (z. B. H2O, SnapKV). Sie sind leichtgewichtig, aber strukturell an die ursprüngliche Token-Teilmenge gebunden, was bedeutet, dass sie keine neuen Informationen synthetisieren können und unter engen Kompressionsbudgets schnell an Qualität verlieren.
Synthesismethoden: Diese kombinieren Inhalte, um neue kompakte Repräsentationen zu erstellen (z. B. Attention Matching, Cartridges). Obwohl sie expressiv sind, erfordern sie typischerweise eine pro-Kontext-Optimierung (Fitting) während der Inferenz, was sie rechenintensiv und unpraktisch für iterative, langfristige Trajektorien macht, bei denen die Kompaktierung wiederholt erfolgen muss.

Das Paper identifiziert eine Lücke für eine Methode, die amortisiert (einmal trainiert, wiederholt ohne pro-Kontext-Optimierung angewendet), synthetisch (fähig, Informationen über die einfache Selektion hinaus zu verschmelzen) und leichtgewichtig genug ist, um während der Inferenz ausgeführt zu werden.

2. Methodik: Still

Die Autoren führen Still ein, eine gelernte Primitive zur KV-Cache-Kompaktierung, die für eingefrorene (frozen) vortrainierte Modelle entwickelt wurde.

Architektur

Still besteht aus einem kleinen, pro Schicht (per-layer) operierenden Perceiver-Modul, das gegen ein eingefrorenes Basismodell trainiert wird.

Input: Für jede Transformer-Schicht erhält der Kompaktierer den vollständigen KV-Cache ( $K, V$ ) des Präfixes der jeweiligen Schicht. Die Keys werden zuerst „un-rotiert“, um Rotary Position Embeddings (RoPE) zu entfernen, wodurch sie in einen positionsfreien Rahmen versetzt werden.
Latente Abfragen (Latent Queries): Der Kompaktierer unterhält eine Bank von $t$ gelernten latenten Abfragen ( $Z$ ) pro Schicht. Diese Abfragen führen Cross-Attention auf den vollständigen KV-Cache aus.
Verarbeitung: Die Latents durchlaufen Pre-Norm-Blöcke, die Folgendes enthalten:
1. Cross-Attention: Von den Latents zum vollständigen KV-Cache.
2. Self-Attention: Zwischen den Latents.
3. Feed-Forward (FFN): Optionaler Sublayer.
Output: Der finale latente Zustand wird über lineare Heads zu kompakten Keys ( $C_k$ ) und Values ( $C_v$ ) der Größe $t \times d$ projiziert, wobei $t \ll T$ (die ursprüngliche Sequenzlänge) gilt.
Positionsbehandlung: Die resultierenden kompakten Keys werden an gewählten Ausgabepositionen re-rotiert, bevor sie in den Cache zurückgeschrieben werden. Die Values bleiben unrotiert.
Bias-Kanal: Ein optionaler Bias-Head ( $\beta$ ) wird unterstützt, aber in allen berichteten Ergebnissen deaktiviert ( $\beta=0$ ), um das Deployment zu vereinfachen.

Training

Zielsetzung (Objective): Der Kompaktierer wird mittels Forward KL-Divergenz zwischen einem „Lehrer“ (dem eingefrorenen Basismodell mit dem vollständigen, unkomprimierten Cache) und einem „Schüler“ (demselben Modell unter Verwendung des kompakten Caches) trainiert. Der Loss ist auf die Antwort-Seite-Token maskiert.
Daten: Das Training nutzt einen vierdomänen-basierten Datensatz für extraktive Multiple-Choice-QA (Finanzen, Project Gutenberg, Recht, Code).
Effizienz: Die Gewichte des Basismodells bleiben eingefroren; nur die Parameter des Kompaktierers werden trainiert. Der Kompaktierer fügt dem Basismodell etwa 1 % zur Parameteranzahl hinzu (z. B. ~50 Mio. Parameter für Qwen3-4B).

Betriebsmodi

Single-Pass Kompaktierung: Das Modell führt einen vollständigen Prefill durch, um den vollständigen Cache zu generieren, der dann durch Still komprimiert wird. Die Generierung setzt unter Verwendung des kompakten Caches fort.
Iterative Chunked Kompaktierung: Für langfristige Kontexte, die über die Zeit eintreffen, unterstützt Still ein rekurrentes Schema. Das Modell verarbeitet Chunks von Token, und nach jedem Chunk wird der akkumulierte Cache auf eine feste Größe komprimiert. Dies ermöglicht es dem System, Kontexte zu handhaben, die den Trainingshorizont weit überschreiten, sofern der Kompaktierer auf ausreichend langen iterativen Horizonten trainiert wurde.

3. Zentrale Beiträge

Amortisierte Synthese: Still zeigt, dass amortisierte Synthese (das einmalige Lernen eines Encoders) einer amortisierten Selektion (dem einmaligen Lernen eines Scorers) für die Langkontext-Kompaktierung überlegen ist. Es vermeidet die „Subset-gebundene“ Einschränkung von Selektionsmethoden und die Kosten der „Pro-Kontext-Optimierung“ von Synthesismethoden.
Single-Forward-Pass: Im Gegensatz zu pro-Kontext-Synthesemethoden, die Optimierungsschritte für jeden neuen Kontext erfordern, führt Still die Kompaktierung in einem einzigen Vorwärtspass durch ein gelerntes Modul durch.
Iterative Langzeit-Fähigkeit: Da Kompaktierung ein Vorwärtspass ist, kann Still iterativ angewendet werden, wenn neuer Kontext eintrifft, was ein Langzeit-Regime ermöglicht, das für Pro-Kontext-Fitting-Methoden nicht verfügbar ist.
Generalisierung: Die Methode überträgt sich über Modellskalen (4B bis 32B), Architekturen (Dense und MoE) und Attention-Mechanismen (Global und Sliding-Window) hinweg.

4. Ergebnisse

Das Paper evaluiert Still über Kompressionsraten von 8× bis 200× und Kontextlängen von 8k bis 128k.

Speed-Quality-Frontier: Auf Qwen- und Gemma-Modellen besetzt Still die vorteilhafte Seite der Speed-Quality-Frontier. Es bleibt über die gesamte Matrix hinweg präzise und schnell, während Selektionsbasierte Methoden unter engen Budgets an Qualität verlieren und pro-Kontext-Synthesemethoden zu langsam sind.
RULER Benchmark: In Settings mit übereinstimmendem Training übertrifft Still die stärkste amortisierte Selektions-Baseline (KV-Distill) im RULER-Benchmark um 8–22 Genauigkeitspunkte in 16 von 18 Zellen.
Transfer-Leistung: In Zero-Shot-Transfer-Settings (Training auf gemischten Domänen-MCQ, Test auf RULER) behält Still einen signifikanten Vorsprung gegenüber KV-Distill bei, wobei die Margen aufgrund des Train-Test-Mismatch kleiner sind.
Zusammenfassung: Still unterstützt freie Zusammenfassungen. Auf HELMET (multi_lexsum) bewahrt es 74–95 % des Full-Context-Gewinns über 8k–64k Kontexte hinweg und übertrifft damit Attention Matching und KV-Distill. Auf LongBench v1 gewinnt es 60 % der Paarvergleiche gegen KV-Distill.
Iterative Kompaktierung: Still ermöglicht iterative Chunked Kompaktierung. Während die Leistung sinkt, wenn der Trainingshorizont im Vergleich zum Deployment-Horizont zu kurz ist (z. B. ein auf 8k trainierter Kompaktierer, der bei 128k kollabiert), erlaubt das Training auf längeren iterativen Horizonten (16k, 32k) dem Modell, den Kontext vielfach seiner physischen Kapazität zu absorbieren.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Amortisierung die Langkontext-Cache-Kompaktierung handhabbar macht und Synthese den kompakten Zustand bei extremer Kompression nützlich macht.

Handhabbarkeit (Tractability): Durch das einmalige Erlernen des Optimierers (des Kompaktierers) vermeidet das System die kumulierenden Fitting-Kosten von Pro-Kontext-Methoden, was ein iteratives Langzeit-Deployment ermöglicht.
Expressivität: Synthese ermöglicht es dem kompakten Cache, Informationen aus beliebig vielen Positionen zu verschmelzen, wodurch die Informationsdichte-Obergrenze der Token-Selektion überwunden wird.
Praktikabilität: Still ist leichtgewichtig genug, um wiederholt während der Inferenz aufgerufen zu werden, und unterstützt sowohl die Auswahl von Antworten als auch die freie Generierung, ohne die Gewichte des Basismodells zu verändern.

Vom Autor anerkannte Limitationen

Nicht verlustfrei: Die Full-Context-Inferenz bleibt in den schwierigsten 128k-Settings überlegen.
Beschränkung des Trainingshorizonts: Iterative Kompaktierung ist keine kostenlose Extrapolation; die Leistung des Kompaktierers ist durch den Trainingshorizont begrenzt. Das Training auf 1M Token zu unterstützen, erfordert ein proportional längeres Training auf längeren Horizonten, was teuer ist.
Exakte Extraktion: Das aktuelle Rekursionsverfahren ist schwach bei Aufgaben der exakten Extraktion und „Needle-in-a-Haystack“-Aufgaben, selbst wenn es semantische Evidenz für breitere MCQ-Aufgaben bewahrt.
Speicher vs. Latenz: Im Single-Pass-Modus reduziert Still die behaltene Cache-Größe, eliminiert aber nicht die initiale Full-Context-Prefill-Latenz.
Deployment-Anforderungen: Jeder Basis-Checkpoint benötigt seinen eigenen trainierten Kompaktierer, was den Overhead für Parameter und Trainingsdaten erhöht.