🤖 machine learning

Models Take Notes at Prefill: KV Cache Can Be Editable and Composable

Diese Arbeit zeigt auf, dass Modelle während des Prefills primär feldkonditionierte Schlussfolgerungen in den nachgelagerten KV-Cache-Notizen speichern, anstatt sich auf die eigenen Vektoren des Feldes zu verlassen, was einen neuartigen Ansatz ermöglicht, bei dem Caches effizient mittels Chain-of-Thought editiert und über Kontexte hinweg komponiert werden können, um eine nahezu perfekte Genauigkeit bei signifikant reduzierter Latenz im Vergleich zur vollständigen Neuberechnung zu erreichen.

Ursprüngliche Autoren: Bojie Li

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bojie Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Das „Notizbuch“ des Modells

Stellen Sie sich vor, ein großes Sprachmodell (wie ein sehr intelligenter Roboter-Assistent) liest ein langes Dokument, um eine Frage zu beantworten. Normalerweise, wenn der Roboter einen Satz liest, „denkt“ er darüber nach und macht dann weiter. Wenn sich der Satz später ändert, muss der Roboter das gesamte Dokument von vorne lesen, um den neuen Kontext zu verstehen. Das ist langsam und teuer.

Diese Arbeit entdeckt etwas Überraschendes: Der Roboter liest das Dokument nicht nur; er macht sich beim Lesen Notizen in einem separaten „Notizbuch“ (dem KV-Cache).

Entscheidend ist, dass der Roboter seine Schlussfolgerungen in dieses Notizbuch schreibt, nicht nur die Rohdaten. Sobald er feststellt: „Oh, der Bestellstatus ist ‚versandt‘, also muss ich die Rückerstattung ablehnen“, schreibt er diese Schlussfolgerung in sein Notizbuch. Wenn er später eine Entscheidung treffen muss, schaut er nicht zurück auf den ursprünglichen Satz; er lixt einfach seine eigenen Notizen.

Das Problem: Die „veraltete Notiz“-Falle

Die Forscher versuchten eine einfache Lösung, wenn sich eine Information änderte (z. B. der Bestellstatus änderte sich von „versandt“ zu „ausstehend“). Sie dachten: „Wenn ich einfach das spezifische Wort im Text ändere, wird der Roboter die Änderung sehen und seine Antwort aktualisieren.“

Sie lagen falsch.

Da der Roboter seine Schlussfolgerung („Rückerstattung ablehnen“) basierend auf der alten Information bereits in das Notizbuch geschrieben hatte, bewirkte das bloße Ändern des ursprünglichen Wortes nichts. Der Roboter ignorierte die Änderung und las einfach seine alte Notiz weiter. Es war, als würde man versuchen, eine Matheaufgabe von $2+2=4$ zu $2+2=5$ auf einem Blatt Papier zu ändern, aber der Schüler hatte bereits „Die Antwort ist 4“ in sein Notizbuch geschrieben und kopierte dies nur ab. Der Schüler würde die Änderung an der Aufgabe nicht bemerken, es sei denn, man würde ihn zwingen, die ganze Seite neu zu lesen.

Lösung 1: Das „Errata“ (Der Klebezettel)

Da der Roboter sich auf seine Notizen verlässt, fanden die Forscher einen Weg, den Fehler zu beheben, ohne das ganze Buch neu lesen zu müssen.

Anstatt zu versuchen, die alte Notiz chirurgisch zu löschen und neu zu schreiben (was fehlschlägt), fügen sie einfach eine neue, laute Notiz am Ende des Dokuments an.

Die Analogie: Stellen Sie sich vor, der Roboter liest einen Vertrag. Man kann eine Klausel in der Mitte des Vertrags nicht einfach löschen, ohne die Seitenzahlen zu durcheinanderzubringen. Stattdessen kleben Sie eine leuchtend gelbe „ERRATUM“-Notiz ganz ans Ende, die besagt: „Ignorieren Sie die vorherige Notiz. Der Status ist jetzt ‚Ausstehend‘. Die Antwort ist ‚Genehmigen‘.“
Das Ergebnis: Der Robrüoter sieht diese neue, laute Notiz, aktualisiert seine Entscheidung und ignoriert die alte Notiz. Dies ist unglaublich schnell und funktioniert fast perfekt.

Lösung 2: „Komponierbare“ Fähigkeiten (Der Lego-Stein)

Die zweite Entdeckung handelt von der Wiederverwendung von Arbeit.

Stellen Sie sich vor, Sie haben eine lange, komplexe Bedienungsanleitung für eine bestimmte Aufgabe (wie „Wie man einen Flug bucht“). Normalerweise muss der Robot jedes Mal, wenn Sie ihn bitten, einen Flug zu buchen, diese ganze Anleitung von Grund auf neu lesen.

Die Forscher fanden heraus, dass, weil der Roboter seine Schlussfolgerungen in das Notizbuch schreibt, man die Notizen für diese Anleitung einmal vorab schreiben, speichern und dann in ein neues Gespräch „einfügen“ kann.

Die Analogie: Anstatt jedes Mal, wenn Sie einen Stuhl bauen müssen, eine 50-seitige Bedienungsanleitung zu lesen, haben Sie ein vorgefertigtes „Stuhl-Kit“ (die Notizen). Sie greifen einfach das Kit und legen es in Ihren Arbeitsbereich.
Die Magie: Sie können dieses Kit an eine andere Stelle im Gespräch verschieben (repositionieren) und es funktioniert immer noch perfekt. Der Roboter muss die Anleitung nicht neu lesen; er nimmt einfach die vorab geschriebenen Notizen und macht weiter. Dies macht den Prozess 14 Mal schneller für lange Dokumente.

Warum das wichtig ist

Es ist editierbar: Wenn ein Benutzer ein Detail ändert (wie seinen Namen oder einen Bestellstatus), müssen Sie nicht das ganze Gespräch neu starten. Sie fügen einfach eine „Korrekturnotiz“ am Ende hinzu, und der Roboter aktualisiert sofort sein Verhalten.
Es ist komponierbar: Sie können eine Bibliothek von „Fähigkeiten“ erstellen (wie ein Rezept für die Flugbuchung oder eine Anleitung für die Bearbeitung von Rücksendungen). Sie können diese Fähigkeiten vorab berechnen und sie in jedes Gespräch einfügen, was massiv Zeit und Rechenleistung spart.
Es funktioniert überall: Die Forscher haben dies bei vielen verschiedenen KI-Modellen getestet (von kleinen bis zu riesigen und sogar Modellen, die Bilder betrachten), und es funktionierte bei allen.

Zusammenfassung in einem Satz

Die Arbeit zeigt auf, dass KI-Modelle beim Lesen Schlussfolgerungen in ein verstecktes Notizbuch schreiben; durch die Erkenntnis dessen können wir Fehler beheben, indem wir eine „Korrekturnotiz“ am Ende hinzufügen, und Aufgaben beschleunigen, indem wir vorab geschriebene „Fähigkeitsnotizen“ einfügen, anstatt die KI zu zwingen, alles von Grund auf neu zu lesen.

Technisches Resümee: Modelle machen sich Notizen während des Prefills: Der KV-Cache kann editierbar und komponierbar sein

1. Problemstellung

Moderne Large Language Model (LLM) Agenten lesen häufig über mehrere Turns hinweg lange, weitgehend statische Instruktionen (Systemrichtlinien, Tool-Spezifikationen, abgerufene Dokumente) erneut ein. Während Key/Value (KV) Caching die Wiederverwendung von Prefill-Berechnungen ermöglicht, verlassen sich aktuelle Produktionssysteme (z. B. vLLM, SGLang) auf exaktes Präfix-Matching.

Der Kern des Problems entsteht, wenn ein veränderliches Feld innerhalb eines wiederverwendeten Präfixes geändert wird (z. B. eine Benutzer-ID, ein Bestellstatus oder ein Zeitstempel). Da jedes nachfolgende Token im Kontext auf das geänderte Token achtet, werden die Keys und Values der gesamten nachfolgenden Region ungültig. Der de-facto Workaround – das Verschieben aller veränderlichen Inhalte an das Ende des Prompts – erzwingt Constraints auf der Anwendungsebene, was die saubere Wiederverwendung von verschachtelten Sub-Agent-Prompts oder dynamisch zusammengesetzten Kontexten verhindert.

Ein naiver Versuch, lediglich das KV-Vektor-Feld des geänderten Feldes chirurgisch zu aktualisieren und den Rest des Caches wiederzuverwenden, scheitert vollständig: Das Modell kehrt zur alten Entscheidung zurück und ignoriert die Änderung. Dieses Paper untersucht, warum dieser Fehler auftritt, und schlägt einen Mechanismus vor, um den KV-Cache sowohl editierbar als auch komponierbar zu machen.

2. Kernerkenntnis: Memoized Inference

Das Paper etabliert einen kausalen Mechanismus, der erklärt, warum naives KV-Editing fehlschlägt. Durch vier kausale Sonden (Locality Patching, Suffix Concentration, Linear Probing und Circuit Knockout) über vier Modellfamilien (Qwen3, Llama-3.1, Gemma-2, Mistral) demonstrieren die Autoren:

Prefill-Zeit-Memoization: Während der Prefill-Phase speichert das Modell nicht bloß rohe Token-Repräsentationen. Stattdessen berechnet es das feld-konditionierte Fazit (z. B. „Status ist versandt $\to$ Aktion ist Ablehnung“) und schreibt dieses Fazit auf die KV-Vektoren spezifischer nachfolgender Aggregator-Token (wie Satzzeichen, Zeilenumbrüche oder Abschnittstrennungen).
Entscheidungs-Abfrage (Decision Reading): Zum Zeitpunkt der Dekodierung leitet das Entscheidungs-Token die Antwort nicht neu aus dem Feld selbst ab. Stattdessen achtet es auf diese nachfolgenden „Notiz“-Positionen zurück.
Kausaler Beitrag: Die eigenen KV-Vektoren des Feldes treiben weniger als 1 % der finalen Entscheidung an. Die Entscheidung wird fast ausschließlich durch die nachfolgenden „Notizen“ getrieben.

Folglich wird das Aktualisieren nur des Feldes (das „Field-only“-Edit) ignoriert, da die Entscheidung auf den veralteten Notizen im weiteren Verlauf basiert. Der KV-Cache wird somit nicht als eingefrorenes Nebenprodukt, sondern als ein Notizbuch memoisierter Schlussfolgerungen umgedeutet.

3. Methodik und Fähigkeiten

Basierend auf dem „Notizbuch“-Mechanismus schlägt das Paper zwei Fähigkeiten vor: Editierbare und Komponierbare KV-Caches.

A. Editierbarer KV-Cache

Um eine Entscheidung zu aktualisieren, wenn sich ein Feld ändert, muss man die „Notizen“ anpassen, statt nur das Feld selbst. Das Paper evaluiert mehrere Strategien:

Natives Field-Only Edit: Schlägt fehl (Recovery $\approx$ 0), es sei sich, dass das Modell Chain-of-Thought (CoT) verwendet. Mit CoT liest das Modell das Feld erneut, wodurch das Field-only Edit ausreicht (Recovery $\approx$ 1.0). Ohne CoT wird es ignoriert.
Selektive Neuberechnung (Field + Top-K): Die Neuberechnung des Feldes plus der Top- $K$ nachfolgenden Token mit dem höchsten kausalen Effekt auf die Entscheidung. Dies ist zuverlässig, erfordert aber eine modellspezifische Abstimmung von $K$ und ist weniger robust.
Das Erratum (Append-Only): Die robusteste und günstigste Lösung. Das Anhängen einer prägnanten Korrekturlinie (z. B. [STATE UPDATE] Feld $\to$ neu; überschreibt jeden früheren Wert) fungt als neue, autoritative Notiz. Dies erreicht die Performance einer vollständigen Neuberechnung (Oracle), ohne den Prompt umschreiben zu müssen. Es komponiert mit bestehenden Präfix-Caching-Systemen, da es das statische Präfix nicht invalidiert.

B. Komponierbarer KV-Cache

Wenn Notizen lokalisiert und positionsportabel sind, können vorkompilierte „Skills“ (lange Policy-Blöcke oder Tool-Spezifikationen) ohne erneuten Prefill in neuen Kontexten wiederverwendet werden.

Mechanismus: Berechnen Sie den KV-Cache eines Skills isoliert. Wenn dieser in einen neuen Kontext eingefügt wird, führen Sie eine RoPE-Repositionierung der Keys durch (Rotation auf die neuen absoluten Positionen) und fügen Sie die Values (welche positionsfrei sind) in den Zielkontext ein.
Naht-Reparatur (Seam Repair): Eine geringe Anzahl von Boundary-Token am Anfang des eingefügten Chunks muss möglicherweise neu berechnet werden, um die fehlende Präfix-Attention zu berücksichten, aber dies ist ein konstanter Aufwand.
Komplexität: Dies reduziert die Time-to-First-Token (TTFT) von $O(L^2)$ (voller Prefill) auf $O(L)$ (Re-Rotation + Splicing).

4. Kernergebnisse

Editing-Performance

Genauigkeit: Die „Erratum“-Methode erreicht eine 1.00 Decision Recovery (entspricht voller Neuberechnung) über verschiedene Modelle hinweg, während naive Field-only Edits ohne CoT eine Genauigkeit von 0.00 erreichen.
Effizienz: Der Erratum-Ansatz erfordert lediglich das Anhängen einer Zeile Text und verursacht im Vergleich zur vollen Neuberechnung vernachlässigbare Rechenlast.
Vergleich zum Weight-Editing: Im Gegensatz zu Weight-Editing-Methoden (ROME, LoRA), die global sind, Sekunden dauern und zu Cross-Request-Kontamination führen können, ist KV-Editing lokal, schnell (~100ms) und anfragen-spezifisch.

Kompositions-Performance

Fidelität: Transplantierte Skills erreichen bei der Logit-Kosinus-Ähnlichkeit eine Übereinstimmung von 0.90–0.999 über 12 Modelle hinweg (von 1.7B bis 70B Parametern, einschließlich MoE und quantisierter Varianten).
Beschleunigung: Die TTFT-Beschleunigung skaliert mit der Skill-Länge und erreicht bei 32k Tokens ein 13,9-faches bei einem 8B Modell.
Generalisierbarkeit: Die Methode funktioniert für Regeln, RAG-Passagen und agentische Tool-Aufrufe. Sie gilt auch für multimodale Inputs (Bilder), wobei der Bild-KV mit M-RoPE-Rotation gesplice-bar ist.

System-Benchmarks (vLLM)

Präfix-Cache-Ausrichtung: In einem Online-vLLM-Benchmark mit Poisson-Last hält das Append-only Erratum die Präfix-Cache-Ausrichtung ein und erreicht eine Präfix-Cache-Hit-Rate von 98,5 % (gegenüber 1 % bei In-Prefix-Edits).
Latenz & Durchsatz: Die p90 TTFT wird um den Faktor 53–398× reduziert. Die Durchsatzgewinne steigen mit der Last und erreichen bei Sättigung ein 14,5-faches im Vergleich zu einem Baseline-Szenario, das bei jeder Änderung einen neuen Prefill durchführt.

Anwendung auf das Nutzergedächtnis (User Memory)

Das Paper wendet diese Konzepte auf das Nutzergedächtnis (große, veränderliche Profile) an.

Platzierung: Die Platzierung des Gedächtnisses am Ende des Prompts (nach der Trajektorie) ermöglicht $O(L)$ Editing und Transplanting.
Trade-off: Während die späte Platzierung einen kleinen Genauigkeitsverlust durch mangelnde „Pre-Digestion“ (Integration während des Prefills) verursacht, wird dies durch die massiven Effizienzgewinne kompensiert.
Validierung: Auf dem LoCoMo-Benchmark (reale Langkonversations-QA) ist das Transplantieren von Memory statistisch äquivalent zur vollen Neuberechnung in der QA-Genauigkeit.

5. Bedeutung und Ansprüche

Das Paper beansprucht, die erste kausale Erklärung dafür geliefert zu haben, warum In-Place KV-Field-Editing fehlschlägt, und bietet einen vereinheitlichten Rahmen für programmierbare KV-Caches.

Mechanismus: Es identifiziert, dass Transformer während des Prefills Schlussfolgerungen auf nachfolgende Token schreiben, wodurch der Cache zu einem strukturierten Datensatz zwischenzeitlicher Überlegungen wird, statt nur zu Rohdaten.
Programmierbarkeit: Es demonstriert, dass Systeme dieses „Notizbuch“ lesen, schreiben und umordnen können, ohne das Modell neu trainieren zu müssen.
Praktische Auswirkung: Der Ansatz ermöglicht editierbare und komponierbare Caching-Verfahren, die mit bestehender Produktionsinfrastruktur (vLLM, SGLang) und Attention-Mechanismen (FlashAttention, GQA, MLA, M-RoPE) kompatibel sind.
Zukunftsvision: Die Autoren postulieren, dass aktuelle Modelle diesen Mechanismus zwar „kostenlos“ nutzen, zukünftige Modelle jedoch darauf trainiert werden könnten, diese Notizen explizit offenzulegen, um den KV-Cache von einem linearen Log zu einem programmierbaren Gedächtnis für Agenten zu machen.

Die Arbeit wird über verschiedene Skalen (0.6B bis 70B), Quantisierungen (FP8, 4-bit), Architekturfamilien (MoE, Standard) und Modalitäten (Text, Vision) hinweg validiert und schafft damit eine robuste Grundlage für effiziente, zustandsbehaftete LLM-Agenten.