💻 computer science

Leyline: KV Cache Directives for Agentic Inference

Dieses Paper stellt Leyline vor, ein neuartiges Primitive auf der Serving-Seite, das es agentischen LLMs ermöglicht, gecachte Inhalte mittels deklarativer Direktiven und geschlossener RoPE-Korrekturen dynamisch zu editieren oder zu entfernen, wodurch die Notwendigkeit eines kostspieligen Re-Prefilling eliminiert und sowohl die Latenz als auch die Erfolgsraten bei Aufgaben signifikant verbessert werden.

Ursprüngliche Autoren: Bole Ma, Jan Eitzinger, Harald Koestler

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bole Ma, Jan Eitzinger, Harald Koestler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ich wäre ein sehr intelligenter, schnell sprechender Assistent (eine KI), der einem Detektiv hilft, ein Rätsel zu lösen. Um seinen Job zu machen, führt der Assistent ein riesiges „Notizbuch“ (einen sogenannten KV-Cache) in seinem Geist. Dieses Notizbuch enthält alles, was der Detektiv bisher gesagt hat, jede gefundene Spur und jedes verwendete Werkzeug.

Die alte Art: Das „Nur-Hinzufügen“-Notizbuch

In der Vergangenheit arbeiteten KI-Assistenten wie eine Person, die in ein Notizbuch schreibt, ohne jemals etwas zu löschen.

Die Regel: Sie schreiben einen Hinweis auf, und dann schreiben Sie den nächsten Hinweis darunter. Das Notizbuch wächst nur.
Das Problem: Wenn der Detektiv feststellt: „Warte, dieser letzte Hinweis war falsch, lass uns das wegwerfen und einen anderen Ansatz versuchen“, konnte das alte System diese Zeile nicht einfach löschen. Es musste die ganze Seite herausreißen und alles von vorne schreiben, um die Seitenzahlen korrekt zu halten.
Die Kosten: Das ist langsam und verschwenderisch. Es ist, als müsste man ein ganzes Buch neu schreiben, nur um ein Wort in der Mitte zu ändern.

Das neue Problem: Der „agentische“ Detektiv

Moderne KI-Agenten sind dynamischer. Sie chatten nicht nur; sie handeln. Sie probieren ein Werkzeug aus, scheitern, löschen das Scheitern, probieren es erneut und fassen alte Notizen zusammen, um Platz zu sparen.

Das Problem: Wenn der Agent einen Textblock in der Mitte des Gesprächs löscht, verschieben sich die „Seitenzahlen“ (Positionen) von allem, was danach kommt.
Die Folge: Das alte „Notizbuch“ wird verwirrt. Es denkt, die Hinweise stünden an den falschen Stellen, also muss es sein gesamtes Gedächtnis wegwerfen und von vorne beginnen (neu vorbefüllen/re-prefill). Das tötet die Geschwindigkeit.

Die Lösung: Leyline (Die „Magische Schere“)

Das Paper stellt Leyline vor, ein neues Werkzeug für das Serving-System der KI. Stellen Sie sich Leyline wie eine magische Schere und ein positionsverschiebendes Lineal vor.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die Anweisung (The Directive):
Der KI-Agent sagt zu Leyline: „Schneide den Absatz über den fehlgeschlagenen Werkzeugaufruf (Span) heraus und ersetze ihn durch eine kurze Notiz: 'Ausgabe ausgelassen' (Replacement).“
Der Agent muss nicht wissen, wie man die Mathematik dahinter macht; er gibt nur die Anweisung.
Das Einfügen (The Splice – Das Schneiden und Einfügen):
Leyline schneidet den alten Absatz physisch aus dem Gedächtnis heraus und fügt die kurze Notiz an dessen Stelle ein.
- Entscheidender Schritt: Da der Text kürzer geworden ist, rückt alles nach diesem Punkt nun physisch näher zum Anfang.
Das „Magische Lineal“ (Die $\delta$ -Rotation):
Dies ist das Geheimrezept des Papers. In der KI wird die „Position“ eines Wortes wie ein geheimer Code (RoPE) kodiert. Wenn Sie ein Wort von Position 100 auf Position 90 bewegen, muss sich der Code ändern.
- Der alte Weg: Den Code für jedes einzelne Wort nach dem Schnitt neu berechnen. (Langsam!)
- Der Leyline-Weg: Leyline nutzt eine mathematische Abkürzung. Es erkennt, dass wenn Sie alles um 10 Stellen verschoben haben, Sie lediglich eine einfache „Rotation“ (eine schnelle mathematische Anpassung) auf die Codes der Wörter anwenden müssen, die folgten. Es ist, als würde man einer Schlange von Menschen sagen: „Jeder bewegt sich 10 Schritte nach links“, und nur deren Armbänder aktualisieren, um den neuen Platz widerzuspiegeln, anstatt sie die ganze Schlange noch einmal laufen zu lassen.

Warum das wichtig ist (Die Ergebnisse)

Die Forscher haben Leyline auf zwei Arten getestet:

Der Geschwindigkeitstest (Mechanismus):
Wenn die KI ihr eigenes Gedächtnis bearbeitet, spart Leyline eine massive Menge an Zeit.
- Analogie: Anstatt ein 50-seitiges Dokument zu korrigieren, um einen Tippfehler zu beheben, tauschen Sie einfach die Seite aus und aktualisieren die Seitenzahlen sofort.
- Ergebnis: Das System wurde pro Anfrage um bis zu 241 Millisekunden schneller und nutzte etwa 11 % mehr seines bestehenden Speichers, was bedeutet, dass es nicht die gesamte Konversation neu lesen musste.
Der intelligentere Agenten-Test (Policy):
Die Forscher gaben der KI eine einfache Regel: „Wenn ein Werkzeug-Output alt und nutzlos ist, lösche ihn.“
- Ohne Leyline: Die KI würde den Text löschen, aber das System müsste alles neu berechnen, was die KI so sehr verlangsamt, dass sie die Aufgabe eventuell nicht bewältigt.
- Mit Leyline: Die KI löscht den Müll sofort. Da der Kontext sauberer und kürzer ist, kann sich die KI besser auf die wichtigen Hinweise konzentrieren.
- Ergebnis: Die KI löste 14,3 % mehr schwierige Debugging-Aufgaben, weil sie nicht durch alte, nutzlose Informationen abgelenkt wurde und nicht die hohe Geschwindigkeitsstrafe für das Löschen zahlte.

Das große Ganze

Leyline verändert die Beziehung zwischen der KI (dem Agenten) und dem Computerspeicher (dem Cache).

Vorher: Der Computerspeicher war ein passives, starres Notizbuch, das der Agent vorsichtig behandeln musste.
Jetzt: Das Gedächtnis ist ein programmierbares Werkzeug. Die KI kann sagen: „Schneide das aus, füge das ein und korrigiere die Zahlen“, und das System gehorcht sofort, ohne den Überblick zu verlieren.

Das Paper beweist, dass wir, indem wir der KI erlauben, dem System explizit zu sagen, was es bearbeiten soll, die KI schnell, klug und fokussiert halten können, selbst wenn sie ständig ihre Meinung ändert.

Technisches Resümee: Leyline: KV-Cache-Direktiven für agentisches Inferencing

1. Problemstellung

Moderne Serving-Systeme für Large Language Models (LLMs) haben sich um eine spezifische Workload-Annahme entwickelt: Prompts kommen einmalig an und der KV-Cache wächst monoton (append-only). Diese Annahme bildet die Grundlage für Optimierungen wie Prefix-Caching und Forward-only-Eviction. Agentische LLMs (Yao et al., 2023; Yang et al., 2024) brechen diese Monotonie jedoch durch richtliniengesteuerte Bearbeitung (policy-driven editing). Agenten modifizieren häufig den Gesprächsverlauf durch das Wiederholen fehlgeschlagener Tool-Aufrufe, das Verwerfen veralteter Ausgaben oder das Ändern von Trajektorien.

Dieses Verhalten schafft zwei unterschiedliche Probleme bei der Cache-Verwaltung:

Positionsinvariante Wiederverwendung: Identische Inhalte verschieben sich zwischen den Turns zu neuen absoluten Positionen (z. B. durch eingefügte Tool-Outputs). Das exakte Prefix-Caching kann diese Chunks nicht wiederverwenden, da sich ihre Positionen geändert haben, obwohl die zugrunde liegenden Key-Value (KV)-Daten weiterhin gültig sind. Jüngste Arbeiten (Ma et al., 2026) adressieren dies durch inhaltsadressiertes Matching.
Richtliniengesteuerte Mutation (Der Fokus dieses Papers): Ein Agent oder eine Richtlinie muss möglicherweise einen Bereich des gecashten Inhalts aktiv entfernen oder ersetzen (z. B. das Kürzen alter Tool-Outputs, um Speicher freizugeben) und die Generierung fortsetzen, ohne den gesamten nachfolgenden Kontext neu vorzufüllen (re-prefill).
- Aktueller Stand: Produktionssysteme (z. B. Anthropic, 2025) handhaben dies durch die Bearbeitung der Nachrichtenliste und lösen dadurch einen vollständigen Re-Prefill aus, was die vollen Kosten für das Neu-Berechnen des Präfixes verursacht, das die Bearbeitung eigentlich einsparen sollte.
- Kernel-Limitierungen: Bestehende Kernel-Level-Eviction-Methoden (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) treffen autonome Entscheidungen und können keine expliziten Direktiven von einer externen Richtlinie empfangen, um spezifische In-place-Edits durchzuführen.

Es existiert kein bestehendes Primitiv, das es einer Richtlinie ermöglicht, das Serving-System anzuweisen, den KV-Cache aktiv zu spleicen (zusammenzufügen/zu bearbeiten), während die Korrektheit der nachfolgenden Attention-Mathematik ohne Re-Prefill gewahrt bleibt.

2. Methodik: Das Leyline-Primitiv

Die Autoren führen Leyline ein, ein auf der Serving-Seite implementiertes Primitiv, das die Lücke zwischen der Intention der Richtlinie und der Kernel-Ausführung schließt.

2.1 Die Direktiven-Abstraktion

Leyline entkoppelt das Was der Bearbeitung vom Wie der Bearbeitung mittels einer deklarativen 4-Tupel-Direktive:
$D = (s_{start}, s_{end}, R, m)$

$(s_{start}, s_{end})$ : Der Token-Index-Bereich des zu ersetzenden Spans.
$R$ : Die Ersatz-Token-Sequenz (oft ein kurzer Stub, z. B. [evicted: 3 older tool turns]).
$m$ : Der semantische Modus, wählbar aus:
- AMORTIZE: Der Standardmodus. Das System führt ein In-place-Splicing durch. Der Ersatz wird eingefügt und die nachfolgenden Positionen werden neu indiziert. Entscheidend ist, dass die zugrunde liegenden KV-Werte ( $K_{nope}$ und $V$ ) für nachfolgende Tokens erhalten bleiben, wodurch die Attention des Modells auf den ursprünglichen Inhalt gerichtet bleibt, statt auf den neuen Stub.
- FORGET: Das System leitet die Bearbeitung an einen Standard-Prefix-Trimmed Re-Prefill weiter. Dies wird verwendet, wenn echtes Vergessen von Inhalten erforderlich ist (z. B. Redaktion), um sicherzustellen, dass das Modell keinen Einfluss mehr aus dem entfernten Inhalt zieht.

2.2 Der Mechanismus: $\delta$ -Rotation

Die zentrale technische Innovation, die den AMORTIZE-Modus ermöglicht, ist eine geschlossene Korrektur für Verschiebungen der Positionskodierung, speziell für Multi-Head Latent Attention (MLA) Architekturen (z. B. DeepSeek-V2).

Strukturelle Erkenntnis: In MLA wird der Key-Tensor in $K_{nope}$ (positionsunabhängig) und $K_{pe}$ (positionsabhängig, rotiert durch RoPE) aufgeteilt.
Die Operation: Wenn ein Span der Länge $|S|$ durch einen Span der Länge $|R|$ ersetzt wird, verschieben sich alle nachfolgenden Tokens um $\Delta = |R| - |S|$ .
Die Korrektur: Anstatt die Attention für nachfolgende Tokens neu zu berechnen, wendet Leyline eine $\delta$ -Rotation auf die gecassten $K_{pe}$ -Werte aller nachfolgenden Slots an:
$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$
Aufgrund der unitären Rotations-Abgeschlossenheit von RoPE ( $R(a)R(b) = R(a+b)$ ) ist das Anwenden von $R(\Delta)$ auf das bestehende $R(i)$ algebraisch äquivalent dazu, $R(i+\Delta)$ von Grund auf neu berechnet zu haben.
Ergebnis: Das System aktualisiert die Positionskodierung in einem einzigen Matrix-Multiplikationsschritt pro Slot und bewahrt dabei die $K_{nope}$ - und $V$ -Tensoren. Dies ermöglicht es dem Modell, die Generierung mit der Attention-Mathematik des ursprünglichen vollen Kontextes fortzusetzen, trotz der physischen Änderung des Caches.

2.3 Integration in den Serving-Stack

Leyline integriert sich über drei Schritte in den Serving-Stack (speziell demonstriert mit SGLang):

Radix Match: Der unveränderte Präfix ( $[0, s_{start})$ ) wird wie gewohnt gegen den Radix-Cache abgeglichen.
Prefill: Die Ersatz-Tokens $R$ werden in neue Slots vorgefüllt.
Rotation: Der Kernel wendet die $\delta$ -Rotation auf das $K_{pe}$ -Band aller nachfolgenden Slots an und indiziert diese neu.

Die Schnittstelle ist signal-agnostisch: Jede Richtlinie, die in der Lage ist, ein Span-Replacement-Tupel auszugeben (z. B. eine Truncation-Regel, ein Detektor für veraltete Tool-Aufrufe), kann den Cache steuern, ohne dass der Kernel die Begründung prüfen muss.

3. Zentrale Beiträge

Problem-Differenzierung: Das Paper unterscheidet formal zwischen Wiederverwendung (Positionsverschiebungen identischer Inhalte) und Mutation (richtliniengesteuerte aktive Bearbeitung) und identifiziert Mutation als das offene Teilproblem im agentischen Cache-Management.
Direktiven-Abstraktion: Eine 4-Tupel-Schnittstelle, die die Richtlinie (Was zu bearbeiten ist) vom Mechanismus (Wie zu splicen ist) entkoppelt und so explizite In-place-Cache-Bearbeitung ohne Re-Prefill ermöglicht.
Semantische Editier-Schnittstelle: Eine neue Grenzfläche oberhalb des Block-Level-Speichers für Post-Agentic Serving-Stacks, die Agent-Edits in Block-Level-Operationen zerlegt und dabei die Korrektheit der Positionskodierung wahrt.
Zwei-Beine-Validierung:
- Mechanismus-Bein: Zeigt, dass der Splice-Kernel die Replay-Cache-Hit-Rate erhöht und die Latenz reduziert, indem er den Re-Prefill-Kosten auf dem kritischen Pfad entgeht.
- Richtlinien-Bein: Demonstriert, dass eine einfache Truncation-Policy, die über diese Schnittstelle geroutet wird, die Solve-Rate von Agenten verbessert, indem sie Kontext-Rauschen reduziert.

4. Ergebnisse

4.1 Mechanische Performance (SGLang Microbenchmark)

Cache Hit Rate: Der Splice-Arm steigerte die Replay-Cache-Hit-Rate um +11,2 Prozentpunkte (pp) gegenüber einer Standard-Radix-Baseline über Konkurrenzen von $C \in \{1, 4, 8, 16\}$ .
Latenz: Die End-to-End-Latenz wurde um bis zu 241 ms (bei $C=8$ ) reduziert, indem die Re-Prefill-Kosten auf dem kritischen Pfad eingespart wurden.
Korrektheit: Der Splice-Pfad behielt eine 100%ige Übereinstimmung des First-Token-Argmax mit dem Warm-Prefix (Full-Context) Pfad bei, was bestätigt, dass die $\delta$ -Rotation die Attention-Mathematik des ursprünglichen Kontextes bewahrt.

4.2 Richtlinien-Performance (Debug-Gym)

Aufgabe: 8 debug-gym mini_nightmare Aufgaben mit dem JoyAI-LLM Flash Modell.
Policy: Eine 10-Zeilen-Truncation-Regel, die Tool-Outputs löscht, die älter als $n=2$ Turns sind.
Ergebnis: Die über Leyline geroutete Truncation-Policy verbesserte die agentische Solve-Rate von 31,2 % (Baseline, keine Truncation) auf 45,5 % (+14,3 pp).
Analyse: Der Gewinn wurde durch Aufgaben mit langen Trajektorien (z. B. shopping_cart, sum_tree) getrieben. Durch das Verwerfen veralteter Tool-Turns konnte das Modell effektiver auf die wenigen Turns achten, die tatsächlich relevant waren. Oh hne Leyline hätte das Ausführen dieser Policy einen vollständigen Re-Prefill bei jedem Truncation erzwungen, was die Effizienzgewinne zunichtegemacht hätte.

4.3 Verifizierung der Korrektheit

Single-Prompt Microbenchmark: Konstruierte Szenarien, in denen Full-Context und Re-Prefill Pfade zwangsläufig divergieren müssten. Leyline stimmte konsistent mit der Full-Context Vorhersage überein (verfolgt den Einfluss des ursprünglichen Chunks) statt mit der Re-Prefill Vorhersage (welche den Einfluss des Chunks verloren hatte).
Cross-Architecture: Validiert auf vier MLA-Modellen (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
Numerische Stabilität: Die $\delta$ -Rotation führt einen kleinen Drift ein (begrenzt auf $\sim 4,7 \times 10^{-3}$ rel-L2 in bf16), der sublinear akkumuliert. Die Autoren merken an, dass das Ausführen der Rotation in fp32 (während der KV-Speicher in bf16 gehalten wird) diesen Drift effektiv minimiert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Leyline die fehlende Schnittstelle für richtliniengesteuerte Cache-Bearbeitung in agentischen Systemen bietet.

Verschiebung der Schnittstelle: Es verschiebt die Grenze des Serving-Stacks. Pre-agentische Systeme gaben nur den Prompt frei; Post-agentische Systeme benötigen einen Cache-Edit-Kanal. Leyline definiert diesen Kanal konkret.
Entkopplung: Es erlaubt Richtlinien, Intention zu deklarieren (z. B. „Vergiss diesen Bereich“ oder „Amortisiere diese Bearbeitung“), ohne dass die Richtlinie die zugrunde liegenden Kernel-Mechaniken (RoPE, MLA, Radix-Trees) verstehen muss.
Programmierbarer Speicher: Die Autoren argumentieren, dass dies das KV-Cache-Management von einem reaktiven, systemseitigen Ratespiel (Eviction) in ein kooperatives Scheduling-Problem verwandelt, bei dem der Agent das Schicksal des Kontextes deklariert und die Speicherschicht es ausführt.
Scope: Das Paper validiert das Splice-Verb. Es räumt ein, dass der Rotations-Kernel derzeit MLA-spezifisch ist, stellt jedoch fest, dass die Direktiven-Abstraktion architektur-agnostisch ist und Erweiterungen auf GQA/MHA über Boundary-Recomputation-Durchläufe möglich sind.

Das Paper kommt zu dem Schluss, dass während der Mechanismus (Splice) die Policy-Klasse ohne Re-Prefill-Kosten ermöglicht, die Policy-Klasse selbst den entscheidenden Deployment-Gewinn (höhere Solve-Rates) liefert. Das Vokabular der Direktiven-Schnittstelle (einschließlich zukünftiger Verben wie PIN, DECAY, SCRATCH) repräsentiert die Agenda für das zukünftige agentische Speicher-Management.