💻 computer science

Leyline: KV Cache Directives for Agentic Inference

Dit artikel introduceert Leyline, een nieuw serving-side primitief dat agentic LLM's in staat stelt om via declaratieve instructies en closed-form RoPE-correcties dynamisch gecachte inhoud te bewerken of te verwijderen, waardoor de noodzaak voor kostbare re-prefilling wordt geëlimineerd en zowel de latentie als de taalsuccesratio's aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Koestler

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Koestler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, snel pratende assistent bent (een AI) die een detective helpt een mysterie op te lossen. Om zijn werk te doen, houdt de assistent een enorme "kladblok" (een KV Cache) in zijn geest. Dit kladblok bevat alles wat de detective heeft gezegd, elke gevonden aanwijzing en elk gebruikt hulpmiddel tot nu toe.

De Oude Manier: Het "Alleen Toevoegen"-Notitieboek

In het verleden werkten AI-assistenten als een persoon die in een notitieboek schrijft zonder ooit te wissen.

De Regel: Je schrijft een aanwijzing, en daarna schrijf je de volgende aanwijzing eronder. Het notitieboek wordt alleen maar groter.
Het Probleem: Als de detective beseft: "Wacht, die laatste aanwijzing klopte niet, laten we die weggooien en een andere invalshoek proberen," kon het oude systeem die regel niet zomaar verwijderen. Het moest de hele pagina eruit scheuren en alles vanaf het begin opnieuw schrijven om de paginanummers correct te houden.
De Kosten: Dit is traag en verspillend. Het is alsof je een heel boek opnieuw schrijft om één woord in het midden te veranderen.

Het Nieuwe Probleem: De "Agentic" Detective

Moderne AI-agenten zijn dynamischer. Ze chatten niet alleen; ze handelen. Ze proberen een hulpmiddel, falen, verwijderen de fout, proberen het opnieuw en vatten oude aantekeningen samen om ruimte te besparen.

Het Probleat: Wanneer de agent een blok tekst in het midden van het gesprek verwijdert, verschuiven de "paginanummers" (posities) van alles wat daarna komt.
Het Gevolg: Het oude "kladblok" raakt in de war. Het denkt dat de aanwijzingen op de verkeerde plaatsen staan, waardoor het zijn geheugen moet weggooien en opnieuw moet beginnen (re-prefill) telkens wanneer de agent iets bewerkt. Dit doodt de snelheid.

De Oplossing: Leyline (De "Magische Schaar")

De paper introduceert Leyline, een nieuwe tool voor het serving-systeem van de AI. Zie Leyline als een paar magische scharen en een positie-verschuivende liniaal.

Zo werkt het, met behulp van een eenvoudige analogie:

De Directieve (De Instructie):
De AI-agent vertelt Leyline: "Knip de paragraaf over de mislukte tool-aanroep (Span) eruit en vervang deze door een korte notitie: 'Output weggelaten' (Replacement)."
De agent hoeft niet te weten hoe de wiskunde werkt; hij geeft alleen de instructie.
De Splice (Het Knippen en Plakken):
Leyline knipt de oude paragraaf fysiek uit het geheugen en plakt de korte notitie op die plek.
- Cruciale Stap: Omdat de tekst korter is geworden, ligt alles na dat punt nu fysiek dichter bij het begin.
De "Magische Liniaal" (De $\delta$ -Rotatie):
Dit is het geheime ingrediënt van de paper. In AI wordt de "positie" van een woord gecodeerd als een geheime code (RoPE). Als je een woord van positie 100 naar positie 90 verplaatst, moet de code veranderen.
- Oude Manier: De code voor elk enkel woord na de knip opnieuw berekenen. (Traag!)
- Leyline Manier: Leyline gebruikt een wiskundige afkorting. Het realiseert zich dat als je alles met 10 plaatsen hebt verschoven, je alleen een eenvoudige "rotatie" (een snelle wiskundige aanpassing) hoeft toe te passen op de codes van de woorden die volgden. Het is alsoals een rij mensen vertellen: "Iedereen beweegt 10 stappen naar links," en alleen hun hoofdbanden aanpassen om de nieuwe plek te reflecteren, in plaats van dat ze de hele rij opnieuw moeten lopen.

Waarom Dit Er Toe Doet (De Resultaten)

De onderzoekers hebben Leyline op twee manieren getest:

De Snelheidstest (Mechanisme):
Wanneer de AI zijn eigen geheugen bewerkt, bespaart Leyline een enorme hoeveelheid tijd.
- Analogie: In plaats van een document van 50 pagina's te herschrijven om een typefout te herstellen, vervang je gewoon de pagina en update je de paginanummers direct.
- Resultaat: Het systeem werd tot wel 241 milliseconden sneller per verzoek en maakte ongeveer 11% meer van het bestaande geheugen opnieuw gebruikt, wat betekent dat het niet de hele conversatie opnieuw hoefde te lezen.
De Slimmere Agent Test (Beleid):
De onderzoekers gaven de AI een eenvoudige regel: "Als een tool-output oud en nutteloos is, verwijder deze dan."
- Zonder Leyline: De AI zou de tekst verwijderen, maar het systeem zou alles opnieuw moeten berekenen, waardoor de AI zo traag wordt dat hij de taak mogelijk niet kan voltooien.
- Met Leyline: De AI verwijdert de rommel direct. Omdat de context schoner en korter is, kan de AI zich beter concentreren op de belangrijke aanwijzingen.
- Resultaat: De AI loste 14,3% meer moeilijke debugging-taken op omdat hij niet werd afgeleid door oude, nutteloze informatie, en hij betaalde niet de zware snelheidstraf voor het verwijderen ervan.

Het Grotere Plaatje

Leyline verandert de relatie tussen de AI (de agent) en het computergeheugen (de cache).

Vóór: Het computergeheugen was een passief, rigide notitieboek waar de AI voorzichtig mee moest omgaan.
Nu: Het geheugen is een programmeerbare tool. De AI kan zeggen: "Knip dit, plak dat, en pas de nummers aan," en het systeem gehoorzaamt direct zonder de draad kwijt te raken.

De paper bewijst dat door de AI expliciet de opdracht te geven om het systeem te laten bewerken, we de AI snel, slim en gefocust kunnen houden, zelfs wanneer hij voortdurend van gedachten verandert.

Technische Samenvatting: Leyline: KV Cache Directives voor Agentic Inference

1. Probleemstelling

Moderne Large Language Model (LLM) serving-systemen zijn geëvolueerd rond een specifieke workload-aanname: prompts arriveren eenmalig en de KV-cache groeit monotoon (append-only). Deze aanname vormt de basis voor optimalisaties zoals prefix caching en forward-only eviction. Echter, Agentic LLMs (Yao et al., 2023; Yang et al., 2024) doorbreken deze monotoniciteit door beleidsgestuurde bewerkingen. Agents modificeren frequent de conversatiegeschiedenis door mislukte tool-calls te herhalen, verouderde outputs te verwijderen of trajecten te wijzigen.

Dit gedrag creëert twee duidelijke problemen voor cachebeheer:

Positie-invariante Hergebruik: Identieke inhoud verschuift naar nieuwe absolute posities tussen beurten (bijv. door ingevoegde tool-outputs). Exact-prefix caching faalt bij het hergebruiken van deze chunks omdat hun posities zijn veranderd, ook al blijft de onderliggende Key-Value (KV) data geldig. Recent werk (Ma et al., 2026) adresseert dit via content-geadresseerde matching.
Beleidsgestuurde Mutatie (De focus van dit papier): Een agent of beleid kan een actieve noodzaak hebben om een span van gecachte content te verwijderen of te vervangen (bijv. het inkorten van oude tool-outputs om geheugen vrij te maken) en vervolgens de generatie voort te zetten zonder de volledige daaropvolgende context opnieuw te hoeven prefillen.
- Huidige staat: Productiesystemen (bijv. Anthropic, 2025) handelen dit af door de berichtenlijst te bewerken en een volledige re-prefill te triggeren, wat de volledige kosten met zich meebrengt van het opnieuw berekenen van de prefix die de bewerking juist wilde besparen.
- Kernel-beperkingen: Bestaande kernel-niveau eviction-methoden (Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024) nemen autonome beslissingen en kunnen geen expliciete instructies accepteren van een extern beleid om specifieke in-place bewerkingen uit te voeren.

Er bestaat geen bestaande primitief die een beleid in staat stelt om de serving-system aan te sturen om de KV-cache actief te splitsen (splicing) terwijl de correctheid van de downstream attention-wiskunde behouden blijft zonder re-prefill.

2. Methodologie: De Leyline Primitief

De auteurs introduceren Leyline, een primitief aan de serving-zijde ontworpen om de kloof tussen beleidsintentie en kernel-executie te dichten.

2.1 De Directive Abstractie

Leyline ontkoppelt wat er bewerkt moet worden van hoe het bewerkt wordt via een declaratieve 4-tuple directive:
$D = (s_{start}, s_{end}, R, m)$

$(s_{start}, s_{end})$ : Het token-index bereik van de span die vervangen moet worden.
$R$ : De vervangende token-sequentie (vaak een korte stub, bijv. [evicted: 3 older tool turns]).
$m$ : De semantische modus, gekozen uit:
- AMORTIZE: De standaardmodus. Het systeem voert een in-place splice uit. De vervanging wordt ingevoegd en downstream posities worden opnieuw geïndexeerd. Cruciaal is dat de onderliggende KV-waarden ( $K_{nope}$ en $V$ ) voor downstream tokens behouden blijven, waardoor de aandacht van het model gericht blijft op de oorspronkelijke inhoud die is verwijderd, in plaats van op de nieuwe stub.
- FORGET: Het systeem stuurt de bewerking naar een standaard prefix-trimmed re-prefill. Dit wordt gebruikt wanneer echte 'content forgetting' vereist is (bijv. bij redactie), om te garanderen dat het model geen invloed behoudt van de verwijderde inhoud.

2.2 Het Mechanisme: $\delta$ -Rotatie

De kern technische innovatie die de AMORTIZE modus mogelijk maakt, is een closed-form correctie voor position encoding verschuivingen, specifiek voor Multi-Head Latent Attention (MLA) architecturen (bijv. DeepSeek-V2).

Structureel Inzicht: In MLA wordt de Key-tensor gesplitst in $K_{nope}$ (positie-onafhankelijk) en $K_{pe}$ (positie-afhankelijk, geroteerd door RoPE).
De Operatie: Wanneer een span van lengte $|S|$ wordt vervangen door een span van lengte $|R|$ , verschuiven alle downstream tokens met $\Delta = |R| - |S|$ .
De Correctie: In plaats van de attention voor downstream tokens opnieuw te berekenen, past Leyline een $\delta$ -rotatie toe op de gecachte $K_{pe}$ waarden van alle downstream slots:
$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$
Vanwege de unitaire rotatie-closure van RoPE ( $R(a)R(b) = R(a+b)$ ), is het toepassen van $R(\Delta)$ op de bestaande $R(i)$ algebraïsch equivalent aan het vanaf nul berekenen van $R(i+\Delta)$ .
Resultaat: Het systeem actualiseert de position encoding in één enkele matrixvermenigvuldiging per slot, waarbij de $K_{nope}$ en $V$ tensoren behouden blijven. Dit stelt het model in staat om de generatie voort te zetten met de attention-wiskunde van de oorspronkelijke volledige context, ondanks dat de fysieke cache is gesplitst.

2.3 Integratie in de Serving Stack

Leyline integreert in de serving stack (specifiek gedemonstreerd met SGLang) via drie stappen:

Radix Match: De ongewijzigde prefix ( $[0, s_{start})$ ) wordt zoals gebruikelijk gematcht tegen de radix cache.
Prefill: De vervangende tokens $R$ worden in nieuwe slots geprefilled.
Rotatie: De kernel past de $\delta$ -rotatie toe op de $K_{pe}$ band van alle downstream slots en indexeert deze opnieuw.

De interface is signaal-agnostisch: elk beleid dat een span-replacement tuple kan emitteren (bijv. een truncatie-regel, een detector voor verouderde tool-calls) kan de cache aansturen zonder dat de kernel de ratio achter de bewerking inspecteert.

3. Belangrijkste Bijdragen

Probleemonderscheid: Het papier maakt formeel onderscheid tussen hergebruik (positie-verschuivingen van identieke inhoud) en mutatie (beleidsgestuurde actieve bewerking), waarbij mutatie wordt geïdentificeerd als het openstaande subprobleem in agentic cache management.
Directive Abstractie: Een 4-tuple interface die beleid (wat te bewerken) ontkoppelt van mechanisme (hoe te splitsen), wat expliciete, in-place cache bewerking mogelijk maakt zonder re-prefill.
Semantische Edit Channel: Een nieuwe interface-grens voor post-agentic serving stacks, die boven block-level opslag zit om agent-bewerkingen te decomponeren naar block-level operaties terwijl de correctheid van de position encoding behouden blijft.
Twee-benig Validatie:
- Mechanisme-benig: Demonstreert dat de splice kernel de replay cache-hit rates verhoogt en latentie vermindert door de re-prefill kosten te vermijden.
- Beleid-benig: Demonstreert dat een simpel truncatie-beleid dat via deze interface wordt gerouteerd, de agentic solve rates verbetert door context-ruis te verminderen.

4. Resultaten

4.1 Mechanisme Prestaties (SGLang Microbenchmark)

Cache Hit Rate: De splice-arm verhoogde de replay cache-hit rate met +11,2 procentpunt (pp) ten opzichte van een standaard radix baseline over concurrencies $C \in \{1, 4, 8, 16\}$ .
Latentie: De end-to-end latentie werd met wel 241 ms verminderd (bij $C=8$ ) door de re-prefill kosten op het kritieke pad te besparen.
Correctheid: Het splice-pad behield 100% eerste-token argmax overeenstemming met het warm-prefix (full-context) pad, wat bevestigt dat de $\delta$ -rotatie de attention-wiskunde van de oorspronkelijke context behoudt.

4.2 Beleid Prestaties (Debug-Gym)

Taak: 8 debug-gym mini_nightmare taken met het JoyAI-LLM Flash model.
Beleid: Een 10-regelige truncatie-regel die tool-outputs verwijdert die ouder zijn dan $n=2$ beurten.
Resultaat: Het truncatie-beleid dat via Leyline werd gerouteerd, verbeterde de agentic solve rate van 31,2% (baseline, geen truncatie) naar 45,5% (+14,3 pp).
Analyse: De winst werd gedreven door taken met lange trajecten (bijv. shopping_cart, sum_tree). Door verouderde tool-turns te verwijderen, kon het model effectiever aandacht besteden aan de weinige beurten die er daadwerkelijk toe deden. Zonder Leyline zou het uitvoeren van dit beleid een volledige re-prefill hebben afgedwongen bij elke truncatie, wat de efficiëntiewinst teniet zou doen.

4.3 Correctheid Verificatie

Single-Prompt Microbenchmark: Geconstrueerde scenario's waar full-context en re-prefill paden moeten verschillen. Leyline kwam consequent overeen met de full-context voorspelling (het volgen van de invloed van de oorspronkelijke chunk) in plaats van de re-prefill voorspelling (die de invloed van de chunk verloor).
Cross-Architectuur: gevalideerd op vier MLA modellen (DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B).
Numerieke Stabiliteit: De $\delta$ -rotatie introduceert een kleine drift (begrensd door $\sim 4,7 \times 10^{-3}$ relatieve L2 in bf16), die sub-lineair accumuleert. De auteurs merken op dat het draaien van de rotatie in fp32 (terwijl de KV in bf16 wordt opgeslagen) deze drift effectief mitigeert.

5. Betekenis en Claims

Het papier claimt dat Leyline de ontbrekende interface biedt voor beleidsgestuurde cache bewerking in agentic systemen.

Verschuiving in Interface: Het verplaatst de interface-grens van de serving stack. Pre-agentic systemen exposeerden alleen de prompt; post-agentic systemen vereisen een cache-edit channel. Leyline definieert dit kanaal concreet.
Ontkoppeling: Het stelt beleid in staat om intentie te verklaren (bijv. "vergeet deze span" of "amortize deze bewerking") zonder dat het beleid de onderliggende kernel-mechanica (RoPE, MLA, radix trees) hoeft te begrijpen.
Programmeerbaar Geheugen: De auteurs betogen dat dit het beheer van de KV-cache transformeert van een reactief, systeem-zijdig gokspel (eviction) naar een coöperatief scheduling probleem waarbij de agent de context-het lot verklaart en de storage-laag dit uitvoert.
Scope: Het papier valideert het splice werkwoord. Het erkent dat de rotatie-kernel momenteel MLA-specifiek is, maar merkt op dat de directive abstractie architectuur-agnostisch is en dat extensies naar GQA/MHA haalbaar zijn via boundary recomputation passes.

Het papier concludeert dat hoewel het mechanisme (splice) de beleidsklasse mogelijk maakt zonder re-prefill kosten, de beleidsklasse zelf de deployment-niveau winst levert (hogere solve rates). De vocabulaire van de directive interface (inclusief toekomstige werkwoorden zoals PIN, DECAY, SCRATCH) vertegenwoordigt de agenda voor toekomstig agentic geheugenbeheer.