🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

Irminsul introduceert een native, positieonafhankelijk cachesysteem voor Agentic LLM's dat de architecturale structuur van Multi-Head Latent Attention benut om inhoudsadressering voor key-value caching mogelijk te maken, waardoor tot 83% prompt-tokenherstel en 63% energiebesparing tijdens het prefillen wordt bereikt door de cache-invalidatieproblemen die inherent zijn aan traditionele prefix-matching-aanpakken te overwinnen.

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Köstler

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bole Ma, Jan Eitzinger, Harald Köstler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer drukke, supersnelle bibliotheek runt waar een bibliothecaris (de AI) een enorme stapel documenten moet lezen om een vraag te beantwoorden. Om snel te zijn, houdt de bibliothecaris een "spiekbriefje" (een cache) bij van de meest recente pagina's die ze hebben gelezen, zodat ze ze niet elke keer opnieuw vanaf het begin hoeven te lezen.

Het Probleem: De "Waar" versus de "Wat"

Bij de oude manier van werken (genaamd Prefix Caching) was het spiekbriefje van de bibliothecaris strikt georganiseerd op locatie.

"Pagina 1 is de Systeemprompt."
"Pagina 2 is Document A."
"Pagina 3 is Document B."

Als de bibliothecaris een nieuwe vraag stelt en de volgorde verandert iets – zeg, "Pagina 1 is nog steeds de Systeemprompt, maar nu staat Document A op Pagina 5" – dan werkt het oude spiekbriefje niet meer. De bibliothecaris denkt: "Oh, Pagina 2 is anders, dus ik moet het hele spiekbriefje weggooien en alles opnieuw vanaf het begin lezen."

In de wereld van Agentic AI (AI die hulpmiddelen gebruikt, het web doorzoekt en met andere AI's praat), gebeurt dit voortdurend. De AI kan hetzelfde document ophalen, maar omdat het wordt ingevoegd in een ander deel van het gesprek, verandert de "locatie". Het oude systeem ziet dit als een gloednieuw, onleesbaar zooitje, waardoor de AI tijd en energie verspilt aan het opnieuw lezen van dingen die het al kent.

De Oplossing: Irminsul (De "Inhouds"-bibliothecaris)

Het paper introduceert een nieuw systeem genaamd Irminsul. In plaats van het spiekbriefje te organiseren op waar een pagina zit, organiseert Irminsul het op wat de pagina eigenlijk zegt.

Stel je het zo voor:

Oude manier: "Ik herinner me het boek alleen als het op de 3e plank staat."
Irminsul: "Ik herinner me het boek omdat het een exemplaar is van Harry Potter, ongeacht op welke plank het staat."

Irminsul breekt het gesprek op in stukken gebaseerd op de daadwerkelijke tekst (inhoud). Als de AI "Document A" opnieuw ziet, zelfs als het op een andere plek staat, zegt Irminsul: "Ik heb deze exacte tekst al eerder gezien! Ik kan mijn notities opnieuw gebruiken."

Het Geheime Ingrediënt: De "Positie"-aanpassing

Je zou kunnen vragen: "Als de tekst hetzelfde is, maar de positie anders, wordt de AI dan niet in de war?"

Ja, meestal wel. In AI maakt de "positie" van een woord veel uit (het is als weten of een woord aan het begin of einde van een zin staat).

Het Oude Probleem: Om de positie te corrigeren, moesten de oude systemen het hele spiekbriefje herschrijven voor elk enkel woord. Het was alsof je een heel boek herschrijft alleen om het paginanummer te veranderen. Dit was traag en duur.
De Irminsul-truc: Het paper richt zich op een specifiek type AI-architectuur genaamd MLA (Multi-Head Latent Attention). Deze architectuur is speciaal omdat het de "notities" splitst in twee delen:
1. De Inhoud (90%): De daadwerkelijke betekenis van de woorden. Dit deel is identiek, ongeacht de positie.
2. De Positie (10%): Een klein labeltje dat zegt "Ik ben hier".

Irminsul beseft dat het alleen dat kleine 10%-labeltje hoeft aan te passen. Het gebruikt een slimme wiskundige "draai" (genaamd een $\delta$ -rotatie) om het positielabeltje direct bij te werken zonder het hele boek opnieuw te schrijven. Het is alsof je een foto van een document maakt en het gewoon naar een nieuwe plek op het bureau schuift, in plaats van een nieuwe foto van de hele kamer te maken.

De Resultaten

Het paper testte dit uit op drie real-world AI-systemen (DeepSeek, Kimi en JoyAI) die fungeren als agenten.

Herstel: Bij complexe taken waarbij de AI documenten verplaatst, kon Irminsul ongeveer 77% tot 83% van het werk opnieuw gebruiken dat het oude systeem weggooide.
Energie: Omdat het de tekst niet opnieuw hoeft te lezen, bespaart het ongeveer 63% van de energie die nodig is om die herhalende delen te verwerken.
Nauwkeurigheid: De AI antwoordt net zo correct als voorheen; het raakt niet in de war door de nieuwe methode.

De "Eerste Pagina"-regel

Er is één klein nadeel. De allereerste paar woorden van elk gesprek fungeren als een "zwaartekrachtanker" voor de aandacht van de AI. Het paper ontdekte dat als je probeert een stukje opnieuw te gebruiken dat direct aan het begin van een gesprek begint, de AI in de war raakt.

De Oplossing: Irminsul leest gewoon het allereerste stukje tekst (de eerste 32 woorden) elke keer opnieuw, maar voor alles daarna gebruikt het de slimme "inhoudsgebaseerde" hergebruik. Deze kleine kostenprijs zorgt ervoor dat de rest van het systeem perfect werkt.

Samenvatting

Irminsul is een slimmere manier voor AI om dingen te onthouden. In plaats van te zeggen: "Ik herinner me dit omdat het in vak #5 zat", zegt het: "Ik herinner me dit omdat het hetzelfde verhaal is." Door te beseffen dat het "verhaal" (inhoud) belangrijker is dan het "vak" (positie), en door een speciale truc te gebruiken om het positielabeltje snel te corrigeren, maakt het AI-agenten sneller, goedkoper in gebruik en veel beter in het afhandelen van complexe, veranderende gesprekken.

Technische Samenvatting: Irminsul: MLA-Native Positie-Onafhankelijke Caching voor Agente LLM-Serving

1. Probleemstelling

Huidige productie-LLM-serving leunt zwaar op prefix-caching (bijv. SGLang's RadixAttention, vLLM's PagedAttention), waarbij Key-Value (KV)-toestanden worden gecached op basis van exacte token-sequentie-prefixen. Hoewel dit mechanisme effectief is voor standaard conversatie-omdraaiing, faalt het catastrofisch bij agente werklasten.

In agente systemen (bijv. tool-gebruik, retrieval-versterkte generatie, multi-agent orchestration) worden prompts dynamisch samengesteld uit statische systeem-instructies, opgehaalde documenten en tool-outputs. Zelfs als de inhoud van een document of toolschema identiek blijft over verschillende omdraaiingen, verschuift de positie ervan binnen de prompt door:

Dynamische invoeging van opgehaalde documenten.
Herschikking van tool-outputs.
Variabele lengte van systeem-prompts of metadata-koppen.

Omdat standaard prefix-caches byte-identieke uitlijning vereisen vanaf positie 0, maakt een enkele byte-verschuiving in de promptstructuur de volledige cache ongeldig voor downstream-tokens. Operators melden ernstige regressies, waaronder cache-hit-rates die dalen van 100% naar 35% en Time-To-First-Token (TTFT)-pieken van 10–16 seconden op onveranderde inhoud.

Eerdere Positie-Onafhankelijke Caching (PIC) systemen (bijv. CacheBlend, EPIC) proberen dit op te lossen voor Grouped-Query Attention (GQA)-architecturen door de volledige $d_K$ -dimensionale Key-tensor te corrigeren via inverse rotatie. Dit brengt echter aanzienlijke architecturale kosten met zich mee: de correctie moet worden toegepast op de volledige KV-rij per token, wat computatieduurzaam is en vaak de voordelen van caching tenietdoet.

2. Methodologie: De Irminsul-aanpak

Irminsul stelt een content-geadresseerd caching-systeem voor dat specifiek is ontworpen voor Multi-Head Latent Attention (MLA)-architecturen (gebruikt in DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Structureel Inzicht: MLA-Decompositie

De kern van Irminsul is de structurele decompositie van het KV-paar in MLA-modellen. In tegenstelling tot GQA, waar positie onlosmakelijk is samengevoegd in de volledige Key-tensor, factoriseert MLA de KV van elke token in:

$cKV$ (Content Latent): Een 512-dimensionale, positievrije latente vector. Dit component is verbatim herbruikbaar op elke absolute positie.
$k_r$ (Rotary Key): Een kleine, 64-dimensionale vector die de positionele informatie draagt (RoPE).

Irminsul maakt gebruik van het feit dat $cKV$ ongeveer 89% van de KV-rij uitmaakt en nul correctie vereist bij hergebruik. Alleen het $k_r$ -slice (~11%) vereist aanpassing, wat in gesloten vorm kan worden gecorrigeerd via een enkele $\delta$ -rotatie (waarbij $\delta$ de positieverschuiving is).

2.2 Systeemontwerp

Irminsul breidt de radix-cache van SGLang uit met de volgende mechanismen:

Content-Hash Keying met CDC: In plaats van vaste blokken te hashen, gebruikt Irminsul Content-Defined Chunking (CDC) gebaseerd op een rollende Gear-hash over 64-tokenvensters. Chunks worden uitgegeven wanneer de hash onder een drempelwaarde valt, zodat chunkgrenzen aligneren met inhoud in plaats van willekeurige byte-offsets. Elke chunk wordt gefingerprinted met xxHash64.
Registeropzoeking: De cache-register koppelt content-hashes aan opgeslagen $(cKV, k_r, base\_pos)$ .
$\delta$ -Rotatieregel: Bij een cache-hit berekent het systeem de positieverschuiving $\delta = p_{target} - p_{source}$ . Het haalt de opgeslagen $cKV$ op en past een rotatiematrix $R(\delta)$ toe op de opgeslagen $k_r$ om de correcte positionele sleutel voor de nieuwe locatie te genereren. Deze operatie is gefuseerd in de FlashMLA-kernel, met verwaarloosbare latentie.
Uitsnijding Eerste Chunk: Om het "attention sink"-fenomeen te hanteren (waar het model sterk let op het begin van de sequentie), vult Irminsul de eerste 32 tokens van elke chunk standaard in via standaard prefill als de chunk begint op absolute positie 0. Dit voorkomt de noodzaak van grensherberekening op volgende chunks, aangezien de sink sequentie-start-lokaal is, niet chunk-start-lokaal.
Hybride Strategieën (S1/S2):
- S2 (Voorkomen via Samenwerking): In gecontroleerde omgevingen voegt de prompt-assembly een 64-token grensmarker toe rond gedeelde regio's om deterministische CDC-grenzen af te dwingen.
- S1 (Detecteren en Herstellen): Voor ongecontroleerd verkeer subdivideert een fallback-mechanisme CDC-misses in vaste 128-tokenvensters om gedeeltelijk hergebruik te herstellen.

3. Belangrijkste Bijdragen

Irminsul Systeem: Het eerste MLA-native PIC-systeem. Het bereikt hoge-precisie $\delta$ -rotatie met een relatieve L2-fout van $4.7 \times 10^{-3}$ in bf16, wat een orde van grootte strakker is dan standaard FP8 KV-quantisatie.
Haalbaarheidsbewijs (ROC-analyse): Het artikel biedt een drempelvrije ROC-studie die aantoont dat het $cKV$-component van MLA hoogst positie-invariant is (AUC $\approx$ 0,77), terwijl ruwe K-vectoren in GQA/MHA positie-verstrengeld zijn (AUC < 0,5). Dit valideert dat content-geadresseerd hergebruik structureel sound is voor MLA, maar niet voor pure softmax-architecturen zonder correctie.
Energie-efficiëntiestudie: Een cross-architectuur analyse die aantoont dat terwijl softmax-gebaseerde attention (GQA, MLA, MHA) 63–86% van de prefill-energie per cache-hit bespaart, hybride SSM/lineaire architecturen (Mamba2, GDN, KDA) ongeveer 0% besparen omdat hun recurrente staat niet token-geïndexeerd is, waardoor "cache-hits" op de recurrente laag ongedefinieerd zijn.
Herstelmetrieken: Evaluatie op drie native MLA-MoE-deployments (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) toont aan dat Irminsul tot ~83% van de prompt-tokens herstelt boven exact-prefix matching op agente verkeer, vergeleken met bijna nul herstel voor standaard prefix-caches op verschoven inhoud.

4. Resultaten

Cache-herstel: Op agente verkeer met "vroege variatie" (bijv. verschoven agent-metadata-koppen) herstelt Irminsul 77,2% (DeepSeek-V2-Lite) en 82,7% (JoyAI-48B) van de tokens die anders opnieuw zouden worden berekend. Standaard prefix-caching vangt in deze scenario's slechts ~1,5% op.
Energiebesparing: Per cache-hit levert Irminsul 63% prefill-energiebesparing op MLA-modellen (vergeleken met 86% op GQA). Dit bevestigt dat het primaire voordeel van PIC wordt gerealiseerd in softmax-gebaseerde architecturen.
Output-consistentie: Over vier datasets (QA, GovReport, NIAH) en drie modellen heen komen Irminsul's greedy-trajecten overeen met of overtreffen naïef hergebruik. Op de "Needle In A Haystack" (NIAH)-taak met JoyAI-48B komt PIC exact overeen met de volledige prefill-recall (0,820) terwijl het de KL-divergentie met 22% verlaagt ten opzichte van naïef hergebruik.
Latentie: Het systeem opereert binnen productie-latentiebudgetten. De $\delta$ -rotatie is gefuseerd in het HBM-naar-SRAM laadpad, waardoor extra HBM-bandbreedtegebruik wordt vermeden.

5. Betekenis en Claims

Het artikel betoogt dat content-geadresseerde caching een eersteklas primitief moet zijn in de LLM-serving-stack, in plaats van een retrofit over prefix-matching.

Structureel versus Algorithmisch: Het artikel stelt dat het onvermogen van eerdere PIC-systemen om het probleem volledig op te lossen voor GQA een structurele beperking is (het samenvoegen van positie in de volledige Key-tensor), niet slechts een technisch tekortkoming. MLA's factorisatie van positie ( $k_r$ ) van inhoud ($cKV$) is de sleutel die efficiënte, laag-overhead PIC mogelijk maakt.
Agente Werklasten: Naarmate agente systemen dominant worden, vertegenwoordigt de "token-hercodering" van gedeelde context (documenten, schema's) een enorme inefficiëntie. Irminsul herformuleert deze redundantie niet als een rekenprobleem, maar als een geheugenprobleem, waardoor de serving-stack kan factureren voor geheugenhergebruik in plaats van herberekening.
Scope: De auteurs beperken hun veiligheidsclaims expliciet tot MLA-architecturen (specifiek de absorbed-matmul-vorm die in productie wordt gebruikt). Zij merken op dat hoewel GQA theoretisch PIC kan ondersteunen, de correctiekosten hoog zijn. Zij merken ook op dat hybride SSM-modellen (zoals Mamba2) geen baat hebben bij PIC vanwege hun recurrente staatsstructuur.
Toekomstig Werk: Het artikel erkent dat DeepSeek-V4's "Heavily Compressed Attention" (HCA) tokens aggregeert, wat de per-token-identiteit vereist voor Irminsul's chunking oplost. Het aanpassen van de chunking-primitief aan HCA's aggregatieschema wordt geïdentificeerd als de directe volgende stap.

Kortom, Irminsul demonstreert dat door gebruik te maken van de specifieke algebraïsche eigenschappen van MLA, het mogelijk is om inhoud te cachen ongeacht de positie ervan in de prompt, waardoor aanzienlijke reken- en energiekosten in agente LLM-serving worden teruggewonnen zonder de outputkwaliteit te compromitteren.