🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

Irminsul führt ein natives, positionsunabhängiges Caching-System für Agentic LLMs ein, das die architektonische Struktur der Multi-Head Latent Attention nutzt, um inhaltsadressiertes Key-Value-Caching zu ermöglichen, und durch die Überwindung der bei traditionellen Prefix-Matching-Ansätzen inhärenten Cache-Invalidierungsprobleme eine Wiederherstellung von bis zu 83 % der Prompt-Token sowie eine Energieeinsparung von 63 % beim Prefill erzielt.

Ursprüngliche Autoren: Bole Ma, Jan Eitzinger, Harald Köstler

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bole Ma, Jan Eitzinger, Harald Köstler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen eine sehr belebte, hochgeschwindigkeitsfähige Bibliothek, in der eine Bibliothekarin (die KI) einen massiven Stapel von Dokumenten lesen muss, um eine Frage zu beantworten. Um schnell zu sein, führt die Bibliothekarin ein „Spickzettel" (einen Cache) der zuletzt gelesenen Seiten, damit sie diese nicht jedes Mal von vorne lesen muss.

Das Problem: Das „Wo" versus das „Was"

Bei der alten Methode (genannt Prefix Caching) war der Spickzettel der Bibliothekarin strikt nach Ort organisiert.

„Seite 1 ist der System-Prompt."
„Seite 2 ist Dokument A."
„Seite 3 ist Dokument B."

Wenn die Bibliothekarin eine neue Frage stellt und sich die Reihenfolge leicht ändert – sagen wir, „Seite 1 ist immer noch der System-Prompt, aber jetzt befindet sich Dokument A auf Seite 5" –, dann funktioniert der alte Spickzettel nicht mehr. Die Bibliothekarin denkt: „Oh, Seite 2 ist anders, also muss ich den gesamten Spickzettel verwerfen und alles von vorne lesen."

In der Welt des Agentic AI (KI, die Werkzeuge nutzt, im Web sucht und mit anderen KIs spricht) geschieht dies ständig. Die KI könnte dasselbe Dokument heranziehen, aber da sie es in einen anderen Teil des Gesprächs einfügt, ändert sich der „Ort". Das alte System sieht dies als brandneues, unlesbares Durcheinander und zwingt die KI, Zeit und Energie zu verschwenden, um Dinge erneut zu lesen, die sie bereits kennt.

Die Lösung: Irminsul (die „Inhalts"-Bibliothekarin)

Die Arbeit stellt ein neues System namens Irminsul vor. Anstatt den Spickzettel danach zu organisieren, wo eine Seite sitzt, organisiert Irminsul ihn nach dem, was die Seite tatsächlich sagt.

Stellen Sie es sich so vor:

Alte Methode: „Ich erinnere mich nur an das Buch, wenn es im 3. Regal steht."
Irminsul: „Ich erinnere mich an das Buch, weil es eine Kopie von Harry Potter ist, egal in welchem Regal es steht."

Irminsul unterteilt das Gespräch in Abschnitte basierend auf dem tatsächlichen Text (Inhalt). Wenn die KI „Dokument A" erneut sieht, selbst wenn es an einer anderen Stelle ist, sagt Irminsul: „Ich habe diesen exakten Text schon einmal gesehen! Ich kann meine Notizen wiederverwenden."

Das Geheimnis: Die „Positions"-Anpassung

Sie könnten fragen: „Wenn der Text derselbe ist, aber die Position anders, wird die KI dann nicht verwirrt?"

Ja, normalerweise. In der KI ist die „Position" eines Wortes sehr wichtig (es ist wie zu wissen, ob ein Wort am Anfang oder Ende eines Satzes steht).

Das alte Problem: Um die Position zu korrigieren, mussten die alten Systeme den gesamten Spickzettel für jedes einzelne Wort neu schreiben. Es war, als würde man ein ganzes Buch umschreiben, nur um die Seitenzahl zu ändern. Das war langsam und teuer.
Der Irminsul-Trick: Die Arbeit konzentriert sich auf eine bestimmte Art von KI-Architektur namens MLA (Multi-Head Latent Attention). Diese Architektur ist besonders, weil sie die „Notizen" in zwei Teile aufteilt:
1. Der Inhalt (90 %): Die eigentliche Bedeutung der Wörter. Dieser Teil ist unabhängig von der Position identisch.
2. Die Position (10 %): Ein winziges Etikett, das sagt: „Ich bin hier."

Irminsul erkennt, dass es nur dieses winzige 10 %-Etikett anpassen muss. Es verwendet einen cleveren mathematischen „Dreh" (genannt $\delta$ -Rotation), um das Positionsetikett sofort zu aktualisieren, ohne das ganze Buch neu zu schreiben. Es ist, als würde man ein Foto eines Dokuments machen und es einfach an eine neue Stelle auf dem Schreibtisch schieben, anstatt ein neues Foto des ganzen Raums zu machen.

Die Ergebnisse

Die Arbeit testete dies an drei realen KI-Systemen (DeepSeek, Kimi und JoyAI), die wie Agenten agieren.

Wiedergewinnung: Bei komplexen Aufgaben, bei denen die KI Dokumente verschiebt, konnte Irminsul etwa 77 % bis 83 % der Arbeit wiederverwenden, die das alte System verworfen hatte.
Energie: Da es den Text nicht erneut lesen muss, spart es etwa 63 % der Energie, die für die Verarbeitung dieser wiederholten Teile benötigt wird.
Genauigkeit: Die KI antwortet genauso korrekt wie zuvor; sie wird durch die neue Methode nicht verwirrt.

Die „Erste Seite"-Regel

Es gibt einen kleinen Haken. Die allerersten Wörter eines Gesprächs wirken wie ein „Schwerkraftanker" für die Aufmerksamkeit der KI. Die Arbeit fand heraus, dass die KI verwirrt wird, wenn man versucht, einen Abschnitt wiederverwendet, der genau am Anfang eines Gesprächs beginnt.

Die Lösung: Irminsul liest einfach den allerersten Textabschnitt (die ersten 32 Wörter) jedes Mal neu, aber für alles danach verwendet es die intelligente „inhaltsbasierte" Wiederverwendung. Diese winzige Kostenstelle stellt sicher, dass der Rest des Systems perfekt funktioniert.

Zusammenfassung

Irminsul ist eine intelligentere Art für KI, sich Dinge zu merken. Anstatt zu sagen: „Ich erinnere mich daran, weil es im Slot #5 war", sagt es: „Ich erinnere mich daran, weil es dieselbe Geschichte ist." Indem es erkennt, dass die „Geschichte" (Inhalt) wichtiger ist als der „Slot" (Position), und indem es einen speziellen Trick verwendet, um das Positionsetikett schnell zu korrigieren, macht es KI-Agenten schneller, kostengünstiger im Betrieb und viel besser darin, komplexe, sich wandelnde Gespräche zu bewältigen.

Technische Zusammenfassung: Irminsul: MLA-native positionsunabhängige Caching für agentic LLM Serving

1. Problemstellung

Der aktuelle produktive LLM Serving stützt sich stark auf Prefix-Caching (z. B. SGLangs RadixAttention, vLLMs PagedAttention), das Key-Value (KV)-Zustände basierend auf exakten Token-Sequenz-Präfixen zwischenspeichert. Obwohl dieser Mechanismus für standardmäßige konversationelle Turn-taking effektiv ist, versagt er katastrophal bei agentic Workloads.

In agentic Systemen (z. B. Tool-Nutzung, retrieval-augmentierte Generierung, Multi-Agenten-Orchestrierung) werden Prompts dynamisch aus statischen Systemanweisungen, abgerufenen Dokumenten und Tool-Ausgaben zusammengesetzt. Selbst wenn der Inhalt eines Dokuments oder eines Tool-Schemas über mehrere Turns hinweg identisch bleibt, verschiebt sich seine Position innerhalb des Prompts aufgrund von:

Dynamischer Einfügung abgerufener Dokumente.
Neuordnung von Tool-Ausgaben.
Variablen Längen von System-Prompts oder Metadaten-Headern.

Da Standard-Präfix-Caches eine bytegenaue Ausrichtung ab Position 0 erfordern, macht ein einzelnes Byte-Shift in der Prompt-Struktur den gesamten Cache für nachfolgende Token ungültig. Betreiber berichten von schweren Regressionen, darunter Cache-Trefferquoten, die von 100 % auf 35 % sinken, und Time-To-First-Token (TTFT)-Spitzen von 10–16 Sekunden bei unverändertem Inhalt.

Bisherige Positionsunabhängige Caching (PIC)-Systeme (z. B. CacheBlend, EPIC) versuchen, dies für Grouped-Query Attention (GQA)-Architekturen zu lösen, indem sie den vollen $d_K$ -dimensionalen Key-Tensor durch inverse Rotation korrigieren. Dies verursacht jedoch erhebliche architektonische Kosten: Die Korrektur muss für jede KV-Zeile pro Token angewendet werden, was rechnerisch teuer ist und die Vorteile des Cachings oft zunichtemacht.

2. Methodik: Der Irminsul-Ansatz

Irminsul schlägt ein inhaltsadressiertes Caching-System vor, das speziell für Multi-Head Latent Attention (MLA)-Architekturen entwickelt wurde (verwendet in DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Strukturelle Erkenntnis: MLA-Zerlegung

Der zentrale Enabler für Irminsul ist die strukturelle Zerlegung des KV-Paares in MLA-Modellen. Im Gegensatz zu GQA, bei dem die Position untrennbar in den vollen Key-Tensor fusioniert ist, faktorisiert MLA das KV jedes Tokens in:

$cKV$ (Content Latent): Ein 512-dimensionaler, positionsfreier latenter Vektor. Diese Komponente ist an jeder absoluten Position wortwörtlich wiederverwendbar.
$k_r$ (Rotary Key): Ein kleiner, 64-dimensionaler Vektor, der die Positionsinformation (RoPE) trägt.

Irminsul nutzt die Tatsache aus, dass $cKV$ etwa 89 % der KV-Zeile ausmacht und bei der Wiederverwendung keine Korrektur erfordert. Nur der $k_r$ -Slice (~11 %) benötigt eine Anpassung, die in geschlossener Form durch eine einzelne $\delta$ -Rotation korrigiert werden kann (wobei $\delta$ die Positionsverschiebung ist).

2.2 Systemdesign

Irminsul erweitert SGLangs Radix-Cache um folgende Mechanismen:

Inhalts-Hash-Schlüsselung mit CDC: Anstatt feste Blöcke zu hashen, verwendet Irminsul Content-Defined Chunking (CDC) basierend auf einem Rolling-Gear-Hash über 64-Token-Fenster. Blöcke werden ausgegeben, wenn der Hash unter einen Schwellenwert fällt, wodurch sichergestellt wird, dass Blockgrenzen mit dem Inhalt und nicht mit willkürlichen Byte-Offsets übereinstimmen. Jeder Block wird mit xxHash64 gefingerprinted.
Registrierungsabfrage: Das Cache-Registrierungssystem bildet Inhalts-Hashes auf gespeicherte $(cKV, k_r, base\_pos)$ -Tupel ab.
$\delta$ -Rotationsregel: Bei einem Cache-Treffer berechnet das System die Positionsverschiebung $\delta = p_{target} - p_{source}$ . Es ruft das gespeicherte $cKV$ ab und wendet eine Rotationsmatrix $R(\delta)$ auf den gespeicherten $k_r$ an, um den korrekten Positionsschlüssel für die neue Position zu generieren. Diese Operation wird in den FlashMLA-Kernel fusioniert und verursacht eine vernachlässigbare Latenz.
Ausschneiden des ersten Blocks: Um das Phänomen des „Attention Sink" zu behandeln (bei dem das Modell stark auf den Sequenzbeginn achtet), füllt Irminsul die ersten 32 Token eines jeden Blocks bei absoluter Position 0 durch Standard-Prefill vor. Dies vermeidet die Notwendigkeit einer Neuberechnung von Grenzen bei nachfolgenden Blöcken, da der Sink sequenzstart-lokal und nicht blockstart-lokal ist.
Hybride Strategien (S1/S2):
- S2 (Verhinderung durch Kooperation): In kontrollierten Umgebungen fügt der Prompt-Assembler ein 64-Token-Grenzmarkierung um gemeinsame Bereiche ein, um deterministische CDC-Grenzen zu erzwingen.
- S1 (Erkennung und Wiederherstellung): Für unkontrollierten Verkehr unterteilt ein Fallback-Mechanismus CDC-Fehlschläge in feste 128-Token-Fenster, um eine teilweise Wiederverwendung wiederherzustellen.

3. Hauptbeiträge

Irminsul-System: Das erste MLA-native PIC-System. Es erreicht eine hochpräzise $\delta$ -Rotation mit einem relativen L2-Fehler von $4.7 \times 10^{-3}$ in bf16, was eine Größenordnung enger ist als die Standard-FP8-KV-Quantisierung.
Machbarkeitsnachweis (ROC-Analyse): Die Arbeit liefert eine schwellenwertfreie ROC-Studie, die zeigt, dass die $cKV$-Komponente von MLA hochgradig positionsinvariant ist (AUC $\approx$ 0,77), während rohe K-Vektoren in GQA/MHA positionsverflochten sind (AUC < 0,5). Dies validiert, dass inhaltsadressierte Wiederverwendung strukturell für MLA tragfähig ist, aber nicht für reine Softmax-Architekturen ohne Korrektur.
Energieeffizienz-Studie: Eine architekturübergreifende Analyse zeigt, dass zwar softmax-basierte Attention (GQA, MLA, MHA) pro Cache-Treffer 63–86 % der Prefill-Energie spart, hybride SSM/lineare Architekturen (Mamba2, GDN, KDA) jedoch ~0 % sparen, da ihr rekurrenter Zustand nicht token-indiziert ist und „Cache-Treffer" auf der rekurrenten Schicht undefiniert sind.
Wiederherstellungs-Metriken: Evaluation auf drei nativen MLA-MoE-Bereitstellungen (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) zeigt, dass Irminsul bis zu ~83 % der Prompt-Token über exaktes Präfix-Matching hinaus bei agentic Traffic wiederherstellt, im Vergleich zu einer nahezu null Wiederherstellung für Standard-Präfix-Caches bei verschobenem Inhalt.

4. Ergebnisse

Cache-Wiederherstellung: Bei agentic Traffic mit „früher Variation" (z. B. verschobene Agent-Metadaten-Header) stellt Irminsul 77,2 % (DeepSeek-V2-Lite) bzw. 82,7 % (JoyAI-48B) der Token wieder her, die sonst neu berechnet werden müssten. Standard-Präfix-Caching erfasst in diesen Szenarien nur ~1,5 %.
Energieeinsparungen: Pro Cache-Treffer liefert Irminsul 63 % Prefill-Energieeinsparungen bei MLA-Modellen (im Vergleich zu 86 % bei GQA). Dies bestätigt, dass der Hauptvorteil von PIC in softmax-basierten Architekturen realisiert wird.
Ausgangskonsistenz: Über vier Datensätze (QA, GovReport, NIAH) und drei Modelle hinweg stimmen die gierigen Trajektorien von Irminsul mit naiver Wiederverwendung überein oder übertreffen diese. Bei der „Needle In A Haystack" (NIAH)-Aufgabe mit JoyAI-48B stimmt die PIC-Wiedererkennung exakt mit der vollen Prefill-Wiedererkennung überein (0,820), während die KL-Divergenz im Vergleich zur naiven Wiederverwendung um 22 % reduziert wird.
Latenz: Das System arbeitet innerhalb der Produktions-Latenzbudgets. Die $\delta$ -Rotation ist in den HBM-zu-SRAM-Ladepfad fusioniert und vermeidet zusätzliche HBM-Bandbreitennutzung.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass inhaltsadressiertes Caching eine Primitive erster Klasse im LLM-Serving-Stack sein sollte, anstatt ein Nachrüstwerkzeug über das Präfix-Matching.

Strukturell vs. Algorithmisch: Die Arbeit vertritt die These, dass die Unfähigkeit früher PIC-Systeme, das Problem für GQA vollständig zu lösen, eine strukturelle Begrenzung (Fusionierung von Position in den vollen Key-Tensor) und nicht nur ein technisches Defizit ist. Die Faktorisierung der Position ( $k_r$ ) vom Inhalt ($cKV$) durch MLA ist der Schlüssel, der effizientes, niedrig-overhead PIC ermöglicht.
Agentic Workloads: Da agentic Systeme dominanter werden, stellt die „Token-Neu-Kodierung" geteilter Kontexte (Dokumente, Schemata) eine massive Ineffizienz dar. Irminsul rahmt diese Redundanz nicht als Rechenproblem, sondern als Speicherproblem neu, was dem Serving-Stack ermöglicht, für Speicherwiederverwendung statt für Neuberechnung abzurechnen.
Umfang: Die Autoren beschränken ihre Sicherheitsbehauptungen explizit auf MLA-Architekturen (speziell die in der Produktion verwendete absorbed-matmul-Form). Sie weisen darauf hin, dass GQA theoretisch PIC unterstützen kann, die Korrekturkosten jedoch hoch sind. Sie stellen zudem fest, dass hybride SSM-Modelle (wie Mamba2) aufgrund ihrer rekurrenten Zustandsstruktur keinen Vorteil aus PIC ziehen.
Zukünftige Arbeit: Die Arbeit erkennt an, dass DeepSeek-V4s „Heavily Compressed Attention" (HCA) Token aggregiert, was die pro-Token-Identität auflöst, die für Irminsuls Chunking erforderlich ist. Die Anpassung der Chunking-Primitive an den Aggregationszeitplan von HCA wird als unmittelbarer nächster Schritt identifiziert.

Zusammenfassend zeigt Irminsul, dass durch die Nutzung der spezifischen algebraischen Eigenschaften von MLA Inhalte unabhängig von ihrer Position im Prompt zwischengespeichert werden können, wodurch erhebliche Rechen- und Energiekosten im agentic LLM Serving ohne Kompromisse bei der Ausgabequalität wiederhergestellt werden.