🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale ist ein GPU-natives Speichersystem, das das personalisierte LLM-Serving beschleunigt, indem es wiederverwendbare KV-Zustände vorberechnet und direkt in den vLLM-Cache injiziert, wodurch die Latenz bis zum ersten Token von der Größe des abgerufenen Kontextes entkoppelt wird, während gleichzeitig eine hohe Genauigkeit beibehalten wird.

Ursprüngliche Autoren: Peter Li, Prashant Pandey

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peter Li, Prashant Pandey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter Ihre gesamte Lebensgeschichte beizubringen, damit er Fragen über Sie beantworten kann. Jedes Mal, wenn Sie dem Roboter eine Frage stellen, müssen Sie seine gesamte Biografie in sein Gehirn einfügen, bevor er denken kann. Wenn Ihre Biografie kurz ist, denkt der Roboter schnell. Aber wenn Ihre Biografie lang ist – voller jahrelanger Erinnerungen, Insider-Witze und vergangener Abenteuer – muss der Roboter den gesamten Text jedes Mal neu lesen und verarbeiten, nur um eine einfache Frage wie „Was ist meine Lieblingsfarbe?“ zu beantworten. Dieser Leseprozess ist langsam und teuer, wie ein Bibliothekar, der jedes einzelne Buch im Regal neu einsortieren muss, bevor er Ihnen nur ein einziges Buch überreicht. Dies ist der aktuelle Stand der „personalisierten“ KI: Je mehr Erinnerungen Sie ihr geben, desto langsamer wird sie im Gespräch mit Ihnen.

Die Arbeit, die Sie gleich lesen werden, geht dieses Problem mit einem cleveren Trick aus der Welt der Informatik namens „Key-Value-Caching“ an. Stellen Sie sich das Gehirn des Roboters als ein riesiges Whiteboard vor, auf dem er die wichtigsten Teile dessen aufschreibt, was er bisher gelesen hat, damit er den Originaltext nicht jedes Mal neu lesen muss. Normalerweise müsste der Roboter das gesamte Whiteboard neu schreiben, wenn man die Reihenfolge der Bücher im Regal ändert. Aber was wäre, wenn der Roboter einfach die vorab geschriebenen Notizen aus einer Schublade greifen und sie sofort auf das Whiteboard kleben könnte, egal wohin man sie setzen möchte? Das ist der Kern dieser Forschung: Anstatt den Roboter jedes Mal deine Erinnerungen neu lesen zu lassen, berechnen wir die „Notizen“ für jede Erinnerung im Voraus und speichern sie auf der superschnellen internen Festplatte des Roboters. Wenn du dann eine Frage stellst, werfen wir diese Notizen direkt in das Gehirn des Roboters.

Das Problem: Die „Neu-Lesen“-Falle
Wenn Sie heute einen KI-Assistenten mit einer langen Gesprächshistorie nutzen, muss das System die relevantesten Erinnerungen finden und sie in Ihre neue Frage einfügen. Dies wird als „Prompt Injection“ bezeichnet. Stellen Sie sich vor, Sie fragen einen Freund um Rat, aber jedes Mal, wenn Sie sprechen, müssen Sie die letzten 50 Seiten Ihres Tagebuchs laut vorlesen, bevor Sie Ihre eigentliche Frage stellen können. Je mehr Seiten Sie lesen, desto länger dauert es, bis Sie den Rat erhalten. Selbst wenn Sie dieselbe Frage zehnmal stellen, muss der Freund diese 50 Seiten zehnmal lesen. Das macht die KI träge, besonders wenn Ihr persönliches Gedächtnis wächst.

Die Lösung: InferScale
Die Forscher Peter Li und Prashant Pandey haben ein neues System namens InferScale entwickelt. Anstatt die KI die Erinnerungen neu lesen zu lassen, erledigt InferScale die schwere Arbeit einmalig, noch bevor Sie überhaupt mit dem Gespräch beginnen. Es nimmt jede einzelne Erinnerung (wie „Ich liebe Pizza“ oder „Mein Hund heißt Rex“) und berechnet deren „Gehirn-Notizen“ (genannt KV-States) im Voraus. Diese Notien werden direkt auf der Grafikkarte (der GPU) gespeichert, die das superschnelle Gehirn des Computers ist.

Wenn Sie eine Frage stellen, sendet das System nicht den Text Ihrer Erinnerungen an die KI. Stattdessen findet es die richtigen „Gehirn-Notizen“ auf der GPU und injiziert sie direkt in das Arbeitsgedächtnis der KI. Es ist wie eine Bibliothek, in der der Bibliothekar Ihnen, anstatt die Bücher zu überreichen, die exakten Absätze, die Sie benötigen, sofort auf Ihren Schreibtisch klebt. Die KI muss den Originaltext nie wieder lesen; sie nutzt einfach die Notizen.

Die magischen Tricks
Um dies zu ermöglichen, mussten die Team zwei knifflige Rätsel lösen:

Das „Bewegliche Ziel“-Problem (Chunked RoPE):
Normalerweise sind diese „Gehirn-Notizen“ an eine bestimmte Stelle im Text gebunden. Wenn man eine Erinnerung vom Anfang einer Geschichte in die Mitte verschiebt, werden die Notizen falsch. Die Forscher erfanden eine Technik namens Chunked Rope. Stellen Sie sich vor, die Notizen seien auf einer speziellen Art von Papier geschrieben, das man drehen kann. Egal, an welche Stelle man das Papier auf den Tisch legt, man kann es so drehen, dass es perfekt zur neuen Position passt. Dies ermöglicht es dem System, eine gespeicherte Erinnerung an jeder beliebigen Stelle in Ihrem Gespräch einzufügen, ohne dass die Mathematik dahinter fehlerhaft wird.
Das „Kontext“-Problem (Context-Window Encoding):
Wenn man nur einen einzelnen Satz wie „Er ging zum Laden“ speichert, weiß die KI vielleicht nicht, wer „Er“ ist. Wenn man die Erinnerung isoliert speichert, geht der Kontext verloren. Um dies zu beheben, speichert das System die Erinnerung zusammen mit einem kleinen Fenster der Sätze, die davor kamen (wie „John ging zum Laden“). Es speichert jedoch nur die „Gehirn-Notizen“ für den spezifischen Erinnerungsteil, nicht das ganze Fenster. Auf diese Weise versteht die KI den Kontext („Er“ ist John), ohne den ganzen Absatz jedes Mal neu lesen zu müssen.

Was sie herausgefunden haben
Die Ergebnisse sind beeindruckend. Die Forscher testeten dies an drei verschiedenen KI-Modellen (Llama-3.1-8B, Mistral-7B und Qwen2.5-7B) unter Verwendung eines Datensatzes langer Gespräche.

Geschwindigkeit: Auf dem alten Weg (Mem0) sprang die Zeit, bis die KI zu sprechen begann (Time-to-First-Token), wenn man die Anzahl der abgerufenen Erinnerungen von 5 auf 50 erhöhte, um 106 % (von 33,2 ms auf 68,3 ms). Mit InferScale verursachte dieselbe Erhöhung nur eine Verlangsamung von 4 % (von 16,6 ms auf 17,3 ms).
Durchsatz: Wenn 100 Personen das System gleichzeitig nutzten, bewältigte InferScale 3,7 bis 4,5 Mal mehr Fragen pro Sekunde als das alte System.
Genauigkeit: Da das System Erinnerungen manchmal separat speichert, bestand das Risiko, dass die KI verwirrt wird. Durch die Verwendung des „Context-Window“-Tricks konnten sie jedoch fast die gesamte Genauigkeit wiederherstellen. Bei der höchsten Speicherlast lieferte InferScale 60,3 % der richtigen Antworten, was sehr nah an den 63,3 % des alten Systems liegt, aber viel schneller ist.

Warum es wichtig ist
Diese Arbeit beweist, dass man sich nicht zwischen einer klugen, gedächtnisreichen KI und einer schnellen KI entscheiden muss. Indem sie die Speicherung des Gedächtnisses auf die GPU verlagern und die „Gehirn-Notizen“ direkt injizieren, haben sie die Geschwindigkeit der KI von der Größe ihres Gedächtnisses entkoppelt. Das System erfordert weder ein erneutes Training der KI-Modelle noch Änderungen am zugrunde liegenden Engine-System, was es zu einem praktischen Upgrade für die Zukunft personalisierter KI-Assistenten macht. Selbst wenn die Speicherdaten zu groß sind, um in die schnelle GPU zu passen, zeigten sie, dass das Auslagern in den regulären Computerspeicher das System immer noch signifikant schneller macht als die derzeitigen Methoden.

Technisches Resümee: InferScale

Problemstellung

Anwendungen auf Basis von Large Language Models (LLMs) verlassen sich zunehmend auf persistente, personalisierte Kontexte (z. B. akkumulierte Nutzererinnerungen oder lange Gesprächshistorien), die über mehrere Anfragen hinweg geteilt werden. Aktuelle Produktions-Speichersysteme (z. B. Mem0, MemGPT, Zep) adressieren die quadratischen Prefill-Kosten langer Kontexte, indem sie eine relevante Teilmenge von Speicherfakten ( $k$ ) abrufen und diese als Text in den Prompt injizieren.

Dieser „Prompt-Injection“-Ansatz verursacht jedoch erhebliche Serving-Kosten: Jeder abgerufene Fakt muss bei jeder Anfrage erneut als Prefill verarbeitet werden. Infolgedessen steigt die Time-to-First-Token (TTFT) linear oder quadratisch mit dem Retrieval-Budget ( $k$ ), selbst wenn der zugrunde liegende Speicher über die Anfragen hinweg identisch ist. Bestehende KV-Reuse-Techniken wie Prefix Caching scheitern hierbei, da sie davon ausgehen, dass die wiederverwendeten Token feste Positionen einnehmen, während Speichersysteme für jede Anfrage unterschiedliche Teilmengen von Fakten dynamisch zusammenstellen, was diese Annahme verletzt.

Methodik

InferScale schlägt eine GPU-native Retrieve-and-Inject-Architektur vor, die das wiederholte Prompt-Prefilling durch direkte KV-Injektion ersetzt. Anstatt die abgerufenen Texte zur erneuten Berechnung an die GPU zu senden, berechnet InferScale die Key-Value-Repräsentationen (KV) der Speicherfakten vorab und injiziert sie direkt in den Attention-Cache.

Das System wird als Plugin für die vLLM-Serving-Engine über deren KV-Connector-Interface implementiert, wobei weder ein Modell-Fine-Tuning noch Modifikationen an der Engine erforderlich sind. Die Architektur besteht aus zwei Phasen:

1. Offline-Phase: Context-Window Encoding

Um den Verlust des Kontextes zwischen den Fakten beim unabhängigen Kodieren von Fakten zu adressen, verwendet InferScale Context-Window Encoding.

Prozess: Jeder Speicherfakt wird zusammen mit einem konfigurierbaren Fenster ( $w$ ) vorangegangener Konversationsschritte kodiert.
Optimierung: Nur die KV-Tensoren, die dem Ziel-Fakt entsprechen, werden beibehalten; die Kontext-Token werden verworfen.
Ergebnis: Die gespeicherte KV-Repräsentation erfasst den notwendigen disambigulierenden Kontext (z. B. die Auflösung von Pronomen), ohne dass die Kontext-Token zur Serving-Zeit erneut als Prefill verarbeitet werden müssen.

2. Online-Phase: Chunked RoPE und KV-Injektion

Um die Wiederverwendung von KV-Zuständen an beliebigen Prompt-Positionen zu ermöglichen (da abgerufene Fakten dynamisch zusammengestellt werden), führt InferScale Chunked RoPE ein.

Pre-RoPE Storage: Während der Offline-Kodierung werden die Keys vor der Anwendung von Rotary Position Embeddings (RoPE) abgefangen. Diese vor-rotierten Keys und die Rohwerte (Values) werden auf der GPU gespeichert.
Dynamische Rotation: Zur Serving-Zeit werden die abgerufenen Fakten zu einem zusammenhängenden Segment zusammengesetzt. Das System wendet die entsprechende RoPE-Rotation auf die vor gespeicherten Keys basierend auf deren neuen Positionen zur Serving-Zeit an.
Theoretische Garantie: Die Arbeit beweist (Theorem 6), dass diese Re-Rotation unter RoPE mathematisch exakt ist, wodurch sichergestellt wird, dass die Attention-Scores identisch mit denen sind, die produziert würden, wenn die Fakten an diesen Positionen als Prefill verarbeitet worden wären.
Injektion: Die zusammengesetzten KV-Tensoren werden per Scatter-Copy direkt in den Paged-KV-Cache von vLLM kopiert. Das Modell führt dann nur das Prefilling der Query-Token durch und „achtet“ (attends) auf den injizierten Speicher, als wäre dieser berechnet worden.

Zentrale Beiträge

Retrieve-and-Inject Inference: Die Autoren zeigen, dass abgerufene Speicher nicht erneut als Prefill verarbeitet werden müssen. Sie beweisen (Theorem 3), dass die Injektion vorberechneter KV-Zustände direkt in den Attention-Cache exakt äquivalent zur Prompt-Injektion für Causal-Decoder-Transformer ist, sofern der Speicher an den beabsichtigten Positionen injiziert wird.
Chunked RoPE: Ein neuartiger Mechanismus für positionsunabhängige KV-Wiederverwendung. Durch das Speichern der Keys vor der Rotationskodierung und die erneute Rotation zum Zeitpunkt der Injektion ermöglicht das System, dass Fakte einmal kodiert und dann an beliebigen Positionen injiziert werden können, ohne dass eine Approximation erfolgt (Theorem lautet: Theorem 6).
Context-Window Encoding: Eine Technik, um die durch die unabhängige Fakt-Kodierung verlorene Genauigkeit wiederherzustellen. Durch die Kodierung der Fakten mit einem Fenster vorangegangener Kontexte während der Offline-Phase bewahrt das System die Interaktionen zwischen den Fakten, ohne die Rechenkosten zur Serving-Zeit zu erhöhen.
GPU-Native Systemdesign: InferScale integriert GPU-residenten semantischen Retrieval (unter Verwendung des Jasper-Index) mit wiederverwendbarem KV-Storage. Dies hält sowohl den Retrieval-Index als auch den KV-Store auf der GPU, wodurch der PCIe-Transfer von abgerufenem Text und das wiederholte Prefilling entfallen.

Ergebnisse

Evaluierung auf dem LoCoMo-Benchmark über drei Open-Weight-Modelle (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) im Vergleich zum State-of-the-Art-System Mem0:

Latenz (TTFT): InferScale entkoppelt die Serving-Latenz vom Retrieval-Budget. Während $k$ von 5 auf 50 steigt, bleibt die TTFT von InferScale nahezu konstant (Steigerung nur ca. 4 % für Llama-3.1-8B), wohingegen die TTFT von Mem0 um 106 % steigt. Bei $k=50$ erreicht InferScale eine 3,6–4,8-mal höhere Geschwindigkeit in der TTFT im Vergleich zu Mem0.
Durchsatz: Unter gleichzeitiger Last (bis zu 100 Nutzer) zeigt InferScale eine nahezu lineare Skalierung und erreicht einen 3,7–4,5-mal höheren Durchsatz als Mem0. Mem0 stagniert frühzeitig aufgrund des computationalen Bottlenecks durch wiederholtes Prefilling.
Genauigkeit: Unabhängiges Kodieren ( $w=0$ ) verschlechtert die Genauigkeit zunächst. Mit Context-Window Encoding ( $w \ge 20$ ) stellt InferScale jedoch fast die gesamte verlorene Genauigkeit wieder her und erreicht 60,3 % auf Llama-3.1-8B bei $k=50$ im Vergleich zu 63,3 % bei Mem0. Die Genauigkeitslücke beschränkt sich primär auf Multi-Hop-Reasoning-Aufgaben, die komplexe Cross-Fact-Attention erfordern.
Skalierbarkeit: Das System skaliert auf größere Modelle (Qwen3-14B) mit ähnlichen Latenzvorteilen. Der KV-Store kann in den Host-DRAM ausgelagert werden, um die Kapazitätsgrenzen des GPU-Speichers zu überwinden, wobei lediglich ~3 ms zur TTFT hinzugefügt werden, während ein 2,3-facher Vorteil in der End-to-End-Latenz gegenüber Mem0 beibehalten wird.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass InferScale das Serving-Primitiv für personalisierte LLMs grundlegend verändert. Durch den Übergang von der Token-Layer-Injektion zur Attention-Layer-Injektion eliminiert es die quadratischen Prefill-Kosten, die mit abgerufenem Kontext verbunden sind.

Die Autoren betonen:

Exaktheit: Der KV-Injektionsmechanismus (mit Chunked RoPE) ist keine Approximation, sondern eine exakte Äquivalenz zur Prompt-Injektion für die Query-Positionen.
Null Overhead: Das System erfordert kein Modell-Fine-Tuning, keine Änderungen an der Engine und keine Änderungen an bestehenden Retrieval-Pipelines.
Entkopplung: Es entkoppelt erfolgreich die Speicher-konditionierte Serving-Latenz von der Größe des abgerufenen Kontexts, was ein hochperformantes, latenzarmes personalisiertes Serving selbst bei großen Retrieval-Budgets ermöglicht.

Die Arbeit unterscheidet sich von aktuellen Produktions-Speichersystemen (die weiterhin Prefill-Kosten tragen) und bestehenden KV-Reuse-Techniken (die auf festen Prompt-Layouts basieren). Sie positioniert die Attention-Layer-Injektion als Standard-Primitiv für die Konditionierung von LLMs auf statische oder semi-statische Kontexte.