🤖 machine learning

RetroInfer: A Vector Storage Engine for Scalable Long-Context LLM Inference

RetroInfer is een nieuwe vector-opslagengine die de doorvoersnelheid van LLM-inferentie bij zeer lange contexten aanzienlijk verhoogt door een slimme indexeringstechniek en efficiënt geheugenbeheer te gebruiken om alleen de meest relevante KV-cache-tokens op te halen.

Oorspronkelijke auteurs: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yaoqi Chen, Jinkai Zhang, Baotong Lu, Qianxi Zhang, Chengruidong Zhang, Jing Liu, Jingjia Luo, Di Liu, Huiqiang Jiang, Qi Chen, Bailu Ding, Xiao Yan, Jiawei Jiang, Chen Chen, Mingxing Zhang, Cheng Li, Yuqing Yang, Fan Yang, Mao Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent in een gigantische, eindeloze bibliotheek (de LLM of het AI-model). Elke keer als iemand je een vraag stelt, moet je niet alleen antwoorden, maar ook alle boeken die je tot nu toe hebt gelezen onthouden om het contextuele verband te begrijpen.

Naarmate de gesprekken langer worden (de long-context), wordt je geheugen (de GPU-geheugen) steeds voller. Het is alsof je alle boeken tegelijkertijd op je bureau probeert te houden. Op een gegeven moment past er niets meer op je bureau, en je raakt de weg kwijt in de chaos. Bovendien kost het je enorm veel tijd om elk boek één voor één door te bladeren om dat ene relevante zinnetje te vinden.

RetroInfer is de slimme oplossing voor dit probleem. Hier is hoe het werkt, uitgelegd met een paar simpele metaforen:

1. De Wave Index: De "Slimme Boekenlegger"

In plaats van elk woord in een gesprek te behandelen als even belangrijk, begrijpt RetroInfer dat de meeste woorden eigenlijk "ruis" zijn. In een gesprek van een miljoen woorden zijn er maar een paar honderd woorden die écht het verschil maken voor het antwoord.

De Metafoor: Stel je voor dat je een dik boek leest. In plaats van elke letter te onthouden, gebruik je een slimme index. Je verdeelt de informatie in drie zones:
- De 'Steady Zone' (De Kern): Dit zijn de belangrijkste pagina's die je altijd bij de hand houdt (zoals de titel en de inleiding).
- De 'Retrieval Zone' (De Zoekmachine): Dit is een snelle index die je direct vertelt: "Hé, op pagina 452 staat iets over die specifieke vraag!" Je hoeft niet het hele boek te lezen, je springt direct naar de juiste plek.
- De 'Estimation Zone' (De Snelcursus): Voor de rest van de boeken hoef je niet alles te lezen. Je kijkt alleen even naar de samenvatting op de achterkant om een heel goed idee te krijgen van de inhoud. Dit bespaart enorm veel tijd, maar je mist de details niet omdat je de "essentie" al hebt gevangen.

2. De Wave Buffer: De "Efficiënte Assistent"

Het probleem is dat je "belangrijke boeken" op je bureau liggen (het snelle GPU-geheugen), maar de rest van de bibliotheek in een verre kelder staat (het trage maar enorme CPU-geheugen). Het constant heen en weer rennen naar de kelder kost te veel tijd.

De Metafoor: RetroInfer heeft een super-assistent (de Wave Buffer).
- De assistent is razendsnel in het voorspellen welke boeken je over een minuut nodig hebt.
- Terwijl jij druk bezig bent met lezen (de berekening op de GPU), rent de assistent alvast naar de kelder om de volgende set boeken alvast naar je bureau te brengen.
- Bovendien heeft de assistent een klein tussenschotje (de cache) op je bureau liggen voor boeken die je net hebt gebruikt, zodat je niet telkens weer naar de kelder hoeft.

Wat is het resultaat?

Dankzij deze slimme index en de razendsnelle assistent kan de AI:

Veel grotere gesprekken voeren: Je kunt nu miljoenen woorden "onthouden" zonder dat de computer vastloopt.
Veel sneller antwoorden: Het is alsof je van een trage zoektocht door een doolhof overstapt naar een snelle treinrit. De paper zegt dat het tot wel 12 keer sneller kan zijn dan de huidige methoden.
Niet slimmer worden: Ondanks dat de AI niet elk detail van elk woord leest, blijft de kwaliteit van het antwoord bijna precies hetzelfde als wanneer hij alles zou lezen.

Kortom: RetroInfer maakt van een chaotische, overvolle bibliotheek een hypermodern, georganiseerd distributiecentrum, waardoor AI-modellen veel langer, sneller en slimmer kunnen "nadenken" zonder dat ze vastlopen in hun eigen geheugen.

Technische Samenvatting: RetroInfer

1. Het Probleem: De "KV-Cache Bottleneck"

Met de opkomst van Large Language Models (LLM's) met extreem lange contextvensters (van 128K tot miljoenen tokens) is de Key-Value (KV) cache een kritieke flessenhals geworden. Tijdens de decoding-fase (het genereren van tokens) groeit de KV-cache lineair met de contextlengte, wat leidt tot twee hoofduitdagingen:

Geheugencapaciteit: De KV-cache neemt zoveel ruimte in beslag dat het GPU-geheugen (HBM) snel vol raakt, wat de batch size en de maximale contextlengte beperkt.
Geheugenbandbreedte: Het iteratief scannen van de volledige KV-cache voor elk nieuw gegenereerd token put de bandbreedte van de GPU uit, wat de throughput (het aantal tokens per seconde) drastisch verlaagt.

Hoewel "sparse attention" (het alleen kijken naar de belangrijkste tokens) een oplossing biedt, worstelen bestaande systemen met de balans tussen nauwkeurigheid (het vinden van de juiste tokens) en retrieval-kosten (de overhead van het ophalen van data via de trage PCIe-bus van CPU naar GPU).

2. Methodologie: De RetroInfer Architectuur

RetroInfer lost dit op door de KV-cache te behandelen als een vector-opslagmotor die gebruikmaakt van de inherente sparsity (ijlheid) van attention-mechanismen. Het systeem is gebaseerd op twee kerncomponenten:

A. Wave Index (Attention-aWare VEctor index)
In plaats van een standaard vector-index, gebruikt RetroInfer een specifieke index die rekening houdt met hoe attention werkt. De index verdeelt tokens in drie zones:

Steady Zone: Tokens die altijd belangrijk zijn (zoals de eerste tokens van een prompt of de meest recente tokens). Deze worden direct en nauwkeurig verwerkt.
Retrieval Zone: De belangrijkste clusters van tokens die via de vector-index worden opgehaald voor nauwkeurige berekening.
Estimation Zone: Voor de overige, minder belangrijke tokens gebruikt RetroInfer een accuracy-bound attention estimation. In plaats van elk token individueel te berekenen, gebruikt het de centroids (gemiddelden) van clusters om de bijdrage aan de attention te schatten. Dit verlaagt de rekenlast aanzienlijk zonder de nauwkeurigheid te schaden.

Techniek: De index maakt gebruik van segmented clustering (geclusterd per segment van de input) om de kosten van het opbouwen van de index tijdens de prefilling-fase laag te houden.

B. Wave Buffer (GPU-CPU Buffer Manager)
Om de enorme hoeveelheid data tussen de CPU (groot geheugen, lage snelheid) en de GPU (beperkt geheugen, hoge snelheid) te beheren, introduceert RetroInfer de Wave Buffer:

Block Cache: Een cache in het GPU-geheugen die veelgebruikte KV-blokken opslaat, waardoor de noodzaak om data via de PCIe-bus te halen wordt verminderd.
Asynchrone Management: De buffer manager op de CPU beheert de cache-vervanging (LRU) asynchroon. Dit betekent dat de GPU kan doorgaan met rekenen terwijl de CPU op de achtergrond de volgende blokken data klaarmaakt en verplaatst.

3. Belangrijkste Bijdragen

Tripartite Attention Approximation: Een nieuw concept dat de rekenkosten verlaagt door een hiërarchie van nauwkeurigheid (precies $\rightarrow$ opgehaald $\rightarrow$ geschat) te introduceren.
Efficiënte Hardware-Co-design: Een systeem dat de asymmetrie tussen CPU en GPU optimaal benut door berekeningen en dataverplaatsing te overlappen.
Schaalbaarheid: Een methode om KV-caches van miljoenen tokens naar het CPU-geheugen te verplaatsen (offloading) zonder dat de snelheid instort.

4. Resultaten

De evaluatie op modellen zoals Llama 3 en Qwen 2.5 laat indrukwekkende prestaties zien:

Nauwkeurigheid: RetroInfer behoudt een nauwkeurigheid die vergelijkbaar is met full attention. Het verslaat bestaande sparse attention methoden aanzienlijk in taken zoals RULER en Needle-in-a-Haystack.
Throughput:
- Bij een context van 120K tokens is er een 4,4× hogere throughput vergeleken met full attention.
- Bij een context van 1 miljoen tokens is er een 12,2× hogere throughput vergeleken met de beste bestaande sparse attention baselines.
Efficiëntie: Het systeem schaalt uitstekend met grotere batch sizes en langere contexten, waarbij de PCIe-overhead tot een minimum wordt beperkt.

5. Betekenis (Significance)

RetroInfer markeert een verschuiving in hoe we naar LLM-inferentie kijken: van puur rekenkundige optimalisatie naar een data-management probleem. Door de KV-cache te behandelen als een dynamische vector-database, maakt RetroInfer het mogelijk om extreem lange contexten (miljoenen tokens) te verwerken op commercieel beschikbare hardware, wat essentieel is voor toekomstige toepassingen zoals het analyseren van volledige bibliotheken aan documenten of complexe codebase-analyses.