Agent Memory Below the Prompt: Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices

Deze paper introduceert een systeem voor multi-agent LLM-inferentie op randapparaten dat persistentie van 4-bit gekwantiseerde KV-caches op schijf mogelijk maakt om herhaalde voorvulling te elimineren, waardoor de tijd tot het eerste token tot wel 136 keer sneller wordt en meer agenten binnen het beperkte geheugen kunnen worden gehost.

De kern

Stel je voor dat je een team van vijf slimme assistenten (AI-agenten) hebt die op je laptop werken. Ze hebben allemaal hun eigen "werkgeheugen" nodig om te onthouden wat er eerder is gezegd in een gesprek. Dit werkgeheugen heet een KV-cache.

Het probleem is dat laptops (zoals de nieuwe Apple M4 Pro) niet genoeg geheugen hebben om al die werkgeheugens tegelijk open te houden. Als je van de ene assistent naar de andere springt, moet de computer het geheugen van de eerste assistent op de schijf zetten en het geheugen van de tweede assistent weer in het werkgeheugen laden.

Zonder deze nieuwe technologie is dat als het opnieuw lezen van een heel boek elke keer dat je van hoofdstuk wisselt. Dat duurt lang (soms wel 15 seconden per wisseling), waardoor je wacht en de assistent traag reageert.

Dit paper introduceert een slimme oplossing: "Agent Memory Below the Prompt". Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Probleem: De "Vergeten" Assistent

Stel je voor dat je een gesprek voert met een assistent over een complex onderwerp. Je stopt even, gaat naar een andere assistent, en komt later terug.

• Hoe het nu gaat: De computer gooit je gesprek weg en moet het hele gesprek opnieuw lezen om te weten waar je gebleven was. Dit is als een student die elke keer dat hij de kamer uitgaat, zijn hele studieboek opnieuw moet lezen om de les te herinneren.
• Het gevolg: Je wacht 15 seconden. Dat voelt als een eeuwigheid in een chatgesprek.

2. De Oplossing: De "Snelkookpan" voor Geheugen

De auteurs hebben een systeem bedacht dat twee dingen doet:

1. Het comprimeert: Ze verkleinen het werkgeheugen van de assistent enorm (van 100% naar 25% grootte) zonder de betekenis te verliezen. Dit is alsof je een dik boek in een klein notitieboekje samenvat, maar alle belangrijke details behoudt.
2. Het slaat het op: Ze schrijven dit samengevatte geheugen direct op je harde schijf (SSD), in plaats van het te vergeten als je de assistent sluit.

3. De Magie: Het "Snel Laden"

Wanneer je terugkeert naar die assistent:

• Oude manier: De computer moet het hele gesprek opnieuw berekenen (15 seconden).
• Nieuwe manier: De computer pakt het samengevatte notitieboekje van de schijf en plakt het direct in het werkgeheugen. Dit duurt slechts 0,5 seconden.

Het is alsof je in plaats van het hele boek te lezen, gewoon naar je samenvatting kijkt. De assistent weet direct weer waar hij gebleven was.

Waarom is dit zo speciaal?

• Meer assistenten tegelijk: Omdat het geheugen zo klein is gemaakt (de "4-bit" techniek), kun je op dezelfde laptop nu 4 keer zoveel assistenten tegelijk actief houden. In plaats van 3, kun je er 12 hebben.
• Verborgen wachttijd: Het systeem is zo slim dat het de laadtijd van de ene assistent "verbergt" terwijl de andere assistent al aan het praten is. Het is alsof je terwijl je wacht op de koffie, alvast je broodje belegt. Je merkt de wachttijd niet meer.
• Veiligheid: Omdat elke assistent zijn eigen gescheiden "notitieboekje" heeft, kan geen enkele assistent het gesprek van een andere "lezen". Dit is belangrijk voor privacy.

De Resultaten in het Kort

• Snelheid: Het herstarten van een gesprek is nu 136 keer sneller dan voorheen.
• Kwaliteit: De assistenten worden niet dommer door het samenvatten; ze maken nauwelijks fouten (minder dan 3% verschil in kwaliteit).
• Toepassing: Dit werkt perfect op laptops en telefoons, zodat je complexe AI-gesprekken kunt voeren zonder internet en zonder dat je wacht.

Kortom: Dit paper maakt AI-assistenten op je eigen apparaat veel sneller, slimmer en betrouwbaarder door hun "herinneringen" slim op te slaan en te comprimeren, zodat je nooit meer hoeft te wachten terwijl ze "nadenken".

Technische samenvatting

Probleemstelling

Multi-agent systemen die draaien op randapparaten (edge devices), zoals de Apple MacBook Pro M4 Pro, kampen met een fundamenteel geheugenprobleem. De beschikbare RAM is te klein om de Key-Value (KV) caches van meerdere agenten gelijktijdig in het geheugen te houden.

• Geheugennood: Op een apparaat met 24 GB RAM (waarvan ca. 10,2 GB beschikbaar is voor caches na aftrek van besturingssysteem en modelgewichten), past in FP16-formaat slechts één agent met 8K context. Een workflow met 10 agenten vereist constant het verwijderen (evicten) en opnieuw laden van caches.
• Latentie-impact: Zonder persistentie moet bij elke schakeling naar een geëvict agent de volledige context opnieuw door het model worden verwerkt (prefill). Dit kost op edge-apparaten extreem veel tijd (bijv. 15,7 seconden voor 4K context op een Gemma 3 12B model).
• Position Bias: Het samenvoegen van meerdere agenten in één lange prompt introduceert "position bias" (informatie in het midden krijgt minder aandacht), waardoor aparte caches per agent noodzakelijk zijn, wat de geheugeneisen verder verhoogt.
• Herstart-probleem: Bij een serverherstart gaan alle caches verloren, wat leidt tot aanzienlijke "dode tijd" (dead time) voor het opnieuw berekenen van de context.

Methodologie

De auteurs introduceren een systeem dat de KV-cache van elke agent persistent opslaat op de schijf (SSD) in een 4-bit gekwantiseerd formaat (Q4) en deze direct laadt in de attention-laag zonder opnieuw te hoeven prefillen.

1. Persistente Block Pool:

   • De KV-cache wordt opgesplitst in vaste blokken van 256 tokens.
   • Elke agent krijgt een geïsoleerde cache in safetensors-formaat op de schijf.
   • Dit zorgt voor namespace-isolatie: caches van verschillende agenten kunnen niet met elkaar verward worden, wat essentieel is voor privacy en compliance (GDPR/HIPAA).

2. Q4 Kwantiseringspijplijn:

   • De cache wordt opgeslagen en geladen in Q4-formaat (uint32 gewogen data + bfloat16 schalen/bias per groep van 64 elementen).
   • Dit reduceert het geheugengebruik met 72% ten opzichte van FP16, waardoor er 4x meer agenten in hetzelfde geheugen passen.
   • De attention-laag (via mlx-lm) werkt direct op deze Q4-tensors, waardoor de dequantisatie-overhead minimaal is.

3. BatchQuantizedKVCache & Scheduling:

   • Omdat MLX niet thread-safe is, wordt er gebruik gemaakt van een enkele scheduler-thread die agenten afwisselt (interleaved prefill + decode).
   • Het systeem ondersteunt gelijktijdige inferentie over meerdere agenten door hun caches te mergen in een batch, attention te berekenen en ze weer te splitsen.
   • De laadtijd van de schijf (ca. 500 ms) wordt "verborgen" achter de decode-fase van de vorige agent, omdat multi-agent workflows natuurlijk verweven zijn (terwijl agent A genereert, laadt agent B zijn cache).

4. Cross-Phase Context Injectie:

   • Voor multi-fase workflows (bijv. onderhandeling, debat) wordt de cache niet elke fase opnieuw berekend.
   • De cache fungeert als "werkgeheugen": fase 2 laadt de cache van fase 1, past deze aan (EXTEND-match) en voegt nieuwe context toe zonder de volledige prefill opnieuw te doen.

Belangrijkste Bijdragen

1. Persistente Block Pool: Een systeem dat geïsoleerde, gekwantiseerde KV-caches per agent biedt die surviven bij serverherstarts en apparaat-reboots, opgeslagen in safetensors.
2. BatchQuantizedKVCache: Een implementatie voor gelijktijdige inferentie over meerdere agenten met Q4-caches, inclusief een interleaved scheduler.
3. Cross-Phase Injectie: Een mechanisme om attention-state over verschillende conversatiefasen heen te hergebruiken zonder herberekening.
4. Model-agnostische Architectuur: Het systeem werkt voor diverse architecturen (GQA, MLA, MoE) via een abstractie (ModelCacheSpec), wat het toepasbaar maakt op Gemma 3, DeepSeek-Coder-V2-Lite en Llama 3.1.

Resultaten

Het systeem is geëvalueerd op een Apple M4 Pro (24 GB RAM) met drie modellen: Gemma 3 12B, DeepSeek-Coder-V2-Lite 16B en Llama 3.1 8B.

• TTFT (Time-to-First-Token) Versnelling:

  • Warme cache-lading (van schijf) is 136x sneller dan koude prefill bij Gemma 3 (32K context: 172s -> 1,3s).
  • Bij DeepSeek: tot 76x sneller.
  • Bij Llama 3.1: tot 111x sneller.
  • Zelfs bij 4K context wordt de TTFT van ~15s teruggebracht tot ~577ms (onder de 1s drempel voor responsiviteit).

• Geheugencapaciteit:

  • Q4 maakt het mogelijk om 4x meer agenten te draaien dan FP16. Op de M4 Pro past bij 8K context: 3 agenten in FP16 vs. 12 agenten in Q4.
  • Bij 16K context past in FP16 slechts 1 agent, terwijl Q4 er 6 past.

• Kwaliteit (Perplexity):

  • De kwaliteitsverlies door Q4-kwantisering is minimaal:
    • Gemma 3: -0,7% (binnen meetfout).
    • Llama 3.1: +2,8%.
    • DeepSeek: +3,0%.
  • Dit is consistent met eerdere literatuur over Q4-kwantisering.

• Vergelijking met vllm-mlx:

  • vllm-mlx (FP16) faalt bij multi-agent scenario's door geheugenoverschrijding (OOM) bij grotere contexten of herstarts.
  • Het voorgestelde systeem (Q4 + schijfpersistentie) slaagt in alle scenario's, inclusief herstarts, met vergelijkbare of betere latentie dan FP16 prefix-caching in ideale omstandigheden.

Betekenis en Impact

Dit werk positioneert zich als een infrastructuurlaag onder agentic frameworks (zoals AutoGen of CrewAI).

• Edge-Computing: Het maakt complexe multi-agent workflows haalbaar op consumentenapparaten door het geheugenprobleem op te lossen via schijfpersistentie en kwantisatie.
• Privacy & Compliance: Door caches lokaal en geïsoleerd op te slaan, wordt data niet naar externe servers gestuurd (GDPR/HIPAA compliant) en wordt "prompt leakage" via gedeelde caches voorkomen.
• Schaalbaarheid: Het systeem introduceert een vorm van "virtueel geheugen" voor attention-state, waarbij de schijf fungeert als swap-ruimte. Dit stelt systemen in staat om onbeperkt lange contexten te hanteren door caches te pagen, terwijl de laadlatentie verborgen blijft achter de generatie van andere agenten.

Kortom, het artikel bewijst dat persistente, gekwantiseerde KV-caches de barrière voor multi-agent inferentie op edge-apparaten wegnemen, met een enorme winst in snelheid en capaciteit zonder significante kwaliteitsverlies.