PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference

1. Probleemstelling

Inferentie van Large Language Models (LLM) wordt gedomineerd door memory bottlenecks veroorzaakt door de Key-Value (KV) cache, die attention states opslaat voor elk token in de context. Dit probleem wordt verergerd in multi-agent inferentiesystemen, waar $N$ agenten die hetzelfde gedeelde document verwerken, traditioneel $N$ onafhankelijke, full-precision KV caches vereisen. Dit resulteert in lineaire memory schaling ($O(N)$), waardoor het inefficiënt is om meerdere agenten op lange contexten te draaien.

Bestaande oplossingen pakken dit geïsoleerd aan:

• KV Compression: Vermindert memory per cache via quantisatie, maar werkt op geïsoleerde, per-request caches.
• Multi-Agent Sharing: Hergebruikt gemeenschappelijke prefixes tussen agenten, maar gebruikt doorgaans full-precision caches, waardoor compressie niet wordt benut.

PolyKV beoogt de intersectie van deze problemen op te lossen: het creëren van een enkele, gedeelde, verliesbeperkt gecomprimeerde KV cache pool die gelijktijdig door meerdere concurrerende agenten kan worden benaderd.

2. Methodologie

PolyKV introduceert een nieuwe architectuur die asynchrone quantisatie, rotatie-gebaseerde compressie en een gedeelde memory abstractie combineert.

A. Core Architectuur

• SharedKVPool: Een write-once, read-many abstractie. Het berekent de volledige KV state voor een gedeeld documentcontext eenmaal, comprimeert deze en slaat deze op als een enkel object ($O(1)$ memory complexiteit ten opzichte van het aantal agenten).
• PooledAgent: Individuele inferentie-agenten die een referentie ontvangen naar de SharedKVPool. Tijdens inferentie injecteert elke agent de gedecomprimeerde KV-tensors laag voor laag in zijn eigen verse DynamicCache-instantie, waarbij de standaard per-forward-pass accumulatie wordt omzeild. Dit elimineert per-agent kopieeroverhead.

B. Asymmetrisch Compressieschema (TurboQuant MSE)

PolyKV hanteert een asynchrone quantisatiestrategie die is toegespitst op de gevoeligheid van Keys (K) en Values (V):

1. Keys (K): Gekwantiseerd naar int8 (q8_0) met per-tensor lineaire quantisatie. Dit behoudt de stabiliteit van de softmax attention scores, die zeer gevoelig zijn voor low-bit quantisatie.
2. Values (V): Gecomprimeerd met TurboQuant MSE naar 3-bit precisie. Dit omvat:
   • Rotatie: Toepassing van een Fast Walsh-Hadamard Transform (FWHT) om het invoervector te roteren, outliers te verdelen en de verdeling te laten convergeren naar een Gaussische $N(0, 1)$.
   • Quantisatie: Het mappen van geroteerde coördinaten naar vooraf berekende Lloyd-Max centroiden (geoptimaliseerd voor $N(0, 1)$).
   • Dequantisatie: Het ophalen van centroidwaarden en toepassen van de inverse FWHT.

Compressieverhouding:
Met Keys op 8 bits en Values op 3 bits (vergeleken met een 16-bit bfloat16 baseline), is de theoretische compressieverhouding:
$$\text{Ratio} = \frac{16}{(8 + 3)/2} = \frac{16}{5.5} \approx 2.91\times$$

3. Belangrijkste Bijdragen

• Shared-Pool Architectuur: De eerste implementatie van een write-once, read-many gecomprimeerd KV memory model voor concurrerende agenten, waardoor de $O(N)$ memory schaling van eerdere multi-agent systemen wordt geëlimineerd.
• Asymmetrische TurboQuant: Een specifieke combinatie van int8 Keys en 3-bit FWHT-geroteerde Values die een stabiele 2.91× compressieverhouding bereikt over verschillende modelarchitecturen.
• Cross-Model Validatie: Gedemonstreerde stabiliteit op zowel SmolLM2-1.7B als Llama-3-8B (inclusief GQA architectuur), wat bewijst dat de methode architectuur-agnostisch is.
• Schalbaarheid: Succesvol geschaald naar 15 concurrerende agenten die een enkel context delen, met memorybesparingen die lineair groeien met het aantal agenten (tot 97,7% reductie).
• PPL Inversie Bevinding: Ontdekt dat voor coherente, lange contexten, de gecomprimeerde cache eigenlijk lagere perplexity kan opleveren dan de full-precision baseline, wat suggereert dat de quantisatieruis fungeert als impliciete regularisatie.

4. Experimentele Resultaten

Het systeem werd geëvalueerd over twee modellen, drie contextlengtes (600 tot 7.194 tokens) en tot 15 agenten.

Memory Efficiency

• Llama-3-8B (15 agenten, 4K context): Verminderde KV cache memory van 19,8 GB (full precision) naar 0,45 GB.
• Reductie: 97,7% memory reductie bij behoud van hoge outputkwaliteit.
• Schaling: Memory gebruik voor de pool blijft constant ($O(1)$) ongeacht het aantal agenten (bijv. 0,116 GB voor 3 agenten versus 10 agenten bij 2K context).

Kwaliteitsmetrieken

• Perplexity (PPL):
  • Stabiliteit: PPL delta is invariant ten opzichte van het aantal agenten.
  • Contextlengte Trend: PPL delta verbetert naarmate de contextlengte toeneemt.
    • Bij 2K tokens: +1,59% degradatie.
    • Bij 4K tokens: +0,57% degradatie.
    • Inversie: Bij 1.851 coherente tokens op SmolLM2-1.7B bereikte de gecomprimeerde cache -0,26% PPL delta (beter dan baseline).
• Semantische Similariteit (BERTScore):
  • Gemiddelde F1-scores varieerden van 0,928 tot 0,970 over alle configuraties.
  • Token overlap was perfect (1,000) in SmolLM2-tests.
  • De lichte PPL-degradatie vertaalde zich niet naar semantisch verlies; variaties in formulering behielden feitelijke equivalentie.

5. Betekenis en Hypothese

Betekenis:
PolyKV is het eerste systeem dat een enkele gedeelde, verliesbeperkt gecomprimeerde KV pool combineert met gelijktijdige multi-reader toegang. Het verandert fundamenteel de economie van multi-agent LLM inferentie, waardoor enorme concurrentie op gedeelde contexten mogelijk is met een minimaal memory footprint, wat het haalbaar maakt om complexe agent-zwermen te draaien op consumentenkwaliteit hardware (bijv. Kaggle T4 GPU's).

De Regularisatie Hypothese:
De auteurs hypothetiseren dat de TurboQuant FWHT ruis fungeert als impliciete regularisatie. In lange, coherente documenten richten attention heads zich vaak op redundante, schijnbare correlaties (attention sinks). De quantisatieruis die door FWHT-rotatie wordt geïntroduceerd, verstoort deze schijnbare patronen en "denoist" het attention mechanisme effectief. Dit verklaart waarom PPL verbetert (of minder degradeert) naarmate de contextlengte en lexicaal coherentie toenemen.

6. Beperkingen en Toekomstig Werk

• Schaal: Experimenten waren beperkt tot 1,7B en 8B modellen; gedrag bij 70B+ is onbekend.
• Metrieken: Time-to-first-token (TTFT) en throughput werden niet gerapporteerd.
• Validatie: Het PPL-inversiemechanisme vereist gecontroleerde ablatiestudies om causaliteit te bevestigen.
• Toekomst: Plannen omvatten testen op grotere modellen (Qwen2.5-7B, 70B), het standaardiseren van WikiText-2 evaluatieprotocollen en het meten van end-to-end latency.