Technische Samenvatting: NestedKV

Probleemstelling

Taalsmodellen met lange contexten ondervinden een kritieke bottleneck bij praktische implementatie: de Key-Value (KV) cache groeit lineair met de contextlengte en de batchgrootte, waardoor de inferentiële geheugenkosten domineren, zelfs wanneer de modelgewichten vaststaan. Hoewel er trainingsvrije methoden voor compressie van de KV-cache bestaan, vertrouwen deze doorgaans op een enkel "anker"-signaal om de belangrijkheid van tokens te rangschikken—zoals de totale aandacht in het verleden, recentheid, toewijzing op laagniveau, of de onderscheidendheid van sleutels.

Het artikel betoogt dat deze enkelvoudige benaderingen kwetsbaar worden onder agressieve compressie of bij lange contexten. Zo concentreren op aandacht gebaseerde methoden vaak de massa op het einde van de prompt of op "aandachtssluizen", waardoor ze tokens die het antwoord dragen en zich in gebieden met lage aandacht bevinden, verwijderen. Evenzo kan een globaal gemiddelde lokale episodische verschuivingen missen, terwijl een lokale regel zich kan aanpassen aan repetitieve blokken. Het kernprobleem is dat bruikbare context globaal onderscheidend, lokaal episodisch of direct relevant kan zijn, wat een meer genuanceerde, multi-schaal aanpak voor het onderhoud van het geheugen vereist.

Methodologie: NestedKV

NestedKV is een trainingsvrije, uitsluitend op sleutels gebaseerde methode voor compressie van de KV-cache, geïnspireerd door het Continuum Memory System uit Nested Learning. In plaats van tokens te rangschikken op basis van één metriek, behandelt het verwijderen als beperkt geheugenonderhoud tijdens het testen, gebruikmakend van een driedelig architectuur:

1. Continuum Geheugentoestand (Innerlijke Leraren)

NestedKV onderhoudt drie verschillende geheugenankers over de gestreamde sleutels voor elk token $i$:

• Stabiel Geheugen ($\mu_s$): Een globaal gemiddelde van alle genormaliseerde sleutels, dat documentniveau-regelmatigheden vastlegt.
• Episodisch Geheugen ($\mu_e(i)$): Een lokaal blokgemiddelde (blokgrootte $b \approx N/32$), dat structuur op passage- of beurtniveau vastlegt.
• Huidig Geheugen ($\mu_c(i)$): Een drijvend-gemiddelde (venstergrootte $W=64$), dat korte-termijn continuïteit en directe redundantie vastlegt.

Voor elk token berekent de methode cosinus-anomalie-scores tegenover deze drie schalen: $a_k(i) = -\cos(\hat{k}_i, \mu_k)$. Een hoge score geeft aan dat het token anomaal (onderscheidend) is ten opzichte van die specifieke geheugenschaal.

2. Buitenste Leraar: Adaptieve Blending en Surprise Routing

De methode combineert deze drie anomalie-rangschikkingen via een trainingsvrije buitenste leraar die op twee assen opereert:

• Hoofd-Adaptieve Blending: Verschillende aandachthoofden specialiseren zich in verschillende temporele rollen. NestedKV meet het discriminerend vermogen van elke schaal per hoofd (het verschil tussen de bovenste en onderste tokens) en gebruikt een softmax met een vaste log-prior om de schalen te wegen. Dit creëert een geblendde score $a_{blend}(i)$.
• Surprise-Gated Routing: De methode berekent "compressie-geïnduceerde verrassing" als de standaardafwijking van de drie anomalie-scores.
  • Lage Verrassing: De drie schalen komen overeen; het token behoudt de geblendde score.
  • Hoge Verrassing: De schalen komen niet overeen (bijvoorbeeld: een token is globaal typisch maar lokaal anomaal). In dit geval routeert de methode de score naar het sterkste individuele geheugen ($a_{win}(i) = \max(a_s, a_e, a_c)$) om te voorkomen dat kritieke signalen worden uitgemiddeld.

3. Hoofd-gewijze Geheugentoewijzing

In plaats van geheugen uniform over de hoofden te verdelen, implementeert NestedKV een competitief budgeteringsmechanisme. Het selecteert de paren van token en hoofd met de globaal hoogste residuen over de laag, onderworpen aan een per-hoofd veiligheidsmarge (zorgend dat elk hoofd een minimale staat behoudt). Dit verdeelt het laagbudget volgens waar de continuum-geheugensignalen het meest verrassend zijn.

Belangrijkste Bijdragen

1. Herformulering van Compressie: De auteurs herformuleren trainingsvrije KV-compressie als anomaliedetectie in continuum-geheugen over de sleutelstroom, en bieden zo een Nested Learning-interpretatie van tokenverwijdering als beperkt geheugenonderhoud tijdens het testen.
2. NestedKV-algoritme: De introductie van een methode die drie sleutelstatistieken op tijdschaal (stabiel, episodisch, huidig) gebruikt als innerlijke leraren, gecombineerd via een trainingsvrije buitenste leraar die zich per hoofd aanpast en routeert op basis van compressie-geïnduceerde verrassing.
3. Empirische Validatie: Uitgebreide evaluatie over zes benchmarks (RULER, LongBench, LooGLE, LongBench-E, InfiniteBench, MMLU-Pro) op Qwen3- en Llama-3.2-modellen, waarbij wordt aangetoond dat scoring op meerdere tijdschalen bijzonder waardevol is onder agressieve compressie.

Experimentele Resultaten

De evaluatie richt zich op de Qwen3-4B- en Llama-3.2-3B-Instruct-modellen over verschillende contextlengten (4k–32k) en verwijderingsverhoudingen ($r \in \{0.25, 0.50, 0.75, 0.85, 0.95\}$).

• Prestaties bij Agressieve Compressie: NestedKV toont zijn sterkste voordeel wanneer de behouden cache klein is. Op RULER (4k context, $r=0.75$) verbetert NestedKV de sterke baseline KeyDiff met 19,10 punten op Qwen3-4B.
• LongBench: Bij $r=0.75$ bereikt NestedKV een gemiddelde score van 50,06 op Qwen3-4B, wat KeyDiff (30,77) significant overtreft. Bij extreme compressie ($r=0.95$) behoudt NestedKV 37,32 punten, terwijl KeyDiff daalt naar 17,55.
• Robuustheid: De methode behoudt prestaties die dicht bij die van de volledige KV-cache liggen op kennis-benchmarks met korte contexten (MMLU-Pro), zelfs bij hoge compressieverhoudingen, wat aangeeft dat het de capaciteit voor korte prompts niet in gevaar brengt.
• Ablatiestudies: Het verwijderen van óf de continuum-geheugentoestand óf de adaptieve hoofd-gewijze toewijzing veroorzaakt significante prestatiedalingen (ongeveer 8 punten elk). Het verwijderen van beide veroorzaakt een daling van ongeveer 19 punten, wat suggereert dat de componenten synergetisch werken.
• Efficiëntie: De methode voegt minimale overhead toe, met een prefill-latentie binnen 0,5% van enkelvoudige anker-baselines zoals KeyDiff, terwijl de decodeer-latentie en het piekgeheugen bijna identiek blijven aan andere gecomprimeerde methoden.

Betekenis en Beweringen

Het artikel beweert dat NestedKV de structurele ontoereikendheid van compressiemethoden met één anker aanpakt. Door de compressiescore uit de aandachtsruimte te verplaatsen en naar de sleutelstroom te brengen met behulp van een continuum-geheugenvisie, slaagt de methode erin tokens te behouden die onderscheidend zijn op globale, lokale of directe schalen.

De auteurs benadrukken dat het primaire voordeel van NestedKV niet noodzakelijk de piekprestaties bij lage compressieverhoudingen zijn, maar eerder graceful degradation naarmate het geheugenbudget krimpt. De scoring op meerdere tijdschalen stelt het model in staat diverse ondersteunende tokens te behouden die methoden met enkelvoudige signalen (die uitsluitend vertrouwen op aandacht of globale onderscheidendheid) ten onrechte zouden verwijderen. De methode vereist geen training, geen wijziging van de onderliggende LLM, en is compatibel met geoptimaliseerde aandachtkernen.

Beperkingen opgemerkt door de auteurs:

• De aanname dat redundantie ten opzichte van stabiele/episodische/huidige statistieken een nuttig signaal is, kan zwakker zijn voor taken met code-voltooiing, waarbij lokale herhaling het patroon is dat behouden moet worden.
• De methode is beperkt tot bevroren open-gewichtmodellen en leert geen taakspecifieke parameters of wijzigt decodeerkernen.