Technische Samenvatting: Hoe de Zichtbaarheid van de Query de Rangschikking van KV-Cache Compressie Verandert

1. Probleemstelling

De heersende literatuur over KV-cache compressie evalueert methoden onder een query-bewust protocol, waarbij de benchmarkvraag aan de context wordt toegevoegd voordat het compressiealgoritme wordt uitgevoerd. In deze setting kan het scoringsmechanisme van de compressor de vraag "zien", waardoor het prioriteit kan geven aan tokens die relevant zijn voor die specifieke query.

Echter, de primaire economische motivatie voor KV-cache compressie is hergebruik: een document één keer comprimeren om vele toekomstige vragen te beantwoorden. In dit scenario van implementatie moet compressie query-agnostisch zijn (gebeurend vóórdat een vraag wordt gezien). Het artikel identificeert een kritieke kloof: bestaande evaluaties kwantificeren niet in welke mate een gerapporteerde prestatiewinst van een methode een artefact is van het zien van de vraag versus genuante informatiebehoud. De auteurs vragen zich af: Onder een gelijkwaardig budget, hoeveel van de gerapporteerde winst van elke gepubliceerde methode overleeft de overstap van query-bewuste naar query-agnostische compressie, en volgt de omvang van de daling de manier waarop het scoringssignaal van de methode de vraag gebruikt?

2. Methodologie: Een Audit met Gelijkwaardig Budget

De auteurs voerden een rigoureuze, gecontroleerde audit uit in plaats van een nieuwe compressiemethode voor te stellen. Het experimentele ontwerp isoleert de "protocol"-variabele terwijl alle andere factoren constant worden gehouden.

• Reikwijdte: De audit beslaat zes gepubliceerde compressiemethoden (SnapKV, H2O, TOVA, ExpectedAttention, AdaKV, KeyDiff) en drie triviale baselines (Random eviction, Key-norm, en de "start + recent window" van StreamingLLM).
• Modellen & Benchmarks: Evaluaties werden uitgevoerd op drie open 7–9B modellen (Llama-3.1-8B, Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B) over twee benchmarks:
  • RULER-8192: 13 subtaken (retrieval, aggregatie, multi-hop) met 650 instanties.
  • LongBench: 16 natuurlijke Engelse taken (50 instanties elk) gebruikt als robuustheidscontrole.
• Protocolarmen:
  • Query-bewust: De vraag is zichtbaar tijdens de scoringsronde.
  • Query-agnostisch: De context wordt eerst gecomprimeerd; de vraag wordt pas toegevoegd na de eliminatie (eviction).
• Controles:
  • Gelijkwaardig Budget: Alle methoden gebruiken identieke compressieratio's ($r \in \{0.25, 0.5, 0.75, 0.9\}$) en decoding-instellingen (greedy).
  • Gepaarde Statistieken: Elke instantie wordt onder beide protocollen geëvalueerd, wat gepaarde bootstrap-resampling ($B=50.000$) mogelijk maakt om de delta te meten.
  • Baseline Verankering: Methoden worden vergeleken met een "best-of-3" triviale baseline om te waarborgen dat winsten niet slechts voortkomen uit triviale heuristieken.
• Schaal: De audit genereerde 144.300 gepaarde records op RULER en 40.800 op LongBench, met strikte controle op dekking om data-gaten door OOM (Out Of Memory) te voorkomen.

3. Belangrijkste Bijdragen

A. Kwantitatieve Meting van Query-afhankelijkheid

De audit onthult dat de keuze van het protocol de prestatierangschikking fundamenteel verandert.

• De Ommekeer: Onder het query-bewuste protocol presteren vier van de vijf vergelijkbare methoden beter dan de triviele baselines. Onder het query-agnostische protocol keert dit beeld om: alleen KeyDiff verslaat consistent de best-of-3 triviale baseline (wint 31/36 cellen), terwijl de breed ingezette SnapKV feitelijk onderpresteert ten opzichte van de "keep start + recent window" baseline (gemiddeld gat van -0.066).
• De Delta: De prestatiedaling tussen protocollen varieert per methode. SnapKV lijdt onder een enorme daling ($\Delta = +0.198$), terwijl de prestaties van KeyDiff stabiel blijven ($\Delta = +0.011$).

B. Mechanistische Hypothese: Zichtbaarheid Volgt Prestatie

De auteurs stellen een mechanistische hypothese voor: de omvang van de prestatiedaling ($\Delta$) is consistent geordend met de zichtbaarheid van de vraag binnen het scoringssignaal van de methode (zoals te zien in de broncode).

• Hoge Zichtbaarheid: SnapKV en AdaKV gebruiken een observatievenster (laatste 64 tokens) dat in het bewuste protocol wordt gevuld door de vraag. Zij vertonen de grootste dalingen.
• Lage/Geen Zichtbaarheid: KeyDiff scoort op basis van key-vector hoekafwijkingen (angular outliers) van het gemiddelde, die geen query-term bevatten in de berekening van de score. Het vertoont de kleinste daling.
• Bewijs: Dit wordt gepresenteerd als ordinaal bewijs over zes methoden, niet als een passende kwantitatieve wet. De hypothese suggereert dat query-bewuste scores vaak "query-relevantie" meten in plaats van de "informatie-belangrijkheid" die vereist is voor cache-hergebruik.

C. Identificatie van Evaluatiegevaren

De audit bracht twee reproduceerbare methodologische gevaren aan het licht die evaluaties ongemerkt kunnen corrumperen:

1. Attention-Backend Confound: Het wisselen van de attention backend (bijv. sdpa vs. eager) op een ongecomprimeerd model verschoof de RULER-nauwkeurigheid met -0.29. Deze verschuiving is groter dan de meeste methodus-versus-baseline verschillen. Daarom hebben de auteurs alle rangschikkingsclaims met betrekking tot H2O ingetrokken, aangezien het vereist is dat de eager backend wordt gebruikt, waardoor het tekort onwaarneembaar is van het verschil in backend.
2. Tokenizer-Afhankelijke Benchmarklengte: De nominale "8192" tokenlimiet van RULER wordt geteld in een referentie-tokenizer. Voor gemma-2 vertaalt dezelfde context zich naar ~10.600 tokens, wat het positionele budget overschrijdt en ervoor zorgt dat 7 van de 13 subtaken een score van 0.000 krijgen, zelfs zonder compressie. Dit diskwalificeerde gemma-2 voor de audit.

4. Resultaten en Bevindingen

• RULER Resultaten: In de query-agnostische setting is KeyDiff de enige methode die consistent de triviale baselines verslaat, met name in hoog-gecomprimeerde retrieval-taken. Andere methoden (SnapKV, AdaKV, TOVA) vertrouwen sterk op het zien van de vraag om hun gerapporteerde winsten te behalen.
• LongBench Resultaten (Natuurlijke Tekst): Op natuurlijke proza blijft KeyDiff valide (verslaat baselines), maar verliest het zijn exclusiviteit. Andere methoden (TOVA, ExpectedAttention) halen KeyDiff in of passeren deze in specifieke configuraties. Dit suggereert dat de synthetische "haystack" (repetitieve tekst) van RULER KeyDiff's outlier-detectiemechanisme onevenredig bevoordeelde, wat de uniciteit influeerde maar niet noodzakelijkerwijs de algemene effectiviteit.
• Intrekking van Cross-Model Flips: Een eerdere snapshot van de data suggereerde dat modellen het oneens waren over de vraag of echte methoden triviale methoden verslaan (rangschikking-omkeringen). Na het invullen van de OOM-gaten en het voltooien van de lijst, daalde de waarschijnlijkheid van deze flips naar bijna nul, wat aangeeft dat de initiële bevinding een artefact was van onvolledige data en vloereffecten in het reasoning-getunede model (R1-Distill).

5. Betekenis en Claims

• Implementatie Realiteit: De auteurs betogen dat voor het economisch interessante gebruiksscenario van "één keer comprimeren, vele keren queryen", het query-bewuste evaluatieprotocol misleidend is. Methoden die vertrouwen op het zien van de vraag om de cache te snoeien, kunnen falen in productie-scenario's voor hergebruik.
• Methodologische Rigor: Het artikel toont aan dat geldige audits van KV-cache compressie niet alleen de model en het budget vast moeten houden, maar ook de attention backend en de tokenizer-uitlijning.
• Bescheiden Claims: De auteurs verklaren expliciet dat zij niet beweren dat KeyDiff de "beste" methode overall is, maar wel de enige geauditeerde methode die zowel query-onafhankelijk als effectief is over de geteste families. Ze benadrukken dat de "mechanistische hypothese" met betrekking tot zichtbaarheid wordt ondersteund door ordinaal bewijs en verdere manipulatie vereist om als een kwantitatieve wet bewezen te worden.

Samenvattend stelt het artikel dat een aanzienlijk deel van de gerapporteerde winsten in de KV-cache compressieliteratuur een artefact is van het evaluatieprotocol, en dat echt inzetbare methoden effectiviteit moeten demonstreren zonder toegang tot de toekomstige query.