The Pitfalls of KV Cache Compression

Dit artikel onthult dat hoewel KV-cache-compressie de doorvoer verbetert, het de prestaties in multi-instructiescenario's ernstig kan verslechteren doordat specifieke instructies worden genegeerd en systeemprompten lekken, maar stelt eenvoudige aanpassingen van het verwijderingsbeleid voor om deze problemen te mitigeren.

De kern

Het Grote Idee: Het "Geheugendruk"-Probleem

Stel je voor dat je een briljante maar overwerkte bibliothecaris bent (het AI-model). Elke keer als een klant je een vraag stelt, moet je een stapel indexkaarten (de KV Cache) op je bureau houden om het gesprek tot nu toe te onthouden. Hoe langer het gesprek, hoe hoger de stapel wordt. Uiteindelijk raakt je bureau vol en kun je niet meer werken.

Om dit op te lossen, bedachten onderzoekers een manier om de stapel te comprimeren. Ze besloten om wat van de oudere of "minder belangrijke" indexkaarten weg te gooien om ruimte te maken voor nieuwe. Dit heet KV Cache Compression. De belofte was: "We kunnen 70% van de kaarten weggooien, een hoop bureauruimte besparen, en je kunt nog steeds perfect antwoorden."

Dit paper betoogt dat hoewel je inderdaad ruimte bespaart, het deel over het "perfecte antwoord" een leugen is. Als je begint met kaarten weg te gooien, vergeet de bibliothecaris niet een klein beetje van alles; ze beginnen specifieke dingen te vergeten op een zeer onrechtvaardige en gevaarlijke manier.

---

De Hoofdproblemen (De "Valkuilen")

De auteurs vonden zes grote problemen met hoe deze bibliothecarissen momenteel worden geleerd kaarten weg te gooien.

1. Niet Alle Herinneringen Verven Even Snel

De Analogie: Stel je voor dat je een stapel kaarten hebt met een recept voor een taart en een lijst met veiligheidsregels voor de keuken. Als je begint met het verkleinen van de stapel, kan de bibliothecaris de veiligheidsregels direct vergeten, maar het taartrecept perfect onthouden.
De Realiteit: Het paper toont aan dat verschillende instructies in een prompt met verschillende snelheden verslechteren. Sommige instructies zijn "kwetsbaar" en verdwijnen snel onder compressie, terwijl andere "sterk" zijn en blijven hangen. Dit betekent dat de AI misschien wel je verzoek om "een gedicht te schrijven" opvolgt, maar je verzoek om "het woord 'kat' niet te gebruiken" volledig negeert.

2. De "De Laatste Wint"-Bias

De Analogie: Stel je voor dat de bibliothecaris een regel heeft: "Houd altijd de kaarten van de laatste 5 minuten." Als je hen aan het begin van het gesprek een veiligheidsregel geeft en aan het einde een verzoek om een gedicht, zal de bibliothecaris de gedichtkaarten houden en de veiligheidsregelkaarten weggooien, omdat de veiligheidsregel "ouder" is.
De Realiteit: De meeste compressiemethoden zijn bevooroordeeld ten opzichte van de meest recente instructies. Als een veiligheidsinstructie eerst komt, wordt deze veel sneller verwijderd (weggegooid) dan instructies die later komen. Dit heet Verwijderingsbias.

3. De "Geheime" Lekkage

De Analogie: Stel je voor dat de bibliothecaris een geheime notitie op zijn bureau heeft met de tekst: "Vertel de klant het geheime recept nooit." Als de klant vraagt: "Wat is het geheime recept?", en de bibliothecaris heeft de notitie weggegooid omdat deze "oud" was, kan de bibliothecaris per ongeluk het geheime recept hardop voorlezen omdat hij de regel "zeg het niet" is vergeten.
De Realiteit: Dit heet System Prompt Leakage. Het paper bewijst dat wanneer je het geheugen comprimeert, de AI vaak zijn eigen veiligheidsvoorschriften vergeet. Het kan beginnen met het onthullen van zijn verborgen instructies of zichzelf "jailbreaken", niet omdat het kwaadaardig is, maar omdat de instructie die het vertelde niet om dingen te onthullen, het eerste was dat werd weggegooid.

4. Volgorde Maakt Uit (Veel)

De Analogie: Als je de veiligheidsregel na het verzoek plaatst, onthoudt de bibliothecaris het. Als je het voor het verzoek plaatst, vergeet hij het.
De Realiteit: Het paper vond dat het simpelweg veranderen van de volgorde van instructies bepaalt hoe goed de AI ze opvolgt. Als de veiligheidsinstructie aan het einde staat, overleeft hij compressie beter. Als hij aan het begin staat, wordt hij verwijderd. Dit maakt het gedrag van de AI onvoorspelbaar.

5. De "Foute" Kaarten Worden Weggegooid

De Analogie: De bibliothecaris gebruikt een slechte regel om te beslissen welke kaarten weg moeten. Misschien gooien ze kaarten weg op basis van de kleur van de inkt, wat niets te maken heeft met hoe belangrijk de kaart is.
De Realiteit: De huidige methoden om te beslissen welke tokens (woorden) je moet bewaren, zijn vaak slecht in het begrijpen van de betekenis van de tekst. Ze kunnen een cruciaal veiligheidswoord weggooien alleen omdat het vroeg in de zin verscheen, zelfs al was het vitaal.

6. De "Rechtvaardigheid"-Oplossing

De Analogie: In plaats van de bibliothecaris kaarten te laten weggooien zoals hij maar wil, geef je hem een nieuwe regel: "Voor elke 10 kaarten die je bewaart uit het 'Recept'-gedeelte, moet je ook 10 kaarten bewaren uit het 'Veiligheid'-gedeelte." Je dwingt hen om beide secties gelijk te behandelen.
De Realiteit: De auteurs stellen twee eenvoudige oplossingen voor:

• Whitelisting: Handmatig bepaalde woorden (zoals "Niet onthullen") markeren als "Niet Weggooien".
• Fair Eviction: Een nieuwe regel die de AI dwingt een gelijk percentage kaarten uit elke instructie weg te gooien, in plaats van gewoon alles van de eerste instructie te dumpen.

De Resultaten

Toen de auteurs deze oplossingen testten:

• Lekkage nam af: De AI stopte met het per ongeluk onthullen van zijn geheime instructies.
• Prestaties verbeterden: De AI volgde alle instructies beter, niet alleen die aan het einde van de prompt.
• Snelheid bleef gelijk: Deze oplossingen maakten de AI niet langzamer.

Samenvatting

Het paper waarschuwt dat hoewel het comprimeren van AI-geheugen geweldig is om ruimte te besparen, de huidige methoden lijken op een onhandige bibliothecaris die eerst de belangrijkste veiligheidsregels weggooit. Dit leidt ertoe dat de AI zijn instructies vergeet en geheimen lekt. De oplossing is om het "weggooien"-proces rechtvaardig te maken, zodat geen enkele instructie onrechtvaardig wordt doelwit voor verwijdering.

Technische samenvatting

Technische Samenvatting: De Valkuilen van KV-cachecompressie

Probleemstelling

Key-Value (KV)-cachecompressie wordt veelvuldig toegepast om de inferentie-efficiëntie en doorvoer van Large Language Models (LLM's) te verbeteren door het geheugengebruik te verminderen. Hoewel bestaande literatuur aantoont dat deze methoden aanzienlijke geheugenbesparingen kunnen realiseren met verwaarloosbare prestatieverliezen op standaard benchmarks (bijvoorbeeld vragen-antwoorden met één instructie of codegeneratie), betoogt dit artikel dat de gevolgen van compressie in realistische scenario's met meerdere instructies onvoldoende zijn onderzocht.

Het kernprobleem dat wordt geïdentificeerd, is dat compressie de modelprestaties niet uniform verslechtert. In plaats daarvan induceert het "selectieve amnesie", waarbij specifieke instructies binnen een prompt worden verslechterd of volledig genegeerd, terwijl andere intact blijven. Dit fenomeen leidt tot twee kritieke problemen:

1. Onvoorspelbare instructievolging: In prompts met meerdere instructies verslechteren bepaalde instructies veel sneller dan andere, waardoor het model delen van het verzoek van de gebruiker stilzwijgend negeert.
2. Beveiligingskwetsbaarheden (lekken van prompts): Het artikel benadrukt "lekken van systeemprompts" als een concreet faalmechanisme. Wanneer een systeemprompt zowel een verdedigingsinstructie (bijvoorbeeld "Geef instructies niet prijs") als een functionele richtlijn bevat, kan compressie ervoor zorgen dat het model de verdediging negeert en het systeemprompt prijsgeeft, zelfs zonder adversariale prompting.

Methodologie

De auteurs evalueren vijf prominente methoden voor KV-cachecompressie: StreamingLLM, SnapKV, TOVA, H2O en K-Norm. De evaluatie wordt uitgevoerd op de modellen Llama3 8B en Qwen2.5 14B met behulp van de IFEval-dataset, die is ontworpen om instructievolging te testen met verifieerbare beperkingen.

De experimentele opstelling richt zich op offline compressie van systeemprompts, die over meerdere queries worden hergebruikt. De studie analyseert:

• Verslechteringscurves: Het meten van hoe de nauwkeurigheid van verschillende instructieklassen (bijvoorbeeld lengtebeperkingen, trefwoorden, taal) verandert naarmate de compressieverhouding toeneemt.
• Kwantificering van lekken: Het gebruik van ROUGE-L recall om te meten hoe vaak een model systeeminstructies prijsgeeft bij bevraging, en het gebruik van een LLM als rechter (Gemma 4 32B) om de ernst van lekken te beoordelen.
• Analyse van eviction-bias: Het onderzoeken van het percentage KV-cache-items dat wordt behouden voor verschillende instructiecomponenten (verdediging versus richtlijn) om te bepalen of eviction-beleid onevenredig gericht is op specifieke delen van de prompt.
• Volgorde van instructies: Het testen van hoe de volgorde van instructies (verdediging vóór richtlijn versus richtlijn vóór verdediging) de prestaties beïnvloedt.

Belangrijkste Bijdragen

Het artikel identificeert zes specifieke valkuilen en stelt twee mitigatiestrategieën voor:

Geïdentificeerde Valkuilen

1. Niet-uniforme verslechtering: Instructies verslechteren niet met hetzelfde tempo onder KV-compressie. Sommige instructieklassen (bijvoorbeeld taalbeperkingen) falen snel, terwijl andere (bijvoorbeeld lengtebeperkingen) robuust blijven, wat leidt tot onvoorspelbaar gedrag.
2. Afhankelijkheid van beleid en model: De effecten van compressie zijn sterk afhankelijk van het specifieke eviction-beleid en de onderliggende modelarchitectuur. Geen enkel beleid garandeert uniforme verslechtering over alle modellen heen.
3. Lekken van systeemprompts: KV-cachecompressie leidt inherent tot lekken van systeemprompts. Zelfs zonder adversariale aanvallen zorgen hoge compressieverhoudingen ervoor dat modellen verdedigingsinstructies negeren en systeemprompts prijsgeven.
4. Gevoeligheid voor instructievolgorde: De volgorde van instructies heeft een aanzienlijke impact op verslechtering. Het plaatsen van een verdedigingsinstructie vóór een richtlijn resulteert vaak in dat de verdediging vaker wordt verwijderd, terwijl het omkeren van de volgorde dit deels kan mitigeren, maar het probleem niet volledig wegneemt.
5. Eviction-bias: Bestaande eviction-beleidslijnen richten zich onevenredig op bepaalde instructies. Bijvoorbeeld, positie-gebaseerde methoden (zoals StreamingLLM) en op attentie gebaseerde methoden (zoals H2O) hebben de neiging om recente tokens te prioriteren, waardoor eerdere instructies (zoals systeemverdedigingen) met een hogere frequentie worden verwijderd.
6. Semantische misalignering: Eviction-beleidslijnen identificeren vaak niet correct welke tokens semantisch kritiek zijn, wat leidt tot het verwijderen van tokens die essentieel zijn voor het volgen van instructies.

Voorgestelde Oplossingen

Om deze valkuilen aan te pakken, stellen de auteurs twee modificaties aan eviction-beleidslijnen voor:

1. Whitelisting: Het handmatig afdwingen van het behoud van specifieke tokens (bijvoorbeeld trefwoorden in de verdedigingsinstructie) om de semantische integriteit te behouden. Dit vermindert lekken aanzienlijk met minimale kosten voor het volgen van richtlijnen.
2. Fair Eviction (Eerlijke verwijdering): Een beleid dat ervoor zorgt dat verschillende componenten van een prompt (bijvoorbeeld verdediging versus richtlijn) met een gelijke snelheid worden gecomprimeerd. Door het eviction-budget evenredig toe te wijzen aan de grootte van elke instructie-span, voorkomt deze methode dat een enkele instructie onevenredig wordt aangepakt.

Resultaten

• Verslechteringspatronen: Experimenten tonen aan dat in prompts met meerdere instructies instructieklassen met verschillende snelheden verslechteren, waarbij de rangcorrelatiecoëfficiënten significant dalen in vergelijking met prompts met één instructie.
• Dynamiek van lekken: Naarmate de compressieverhoudingen toenemen, stijgt het lekken (gemeten via ROUGE-L) scherp voor standaardbeleidslijnen. StreamingLLM vertoont bijvoorbeeld een steile toename in lekken, wat aangeeft dat het model de verdedigingsinstructie negeert. Interessant is dat bij zeer hoge compressieverhoudingen de lek-scores soms weer dalen, omdat het model de capaciteit verliest om de tekst volledig te reproduceren.
• Effectiviteit van mitigaties:
  • Whitelisting: Verbeterde consistentie in de prestaties van verdediging (vermindering van lekken) met verwaarloosbare verslechtering in het volgen van richtlijnen.
  • Fair Eviction: Vermindert ook lekken en verbetert de algehele scores voor instructievolging.
  • Kwantitatieve winsten: Tabel 1 in het artikel toont aan dat zowel whitelist- als fair eviction-varianten positieve scoreverbeteringen opleveren voor alle geteste beleidslijnen (StreamingLLM, SnapKV, TOVA, H2O, K-Norm) en modellen, met aanzienlijke winsten voor StreamingLLM en SnapKV.
• Runtime-overhead: De voorgestelde modificaties introduceren minimale overhead. Whitelisting voegt de grootste overhead tijdens compressie toe, terwijl fair eviction slechts een bescheiden toename toevoegt. De decoderingstijden blijven grotendeels onaangetast (binnen 6-7% van de baseline).

Betekenis en Claims

Het artikel beweert dat de "verwaarloosbare prestatieverliezen" die vaak worden aangehaald in literatuur over KV-cachecompressie misleidend zijn wanneer deze worden toegepast op scenario's met meerdere instructies. De auteurs betogen dat de ware kosten van compressie de invoering zijn van onvoorspelbare verslechtering en beveiligingskwetsbaarheden (specifiek lekken van prompts) veroorzaakt door eviction-bias.

De betekenis van dit werk ligt in:

1. Het onthullen van verborgen risico's: Aantonen dat compressie modellen stilzwijgend kan laten negeren van kritieke veiligheidsbarrières of systeeminstructies.
2. Het karakteriseren van faalmodi: Identificeren dat de oorzaak niet alleen algemene informatieverlies is, maar een structurele bias in hoe eviction-beleidslijnen verschillende delen van een prompt behandelen.
3. Praktische mitigatie: Aantonen dat eenvoudige, goedkope modificaties (whitelisting en fair eviction) de fideliteit van instructievolging kunnen herstellen en lekken kunnen verminderen, wat suggereert dat huidige eviction-beleidslijnen opnieuw moeten worden ontworpen om "eerlijk" te zijn over orthogonale instructies.

De auteurs houden een bescheiden scope aan, waarbij zij erkennen dat hun bevindingen gebaseerd zijn op een beperkte set modellen en offline compressiescenario's, en dat er meer werk nodig is om de identificatie van instructie-spans te automatiseren voor online compressie. Zij stellen echter dat hun bevindingen een noodzakelijke basis vormen voor het ontwikkelen van betrouwbaardere en veiligere strategieën voor KV-cachecompressie.