🤖 AI

Make Your LVLM KV Cache More Lightweight

Het artikel stelt LightKV voor, een nieuwe methode die de GPU-geheugenoverhead en berekening van grote visueel-taalmodellen aanzienlijk verlaagt door visuele token-KV-caches te comprimeren via prompt-gestuurde cross-modale berichtuitwisseling, waarbij tot 50% cache-reductie en 40% besparing in berekening wordt bereikt terwijl de prestaties over acht benchmarks behouden blijven.

Oorspronkelijke auteurs: Xihao Chen, Yangyang Guo, Roger Zimmermann

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xihao Chen, Yangyang Guo, Roger Zimmermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, veelzijdige assistent hebt (een Large Vision-Language Model, of LVLM) die naar een afbeelding kan kijken en vragen daarover kan beantwoorden. Om dit snel te doen, houdt de assistent een "kladblok" in zijn kortetermijngeheugen bij, een KV-cache. Dit kladblok bevat alle notities die hij heeft gemaakt terwijl hij naar de afbeelding keek, zodat hij niet elke keer het hele plaatje hoeft te herlezen wanneer hij een nieuw antwoord bedenkt.

Het probleem is dat wanneer de assistent naar een foto met hoge resolutie kijkt, hij de afbeelding opbreekt in honderden of zelfs duizenden kleine stukjes (zogenaamde vision tokens). Elk stukje krijgt een notitie op het kladblok. Als de foto complex is, raakt het kladblok zo vol dat het al het computergeheugen opslorpt, waardoor alles vertraagt of het systeem zelfs crasht.

Dit artikel introduceert LightKV, een nieuwe manier om dat kladblok te verkleinen zonder de belangrijke details te verliezen. Hieronder wordt uitgelegd hoe het werkt, met eenvoudige analogieën:

Het probleem: Een rommelig bureau

Stel je voor dat het bureau van je assistent bedekt is met duizenden post-it's, elk met een beschrijving van een klein stukje van een foto (een blad, een autowiel, een wolk).

De oude manier: De assistent houdt elke enkele post-it. Als je vraagt: "Wat zit er in de lucht?", moet de assistent door duizenden notities over bladeren en wielen bladeren om die over wolken te vinden. Dit is traag en neemt een enorme hoeveelheid bureauruimte in beslag (GPU-geheugen).
De fout in eerdere oplossingen: Sommige mensen probeerden gewoon willekeurige notities weg te gooien of op elkaar lijkende notities samen te groeperen (zoals "alle groene dingen"). Maar dit is riskant. Een groene notitie kan een boom zijn (belangrijk) of een groen overhemd (onbelangrijk). Zonder context gooi je misschien de boom weg en houd je het overhemd, waardoor het antwoord verpest wordt.

De oplossing: LightKV (De slimme redacteur)

LightKV fungeert als een super-slimme redacteur die precies weet wat de gebruiker vraagt. Het gebruikt de tekstprompt (de vraag) als leidraad om te beslissen welke notities bewaard moeten worden en welke samengevoegd.

Hier is het stap-voor-stap proces, uitgelegd met metaforen:

1. De "Groepschat"-strategie (Windowing)

In plaats van te proberen elke enkele post-it met elke andere notitie in de wereld te vergelijken (wat eeuwig zou duren), verdeelt LightKV het bureau in kleine, hanteerbare vensters (zoals het groeperen van notities in kleine stapels).

Analogie: Stel je voor dat je een enorme stapel post sorteert in kleine stapels op basis van de wijk waar de brieven vandaan kwamen. Je vergelijkt eerst alleen brieven binnen dezelfde wijk. Dit maakt de baan veel sneller.

2. De "Matchmaker" (Bipartite Graph)

Binnen elk klein venster splitst LightKV de notities in twee groepen (Groep A en Groep B). Het zoekt vervolgens naar paren waarbij de notities zeer op elkaar lijken (lage "feature divergence").

Analogie: Denk hieraan als een speeddaten-evenement voor post-it's. Als twee notities bijna identiek zijn (bijvoorbeeld twee stukjes blauwe lucht), worden ze aan elkaar gekoppeld.

3. De "Contextclue" (Prompt Guidance)

Dit is het belangrijkste deel. Bij eerdere methoden voegde de assistent notities samen omdat ze er op elkaar leken. LightKV vraagt: "Helpt deze notitie bij het beantwoorden van de vraag van de gebruiker?"

Hoe het werkt: Het kijkt hoeveel aandacht de assistent schonk aan de vraag van de gebruiker toen hij de notitie voor het eerst las.
Analogie: Als de gebruiker vraagt: "Is er een hond in de afbeelding?", controleert LightKV de notities. Het ziet dat de notities over het "bruine vachtje" zwaar in de aandacht stonden toen het woord "hond" werd gelezen. Dus, het houdt die notitie. Het ziet dat een "bruin vachtje" op een stoel genegeerd werd toen "hond" werd gelezen, dus het voegt die notitie samen met anderen of gooit het weg.
Het resultaat: Het creëert een "super-notitie" die de informatie van de vergelijkbare notities combineert, maar de specifieke details behoudt die relevant zijn voor de vraag.

4. De "Gelaagde Opruiming" (Hierarchical Compression)

LightKV doet dit niet één keer. Het doet dit in fasen naarmate de assistent dieper in zijn denken de afbeelding verwerkt.

Analogie: Stel je voor dat je een kamer opruimt. Eerst pak je het grote, voor de hand liggende afval op (vroege lagen). Dan regel je de boeken op het plankje (middelste lagen). Tot stof je de hoeken (latere lagen). LightKV begint met het samenvoegen van notities in kleine lokale groepen, en naarmate het dieper gaat, voegt het notities uit bredere gebieden samen, zodat het de grote lijn niet verliest terwijl het de stapel verkleint.

Wat hebben ze ontdekt?

De auteurs testten LightKV op acht verschillende slimme assistenten (zoals LLaVA en Qwen) met acht verschillende soorten tests (van het beschrijven van afbeeldingen tot het oplossen van wetenschappelijke puzzels).

De helft van de ruimte: Het lukte hen om het aantal vision-notities in het kladblok met ongeveer 50% te verminderen (door slechts 55% van de oorspronkelijke notities te behouden).
Hetzelfde (of betere) intelligentie: Zelfs met de helft van de notities, beantwoordden de assistenten vragen net zo goed als voorheen, en soms zelfs beter dan andere compressiemethoden.
Sneller: Omdat er minder notities te verwerken waren, deed de computer minder werk (tot 40% minder berekening) en gebruikte het aanzienlijk minder geheugen.
Geen hertraining: Het beste deel? Ze hoefden de assistenten niets nieuws te leren. LightKV is een "plug-and-play"-tool die direct werkt met bestaande modellen.

Samenvatting

LightKV is als een slimme bibliothecaris die, in plaats van elke enkele pagina van een enorm fotoboek te bewaren, een samenvatting maakt. Maar in tegenstelling tot een normale samenvatting, leest deze bibliothecaris eerst je specifieke vraag en zorgt ervoor dat de samenvatting precies de delen van de foto benadrukt die je vraag beantwoorden, en gooit het irrelevante ruis weg. Dit bespaart ruimte en tijd zonder dat de bibliothecaris vergeetachtig wordt.

1. Probleemstelling

Grote Vision-Language Modellen (LVLM's) vertrouwen op Key-Value (KV) caching om de inferentie-efficiëntie te optimaliseren. In tegenstelling tot Large Language Models (LLM's), die voornamelijk teksttokens verwerken, moeten LVLM's tijdens het prefill-stadium een enorm aantal vision tokens verwerken (bijvoorbeeld 576 voor LLaVA-v1.5, tot 7.290 voor LLaVA-OneVision).

Dit creëert twee kritieke knelpunten:

Geheugenoverhead: De enorme hoeveelheid vision tokens zorgt ervoor dat de KV-cache aanzienlijk meer GPU-geheugen verbruikt dan bij tekst-only LLM's, wat vaak het primaire knelpunt wordt voor lange contexten of invoer met hoge resolutie.
Token-heterogeniteit: Vision tokens zijn heterogeen (ze vertegenwoordigen image patches) en hun belang varieert op basis van de tekstprompt. Bestaande pruning-methoden behandelen tokens vaak uniform of vertrouwen op pruning na het prefill-stadium, wat het geheugenknelpunt dat tijdens het initiële prefill-stadium optreedt, niet aanpakt.

Huidige oplossingen zoals MQA/GQA vereisen zware modelhertraining, terwijl token-pruning-methoden (bijvoorbeeld FastV, H2O) vaak na het prefill-stadium werken of ontbreken aan cross-modale begeleiding, wat leidt tot inconsistente prestaties over verschillende modellen en benchmarks.

2. Methodologie: LightKV

De auteurs stellen LightKV voor, een training-vrije aanpak die vision tokens tijdens het prefill-stadium comprimeert door gebruik te maken van redundantie tussen vision-embeddings, geleid door tekstprompts. De methode werkt via een drie-staps proces:

A. Intra-Window Token Compressie

In plaats van de volledige afbeelding globaal te verwerken, partitioneert LightKV vision tokens in niet-overlappende ruimtelijke vensters ( $w \times w$ ). Binnen elk venster voert het het volgende uit:

Bipartiete Graph Constructie: Tokens in een venster worden opgesplitst in twee sets ( $X_A$ $X_{A}$ en $X_B$ $X_{B}$ ). Er wordt een bipartiete graaf geconstrueerd waarbij randen de Feature Divergence (FD) tussen knopen vertegenwoordigen.
- $FD(\alpha, \beta) = 1 - \frac{\langle x_\alpha, x_\beta \rangle}{||x_\alpha|| ||x_\beta||}$ (Cosine-afstand).
- Dit reduceert de computationele complexiteit van $O(v^2)$ naar $O(v^2/4)$ in vergelijking met volledige paarwijze matching.
Prompt-bewuste Message Passing: In tegenstelling tot eerdere methoden die tokens samenvoegen op basis van uitsluitend visuele gelijkenis, gebruikt LightKV cross-modale attentiescores als gewichten.
- Het berekent de geaccumuleerde attentie ( $\xi_i$ ) die elke vision token besteedt aan de tekstprompt-tokens.
- Berichten worden gewogen door deze attentiescores van $X_A$ naar $X_B$ (en vice versa) doorgestuurd. Dit zorgt ervoor dat tokens die sterk relevant zijn voor de tekstprompt behouden blijven, terwijl redundante visuele informatie wordt geaggregeerd.
Knope Eliminatie: Redundante knopen (die met lage FD en lage prompt-relevantie) worden geëlimineerd, en de overgebleven knopen worden bijgewerkt en herschikt.

B. Inter-Window Hiërarchische Compressie

Om globale context te vangen zonder ruimtelijke localiteit te verliezen, hanteert LightKV een hiërarchische strategie geinspireerd door Swin-Transformers:

Multi-stadium Iteratie: Compressie wordt toegepast op specifieke decoderlagen ( $\lambda_1, \lambda_2, \dots$ ).
Progressieve Uitbreiding: In vroege lagen gebeurt compressie binnen kleine vensters (wat lokale details behoudt). In diepere lagen neemt de venstergrootte toe (of samenvoeging van partities), waardoor message passing over grotere ruimtelijke afstanden mogelijk wordt om globale semantiek te vangen.
Dynamische Planning: De methode gebruikt hyperparameters voor laagselectie ( $\Lambda$ ), venstergrootte ( $W$ ) en compressieverhouding ( $P$ ) om zich aan te passen aan verschillende modeldieptes.

3. Belangrijkste Bijdragen

Prompt-bewuste Compressie: LightKV is de eerste methode die expliciet tekstprompt-begeleiding gebruikt om vision token-compressie tijdens het prefill-stadium te sturen. Dit onderscheidt het van vision-only pruning-strategieën en zorgt ervoor dat semantisch belangrijke visuele kenmerken ten opzichte van de query behouden blijven.
Training-vrij & Plug-and-Play: De methode vereist geen modelhertraining of fine-tuning. Het kan naadloos worden toegepast op verschillende open-source LVLM's (bijvoorbeeld LLaVA, InternVL, Qwen2.5-VL, EVE).
Efficiënte Graph Partitioning: Door gebruik te maken van bipartiete matching binnen ruimtelijke vensters, reduceert de methode de computationele kosten voor het berekenen van feature divergentie aanzienlijk in vergelijking met globale paarwijze matching.
Hiërarchisch Ontwerp: De combinatie van intra-window (lokaal) en inter-window (globaal) compressie balanceert het behoud van ruimtelijke coherentie met de integratie van globale context.

4. Experimentele Resultaten

De auteurs evalueerden LightKV op 8 open-source LVLM's (waaronder LLaVA-v1.5, LLaVA-NeXT, InternVL2, EVE en Qwen2.5-VL) over 8 benchmarks (MME, SeedBench, GQA, enz.).

Geheugenreductie: LightKV reduceert de grootte van de vision-token KV-cache met ongeveer 50% (behoud van ~55% van de originele tokens).
Prestatiebehoud:
- Het behoudt of overtreedt licht de prestaties van standaard LVLM's (bijvoorbeeld het behalen van 99,94% van de baseline-prestaties op LLaVA-v1.5-13B).
- Het presteert aanzienlijk beter dan bestaande baselines zoals FastV, ToMe en ElasticCache, die vaak last hebben van prestatiedalingen (bijvoorbeeld FastV daalt tot ~90% op LLaVA-NeXT).
Efficiëntiewinst:
- Berekening: Reduceert FLOPs met maximaal 40%.
- Latentie: Reduceert Time-to-First-Token (TTFT) aanzienlijk (bijvoorbeeld van 656ms naar 383ms op LLaVA-NeXT-13B).
Robuustheid: De methode werkt effectief op zowel vision-encoder-gebaseerde modellen als encoder-vrije modellen (zoals EVE), wat een brede toepasbaarheid aantoont.

5. Betekenis

LightKV adresseert een kritiek schaalbaarheidsprobleem bij de implementatie van LVLM's. Door de geheugenfootprint van de KV-cache te reduceren tijdens de duurste fase (prefill), maakt het mogelijk:

Implementatie met Beperkte Resources: Het draaien van LVLM's met hoge resolutie op consumenten-GPU's (bijvoorbeeld A100-40GB) die anders OOM (Out of Memory) zouden raken door grote contextvensters.
Kostenefficiëntie: Het verlagen van de computationele kosten (FLOPs) en latentie voor inferentie, waardoor real-time multimodale toepassingen haalbaarder worden.
Generalisatie: Het bieden van een universele, training-vrije optimalisatielaag die de efficiëntie van het gehele LVLM-ecosysteem verbetert zonder de redeneercapaciteiten van het model te compromitteren.

Kortom, LightKV herdefinieert KV-cache-optimalisatie voor multimodale modellen door te verschuiven van "visual-only" pruning naar prompt-geleid, hiërarchische compressie, wat een superieure afweging bereikt tussen geheugenefficiëntie en taakprestaties.