StructKV: Preserving the Structural Skeleton for Scalable Long-Context Inference

Probleemstelling

Naarmate Large Language Models (LLMs) groeien om contextvensters van meer dan één miljoen tokens te ondersteunen, ontstaat er een kritieke bottleneck in de Key-Value (KV) cache.

• Prefill-fase: De kwadratische complexiteit ($O(N^2)$) van het attention-mechanisme maakt het verwerken van lange prompts computatie-intensief.
• Decoding-fase: De lineaire groei van de KV cache consumeert enorme hoeveelheden GPU-geheugen en beperkt de systeemdoorvoer.

Bestaande compressiemethoden (zoals StreamingLLM, SnapKV en FastKV) lossen dit vaak op door tokens te verwijderen op basis van lokale salientie (belangrijkheid op één specifieke laag). Dit leidt tot een fundamenteel probleem:

1. Lokale Myopie: Tokens die fungeren als "globale informatiehub" over de diepte van het netwerk heen, kunnen tijdelijk "slapend" (dormant) lijken op de specifieke laag die wordt gekozen voor pruning.
2. Onomkeerbare Verlies: Zodra deze structureel cruciale tokens worden verwijderd op basis van een momentopname, is de informatie permanent verloren voor diepere lagen, wat de prestaties bij complexe redenering en langeafstandsafhankelijkheden aantast.

Methodologie: StructKV

StructKV is een bewust-structurele framework voor KV-cache-compressie dat de beperkingen van lokale salientie overwint door de cumulatieve bijdrage van een token aan de semantische stroom over de volledige netwerkdiepte te analyseren. Het framework introduceert drie kerninnovaties:

1. Global In-Degree Centrality (Cglobal)

In plaats van te vertrouwen op een enkele attention-map van één laag, aggregeert StructKV attention-patronen over de vroege lagen van het netwerk.

• Mechanisme: Voor elke token wordt een cumulatieve score berekend door de attention-scores van alle lagen tot een bepaald "Pivot-punt" op te tellen.
• Doel: Dit identificeert tokens die structureel belangrijk zijn als informatie-hubs, zelfs als ze op een specifiek moment lage attention-waarden hebben. Hierdoor wordt het "structurele skelet" van de context behouden.

2. Dynamische Pivot Detectie

In plaats van een vaste hyperparameter (zoals een vaste laagnummer) te gebruiken om te bepalen wanneer compressie begint, gebruikt StructKV een online mechanisme.

• Metrieken: Het monitort attention-entropie, sparsiteit en variantie tijdens de eerste inferentie-pas.
• Fase-overgang: Het algoritme zoekt naar een "fase-overgang" waar de attention-patronen stabiliseren (entropie daalt, sparsiteit stijgt). Dit bepaalt dynamisch de optimale Pivot-laag ($L^*$) waar compressie het meest effectief is zonder informatie te verliezen.

3. Structurele Propagatie & Ontkoppeling

Een unieke eigenschap van StructKV is het ontkoppelen van het rekenbudget (computatie) van het geheugenbudget (opslag).

• Bij de Pivot-laag: Er wordt een gereduceerd "structureel skelet" (alleen de hoogst gecentreerde tokens) doorgegeven aan diepere lagen om de berekening te versnellen.
• KV Cache: De opslag voor de decoding-fase gebruikt een apart budget. De KV-cache kan een ander (kleiner) aantal tokens behouden dan wat wordt gebruikt voor de berekening in de diepere lagen. Dit zorgt voor hoge kwaliteit bij generatie terwijl het geheugen wordt geoptimaliseerd.

Belangrijkste Resultaten

De prestaties van StructKV zijn getest op de LongBench en RULER benchmarks met modellen zoals LLaMA-3.1-8B, Mistral-8B en de Qwen-2.5-serie.

• Superieure Nauwkeurigheid:
  • Op LongBench behaalt StructKV een gemiddelde score van 48.61 (bij 10% KV-budget), wat significant hoger is dan de state-of-the-art FastKV (47.59) en GemFilter (40.40).
  • Bij een iets ruimer budget (20% KV) komt StructKV bijna in de buurt van volledige context (48.97 vs 49.33), terwijl het de prefill-berekening met 40% reduceert.
• Robuustheid bij Extreme Contexten (RULER):
  • Bij contextlengtes tot 128K tokens degradeert FastKV sterk (score daalt naar 68,2).
  • StructKV behoudt een hoge score van 73.6, wat aantoont dat het in staat is om "dormante" maar cruciale tokens (zoals de "needle in a haystack") te behouden die door lokale methoden worden verwijderd.
• Adaptiviteit:
  • In tegenstelling tot statische methoden die vastzitten aan één laag (bijv. laag 15), past StructKV de pivot-laag dynamisch aan. Voor Qwen-2.5-32B verschuift de optimale laag naar laag 28, wat aantoont dat het systeem zich aanpast aan diepere architecturen zonder handmatige tuning.
• Efficiëntie:
  • StructKV biedt een 1.87x versnelling in de prefill-latentie (bij 32K context) vergeleken met volledige context.
  • De overhead van de extra berekeningen (centrality accumulatie en pivot detectie) is verwaarloosbaar (< 2.5% van de totale latentie).

Betekenis en Impact

StructKV lost het fundamentele dilemma op tussen snelheid (prefill-acceleratie) en kwaliteit (generatie-accuraatheid) in lange context inferentie.

1. Paradigmaverschuiving: Het paper beweert dat token-belang niet lokaal (op één laag) moet worden bepaald, maar globaal (over de netwerkdiepte). Dit voorkomt het onomkeerbare verlies van structureel kritieke informatie.
2. Schaalbaarheid: Door de ontkoppeling van reken- en geheugenbudgetten, maakt StructKV het mogelijk om zeer lange contexten te verwerken op beperkte hardware, zonder in te leveren op de kwaliteit van de output.
3. Toekomstbestendigheid: De dynamische detectie van de pivot-laag maakt het framework robuust voor de snel evoluerende LLM-architecturen, waarbij vaste hyperparameters vaak falen bij diepere modellen.

Kortom, StructKV biedt een schaalbare oplossing voor de "trilemma" van lange context inferentie: het combineert snelle prefill-verwerking, efficiënt geheugengebruik en hoge nauwkeurigheid bij complexe redeneertaken.