💬 NLP

CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection

CompactAttention versnelt het opgesplitste voorvullen in grote taalmodellen met lange context door een Block-Union KV-selectiemechanisme in te voeren dat 2D-blok-sparse maskers omzet in efficiënte, GQA-bewuste per-groep KV-bloktabellen, waardoor in-place geheugentoegang mogelijk wordt zonder expliciete compactering, terwijl een nauwkeurigheid dicht bij die van een dichte configuratie wordt behouden en een snelheidswinst tot 2,72× wordt bereikt.

Oorspronkelijke auteurs: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiwon Song, Dongwon Jo, Beomseok Kang, Jae-Joon Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bibliothecaris bent (de AI) die probeert een vraag te beantwoorden op basis van een enorme bibliotheek van boeken (de context). In het verleden, als je een enorme bibliotheek had, moest je elk enkel boek lezen om het juiste antwoord te vinden, wat eeuwig duurde. Om dit te versnellen, bedachten onderzoekers een "chunked prefill"-systeem: in plaats van de hele bibliotheek in één keer te lezen, lees je het in kleine batches (chunks), waarbij je notities maakt in een notitieblok (de KV-cache) terwijl je doorgaat.

Echter, er ontstond een nieuw probleem: Hoe vind je snel de juiste pagina's in je notitieblok zonder elke keer alles opnieuw te lezen wanneer je een nieuwe batch vragen krijgt?

Dit artikel introduceert CompactAttention, een nieuwe manier om dit probleem op te lossen. Hier is hoe het werkt, met eenvoudige analogieën:

Het probleem met oude methoden

Het artikel identificeert twee hoofdmanieren waarop mensen probeerden dit op te lossen, en waarom ze faalden:

De "Sparse Kernel"-benadering (De inefficiënte scanner):
- Het idee: Stel je voor dat je een kaart van de bibliotheek hebt met rode stippen die alleen de belangrijke boeken markeren. Je probeert de witte ruimtes over te slaan en kijkt alleen naar de rode stippen.
- Het falen: Wanneer je een enorme bibliotheek leest (lange context) maar slechts een kleine vraag stelt (kleine chunk), wordt deze methode traag. Het is alsof je een scanner hebt die geweldig is voor het scannen van een hele muur tekst, maar wanneer je slechts één zin hebt, duurt het te lang om de scanner op te zetten en te kalibreren. De overhead van het "overslaan" van de witte ruimte maakt het eigenlijk trager dan gewoon alles lezen.
De "Query-Subsampled"-benadering (De luie bibliothecaris):
- Het idee: In plaats van elke vraag te controleren, kies je gewoon een paar willekeurige vragen uit je batch, vind je de belangrijke boeken voor die, en neem je aan dat die boeken voor iedereen belangrijk zijn.
- Het falen: Dit is riskant. Als je de verkeerde paar vragen kiest, kun je een cruciaal boek missen dat slechts één specifieke vraag nodig had. Bovendien, zodra je die boeken hebt gekozen, moet je ze fysiek van de planken naar een speciale tafel dragen voordat je ze kunt lezen. Dit "dragen" (gegevens kopiëren) kost veel tijd en energie.

De oplossing: CompactAttention

CompactAttention verandert het spel door het vinden van de boeken te scheiden van het lezen ervan.

Stap 1: De "Union"-strategie (Groeperen van het zoeken)

In plaats van te proberen een complexe "skip list" (sparse kernel) uit te voeren of te gokken op basis van een paar vragen, gebruikt CompactAttention een slim groeperingstruc:

Stel je voor dat je een team van detectives (query-heads) hebt dat werkt aan een zaak. Elke detective heeft zijn eigen lijst van "verdachten" (KV-blokken) die hij belangrijk vindt.
In plaats van elke detective alleen te laten werken, zegt CompactAttention: "Laten we alle verdachten van het hele team combineren tot één masterlijst."
Dit gebeurt in twee stappen:
1. Q-Block Union: Het combineert de lijsten voor alle vragen in de huidige batch.
2. Intra-Group Union: Het combineert de lijsten voor detectives die samenwerken.
Het resultaat: Je krijgt een enkele, minimale "Masterlijst" van verdachten die aan ieders behoeften voldoet. Geen enkel belangrijk boek wordt achtergelaten, want als een detective het nodig had, staat het op de lijst.

Stap 2: De "Zero-Copy"-uitvoering (Lezen op de plek)

Dit is het magische deel.

Oude manier: Zodra je je Masterlijst hebt, moet je al die boeken fysiek van de planken naar een speciale tafel verplaatsen zodat je ze snel kunt lezen. Dit "verplaatsen" kost tijd.
CompactAttention-methode: Je verplaatst de boeken helemaal niet. Je geeft de bibliothecaris gewoon een kaart (metadata) met de tekst: "Ga naar plank A, rij 3, boek 5; dan plank B, rij 1, boek 2."
De bibliothecaris (de computer-kernel) gaat direct naar die plekken op de planken en leest ze. Dit heet "Zero-Copy Paged Attention". Het bespaart alle tijd en energie die wordt besteed aan het verplaatsen van gegevens.

Waarom dit een groot ding is

Het artikel testte dit op een enorm AI-model (LLaMA-3.1-8B) met een context van 128.000 woorden (een zeer lang document).

Nauwkeurigheid: Het was net zo slim als het lezen van de hele bibliotheek (Dense Attention). Het miste geen enkele cruciale detail.
Snelheid: Het was tot 2,72 keer sneller dan de standaardmanier van werken.

De conclusie

Beschouw CompactAttention als een slimme bibliothecaris die stopt met proberen de bibliotheek te herschikken en in plaats daarvan gewoon een perfecte, gecombineerde indexkaart gebruikt.

Door te beseffen dat het "zoeken" (het vinden van de belangrijke blokken) en de "uitvoering" (het lezen ervan) gescheiden moeten zijn, en door een "groeperingstruc" te gebruiken om ervoor te zorgen dat niets wordt gemist, slaagden ze erin om de verwerking van AI-documenten met lange documenten aanzienlijk sneller te maken zonder intelligentie te verliezen. Ze bewezen dat de bottleneck niet alleen welke boeken je moest kiezen was, maar hoe je ze oppakte.

Technische Samenvatting: CompactAttention

Probleemstelling
Naarmate Large Language Models (LLMs) schalen om contextvensters van honderdduizenden tot miljoenen tokens te ondersteunen, is het verwerken van lange sequenties via één enkele "one-shot" prefill-passage onpraktisch geworden vanwege kwadratische rekentarieven en het risico op het blokkeren van decode-verzoeken in online serversystemen. Bijgevolg is gechunkte prefill—het sequentieel verwerken van invoer in vaste chunks terwijl er wordt geattendeerd op geaccumuleerde Key-Value (KV) caches—de standaard serverstrategie geworden in frameworks zoals vLLM en SGLang.

Echter, bestaande versnellingsmethoden ondervinden in dit regime aanzienlijke beperkingen:

Inefficiëntie van Block-Sparse Attention: Traditionele block-sparse methoden (bijv. XAttention, SeerAttention) vertrouwen op sparse kernels die grote query-lengtes vereisen om de overhead van onregelmatig geheugentoegang en maskerinterpretatie te amortiseren. Bij gechunkte prefill is de query-lengte beperkt door de chunk-grootte ( $Q \ll KV$ ), waardoor deze kernels parallelisme en efficiëntie verliezen en vaak falen om dichte attention te overtreffen.
Overhead van Patroonzoek: Sparse methoden vereisen het vinden van invoer-afhankelijke sparse patronen. Bij gechunkte prefill moet deze zoektocht voor elke chunk worden herhaald over de groeiende geaccumuleerde KV-cache, waardoor cumulatieve zoekoverhead een kritieke bottleneck wordt.
Beperkingen van Directe KV-Selectie: Methoden zoals QUOKA vermijden sparse kernels door een subset van KV-tokens te selecteren op basis van een gesubsamplede set queries en dichte attention uit te voeren. Deze aanpak lijdt echter onder twee problemen:
- Gaten in Dekking: Query-specifieke KV-entries die belangrijk zijn voor niet-gesamplede queries, kunnen worden gemist, wat leidt tot nauwkeurigheidsdegradatie bij taken die gedistribueerde informatietoegang vereisen.
- Overhead van Kopiëren: Token-niveau selectie vereist expliciet verzamelen en kopiëren van KV-entries naar een compacte buffer voordat attention wordt uitgevoerd, wat overhead introduceert die schaalt met contextlengte en batchgrootte.

Methodologie: CompactAttention
De auteurs stellen CompactAttention voor, een mechanisme dat block-niveau KV-selectie ontkoppelt van attention-uitvoering. In plaats van 2D block-sparse maskers te gebruiken als directe uitvoeringsplannen voor sparse kernels, behandelt CompactAttention ze als KV-selectiesignalen om GQA-bewuste per-groep KV-blocktabellen te construeren.

De methode werkt in twee fasen:

Selectiefase (Constructie van Block-Union KV-tabel):
- Het systeem accepteert een 2D per-head block-sparse masker gegenereerd door een willekeurige lichtgewicht patroonzoekmethode (bijv. SeerAttention of FlashPrefill).
- Het past een Q-block-union toe over query-blokken binnen de huidige chunk. Dit is noodzakelijk omdat dichte gepagineerde attention één enkele KV-blocklijst verbruikt voor een groep query-blokken die samen worden uitgevoerd, in plaats van individuele beslissingen voor elk $(Q\text{-block}, KV\text{-block})$ -tegel.
- Het past een intra-groep union toe over query-heads die een KV-groep delen (standaard Grouped-Query Attention-groepen).
- Het resultaat is een minimale per-groep KV-blocktabel ( $T_{b,g}$ ) die alle KV-blokken behoudt die door de originele invoermaskers zijn geselecteerd. Deze constructie zorgt voor behoud van dekking: elk KV-block dat door een willekeurig query-block of -head in de groep is geselecteerd, blijft geselecteerd.
Uitvoeringsfase (Zero-Copy Gepagineerde Attention):
- In tegenstelling tot token-niveau selectiemethoden, werkt CompactAttention op block-granulariteit.
- Het maakt gebruik van een KV-head-major geheugenindeling $[B, H_{kv}, L, D]$ in plaats van de standaard sequence-major indeling. Dit staat toe dat elke $(batch, KV\text{-head}, block)$ -tripel wordt behandeld als een aaneengesloten geheugenregio.
- De geconstrueerde blocktabellen worden doorgegeven als metadata (specifiek kv_indptr en kv_indices) aan een standaard gepaginateerde dichte attention-kernel.
- De kernel heeft toegang tot de geselecteerde KV-blokken in-place vanuit de originele KV-cache zonder expliciet kopiëren of compacteren naar een nieuwe buffer.

Belangrijkste Bijdragen

Ontkoppeling van Selectie en Uitvoering: Het artikel introduceert een ontwerp dat de logica van welke KV-blokken moeten worden geselecteerd, scheidt van hoe ze worden uitgevoerd, waardoor lichtgewicht sparse patroonzoekmethoden kunnen worden hergebruikt terwijl de inefficiënties van sparse kernels worden vermeden.
Block-Union Constructie: Het innovatieve gebruik van Q-block en intra-groep unions om 2D sparse maskers om te zetten in uitvoerbare, GQA-bewuste blocktabellen die minimaal zijn maar dekking behouden.
Zero-Copy Gepagineerde Uitvoering: Door gebruik te maken van een KV-head-major indeling en gepagineerde attention-metadata, elimineert de methode de expliciete KV-kopie-overhead die inherent is aan token-niveau selectiemethoden zoals QUOKA.

Experimentele Resultaten
Geevalueerd op LLaMA-3.1-8B-Instruct en Qwen3-30B-A3B-Instruct-2507 onder gechunkte prefill:

Snelheidswinst: Op H200 GPU's met een contextlengte van 128K bereikt CompactAttention tot 2,72× attention-snelheidswinst en 1,96× end-to-end snelheidswinst ten opzichte van de dichte attention-baseline. Dit presteert aanzienlijk beter dan block-sparse baselines (die vaak onderdienen ten opzichte van dichte attention in het $Q \ll KV$ -regime) en QUOKA (die wordt beperkt door kopie-overhead).
Nauwkeurigheid: CompactAttention behoudt nauwkeurigheid dicht bij dichte attention op de RULER- en LongBench V2-benchmarks. Het presteert beter dan QUOKA, met name bij taken die gedistribueerde informatietoegang vereisen (bijv. Multi-key NIAH), waar de query-subsampling van QUOKA leidt tot nauwkeurigheidsdegradatie.
Efficiëntie: Ablatiestudies bevestigen dat de zero-copy gepagineerde uitvoeringsstrategie efficiënter is dan zowel sparse-kernel-uitvoering als expliciete KV-compactering, zelfs wanneer rekening wordt gehouden met de overhead van metadata-construktie.

Betekenis
Het artikel stelt dat de primaire bottleneck voor sparse attention bij gechunkte prefill niet alleen welke KV-blokken moeten worden geselecteerd, maar hoe de geselecteerde blokken worden uitgevoerd. Door sparse selectie compatibel te maken met efficiënte dichte gepagineerde attention-kernels via block-union constructie en zero-copy uitvoering, biedt CompactAttention een praktische weg naar snellere long-context LLM-servering. Het adresseert de specifieke inefficiënties van het $Q \ll KV$ -regime die de adoptie van bestaande sparse attention-methoden in gechunkte prefill-systemen hebben gehinderd.