💻 computer science

Head-Aware Key-Value Compression for Efficient Autoregressive Image Generation

Dit artikel stelt HeadKV voor, een nieuw kader voor autoregressieve beeldgeneratie dat de geheugenefficiëntie en doorvoer verbetert door dynamisch variabele key-value cache-begrotingen toe te wijzen aan attention heads op basis van hun onderscheidende lokaal of globaal attentiepatroon, die vroeg worden geïdentificeerd en gedurende het gehele generatieproces worden hergebruikt zonder dat extra training vereist is.

Oorspronkelijke auteurs: Guotao Liang, Baoquan Zhang, Zhiyuan Wen, Yunming Ye

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Guotao Liang, Baoquan Zhang, Zhiyuan Wen, Yunming Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, ingewikkelde muurschildering te schilderen, maar je hebt een zeer klein bureau om op te werken. Elke keer als je een nieuwe penseelstreek toevoegt, moet je een referentie bewaren van elke enkele vorige streek die je hebt gemaakt, zodat je de context van het beeld niet verliest. Uiteindelijk wordt je bureau zo volgepropt met deze referenties dat je je handen niet meer kunt bewegen, en het schilderen vertraagt tot een slakkengang.

Dit is precies wat er gebeurt bij Autoregressieve Afbeeldingsgeneratie. Deze AI-modellen creëren beelden één klein stukje (token) per keer. Om ervoor te zorgen dat het nieuwe stukje past bij de oude, moet de computer elk stukje dat het al heeft gegenereerd onthouden (cachen). Voor afbeeldingen met hoge resolutie wordt deze "geheugentafel" enorm, waardoor alle computerbronnen worden opgegeten en de generatie pijnlijk traag wordt.

De Oude Manier: Eén Maat Slaat Allen

Voorheen probeerden onderzoekers de tafel leeg te maken door wat oude referenties weg te gooien. Maar ze deden dit op dezelfde manier voor elk onderdeel van het schilderproces. Ze gingen ervan uit dat elke "hersencel" (attention head) in de AI dezelfde hoeveelheid geschiedenis nodig had.

De auteurs van het artikel realiseerden zich dat dit vergelijkbaar was met het geven van een kaart van de hele stad aan iemand die alleen de volgende straathoek hoeft te weten, terwijl je een klein straatbordje geeft aan iemand die probeert het hele land te navigeren. Het is inefficiënt.

De Nieuwe Ontdekking: Twee Soorten "Hersencellen"

Door nauwkeurig te kijken hoe deze AI-modellen denken, ontdekten de auteurs dat de "hersencellen" van de AI eigenlijk in twee distincte persoonlijkheidstypes vallen:

De "Lokale" Buren: Sommige hersencellen geven alleen om wat er direct naast hen gebeurt. Ze zijn als een persoon die naar een enkele baksteen in een muur kijkt; ze hoeven alleen de bakstenen die direct eromheen liggen te zien om hun werk te doen.
De "Globale" Architecten: Andere hersencellen geven om het grote geheel. Ze zijn als een architect die naar het hele gebouw kijkt; ze moeten details van de andere kant van de kamer onthouden om ervoor te zorgen dat het dak niet instort.

De Oplossing: HeadKV (De Slimme Tafelmanager)

De auteurs hebben een nieuw systeem ontwikkeld dat HeadKV heet. In plaats van alle hersencellen hetzelfde te behandelen, fungeert HeadKV als een slimme tafelmanager die verschillende hoeveelheden ruimte toewijst op basis van wie er werkt:

Voor de "Lokale" Buren: HeadKV zegt: "Je hoeft alleen de laatste paar items te zien." Het houdt een klein, schuivend venster van recente geschiedenis bij en gooit de rest direct weg. Dit bespaart een enorme hoeveelheid ruimte.
Voor de "Globale" Architecten: HeadKV zegt: "Je moet het grote geheel onthouden." Het houdt een grotere geschiedenis bij, maar gebruikt een speciale truc genaamd Stratified Token Eviction (Gelaagde Token-verwijdering).

De Truc van "Stratified Token Eviction":
Stel je voor dat je een boekenkast opruimt. Als je gewoon de "belangrijkste" boeken pakt, gooi je misschien per ongeluk alle boeken uit de jaren 90 weg, omdat de boeken uit de jaren 2020 luidruchtiger en populairder zijn. Maar je hebt de boeken uit de jaren 90 nog steeds nodig voor context!

HeadKV splitst de geschiedenis in twee stapels: "Dichtbij" en "Ver weg". Het zorgt ervoor dat er een paar belangrijke boeken uit beide stapels bewaard blijven. Dit zorgt ervoor dat de AI niet de verre, cruciale details vergeet (zoals de vorm van een hele vogel of de kleur van de lucht) alleen omdat het zich richt op de directe details (zoals de textuur van een veer).

Hoe Ze Dit Zonder Training Doen

Normaal gesproken vereist het leren van een computer welke hersencel wat is, jaren aan extra training. HeadKV is slim: het werkt dit uit op het moment zelf.

Denk eraan als het ontmoeten van een nieuwe persoon. Je hoeft hun hele levensverhaal niet te kennen om te weten of ze een "lokaal" of "globaal" denker zijn. Je observeert ze gewoon de eerste paar minuten. Als ze alleen praten over wat er nu gebeurt, zijn ze een "lokaal" denker. Als ze beginnen te verwijzen naar dingen van ver weg, zijn ze "globaal".

HeadKV observeert de AI voor een klein moment aan het begin van het genereren van een afbeelding, beslist welke hersencellen wat zijn, en past vervolgens de juiste geheugenvoorschriften toe voor de rest van het proces. Het vereist geen extra training en werkt op elke afbeelding die de AI probeert te maken.

Het Resultaat

Door deze "slimme tafel"-aanpak te gebruiken, lieten de auteurs zien dat ze:

Het geheugengebruik konden verkleinen: Ze konden slechts 1/4, 1/6 of zelfs 1/8 van de oorspronkelijk benodigde geheugenruimte behouden.
De dingen konden versnellen: De AI genereert beelden veel sneller omdat het niet verdrinkt in onnodige data.
De kwaliteit konden behouden: De beelden zien er nog steeds net zo goed uit als die gemaakt met de volledige, volgepropte geheugenruimte.

Kortom, HeadKV voorkomt dat de AI nutteloze informatie ophoopt, waardoor het snellere en met minder moeite prachtige schilderijen kan maken.

Technische Samenvatting: Hoofd-bewuste Key-Value-compressie voor Efficiënte Autoregressieve Imagegeneratie

Probleemstelling

Autoregressieve (AR) visuele generatiemodellen, die afbeeldingen representeren als sequenties van visuele tokens, hebben hoge-resolutie en fotorealistische resultaten bereikt door de modelgrootte en het aantal tokens te schalen. Deze schaling introduceert echter aanzienlijke geheugenhoeveelheden en een lage doorvoersnelheid bij inferentie, vanwege de Key-Value (KV)-cache die nodig is tijdens autoregressieve decoding. Hoewel recente werken in natuurlijke taalverwerking (NLP) KV-cachebeheer hebben onderzocht (bijvoorbeeld tokenselectie, verwijdering en kwantisatie), is het direct toepassen van deze technieken op het visuele domein uitdagend vanwege de inherente ruimtelijke structuur van afbeeldingen.

Bestaande visueel-specifieke methoden, zoals LineAR, proberen cachegebruik te verminderen door slechts een subset van tokens te behouden, gebaseerd op de observatie dat tokens voornamelijk aandacht schenken aan ruimtelijk aangrenzende buren. Deze benaderingen wijzen echter een vaste, uniforme begroting toe aan elk attention-head. Deze strategie negeert de heterogeniteit tussen attention-heads, wat leidt tot suboptimale geheugentoewijzing. Specifiek richten sommige heads zich op lokale buurten (waarvoor kleine begrotingen nodig zijn), terwijl andere heads lange-afstand afhankelijkheden vastleggen, zoals objectstructuren en achtergrondregio's (waarvoor grotere begrotingen nodig zijn). Uniforme toewijzing faalt in het aanpassen aan deze verschillende patronen, wat resulteert in ofwel verspild geheugen ofwel een verminderde generatiekwaliteit.

Methodologie: HeadKV

De auteurs stellen HeadKV voor, een nieuw, trainingsvrij raamwerk dat hoofd-bewuste KV-cache-compressie uitvoert. Het kerninzicht is dat attention-heads in AR-imagegeneratiemodellen twee verschillende patronen vertonen—Lokaal en Globaal—en dat het gedrag van een head consistent is over tokenposities binnen dezelfde laag voor een gegeven invoer.

De HeadKV-pijplijn bestaat uit drie belangrijke stappen:

Cache Prefilling: Het model encodeert conditionele invoer en genereert een initiële sequentie van visuele tokens zonder compressie. Deze fase verzamelt voldoende context om attention-distributies per head te schatten.
Head Groepering (Classificatie): Zodra de cache een vooraf gedefinieerde lengte bereikt, classificeert het raamwerk elke attention-head als "Lokaal" of "Globaal" met behulp van een drempelgebaseerd criterium voor attention-accumulatie.
- Voor elke head worden attention-scores achterwaarts geaccumuleerd vanaf de huidige tokenpositie totdat een drempel ( $\tau = 0.9$ ) wordt bereikt.
- Als het aantal tokens dat nodig is om de drempel te bereiken kleiner is dan een vooraf gedefinieerde lokale venstergrootte, wordt de head geclassificeerd als Lokaal. Anders wordt deze geclassificeerd als Globaal.
- Deze classificatie wordt eenmaal uitgevoerd tijdens het vroege generatiestadium en opnieuw gebruikt voor het volledige decoding-proces, zonder dat extra training of statistieken op datasetniveau nodig zijn.
Hoofd-bewuste Cache-compressie: Verschillende compressiestrategieën worden toegepast op basis van het head-type:
- Lokale Heads: Deze heads richten zich voornamelijk op nabije context. Het raamwerk wijst een compacte begroting toe en behoudt alleen de meest recente tokens via een schuifvenster-mechanisme. Historische tokens worden volledig weggelaten.
- Globale Heads: Deze heads leggen lange-afstand afhankelijkheden vast. Om informatieve verre tokens te behouden zonder lineaire geheugengroei, ontwerpen de auteurs een Stratified Token Eviction (STE)-strategie.
  - Stratified Token Eviction: Kandidaat-historische tokens worden onderverdeeld in twee disjuncte subsets: Nabije-afstand en Verre-afstand tokens, gebaseerd op hun afstand tot de huidige positie.
  - Belangrijke scores worden onafhankelijk berekend voor elke subset met behulp van eerdere query-features.
  - Tokens met de laagste scores worden verwijderd uit elke subset (bijvoorbeeld $M/2$ uit nabije-afstand en $M/2$ uit verre-afstand). Dit voorkomt dat lokaal dominante tokens semantisch relevante verre tokens in de schaduw stellen, en zorgt voor een gebalanceerde behoud van zowel lokale details als globale structuur.

Belangrijkste Bijdragen

Analyse van Attention-heterogeniteit: Het paper biedt een diepgaande analyse van AR-imagegeneratiemodellen, waarbij twee verschillende attentionpatronen (Lokaal en Globaal) worden geïdentificeerd en wordt aangetoond dat head-gedrag invariant is over tokenposities binnen een laag voor een vaste invoer.
HeadKV-raamwerk: Een nieuw, trainingsvrij compressieraamwerk dat asymmetrische begrotingen toewijst over attention-heads. Het wijst compacte begrotingen toe aan lokale heads en grotere begrotingen aan globale heads, geleid door een classificatiemechanisme in een vroeg stadium.
Stratified Token Eviction (STE): Een specifieke strategie voor globale heads die tokens op afstand partitioneert om de behoud van informatieve lange-afstand afhankelijkheden te waarborgen, waarmee de beperking van standaard belangrijke scores wordt aangepakt die vaak lokale tokens bevoordeelt.
Empirische Validatie: Uitgebreide experimenten tonen aan dat HeadKV het KV-cachegebruik aanzienlijk vermindert en de doorvoersnelheid bij inferentie verbetert over meerdere modellen (Janus-Pro, Lumina-mGPT, LlamaGen-XL), terwijl de beeldkwaliteit hoog blijft.

Resultaten

De auteurs hebben HeadKV geëvalueerd op vier autoregressieve imagegeneratie-ruggengraten: Janus-Pro-1B, Janus-Pro-7B, Lumina-mGPT-768 en LlamaGen-XL.

Beeldkwaliteit: HeadKV bereikt prestaties die vergelijkbaar zijn met de full-cache-baseline op benchmarks zoals GenEval en DPG. Bijvoorbeeld, op Janus-Pro-7B met een compressieverhouding ( $\rho$ ) van 1/8, behoudt HeadKV een GenEval-score van 0,99 (vs. 0,99 voor Volledig) en een DPG-score van 83,78 (vs. 84,20 voor Volledig).
Vergelijking met LineAR: Vergelijkend met de uniforme toewijzingsmethode LineAR, vertoont HeadKV minder prestatieverlies naarmate de compressieverhoudingen toenemen (bijvoorbeeld bij $\rho=1/8$ ). Op LlamaGen-XL bereikt HeadKV een betere FID-50K-score (2,75) in vergelijking met LineAR (2,95) onder extreme compressie.
Efficiëntie: HeadKV vermindert het geheugengebruik aanzienlijk en verbetert de doorvoersnelheid.
- Op LlamaGen-XL ( $\rho=1/6$ ) vermindert HeadKV het geheugen met 63,60% en bereikt het een 3,00× versnelling in vergelijking met de volledige instelling, wat beter is dan LineAR (2,93×).
- Op Janus-Pro-7B ( $\rho=1/6$ ) bereikt het een 3,68× versnelling met een geheugenbesparing van 52,08%.
- Op Lumina-mGPT-768 is de latentie iets hoger dan bij LineAR vanwege implementatie-overhead bij groepering, maar het bereikt toch een 1,35× versnelling met aanzienlijke geheugenbesparingen.

Betekenis en Claims

Het paper claimt dat HeadKV een praktische oplossing biedt voor het geheugenprobleem in autoregressieve imagegeneratie zonder dat extra training of externe supervisie nodig is. Door de inherente heterogeniteit van attention-heads te herkennen en te benutten, gaat de methode voorbij aan de "one-size-fits-all" cache-toewijzing van eerdere werken.

De auteurs benadrukken dat hun aanpak generaliseerbaar is over verschillende invoer en modelarchitecturen, omdat het vertrouwen stelt op intrinsieke attentionpatronen die worden waargenomen tijdens de vroege stadia van generatie. De Stratified Token Eviction-strategie wordt benadrukt als een kritiek onderdeel voor het behoud van de kwaliteit van gegenereerde afbeeldingen onder strakke geheugenbegrotingen, specifiek door het behoud van lange-afstand structurele informatie die vaak verloren gaat bij standaard verwijderingsmethoden. Het werk suggereert dat adaptieve, head-specifieke resource-toewijzing een efficiënter paradigma is voor visuele generatie dan uniforme tokenbehoud.