🤖 machine learning

Online Vector Quantized Attention

Dit artikel introduceert Online Vector-Quantized (OVQ) attention, een sequentiemenglaag die lineaire rekentijd en constante geheugenkosten bereikt terwijl het de prestaties bij lange contexten aanzienlijk verbetert door middel van spaarzame geheugenvernieuwingen, en zo een concurrerend alternatief biedt voor self-attention met een fractie van het geheugengebruik.

Oorspronkelijke auteurs: Nick Alonso, Tomas Figliolia, Beren Millidge

Gepubliceerd 2026-05-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nick Alonso, Tomas Figliolia, Beren Millidge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het "Te Grote" en het "Te Kleine" Brein

Stel je voor dat je probeert een enorm, 100.000-pagina's tellend boek te lezen om een specifieke vraag te beantwoorden over een personage dat op pagina 5 wordt genoemd.

De Oude Manier (Self-Attention): Dit is als het hebben van een super-intelligente assistent die het hele boek elke keer opnieuw leest als je een vraag stelt. Ze onthouden elk enkel woord perfect. Om dit te doen, hebben ze echter een bibliotheek ter grootte van een stad nodig om al die notities op te slaan. Naarmate het boek langer wordt, wordt de bibliotheek groter en de assistent trager. Het is accuraat, maar het is duur en traag.
De Efficiënte Manier (Linear Attention/SSMs): Dit is als een assistent die slechts een klein notitieblok bijhoudt. Ze vatten het boek samen terwijl ze lezen, en houden alleen de belangrijkste statistieken bij. Ze zijn ongelooflijk snel en hebben slechts een notitieblok op zakgrootte nodig. Maar omdat het notitieblok zo klein is, vergeten ze vaak de specifieke details die nodig zijn voor lange, complexe verhalen. Ze worstelen om dat personage te vinden dat op pagina 5 wordt genoemd wanneer het boek 100.000 pagina's lang is.

Het Doel: De auteurs wilden een assistent bouwen die even snel en geheugenefficiënt is als de "zaknotitieblok"-jongen, maar even slim en gedetailleerd als de "stadbibliotheek"-jongen.

De Oplossing: Het "Slimme Archiefkastje" (OVQ-Attention)

De auteurs hebben een nieuwe methode ontwikkeld genaamd Online Vector Quantized (OVQ) Attention. Denk hierbij aan een Slimme Archiefkast die zich in real-time bijwerkt.

Hier is hoe het werkt, stap voor stap:

1. Het Woordenboek (De Mappen)

In plaats van elk enkel woord te onthouden (zoals de stadbibliotheek) of slechts een samenvatting (zoals het zaknotitieblok), gebruikt dit systeem een Woordenboek van Mappen.

Stel je voor dat je een kast hebt met, zeg maar, 4.000 lege mappen.
Terwijl de assistent het boek leest, schrijven ze niet elk woord op. In plaats daarvan kijken ze naar de huidige zin en vragen ze: "In welke van deze 4.000 mappen past deze zin het beste?"
Ze laten de zin in die map vallen.

2. De "Online" Magie (Het Bijwerken van de Mappen)

In eerdere versies van dit idee waren de mappen vooraf geschreven voordat de assistent begon met lezen. Als het boek woorden gebruikte die de mappen niet verwachtten, raakte de assistent in de war.

Bij OVQ-Attention zijn de mappen leeg aan het begin. Terwijl de assistent het boek leest:

Ze maken nieuwe mappen onderweg aan als ze iets unieks zien.
Ze werken de bestaande mappen bij om beter te matchen met wat ze op dat moment zien.
Cruciaal: Ze werken alleen de specifieke map bij waar de huidige zin toe behoort. Ze herschrijven niet de hele kast. Dit houdt het werk snel (lineair) en het geheugengebruik laag (constant).

3. De "Sparse" Update (De Efficiënte Truc)

Normaal gesproken, als je meer details wilt onthouden, heb je een grotere kast nodig, wat meer ruimte inneemt.

De Truc van het Paper: De auteurs beseften dat zelfs als je een kast hebt met 100.000 mappen, je er op elk moment maar een paar tegelijk aanraakt.
Omdat de updates sparse zijn (je raakt alleen de specifieke map aan die relevant is voor de huidige zin), groeit de inspanning om de kast bij te werken niet alleen omdat de kast enorm is.
Resultaat: Je kunt een enorme kast hebben (hoog geheugenvermogen) zonder de "inspanningstaks" van een enorme kast te betalen. Je krijgt het beste van twee werelden: enorme opslag, lage kosten.

De Resultaten: Hoe Goed Werkte Het?

De auteurs testten dit "Slimme Archiefkastje" op verschillende uitdagingen:

De "Naald in de Hooiberg" Test (In-Context Recall):
- De Taak: Verberg een specifiek sleutel-waarde paar (zoals een telefoonnummer) in een enorme blok tekst en vraag het model om het later te vinden.
- Het Resultaat: De oude "zaknotitieblok"-modellen faalden erbarmelijk na een bepaalde lengte. De "stadbibliotheek"-modellen werkten perfect maar waren traag. Het OVQ-attention model werkte bijna even perfect als de stadbibliotheek, zelfs met een veel kleiner geheugenvoetafdruk, en het kon tekst tot 64.000 woorden lang verwerken.
De "Leren Tijdens het Lezen" Test (In-Context Learning):
- De Taak: Geef het model een hoop voorbeelden van een nieuwe regel (bijvoorbeeld: "Als je X ziet, doe Y") en vraag het om die regel toe te passen op nieuwe zinnen later in de tekst.
- Het Resultaat: Het OVQ-model leerde de regels net zo goed als de zware, trage modellen, terwijl de efficiënte-stomme modellen faalden om de complexe patronen te leren.
Lange Verhalen Lezen (Language Modeling):
- Wanneer gevraagd werd het volgende woord te voorspellen in een lang verhaal (met behulp van het PG19 dataset), presteerde het OVQ-model concurrerend met de beste standaardmodellen, ondanks het gebruik van een fractie van het geheugen.

De Geheime Ingrediënt: Gaussian Mixture Regression

Het paper legt de wiskunde hierachter uit met behulp van een concept genaamd Gaussian Mixture Regression.

Eenvoudige Analogie: Stel je voor dat je het weer probeert te raden op basis van een wolk.
- Standaardmodellen proberen de wolk te matchen met elke wolk uit het verleden die ze ooit hebben gezien.
- OVQ-Attention groepeert wolken in "types" (bijvoorbeeld: "Stormwolk", "Pluizige Wolk").
- Terwijl nieuwe wolken verschijnen, memoreert het systeem ze niet alleen; het past de definitie van "Stormwolk" aan om beter te passen bij de nieuwe data. Het leert de vorm van de wolktypes terwijl het leest, waardoor zijn voorspellingen veel accurater worden over lange perioden.

Samenvatting

Het paper introduceert OVQ-Attention, een nieuwe manier voor AI om lange teksten te verwerken.

Oude Efficiënte Modellen: Snel en klein, maar vergeetachtig.
Oude Krachtige Modellen: Slim en gedetailleerd, maar traag en geheugen-hongerig.
OVQ-Attention: Gebruikt een dynamisch, zelf-bijwerkend archiefsysteem. Het houdt een klein, constant bedrag aan actief geheugen bij, maar kan een enorme hoeveelheid informatie opslaan door deze te organiseren in clusters. Het leert deze clusters terwijl het leest, waardoor het zowel snel als ongelooflijk slim kan zijn over zeer lange contexten (tot 64k tokens).

De auteurs concluderen dat dit een grote stap voorwaarts is in het maken van AI-modellen die zowel efficiënt zijn als in staat om lange, complexe taken aan te kunnen zonder supercomputers nodig te hebben.

Technische Samenvatting: Online Vector Quantized Attention

1. Probleemstelling

Standaard sequence mixing-layers in Large Language Models (LLM's) staan voor een fundamentele afweging tussen rekenkundige efficiëntie en prestaties op lange context.

Self-Attention: Hoewel zeer effectief voor taken met lange context (in-context leren, redeneren, ophalen), brengt het kwadratische rekenkosten ( $O(T^2)$ ) en lineair groeiende memorykosten ( $O(T)$ ) met zich mee, waardoor het duur is voor zeer lange sequenties.
Lineaire Attention en State Space Models (SSM's): Deze bieden lineaire rekenkosten ( $O(T)$ ) en constante memory ( $O(1)$ ). Ze lijden echter aan aanzienlijke prestatieachterstanden bij taken die een nauwkeurige verwerking van informatie op lange afstand vereisen, vanwege hun beperkte memorycapaciteit.
Vector Quantized (VQ) Attention: Een eerdere aanpak (Lingle, 2023) die lineaire berekening en constante memory bereikt door keys te quantiseren naar een vaste dictionary van centroiden. Echter, voorlopige tests toonden aan dat de originele VQ-attention worstelt met taken op lange context. De primaire bottleneck werd geïdentificeerd als de statische, vooraf getrainde key-dictionary ( $D_k$ ), die tijdens de forward pass niet effectief in staat is om keys te modelleren, wat leidt tot quantisatiefouten die de prestaties verslechteren. Het vergroten van de dictionary-grootte leverde afnemende meerwaarde op.

2. Methodologie: Online Vector Quantized (OVQ) Attention

De auteurs stellen Online Vector Quantized (OVQ) Attention voor, een nieuwe sequence mixing-layer die zowel de key-dictionary ( $D_k$ ) als de value-dictionary ( $D_v$ ) online leert tijdens de forward pass.

Theoretische Basis: Gaussian Mixture Regression (GMR)

Het artikel legt een theoretisch verband tussen OVQ-attention en Gaussian Mixture Regression (GMR).

Self-Attention als GKR: Standaard self-attention is onder specifieke aannames equivalent aan Gaussian Kernel Regression (GKR).
VQ-Attention als GMR: De auteurs tonen aan dat VQ-attention (en bij uitbreiding OVQ) nauwer verwant is aan GMR. Bij GMR wordt een Gaussian Mixture Model (GMM) aangepast aan een dataset van input-outputparen (keys en values).
Het Verband: De voorspellingsformule voor GMR, onder aannames van unit-norm queries/keys en isotrope covariantie, vereenvoudigt tot de lineaire tijd VQ-attention-vergelijking:
$O_{ovq} = \text{softmax}(\beta Q D_k^\top + \log(c)) D_v$
waarbij $c$ het aantal keys vertegenwoordigt dat aan elke centroid is toegewezen.
Implicatie: In tegenstelling tot standaard VQ-attention, waarbij $D_k$ en $D_v$ apart worden geleerd (vooraf trainen versus online), leert GMR ze gelijktijdig om dezelfde dataset te fitten. Dit motiveert de OVQ-aanpak om beide dictionaries online te leren om de conditionele verdeling $P(V|K)$ nauwkeurig te modelleren.

Formulering voor Online Leren

OVQ-attention werkt binnen een test-tijd trainingskader met een chunk-parallelle formulering:

Voorspelling: Voor elke chunk van queries berekent het model de attention met behulp van de huidige staat van de dictionaries ( $D_k, D_v$ ) en count-vectoren ( $c$ ). In tegenstelling tot de originele VQ-attention worden de keys en values van de huidige chunk niet gequantiseerd voordat ze worden gebruikt in de attention-berekening; ze worden direct aan de dictionaries toegevoegd.
Staat-update: Na het genereren van voorspellingen update het model de dictionaries met de keys en values van de huidige chunk.
- Dictionary-groei: Het aantal centroiden ( $N_t$ ) groeit asymptotisch naar een maximum $N$ met behulp van een verzadigende groeifunctie, geïnspireerd door het Dirichlet-proces. Dit stelt het model in staat om zijn memorycapaciteit dynamisch aan te passen.
- Initialisatie van Centroiden: Nieuwe centroiden worden geïnitieerd met een "spread-maximizing"-schema (vergelijkbaar met k-means++), waarbij datapunten worden geselecteerd met de kleinste dot-producten met bestaande centroiden om diversiteit te garanderen.
- Update-regel: Bestaande centroiden worden bijgewerkt via een online versie van de batch K-means-update. De auteurs bewijzen dat onder hun aannames de eerste batch EM-update op een GMM equivalent is aan een Newton-update op de Negative Log Likelihood (NLL), wat een tweede-orde benadering biedt voor het minimaliseren van de loss.

Rekenkundige Eigenschappen

Memory: OVQ behoudt constante memory ( $O(N)$ ) ongeacht de sequentielengte, aangezien de staat wordt gedefinieerd door de dictionaries en counts, niet door de volledige sequentie.
Berekening: De layer brengt lineaire berekeningkosten met zich mee ( $O(T)$ ). De update-operatie is spaarzaam; elke token in een chunk update slechts één rij van de dictionaries. Dit maakt het mogelijk om de staatgrootte ( $N$ ) aanzienlijk te vergroten zonder de memory footprint van de update-tensor te vergroten, in tegenstelling tot lineaire attention waar staat-updates schalen met de staatdimensie.

3. Belangrijkste Bijdragen

Voorstel van OVQ-Attention: Een nieuwe sequence mixing-layer die zowel key- als value-dictionaries online leert, waardoor de beperking van een statische dictionary van eerdere VQ-attention wordt overwonnen.
Theoretisch Kader: Een nieuwe afleiding die OVQ-attention koppelt aan Gaussian Mixture Regression, en zo een principieel fundament biedt voor het online leeralgoritme, inclusief dictionary-groei en spaarzame update-regels.
Empirische Validatie: Uitgebreide tests op synthetische taken (In-Context Recall, In-Context Learning) en taalmodellering op lange context (PG19).

4. Experimentele Resultaten

De auteurs hebben OVQ-attention geëvalueerd tegen sterke baselines, waaronder volledige self-attention, lineaire attention en SSM's (bijv. Mamba, Gated Delta Net).

Synthetische In-Context Recall (ICR):
- OVQ-attention presteerde aanzienlijk beter dan de originele VQ-attention en lineaire attention-baselines op de taken "Basic ICR" en "Positional ICR".
- Het kwam overeen met of wekte licht af van volledige self-attention-baselines tot 64k sequentielengtes, ondanks het gebruik van een staatgrootte van slechts 10-25% van die welke door volledige self-attention wordt gebruikt.
- De prestaties verbeterden met grotere dictionary-groottes op testtijd, wat effectieve lengte-extrapolatie aantoont.
Synthetische In-Context Learning (ICL):
- Op een lange-context lineaire regressietaken met meerdere functies leerde OVQ-attention succesvol alle functies in scenario's met tot 128 verschillende functies, en kwam overeen met de prestaties van volledige self-attention.
- Originele VQ-attention en lineaire attention-baselines faalden zelfs om één enkele functie te leren in deze moeilijke lange-context scenario's.
Taalmodellering op Lange Context (PG19):
- Hybride architecturen die OVQ afwisselen met sliding window-layers verbeterden de prestaties drastisch ten opzichte van pure sliding window- of Gated Delta Net-modellen.
- OVQ-attention kwam overeen met of overtrof licht standaard self-attention-baselines op de PG19-dataset bij contextlengtes van 16k.
Korte-Context Benchmarks:
- Op standaard korte-context benchmarks (PIQA, HellaSwag, enz.) presteerde OVQ-attention vergelijkbaar met standaard self-attention, wat bevestigt dat het de prestaties niet verslechtert op taken waar compressie niet vereist is.

5. Betekenis en Claims

Het artikel beweert dat OVQ-attention een belangrijke stap voorwaarts is in het balanceren van efficiëntie en prestaties voor verwerking op lange context.

Efficiëntie versus Capaciteit: In tegenstelling tot lineaire attention en SSM's gebruikt OVQ-attention spaarzame memory-updates die onafhankelijk zijn van de totale staatgrootte. Dit stelt het model in staat zeer grote memory-staten (hoge capaciteit) te benutten terwijl het een constante memory footprint en lineaire berekeningkosten behoudt.
Potentieel voor Continual Learning: De auteurs suggereren dat de spaarzame, online clustering-aard van OVQ-attention het inherent veerkrachtiger maakt voor "catastrophic forgetting" in vergelijking met dichte gradient-updates die worden gebruikt in lineaire attention/SSM's. Dit positioneert OVQ als een veelbelovende kandidaat voor continual learning-scenario's waar data-distributies in de loop van de tijd verschuiven.
Schaalbaarheid: Hoewel de huidige experimenten op een relatief kleine schaal plaatsvinden (<500M parameters), suggereren de theoretische eigenschappen van de architectuur dat het een levensvatbaar pad is naar efficiënte, lange-context LLM's zonder de kwadratische kosten van self-attention.

Het artikel concludeert dat OVQ-attention een overtuigend alternatief biedt voor self-attention, met concurrerende prestaties op taken met lange context voor een fractie van de memoryvereisten, en markeert een belangrijke onderzoeksrichting voor efficiënte sequence modeling.