💻 computer science

One Vector Is All You Need for O(1) Self-Attention: The Ocean State

Dit artikel introduceert de "Ocean State", een methode die standaard self-attention vervangt door een enkele persistente vector om een O(1) computationele en geheugencomplexiteit te bereiken, terwijl het superieure trainingsstabiliteit en geen tekenen van vergeten vertoont, zelfs niet bij een context van 10 miljoen stappen.

Oorspronkelijke auteurs: SHUYUAN YU

Gepubliceerd 2026-09-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: SHUYUAN YU

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne kunstmatige intelligentie vertrouwt vaak op een specifiek type computerprogramma dat een Transformer wordt genoemd, wat de standaard is geworden voor taken zoals het schrijven van tekst, het vertalen van talen en het beantwoorden van vragen. Deze programma's werken door naar een reeks woorden te kijken en te beslissen welk woord volgt. Om dit nauwkeurig te doen, moet het programma de woorden onthouden die het al heeft gezien. In het huidige ontwerp houdt het programma, terwijl het een langere zin of een heel boek leest, een groeiende lijst bij van elk woord dat tot nu toe is verwerkt. Deze lijst fungeert als een geheugenbank die uitbreidt met elk nieuw woord. Hoewel dit goed werkt voor korte teksten, wordt het een zware last voor zeer lange teksten. De computer moet deze steeds groter wordende lijst constant scannen om relevante informatie te vinden, wat een enorme hoeveelheid rekenkracht en geheugen vereist. Naarmate de tekst langer wordt, groeien de tijd en de energie die nodig zijn om het te lezen veel sneller dan de tekst zelf, waardoor het uiteindelijk onmogelijk wordt om zeer lange documenten efficiënt te verwerken.

Een onderzoeker genaamd Yu Shuyuan heeft een andere manier voorgesteld om dit geheugenprobleem aan te pakken. In plaats van een groeiende lijst van elk woord bij te houden, stelt de nieuwe methode voor om slechts één enkele samenvattende vector bij te houden, die de auteur de "ocean state" (oceaanstaat) noemt. Stel je deze staat voor als één enkel, dicht container die de essentie bevat van alles wat het programma tot nu toe heeft gelezen. Terwijl het programma een nieuw woord leest, werkt het deze enkele container bij om de nieuwe informatie op te nemen, waarbij de oude samenvatting wordt vervangen door een nieuwe. Het programma gebruikt vervolgens deze enkele container om het volgende woord te voorspellen. Deze aanpak verandert de fundamentele wiskunde van het probleem: in plaats van dat de inspanning groeit met de lengte van de tekst, blijft de inspanning gelijk, ongeacht hoe lang de tekst wordt. Het programma kan een miljoen woorden lezen met dezelfde hoeveelheid werk per woord, en het gebruikt een vaste, kleine hoeveelheid geheugen, ongeacht de lengte.

De kern van dit werk is een eenvoudige vraag: wat als we de uiteindelijke samenvatting van een zin niet wegwerpen nadat we deze hebben gebruikt om het volgende woord te voorspellen? In standaardprogramma's wordt deze samenvatting berekend en vervolgens weggegooid. De nieuwe methode houdt deze echter vast, door het te behandelen als een persistent geheugen dat van de ene stap naar de volgende stroomt. Het programma leest het huidige woord en deze enkele samenvattende vector, combineert ze, en produceert een nieuwe samenvatting. Dit proces herhaalt zich voor elk woord in de tekst. Cruciaal is dat het programma zelfstandig leert hoe het deze enkele vector moet lezen en bijwerken. Niemand heeft het verteld hoe het informatie in één plek moet comprimeren; het heeft simpelweg geleerd om dit te doen tijdens de training, omdat het ontwerp dit mogelijk maakte. De onderzoekers ontdekten dat deze enkele vector verrassend bekwaam is. Het kan informatie uit een sequentie van tien miljoen stappen vasthouden zonder er enig deel van te verliezen. In tests kon het programma specifieke woorden van het begin van een sequentie van tien miljoen stappen even nauwkeurig oproepen als de eerste paar stappen, zonder enige tekenen van vergeten.

De onderzoekers testten dit idee tegen de standaardmethode met behulp van een grote set tekstgegevens. Ze trainden beide versies om het volgende woord in een zin te voorspellen. De resultaten lieten zien dat de nieuwe methode, die slechts één vector gebruikt, consequent beter presteerde dan de standaardmethode die een groeiende lijst bijhoudt. Dit voordeel was geen toeval; het kwam voor in veel verschillende instellingen, waaronder verschillende groottes van modellen en verschillende lengtes van tekst. Sterker nog, de nieuwe methode was zo stabiel dat het een sequentie van tien miljoen stappen kon verwerken zonder toename in fouten, terwijl de standaardmethode zelfs voor een fractie van die lengte al het geheugen zou hebben verbruikt of een onmogelijke hoeveelheid tijd zou hebben genomen om te verwerken. De onderzoekers testten ook een specifieke taak waarbij het programma een woord na een lange vertraging moest herhalen. De nieuwe methode reproduceerde het woord met een verlies van 0,0006, terwijl de standaardmethode volledig faalde.

Een punt van zorg bij een dergelijke gecomprimeerde geheugen is dat het in de loop van de tijd onleesbaar of "mistig" zou kunnen worden, waarbij de details die nodig zijn om goede voorspellingen te doen verloren gaan. De experimenten toonden echter het tegenovergestelde aan. De enkele vector bleef scherp en helder, in staat om specifieke informatie op te halen zelfs na miljoenen stappen. De onderzoekers verkenden ook hoe ze deze methode sneller kunnen maken op echte computers. Omdat de nieuwe methode woorden één voor één in een strikte sequentie verwerkt, kan het trager zijn om te trainen op een enkele machine vergeleken met de standaardmethode, die veel woorden tegelijkertijd kan verwerken. Om dit op te lossen, ontwikkelden de onderzoekers een manier om het werk te splitsen over verschillende lagen van het programma, waardoor meerdere stappen gelijktijdig kunnen worden verwerkt. Deze technische aanpassing verminderde de tijd die nodig is om het model te trainen aanzienlijk, terwijl dezelfde hoge prestaties behouden bleven.

De studie toont aan dat het mogelijk is om een systeem te bouwen dat een enorme hoeveelheid informatie onthoudt met een vaste hoeveelheid geheugen en rekenkracht. De onderzoekers lieten zien dat het programma leert om deze informatie efficiënt te organiseren zonder speciale instructies. Hoewel de huidige experimenten werden uitgevoerd op een specifieke dataset en met relatief kleine modellen, en het gedrag bij werkelijke groottes nog niet is getest, suggereren de resultaten dat het onderliggende principe robuust is. De methode werkt door de manier waarop het programma zijn eigen interne staat afhandelt te herpositioneren, waarbij een weggegooide samenvatting wordt omgezet in een persistent geheugen. Deze verandering elimineert de structurele kosten die de lengte van de tekst heeft beperkt die AI-systemen kunnen verwerken. De bevindingen wijzen erop dat met deze aanpak de beperkingen van de contextlengte niet langer een barrière kunnen zijn, waardoor systemen documenten van elke grootte kunnen lezen en begrijpen met consistente snelheid en nauwkeurigheid.

Technische Samenvatting: Eén Vector is Alles Wat Je Nodig Hebt voor O(1) Self-Attention: De Ocean State

1. Probleemstelling

Standaard Transformers lijden aan een structurele beperking: self-attention brengt een $O(N^2)$ computationele kosten met zich mee en vereist een $O(N)$ geheugencache (Key-Value cache) die lineair groeit met de contextlengte. Hoewel recente werken (RetNet, RWKV, Mamba, Titans) proberen dit te verzachten door nieuwe mechanismen te introduceren zoals lineaire attention, selectieve gating of externe geheugenmodules, veranderen zij fundamenteel de architectuur. Bovendien gooien standaard Transformers de uiteindelijke verborgen toestand (hidden state) na elke forward pass weg, ondanks het feit dat deze een absorptie bevat van de volledige context.

Het paper stelt dat de $O(N^2)$ kosten structureel zijn aan de huidige implementatie van attention, en niet inherent aan het concept van contextmodellering. Het stelt de vraag: Wat als de verborgen toestand, die de volledige context absorbeert, niet wordt weggegooid maar behouden blijft en wordt gebruikt als het enige object van aandacht voor de volgende token?

2. Methodologie: De Ocean State

De voorgestelde oplossing, "De Ocean State," omvat twee specifieke herpositioneringen van de standaard Transformer-architectuur zonder nieuwe componenten toe te voegen (bijv. geen gating, geen extern geheugen).

2.1 Kernmechanismen

De Ocean State (Herpositionering 1):
- In plaats van de verborgen toestand na een forward pass weg te gooien, vervangt de output van de verwerking van de huidige token de vorige verborgen toestand, die de "ocean state" wordt genoemd.
- Attention Mechanisme: Attention wordt strikt berekend tussen de huidige token en de persistente ocean state (een enkele dichte vector).
- Gevolgen: Dit elimineert de noodzaak voor Key-Value (KV) caches, positionele encodings en causale masks. De staat wordt bijgewerkt via een "relay" (1:1 vervanging) in plaats van accumulatie, waardoor informatie wordt geherorganiseerd maar niet wordt gecomprimeerd of weggegooid.
- Read-Only: De ocean state wordt gelezen door de huidige token maar wordt nooit verwerkt door de Feed-Forward Network (FFN) of de layer stack; alleen de token gaat door de stack.
Ocean BPTT (Herpositionering 2):
- Omdat de ocean state een recurrente variabele is, moeten gradiënten door de tijd worden uitgerold (Backpropagation Through Time, BPTT).
- Gradient Flow: Tijdens de backward pass wordt de gradiënt van de ocean state op stap $t$ berekend op basis van de token op stap $t$ . Deze gradiënt wordt vervolgens toegevoegd aan de gradiënt van de verborgen toestand van stap $t-1$ .
- Read-Path Operator: Een specifieke operator brengt de gradiënt van de token terug naar de ocean state met behulp van de attention weights die tijdens de forward pass zijn opgeslagen. Hoe meer een token de "ocean" leest, hoe sterker het gradiëntsignaal dat wordt teruggestuurd om de ocean state bij te werken.

2.2 Algoritmische Implementatie

De trainingslus bestaat uit:

Forward Pass: Token $t$ let op $ocean_{t-1}$ . De token gaat door de layer stack (Attention + FFN). De output vervangt $ocean_{t-1}$ om $ocean_t$ te worden.
Backward Pass: Gradiënten stromen van de loss op stap $t$ terug door de lagen. Cruciaal is dat de gradiënt van de ocean state over de tijdstappen wordt geaccumuleerd, waardoor fouten van toekomstige tokens de representatie van het verleden kunnen bijwerken.

2.3 Engineering Varianten

Het paper onderzoekt drie trainingsregimes om kosten, tijd en kwaliteit in balans te brengen:

Seriële Ocean BPTT: Volledige tijdketen-unrolling. Hoogste kwaliteitswinst, laagste computekosten, maar seriële wall-clock tijd.
Ocean on Framework: Draait de volledige keten op standaard autograd frameworks. Behoudt de volledige kwaliteitswinst maar verbetert de throughput via batching.
Ocean Detach: Kapt de tijd-gradiëntketen door (geen BPTT over stappen). Maakt volledige parallelle training mogelijk (zoals standaard Transformers) maar offert de prestatiewinst op die voortkomt uit de tijd-gradiënten.

3. Belangrijkste Bijdragen

Architecturale Herpositionering: Demonstreert dat $O(1)$ attention en $O(1)$ geheugen haalbaar zijn door de weggegooide verborgen toestand te hergebruiken als een persistente "ocean" vector, waardoor de noodzaak voor KV-caches en positionele encodings wordt geëlimineerd.
Emergente Capaciteit: Toont aan dat een Transformer kan leren om informatie te lezen en te extraheren uit een enkele dichte vector zonder expliciete instructie, puur vertrouwend op end-to-end training.
Schaalbaarheid naar Extreme Contexten: Bewijst dat de architectuur contextlengtes tot 10 miljoen stappen kan aan zonder degradatie, een prestatie die onmogelijk is voor standaard Transformers vanwege geheugen- en computatiebeperkingen.
Gradient Unrolling: Introduceert "Ocean BPTT", waarbij standaard BPTT wordt toegepast op de volledige layer stack output als de recurrente staat, en identificeert dit als de primaire bron van prestatiewinst.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Shakespeare corpus (karakter- en woordniveau) met een aangepaste NumPy-implementatie (float64) en geverifieerd met PyTorch.

4.1 Prestaties en Trainingsdynamiek

Superioriteit: Over alle geteste configuraties (breedtes $d \in \{32, 64, 128, 256\}$ , dieptes $L \in \{2, 4, 6\}$ , en diverse head counts) presteerde het "Ocean Full" regime consistent beter dan de standaard Transformer.
Stabiele Winst: De prestatiekloof ( $\Delta = Loss_{std} - Loss_{full}$ ) was positief en stabiel (ongeveer +0.15 reductie in loss) over de grid.
Bron van Winst: De winst is primair structureel. Wanneer de tijdsketen wordt losgekoppeld (Ocean Detach), daalt de prestatie aanzienlijk, wat aangeeft dat de tijd-gradiënt unrolling de kritieke factor is, en niet alleen het attention-mechanisme zelf.

4.2 Lange Context en Geheugen

Geen Vergeten: In een 10-miljoen-stappen prefill test bleef de loss vlak (1.532 bij stap 1M versus 1.531 bij stap 10M). De ocean state vertoonde geen tekenen van capaciteitverzadiging of vergeten.
Echo Taak: Het model bereikte een bijna nul-loss (0.0006) in een echo-taak met een vertraging van 2 miljoen stappen, terwijl de standaard Transformer volledig faalde.
Geheugenefficiëntie: De ocean state vereist slechts $O(1)$ geheugen (een enkele vector van dimensie $d$ ), onafhankelijk van de contextlengte. In tegen tegenstelling hiertoe vereisen standaard Transformers $O(N)$ geheugen voor KV-caches, wat onhaalbaar wordt bij schalen zoals 1 miljoen tokens (vereist ~1 TB voor een 13B model).

4.3 Inferentie en Generatie

Geen Extrapolatie: De ocean genereert coherente tekst zonder dat er positionele encoding extrapolatie (bijv. RoPE, ALiBi) nodig is, omdat de contextlengte geen inputvariabele is voor de attention-mechanisme.
Wall-Clock Tijd: Hoewel de seriële aard van de recurrentie het trainen per stap langzamer maakt dan parallelle standaard Transformers, merkt het paper op dat layer-wise pipelining (Ocean A-2) een 1.9x versnelling in wall-clock tijd kan bereiken, en geneste parallellisme (Ocean A-3) theoretische winsten van $10^3$ biedt. De auteur benadrukt dat training een expliciete afweging is tussen de driehoek van kosten, tijd en kwaliteit, waarbij praktische implementatie specifieke regimes vereist (bijv. detach voor industriële schaal, full chain voor onderzoeks-kwaliteit).

5. Betekenis en Claims

Het paper claimt drie primaire punten, die het als falsifieerbaar definieert:

Trainingsconsistentie: De Ocean state traint met dezelfde leercurvevorm als de standaard Transformer, wat bevestigt dat het een geldige herpositionering is en geen fundamenteel ander leerparadigma.
Universele Winst: Voor elke Transformer-architectuur onder identieke omstandigheden levert de Ocean state een positieve prestatiewinst ( $\Delta > 0$ ).
Oneindige Capaciteit: Met voldoende dimensie ( $d$ ) vertoont de Ocean state geen capaciteitslimiet, geen vergeten en geen falen in retrieval op elke observeerbare schaal.

De auteur concludeert dat de "Ocean State" het principe van $O(1)$ inferentie en training voor willekeurige contextlengtes aanpakt, met de stelling: "we geloven dat het principe is opgelost." Door te vertrouwen op het emergente vermogen van de Transformer om informatie te organiseren binnen een enkele vector, verwijdert de methode de structurele knelpunten van kwadratische attention en lineaire geheugengroei, wat potentieel "kleine en persoonlijke" transformers en mensachtige robots met continue cognitieve staten mogelijk maakt. Het werk benadrukt dat deze resultaten zijn afgeleid van "wat-als" experimenten op bestaande componenten, waarbij de emergente eigenschappen van de originele architectuur worden gerespecteerd, terwijl ook openstaande vragen over specifieke configuraties (bijv. waarom detach beter presteert dan de standaard in sommige gevallen) worden erkend.