🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven is een lineair tijdreeksmodel dat het herinneringsvermogen bij lange contexten verbetert door gebruik te maken van ijle, invoerafhankelijke geheugenroutering om slechts een deelverzameling van vaste geheugenslots bij te werken, waardoor het effectief de interferentieproblemen van dichte state-space modellen en de strikte verdrijvingsbeperkingen van sliding-window attention balanceert.

Oorspronkelijke auteurs: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Gepubliceerd 2026-07-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een verhaal te onthouden dat je net hebt gehoord, maar je brein heeft een vreemde regel: elke keer dat je een nieuw woord hoort, moet je het gehele verhaal van voren af aan herschrijven, waarbij je het nieuwe woord in elke zin die je ooit hebt geschreven verweeft. Dit is hoe sommige computerprogramma's, genaamd "State-Space Models", werken. Ze zijn erg goed in het vasthouden van de algemene sfeer van een verhaal gedurende een lange tijd, maar omdat ze alles zo grondig mengen, wordt het onmogelijk om een specifiek detail, zoals een naam of een datum, te vinden dat ergens in het midden begraven ligt. Aan de andere kant, stel je een ander soort geheugen voor dat werkt als een notitieblok met een vast aantal pagina's. Wanneer je de laatste pagina hebt gevuld, scheur je deze er gewoon af en gooi je hem weg, om plaats te maken voor een nieuwe. Dit is hoe "Sliding Window"-modellen werken. Ze zijn erg goed in het perfect onthouden van de laatste paar pagina's, maar op het moment dat een stukje informatie over de rand wordt geduwd, verdwijnt het voor altijd.

Dit is het grote probleem waar wetenschappers in het AI-veld proberen op te lossen: Hoe bouwen we een computerbrein dat een verhaal heel lang kan onthouden zonder de details te vermengen, maar ook zonder het begin te vergeten simpelweg omdat het oud is? We hebben een systeem nodig dat belangrijke, specifieke feiten gedurende een lange tijd kan vasthouden, terwijl het tegelijkertijd nieuwe informatie efficiënt kan verwerken. Dit is cruciaal omdat naarmate AI-modellen slimmer worden, ze langere boeken moeten lezen, enorme documenten moeten analyseren en instructies die aan het begin van een gesprek zijn gegeven, moeten onthouden, zelfs nadat er duizenden woorden zijn gepasseerd.

Maak kennis met Raven, een nieuw soort AI-model dat door onderzoekers is ontworpen om precies dit geheugenspel op te lossen. Denk aan het geheugen van Raven niet als een rommelige herschrijving of een simpel notitieblok met een prullenbak, maar als een high-tech kleedkamer met honderden lockers. In de oude systemen werd elk nieuw item gedwongen om in elke locker tegelijk te passen, of het werd in een locker gestopt op basis van strikt de aankomstvolgorde, waarbij het oudste item werd weggegooid, ongeacht of het belangrijk was. Raven verandert de regels. Het gebruikt een slimme "router" die werkt als een uitsmijter. Wanneer een nieuw stukje informatie arriveert, kijkt de uitsmijter naar wat het is en beslist: "Dit is een saai feitje? Zet het in een gedeelde locker die vaak wordt schoongemaakt. Dit is een superbelangrijk geheim? Zet het in een speciale, toegewezen locker waar niemand anders bij mag komen."

Het paper introduceert een framework genaamd Routing Slot Memories (RSMs), wat de blauwdruk is voor Raven. De belangrijkste innovatie is dat Raven onderscheid maakt tussen waar informatie wordt geschreven en hoe lang het daar blijft. In eerdere modellen waren deze twee zaken met elkaar verstrengeld. Raven gebruikt een "sparse" routeringssysteem, wat betekent dat het slechts een kleine, geselecteerde groep lockers (geheugenslots) bijwerkt voor elk nieuw stuk tekst, waardoor de rest volledig onaangetast blijft. Dit is een enorme doorbraak, omdat het de "interferentie" voorkomt die optreedt wanneer je alles tegelijkertijd probeert bij te werken. Als een specifieke locker een cruciaal wachtwoord bevat, kan de router van Raven ervoor kiezen om die locker honderden stappen te negeren, zodat het wachtwoord daar veilig kan blijven liggen terwijl de rest van het geheugen zijn werk doet.

De onderzoekers hebben Raven getest op enkele zeer uitdagende geheugenspellen. Een daarvan was de "Needle in a Haystack"-test, waarbij de AI een specifieke zin moet vinden die verborgen zit in een enorm document. In deze tests liet Raven zien dat het de naald kon vinden, zelfs wanneer het document 16 keer langer was dan de lengte waarop het getraind was. Terwijl andere modellen zoals Mamba-2 of Sliding Window Attention begonnen te falen en dingen te vergeten naarmate de tekst langer werd, behield Raven een bijna perfecte nauwkeurigheid. Zo behield Raven op een test van 32.000 tokens een nauwkeurigheid van meer dan 91%, terwijl andere modellen aanzienlijk achteruitgingen.

Wat echt cool is, is dat Raven geen enkele luxe extra truc nodig heeft om dit te doen. Het vertrouwt niet op complexe convoluties (die als kortetermijngeheugenfilters worden gebruikt door andere modellen) of speciale positie-markers. Het gebruikt simpelweg dit slimme routeringssysteem. Het paper suggereert dat door het model te laten leren om geheugen toe te wijzen op basis van inhoud (wat het woord is) in plaats van alleen op positie (waar het in de zin staat), het een natuurlijke "specialisatie" creëert. Sommige geheugenslots worden experts in het vasthouden van cruciale details voor herinnering, terwijl andere de algemene flow van het verhaal afhandelen.

De auteurs ontdekten dat deze aanpak niet alleen in isolatie werkt, maar ook wanneer het wordt gemengd met andere soorten AI-architecturen. Wanneer ze Raven koppelden aan standaard attention-mechanismen (het soort dat wordt gebruikt door de meest populaire AI-modellen van dit moment), presteerde het hybride systeem zelfs nog beter op taken met een lange context, waarbij het modellen die Sliding Window Attention of andere lineaire modellen gebruiken, overtrof. Het paper concludeert dat Raven erin slaagt de kloof te overbruggen tussen modellen die goed zijn in langdurige persistentie en modellen die goed zijn in precieze herinnering, wat suggereert dat het behandelen van geheugenallocatie als een bewuste, leerbare keuze een krachtige manier vooruit is voor het bouwen van slimmere, efficiëntere AI.

Technische Samenvatting: Raven - High-Recall Sequence Modeling met Sparse Memory Routing

1. Probleemstelling

Lineaire sequentiemodellen, zoals State-Space Models (SSM's) en lineaire Transformers, staan voor een fundamentele afweging in hoe ze geheugen beheren voor lang-context herinnering (recall). Bestaande architecturen vallen over het algemeen uiteen in twee extremen, die beide lijden onder specifieke beperkingen bij het ophalen van specifieke eerdere tokens:

Dense State Updates (SSM's): Modellen zoals Mamba-2, GLA en GDN behouden een vaste grootte aan staat die dens bij elke stap wordt bijgewerkt. Elke geheugenslot wordt voor elk nieuw token bijgewerkt, waarbij vertrouwd wordt op geleerde vervalmechanismen om te vergeten. Hoewel dit in principe een oneindige persistentie mogelijk maakt, veroorzaken de dense updates interferentie, waardoor het moeilijk is om specifieke individuele tokens te bewaren zonder dat ze worden overschreven of verdund door opvolgende informatie.
Sparse, Position-Based Writes (Sliding-Window Attention - SWA): SWA schrijft sparse door expliciete token-representaties op te slaan, maar beperkt deze tot een vaste recente window. Het gebruikt een First-In-First-Out (FIFO) strategie waarbij oude tokens hard worden verwijderd op basis van positie. Hoewel dit betrouwbare retrieval binnen de window mogelijk maakt, daalt de recall naar bijna nul zodra het relevante token wordt verwijderd, ongeacht de belangrijkheid ervan.

Het kernprobleem is dat bestaande modellen verwarren waar informatie wordt geschreven met hoe lang het persisteert. SSM's schrijven overal en vertrouwen op verval om te vergeten; SWA schrijft nergens (behalve in de huidige window) en vertrouwt op positie om te vergeten. Geen van beide combineert effectief sparse, inhoud-afhankelijke het schrijven met expliciet, controleerbaar verval.

2. Methodologie: Routing Slot Memories (RSMs)

De auteurs stellen Routing Slot Memories (RSMs) voor, een verenigd framework dat de locatie van writes ontkoppelt van de duur van persistentie. RSM's behouden een vaste set van $M$ geheugenslots en gebruiken op elk tijdstip $t$ een router om te bepalen welke subset van slots nieuwe informatie ontvangt en verval toepast.

2.1 Het RSM-framework

De algemene recursie voor een RSM wordt gedefinieerd als:
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
Waarbij:

$S_t \in \mathbb{R}^{M \times d}$ de geheugenstaat is met $M$ onafhankelijke slots.
$r_t \in \mathbb{R}^M$ de routing vector is die de schrijfintensiteit voor elke slot bepaalt.
$D_t$ en $A_t$ verval en feature-mixing controleren.
$U_t$ de schrijfinhoud is afgeleid van de input $x_t$ .

Het framework plaatst bestaande modellen op een spectrum:

SSM's: Gebruiken een dense router ( $r_t = \mathbf{1}_M$ ), waarbij alle slots worden bijgewerkt met geleidelijk verval.
SWA: Gebruikt een tijd-afhankelijke, one-hot router ( $r_t = e_t$ ), die exact één slot bijwerkt met harde verwijdering (geen verval).
GSA/ABC: Gebruiken input-afhankelijke routers maar updaten doorgaans alle slots (dense writes), wat hun vermogen beperkt om geheugens te isoleren.

2.2 De Raven-architectuur

Raven is een specifieke instantie van RSM's, ontworpen om het "middenpad" te bezetten door sparse, input-afhankelijke routing te combineren met expliciet verval.

Dual-State Structuur: Net als SWA houdt Raven aparte Key ( $S^k_t$ ) en Value ( $S^v_t$ ) staten bij.
Sparse, Input-Afhankelijke Routing: In plaats van een vaste window of dense update, gebruikt Raven een router $g_t$ $g_{t}$ afgeleid van de input $x_t$ $x_{t}$ . Het maakt gebruik van een Top-K selectiestrategie (geadapteerd van DeepSeek MoE routing) om een kleine subset van $K$ $K$ slots te selecteren om bij te werken.
- Scores worden berekend via een sigmoid functie: $m_t = \sigma(W x_t)$ .
- Alleen de top $K$ entries worden behouden; andere worden op nul gezet.
- De router wordt genormaliseerd om ervoor te zorgen dat de geselecteerde slots een passende schrijfintensiteit ontvangen.
Selectief Verval: Verval wordt alleen toegepast op de geselecteerde slots. De recursie is:
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
Hier is $a_t$ een input-afhankelijke scalaire decay (vergelijkbaar met Mamba-2). Als een slot niet is geselecteerd ( $r_t[i] \approx 0$ ), dan is de term $\exp(a_t r_t[i]) \approx 1$ , wat betekent dat de slot bevroren is en zijn inhoud perfect behoudt totdat deze opnieuw wordt geselecteerd.
Vereenvoudigd Block Design: In tegen tegenstelling tot veel lineaire modellen (bijv. Mamba, GLA), laat Raven korte-range convoluties weg. Het vertrouwt uitsluitend op de routing- en vervalmechanismen voor lokale en lang-range context integratie, wat resulteert in een simpelere block structuur.

3. Belangrijkste Bijdragen

Routing Slot Memories (RSMs): Een formeel framework dat SSM's en SWA verenigt, door "waar" informatie wordt geschreven (routing) expliciet te scheiden van het "vergeten mechanisme" (decay).
Het Raven-model: Een lineair-tijd sequentiemodel dat RSM's implementeert door sparse, input-afhankelijke routing te gebruiken om een subset van geheugenslots bij te werken, terwijl verval alleen wordt toegepast op de slots die worden bijgewerkt.
Mechanisme voor Lang-Range Recall: Door retrieval-kritische tokens (bijv. passkeys) naar specifieke slots te routeren en deze te bevriezen, voorkomt Raven de destructieve interferentie die gebruikelijk is bij dense SSM's en de harde verwijdering van SWA.
Lengte-generalisatie: Het model bereikt sterke prestaties op contexten tot 16 $\times$ de trainingslengte zonder expliciete length curriculum of positionele interpolatietechnieken (zoals RoPE), aangezien de variabele effectieve sequentielengtes over de slots heen het model natuurlijk blootstellen aan diverse temporele dynamieken.

4. Experimentele Resultaten

De auteurs evalueerden Raven op retrieval-intensieve benchmarks en algemene taalmodelleringstaken, waarbij ze het vergeleken met sterke baselines inclusief Mamba-2, GLA, GDN, SWA en Transformer-varianten (FoX).

Needle-in-a-Haystack (NIAH):
- 400M Schaal: Raven behield een bijna perfecte nauwkeurigheid ( $\ge 99\%$ ) tot 16K tokens en bleef sterk ( $>91\%$ ) bij 32K tokens (16 $\times$ de trainingslengte). In contrast presteerden Mamba-2 en GDN significant slechter voorbij 8K.
- 800M Schaal: Raven behaalde 91,0% nauwkeurigheid op NIAH-1 bij 64K tokens, waarmee het de op één na beste baseline (GDN op 45,2%) aanzienlijk versloeg.
Real-World Recall Taken:
- Op SWDE (web extractie), FDA (document extractie) en SQuAD presteerde Raven consequent beter dan lineaire baselines. Bijvoorbeeld, op FDA was het de enige lineaire model dat de 22% nauwkeurigheid overschreed, een verbetering van ~8 punten ten opzien van de beste SSM baseline.
Taalmodellering:
- Raven kwam overeen met of overtrof de prestaties van dense SSM's (Mamba-2, GLA) op standaard zero-shot benchmarks (Lambada, PIQA, HellaSwag, etc.), wat aantoont dat de sparse routing de algemene taalmodellering capaciteiten niet in de weg staat.
Hybride Architecturen:
- Wanneer geïntegreerd in hybride modellen (gekoppeld aan full attention lagen), presteerde Raven aanzienlijk beter dan hybriden die Mamba-2, GDN of SWA-RoPE gebruiken, met name op lang-context retrieval taken in het 16K–64K bereik.

5. Betekenis en Claims

Het artikel claimt dat Raven een fundamentele architecturale kloof in lineaire sequentiemodellering aanpakt. Door waar informatie wordt geschreven expliciet te scheiden van hoe lang het persisteert, bereikt Raven een niveau van lang-range recall dat voorheen onbereikbaar was voor lineaire modellen zonder terug te vallen op kwadratische aandacht of complexe hybride setups.

Belangrijke claims zijn onder meer:

Superioriteit over SWA: Raven vervangt positie-gebaseerde verwijdering door inhoud-afhankelijke routing en selectief verval, wat perfecte recall mogelijk maakt op taken waar SWA volledig faalt.
Superioriteit over Dense SSM's: Raven vermijdt de interferentie van dense state updates door selectief te schrijven, waardoor specifieke tokens ongestoord in toegewezen slots kunnen blijven bestaan.
Eenvoud: Het model behaalt deze winst zonder korte-range convoluties, wat de architectuur eenvoudiger maakt vergeleken met eerdere lineaire modellen.
Emergente Specialisatie: Analyse toont aan dat Raven van nature leert om specifieke geheugenslots toe te wijzen aan retrieval-kritische tokens (bijv. wachtwoorden) terwijl andere slots worden gebruikt voor algemene inhoud, wat een gestructureerde, inhoud-bewuste geheugenallocatie creëert zonder expliciete supervisie.

De auteurs concluderen dat het RSM-framework suggereert dat routing en vergeten orthogonale ontwerpassen zijn die als primaire ontwerpkeuzes behandeld moeten worden in plaats van bijproducten van vervalmechanismen.