🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

Dit artikel onderzoekt de haalbaarheid van het Reservoir Attention Network (RAN), een architectuur die een vaste, ongetrainde willekeurige reservoir injecteert in voorgetrainde transformers om cross-pass staat te dragen, waarbij wordt aangetoond door middel van minimale probes op modellen variërend van GPT-2 tot Qwen2.5 dat ongetrainde recurrente dynamiek alleen al voldoende kan zijn voor het behoud van bruikbare staat over forward passes heen.

Oorspronkelijke auteurs: Emma Leonhart

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emma Leonhart

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Stateless Transformers

Standaard AI-modellen zoals GPT-2 zijn "stateless" tussen verschillende interacties door.

Hoe het werkt: Wanneer je een prompt stuurt, verwerkt het model de tekst en genereert een antwoord. Zodra dat antwoord is gegenereerd, wordt het geheugen van het model gewist.
Het Gebrek: Er is geen interne staat die overblijft voor de volgende keer dat je het model aanroept. Als je een nieuw gesprek start, weet het model niets van eerdere gesprekken, tenzij je die informatie opnieuw in de tekst (context window) opneemt.
Het Doel: De auteurs wilden een mechanisme toevoegen dat informatie kan vasthouden tussen deze losse aanroepen door, zonder het hele model opnieuw te trainen.

De Oplossing: Het Reservoir

De auteurs voegden een component toe genaamd een Reservoir. Dit is een concept uit "Reservoir Computing" (specifiek Echo State Networks).

Wat is het? Het reservoir is een vaste groep kunstmatige neuronen die willekeurig met elkaar verbonden zijn.
Vast en Willekeurig: De verbindingen tussen deze neuronen zijn willekeurig gegenereerd en worden niet getraind of aangepast tijdens het leren. Ze blijven statisch.
De Staat (State): Omdat de neuronen recurrent verbonden zijn (ze hebben feedback-loops), behoudt het reservoir een interne "staatvector". Wanneer nieuwe informatie binnenkomt, verandert deze staat. De staat verandert stap voor stap en houdt een vervagende "echo" vast van recente inputs. Deze staat blijft bestaan, zelfs als het model zelf wordt gereset voor een nieuwe aanroep.

De Integratie: Waar gaat het in het model?

Het reservoir is niet losstaand; het is ingebed in een vooraf getrainde, bevroren transformer (zoals GPT-2 of Qwen).

Locatie: Het reservoir is aangesloten op een midden-laag van de transformer.
Lezen: Op elke stap leest het reservoir de output van de attention-laag van de transformer. Dit gebeurt via een vaste, willekeurige projectie.
Bijwerken: Op basis van deze input update het reservoir zijn interne neurale staat.
Schrijven: De nieuwe staat van het reservoir wordt teruggevoerd in het transformer-model, zodat de rest van het model deze informatie kan gebruiken.
Training: Het transformer-model zelf blijft bevroren. Alleen een kleine "readout" laag (die de output van het reservoir vertaalt) en lichte adapters (LoRA) worden getraind.

De Cruciale Ontdekking: Hoe de Staat Teruggevoerd Wordt

De belangrijkste bevinding van het paper gaat over de methode waarmee de staat van het reservoir terug in het model wordt geschreven. De auteurs testten twee manieren:

Methode A: Additieve Injectie (Faalt)
- Mechanisme: De staatvector van het reservoir wordt simpelweg opgeteld bij de interne activaties van het transformer-model.
- Resultaat: Dit werkt niet. Het model leert de bijgedragen informatie te negeren omdat het deze interpreteert als ruis. De informatie uit het vorige gesprek gaat verloren.
Methode B: Content-Addressable Injectie (Slaagt)
- Mechanisme: De staat van het reservoir wordt omgezet in "pseudo-tokens" (specifieke vectoren die fungeren als sleutels en waarden). Deze worden als een prefix toegevoegd aan de attention-mechanisme van het model.
- Resultaat: Dit werkt uitstekend. Omdat het attention-mechanisme expliciet naar deze tokens kijkt, is het model gedwongen om de informatie uit het reservoir te verwerken. Het model kan hierdoor betrouwbaar informatie ophalen uit een eerdere aanroep die niet in de huidige tekst staat.

Dynamiek en Instellingen

Om het reservoir werkend te krijgen, moesten de auteurs de interne dynamiek nauwkeurig afstemmen:

Edge of Chaos: De willekeurige verbindingen in het reservoir moeten zo zijn ingesteld dat het systeem stabiel is maar wel reactief. Te veel stabiliteit leidt tot verlies van informatie; te veel chaos leidt tot oncontroleerbare signalen.
Input Schaling: De signalen die van het transformer-model naar het reservoir gaan, moesten worden verlaagd naar ongeveer 10–25% van hun oorspronkelijke sterkte. Zonder deze schaling zouden de neuronen in het reservoir verzadigen (satureren), waardoor ze niet meer correct konden reageren op nieuwe input.

Schaalbaarheid: Grootte Maakt Uit

De resultaten varieerden sterk afhankelijk van de grootte van het model en het reservoir:

GPT-2 Small: Werkte goed met een standaard reservoir.
GPT-2 Medium: Faalde. Het model kon de injectie niet effectief gebruiken.
Qwen-1.5B: Werkte weer, maar alleen onder specifieke voorwaarden. Het reservoir moest aanzienlijk groter zijn (bijvoorbeeld 2048 neuronen in plaats van 512) en de input-schaling moest worden toegepast.
Conclusie: Een groter transformer-model vereist een groter reservoir om de complexiteit van de signalen aan te kunnen zonder verzadiging.

Capaciteit en Beperkingen

Het paper is transparant over de huidige limieten van deze technologie:

Wat het KAN: Het kan een kleine hoeveelheid discrete informatie vasthouden tussen aanroepen. Voorbeelden zijn het onthouden van een specifiek "trigger"-woord of het bijhouden van een teller (bijvoorbeeld: "hoeveel keer ben ik al aangeroepen?").
Wat het NIET KAN: Het kan geen complexe context, lange lijsten met feiten of ingewikkelde redeneringen over meerdere sessies heen vasthouden.
Capaciteit Plafond: Er is een limiet aan het geheugen. Het reservoir kan ongeveer 20–48 items vasthouden voordat de informatie te vervagen wordt of overschreven wordt.
Status: Dit is een haalbaarheidsstudie (proof of concept). Het bewijst dat cross-session geheugen technisch mogelijk is, maar het is nog geen vervanging voor een volledig contextbewust agent.

Veiligheid en Controle

Het reservoir biedt ook nieuwe mogelijkheden voor monitoring en controle:

Inspectie: Omdat het reservoir een lopende staat bevat van wat er is verwerkt, kan een operator deze staat inspecteren om inzicht te krijgen in de "gedachten" of de historische context van het model, zelfs als het model zelf geen output genereert.
Onmiddellijke Reactie: Omdat het model continu attend is op de ingespoten staat van het reservoir, kan het direct reageren op signalen die in die staat worden gezet. Bijvoorbeeld: als een "STOP"-signaal in het reservoir wordt geplaatst, kan het model direct stoppen, in plaats van te wachten tot het zijn huidige zin heeft afgerond.

Samenvatting

Het paper demonstreert dat je een standaard transformer een vorm van langetermijngeheugen kunt geven door een vaste, willekeurig verbonden neurale pool (reservoir) toe te voegen.

Succesfactor: De staat van dit reservoir moet worden ingespoten via content-addressable tokens (niet door simpelweg op te tellen), zodat het attention-mechanisme er echt naar kijkt.
Afstemming: Het reservoir moet groot genoeg zijn voor het model en de input moet worden geschaald om verzadiging te voorkomen.
Resultaat: Het werkt voor simpele taken zoals het onthouden van een woord of teller, maar is nog niet geschikt voor complexe, lange-termijn context.

Technische Samenvatting: Het Reservoir Attention Network (RAN)

Probleemstelling

Standaard transformer-architecturen zijn staatloos (stateless) over opeenvolgende forward passes heen; ze bezitten geen endogene variabele die evolueert tussen aanroepen, en vertrouwen uitsluitend op de positie binnen het contextvenster voor temporeel bewustzijn. Deze studie onderzoekt of een vast, willekeurig geïnitialiseerd reservoir (in de zin van een Echo State Network) die in de mid-layer attention van een getrainde transformer wordt geïnjecteerd, het model kan voorzien van een bruikbare, persistente staat tussen onafhankelijke forward passes zonder de backbone te hertrainen. De kernonderzoeksvraag is of een dergelijk mechanisme in staat is om staat over passes heen te dragen om taken mogelijk te maken die structureel onmogelijk zijn voor staatloze modellen, en onder welke injectie- en dynamische regimes deze staat een bruikbaar signaal wordt in plaats van ruis.

Methodologie

De Reservoir Attention Network (RAN) architectuur graft een vast-willekeurig recurrent substraat op een getrainde transformer.

Architectuur: Een reservoir van grootte $N$ met vaste willekeurige gewichten ( $W_r$ , $W_{in}$ ) en een lekratio $a$ wordt geïnjecteerd op een mid-depth laag $L_k$ .
Mechanisme: Het reservoir leest de output van de laag via een vaste willekeurige projectie $W_{in}$ , werkt zijn staat $r(t)$ bij, en schrijft de staat terug als content-adresseerbare key/value (KV) prefix pseudo-tokens via een getrainde readout $W_{out}$ .
Training: De backbone transformer is bevroren. Alleen de readout $W_{out}$ en lichte LoRA-adapters op de bovenliggende lagen worden getraind. Het reservoir zelf blijft ongetraind en vast-willekeurig.
Experimentele Omvang: Experimenten werden uitgevoerd op GPT-2 (124M, 355M) en Qwen2.5 (0.5B, 1.5B) op een enkele consumenten-GPU. De taken waren minimale probes ontworpen om specifieke mechanismen te isoleren (bijv. geheime-woord herinnering, stilte-policies) in plaats van complexe agentische redenering te demonstreren.

Belangrijkste Bijdragen en Resultaten

1. Injectieontwerp is Beslissend

De studie stelt vast dat de methode waarop het reservoir wordt geïnjecteerd bepaalt of de gedragen staat bruikbaar is.

Additieve Injectie Falen: Het wegschrijven van de reservoirstaat additief in de residual stream resulteert in het feit dat het model leert de recurrente staat te negeren. Cross-context herinnering blijft op het niveau van toeval (0.17), ononderscheidbaar van een baseline met een reset van de staat.
Content-Adresseerbare (KV-Prefix) Succes: Het herinjecteren van de staat als KV-prefix pseudo-tokens waar de bovenliggende lagen op attention toepassen, levert 100% cross-context herinnering op (1.00 vs. 0.17 controle) op GPT-2-small. Dit bewijst dat de reservoirstaat bruikbare informatie kan dragen als het model een mechanisme krijgt om er aandacht aan te besteden.

2. Reservoir Dynamiek en Schaling

Edge-of-Chaos Regime: Het reservoir opereert effectief in het edge-of-chaos regime (spectrale radius $\rho \approx 1$ ). Echter, echte transformer-activaties drijven een unit-geschaald reservoir over, wat leidt tot verzadiging.
Input Schaling: Om verzadiging te voorkomen, moet de input-schaling van de transformer naar het reservoir worden afgesteld naar ongeveer één vierde tot één tiende van de unit scale.
Schalen naar 1.5B: De eerder geobserveerde "GPT-2-small-only" grens was een artefact van een te klein reservoir en een mismatch in input-schaling. Door het reservoir te vergroten naar 2048 nodes en de input-schaling aan te passen (0.1 voor Qwen-1.5B), herstelt de cross-pass herinnering naar 0.83–1.00 over de Qwen-familie.
Model Specificiteit: Succes is geen eenvoudige functie van het aantal parameters. GPT-2-medium (355M) faalde over een zeven-punts schaling-sweep, terwijl Qwen-0.5B slaagde met een andere schaling (0.5) dan Qwen-1.5B (0.1). Input-schaling die is afgestemd op het model is noodzakelijk maar niet voldoende; het vermogen van een backbone om de prefix te leren lezen is model-specifiek.

3. Capaciteit en Limieten

Capaciteitsplafond: Het reservoir vertoont een capaciteitsplafond van tientallen items. Herinnering is perfect voor ~6 geheime woorden, degradeert naar ~0.42 bij 24 woorden, en valt terug naar toeval bij 48 woorden.
N-Seed Selectie: De studie vond dat bij de huidige trainingsbudgetten het selecteren van een "betere" vaste reservoir-seed via ongetrainde metrieken (bijv. participatie ratio) ineffectief is. Uitkomsten worden gedomineerd door trainingsruis en initialisatievariantie in plaats van inherente reservoirkwaliteit.

4. Stateful vs. Stateless Gedrag (De Batterij)

Een acht-taken "batterij" die temporele/agentische metrieken scheidt van symbolische content-herinnering onthulde een kritieke splitsing:

Temporele/Agentische Metrieken: Metrieken zoals "stilte", "getimed" en "zelf-initiatie" werden gematcht door een stateless ablatiemodel (LoRA-adapters op huidige-pass features alleen). Deze gedragingen vertrouwden niet op de gedragen reservoirstaat.
Content Herinnering: Symbolische content-herinnering (het herinneren van specifieke tokens) is de echte test voor statefulness. Hoewel dit aanvankelijk op schaal faalde, kan het in de batterij behouden blijven alleen onder specifieke condities: het ontzeggen van de stateless shortcut de adapter-capaciteit (kleine LoRA rank) en het laten afnemen van de learning rate. Zonder deze factoren vindt de optimizer een stateless shortcut, en stort de door het reservoir gedreven oplossing in.

5. Veiligheid en Monitoring Implicaties

Het artikel stelt voor dat het vaste reservoir een goedkope, stabiele monitoring-oppervlak biedt:

Interruptibiliteit: Een per-tick agent met een reservoir registreert "STOP"-signalen met nul latentie en behoudt deze voor meerdere passes via fading memory, in tegen tegenstelling tot turn-based agents.
Monitorbaarheid: Een lineaire readout kan interne procesvariabelen (bijv. verstreken tijd) met hoge getrouwheid ( $R^2 \approx 0.995$ ) herstellen uit de reservoirstaat zonder sparse autoencoders. Deze mapping is veerkrachtig tegen matige fine-tuning drift omdat de reservoirgewichten vast blijven.

Betekenis en Claims

Het artikel kadert zijn bijdragen expliciet als een haalbaarheids- en dynamica-studie op kleine schaal, en vermijdt claims van algemene intelligentie of complexe agentische redenering.

Kernbevinding: De primaire bijdrage is de injectie-ontwerp bevinding: dat een vast, ongetraind reservoir bruikbare cross-pass staat kan dragen in een getrainde transformer, mits het wordt geïnjecteerd als content-adresseerbare KV-prefix tokens en het reservoir correct is gegroot en geschaald.
Negatieve Resultaten als Grenzen: Het papier benadrukt gecontroleerde negatieven, zoals het falen van GPT-2-medium en de stateless natuur van temporele metrieken in de batterij, om de bijdrage af te bakenen.
Theoretische Houding: De auteurs stellen dat hoewel cross-pass staat gemotiveerd wordt door complexiteitstheoretische argumenten (het verhogen van de TC0/FO(M) grens), zij niet beweren dit te hebben bewezen. Het werk behandelt de eindige-precisie reservoir als een open theoretische vraag.
Toekomstig Werk: De visie van een "altijd levende agent" wordt beschouwd als toekomstwerk dat door rekenkracht beperkt is. De huidige studie isoleert of ongetrainde recurrente dynamiek volstaat om staat te dragen, waarbij getrainde recurrentie als een complementaire, duurdere richting wordt behandeld.

Samenvattend demonstreert het artikel dat hoe het reservoir wordt geïnjecteerd de beslissende factor is voor bruikbaarheid, karakteriseert de noodzakelijke dynamiek (schaling, input-schaling) voor grotere modellen, en biedt een recept voor het behouden van stateful content-herinnering in multi-task settings, terwijl het significante beperkingen erkent wat betreft capaciteit en model-specifieke overdraagbaarheid.