🤖 machine learning

Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

Het artikel introduceert Proteus, een nieuw paradigma van incrementele geheugenactivatie dat de effectieve geheugencapaciteit progressief uitbreidt om vroege token-interferentie te mitigeren en retentie te verbeteren, waarbij consistente prestatiewinsten worden aangetoond over diverse state-of-the-art long-context modellen.

Oorspronkelijke auteurs: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Reza Bayat, Ali Behrouz, Vahab Mirrokni, Aaron Courville

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van kunstmatige intelligentie vormt een hardnekkige uitdaging al lang de grenzen van wat machines kunnen onthouden. Jarenlang vertrouwden de krachtigste systemen op een mechanisme dat elk stukje informatie dat het tegenkwam met een gelijk gewicht behandelde, door een volledige, onveranderlijke registratie op te slaan van alles wat het ooit had gelezen. Hoewel deze aanpak zorgde voor een ongelooflijke precisie bij het oproepen van specifieke details, ging dit gepaard met een hoge prijs: hoe meer informatie het systeem verwerkte, hoe rekenintensiever het werd, waardoor het uiteindelijk tot stilstand kwam wanneer het geconfronteerd werd met lange verhalen of complexe documenten. Om dit op te lossen, richtten onderzoekers zich op een andere strategie door modellen te ontwerpen die de geschiedenis comprimeren tot één enkele, vaste samenvatting. Dit maakte hen snel en efficiënt, maar introduceerde een nieuw probleem. Omdat de geheugenruimte vanaf het allereerste moment volledig openstond, had het systeem de neiging om vol te raken met de vroegste details die het zag, waardoor er weinig ruimte overbleef voor de nieuwe informatie die later arriveerde. Het resultaat was een machine die het begin van een gesprek perfect onthield, maar moeite had om het einde vast te houden.

Een team van onderzoekers heeft nu een oplossing voorgesteld voor deze onbalans door een methode te introduceren die zij incrementele geheugenactivatie noemen. In plaats van het volledige geheugenbank vanaf het begin open en beschikbaar te houden, ontsluit hun aanpak het geheugen geleidelijk naarmate de sequentie van informatie groeit. Stel je een bibliotheek voor waar de planken aanvankelijk vergrendeld zijn, waardoor de bibliothecaris wordt gedwongen de eerste paar boeken in een kleine, compacte ruimte samen te vatten. Naarmate er meer boeken arriveren, worden er nieuwe planken ontgrendeld, wat verse ruimte biedt voor de latere verhalen zonder de samenvattingen van de eerdere werken uit te wissen. Deze eenvoudige verschuiving in timing dwingt het systeem om de vroege context effectief te comprimeren, terwijl het ervoor zorgt dat latere informatie ruimte krijgt om opgeslagen te worden zonder te interfereren met wat eraan voorafging. De onderzoekers testten dit idee op verschillende van de meest geavanceerde geheugengebaseerde modellen die momenteel bestaan, en stelden vast dat het consequent hun vermogen verbeterde om lange teksten te begrijpen en specifieke details diep daarin op te halen.

De kern van dit werk adresseert een specifieke foutmodus in hoe deze machines leren. Wanneer een model direct de volledige capaciteit van zijn geheugen mag gebruiken, ondervinden de allereerste stukjes informatie die het tegenkomt geen concurrentie om ruimte. Ze kunnen een onevenredig groot deel van de aandacht van het systeem opeisen, waardoor ze de geheugentoestand effectief "vervuilen". Tegen de tijd dat de latere informatie arriveert, is het geheugen al verzadigd en moeten nieuwe details zich erin wurmen, wat vaak de eerdere gegevens overschrijft of vervormt. De onderzoekers stellen dat deze statische aanpak suboptimaal is. Hun nieuwe paradigma, genaamd Proteus, introduceert een dynamisch schema waarbij de effectieve capaciteit van het geheugen niet vaststaat, maar meegroeit met de lengte van de input. Aan het begin van een sequentie wordt het systeem gedwongen te werken met een beperkt deel van zijn geheugen, wat fungeert als een flessenhals die het stimuleert om de initiële context samen te vatten en te comprimeren in plaats van deze in detail te onthouden. Terwijl de sequentie voortduurt, worden er progressief extra blokken geheugen ontgrendeld, die verse capaciteit bieden voor nieuwe informatie. Dit zorgt ervoor dat latere tokens niet hoeven te vechten om ruimte tegen de vroeze ones, wat interferentie vermindert en het behoud van de meest recente context verbetert.

Om dit concept te testen, paste het team het Proteus-mechanisme toe op een diverse set van state-of-the-art modellen, waaronder architecturen die bekend staan als SWLA, Comba, Titans en Hope-Attention. Deze modellen werden getraind op enorme datasets die miljarden woorden bevatten, waarbij de onderzoekers hun prestaties vergeleken met en zonder het nieuwe gating-systeem. De resultaten toonden een duidelijk en consistent patroon: het toevoegen van Proteus verbeterde de prestaties van de modellen over de hele linie. In standaard taal-taken produceerden de modellen nauwkeurigere voorspellingen en betere redeneer scores. De verbeteringen waren bijzonder merkbaar in scenario's met een lange context. Wanneer gevraagd werd om een specifiek stukje informatie op te halen dat verborgen zat in een zeer lang document — een taak die vaak "naald in een hooiberg" wordt genoemd — behielden de modellen die Proteus gebruikten hun nauwkeurigheid veel beter naarmate de tekstlengte toenam. Bijvoorbeeld, bij taken met documenten tot 16.000 woorden lang, vertoonden de modellen met het incrementele activatieschema aanzienlijke winst in het vinden van de juiste informatie, terwijl de prestaties van de baseline-modellen scherp afnamen.

De studie onderzocht ook hoe dit principe verder kon gaan dan alleen de geheugenstatus van het model, door het toe te passen op de interne parameters van het model zelf. Door het leerproces van de interne lagen van het model te behandelen als een vorm van geheugen, pasten de onderzoekers dezelfde scheduling-logica toe op de manier waarop het model zijn eigen kennis bijwerkt. Deze uitbreiding maakte het mogelijk om de methode te gebruiken in architecturen die niet vertrouwen op een traditionele recurrente geheugentoestand, wat de flexibiliteit van de aanpak verder demonstreerde. In alle experimenten vereiste de methode geen extra geheugencapaciteit of extra computationele kosten; het veranderde simpelweg de timing van wanneer verschillende delen van het systeem mochten deelnemen aan leren en ophalen. De bevindingen suggereren dat de manier waarop capaciteit in de loop van de tijd wordt toegewezen even belangrijk is als de architectuur zelf. Door geheugen niet te behandelen als een statische bron, maar als een schema dat evolueert met de context, hebben de onderzoekers een eenvoudige, breed toepasbare tool geleverd die machines helpt om langere sequenties effectiever te beheren, waarmee ze bewijzen dat soms de beste manier om alles te onthouden is om de deuren langzaam te openen.

Technische Samenvatting: Proteus: Incrementele Geheugenactivatie voor Long-Context Sequence Modeling

Probleemstelling

De kwadratische computationele kosten van attention-gebaseerde Transformers hebben onderzoek gedreven naar geheugengebaseerde modellen die context comprimeren in een vaste staat (bijv. moderne RNN's). Echter, bestaande geheugenmodellen vertonen doorgaans een statische geheugencapaciteit gedurende de gehele sequentie. Dit ontwerp leidt tot twee primaire faalmodi:

Vroege Ondercompressie: Vroege tokens arriveren wanneer de geheugenstaat bijna leeg is. Omdat er geen competitie is voor capaciteit, bezetten ze een onevenredig groot deel van de vrijheidsgraden van het geheugen zonder gedwongen te worden tot compressie, wat effectief de staat "vervuilt".
Latere Interferentie: Naarmate de sequentie vordert, moeten latere tokens in de resterende capaciteit worden geperst. Dit dwingt nieuwe informatie om reeds opgeslagen inhoud te overschrijven of te interfereren met, wat het vermogen van het model om latere context te behouden, verslechtert.

De auteurs stellen dat statische capaciteit suboptimaal is omdat de "juiste hoeveelheid" capaciteit verschilt tussen het begin en het einde van een sequentie. Vroege inputs vereisen een bottleneck om compressie af te dwingen, terwijl latere inputs verse capaciteit nodig hebben om overschrijven te voorkomen.

Methodologie: Incrementele Geheugenactivatie

Het paper stelt een nieuw paradigma voor genaamd Incrementele Geheugenactivatie, waarbij de effectieve capaciteit van het geheugen wordt gescheduled als een functie van de contextlengte in plaats van vast te staan. Dit paradigma adresseert de faalmodi via twee complementaire mechanismen:

Vroege Bottleneck: Door het actieve geheugensubset aan het begin van de sequentie te beperken, wordt het model gedwongen om de initiële context samen te vatten (comprimeren) in plaats van deze simpelweg te memoriseren.
Verse Capaciteit: Naarmate de context groeit, worden eerder vergrendelde geheugenblokken progressief ontgrendeld. Dit biedt verse vrijheidsgraden voor nieuwe informatie, wat de interferentie met eerder opgeslagen inhoud vermindert.

Het Proteus-mechanisme

De auteurs implementeren dit paradigma in Proteus, een lichtgewicht, blokwijze gating-schema dat toepasbaar is op een brede klasse van associatieve-geheugenarchitecturen (inclusief lineaire RNN's en modellen met MLP-gebaseerd geheugen) zonder extra parameterkosten.

Kerncomponenten:

Blokpartitionering: De geheugenparameters (bijv. een matrix $M \in \mathbb{R}^{d_k \times d_v}$ ) worden verdeeld in $E$ gelijkmatige, aaneengesloten blokken.
Deterministisch Schema: Een eenvoudig, uniform schema bepaalt het aantal actieve blokken $k(t)$ $k (t)$ bij stap $t$ $t$ . Het actieve fractie groeit in uniforme incrementen over de contextlengte $N$ $N$ .
- Tokens in het vroege segment $[1, \Delta]$ interageren alleen met de eerste $1/E$ van het geheugen.
- Naarmate $t$ toeneemt, worden aanvullende blokken ontgrendeld totdat het volledige geheugen beschikbaar is.
Gated Operaties:
- Schrijven (Write): De update-regel (bijv. gradiëntafdaling) wordt alleen toegepast op de momenteel actieve blokken. Vergrendelde blokken blijven vast en ontvangen geen updates.
- Lezen (Read): Retrieval-operaties lezen alleen uit de actieve subset van het geheugen.
- Wiskundige Formulering: Voor een geheugenstaat $M_{t-1}$ en activatiemasker $g_t$ , is de update:
  $M_t = M_{t-1} - \theta_t (g_t \odot \nabla \tilde{L}(M^{(g)}_{t-1}; k_t, v_t))$
  waarbij $M^{(g)}_{t-1}$ de actieve subset is en $\odot$ staat voor elementgewijze vermenigvuldiging.

Extensie naar Modelparameters (Nested Learning):
Door gebruik te maken van het "Nested Learning"-perspectief (Behrouz et al., 2025d), dat MLP-blokken beschouwt als associatief geheugen, breidt Proteus dit scheduling-principe uit naar de modelparameters zelf. In architecturen zoals Hope-Attention wordt de update van de MLP-blokparameters gegate door hetzelfde schema, wat ervoor zorgt dat vroege trainingssamples niet overfitten op de volledige parameterruimte voordat latere samples arriveren.

Belangrijkste Bijdragen

Incrementele Geheugenactivatie Paradigma: Een nieuwe benadering om de effectieve geheugencapaciteit over de contextflow te controleren, wat vroege compressie stimuleert en latere overschrijving/interferentie vermindert.
Proteus-mechanisme: Een algemeen, drop-in blokwijze gating-schema dat incrementele activatie toepast op zowel geheugen lees/schrijf-operaties als, via Nested Learning, op MLP-parameters. Het vereist geen extra parameters of geheugenoverhead.
Empirische Validatie: Demonstratie dat Proteus consequent de state-of-the-art modellen (SWLA, Comba, Titans, Hope-Attention) verbetert over meerdere benchmarks.

Experimentele Resultaten

De auteurs evalueerden Proteus op vier modelfamilies (Hope-Attention, SWLA, Comba, Titans) op schalen van 760M en 1.3B parameters, getraind op respectievelijk 50B en 100B tokens.

Taalmodellering & Commonsense Reasoning: Proteus verlaagde consistent de perplexiteit op Wikitext en LAMBADA en verbeterde de zero-shot accuratesse op zeven commonsense benchmarks (PIQA, HellaSwag, etc.). De winst werd waargenomen over alle backbones, waarbij Titans+Proteus de beste algehele prestaties behaalde (bijv. 58.00 gemiddelde accuratesse bij 1.3B).
Needle-in-a-Haystack (NIAH): De verbeteringen waren het meest uitgesproken bij langere contextlengtes (16K) en op moeilijkere varianten (bijv. UUID retrieval). Zo verbeterde Proteus de prestaties van Titans op S-NIAH-3 bij 16K van 21.4% naar 29.8%. Bij korte contexten waar basismodellen al verzadigd waren, was Proteus neutraal.
Long-Context Retrieval & Understanding: Op taken zoals SWDE, SQuAD en FDA verbeterde Proteus de robuustheid en lengte-extrapolatie, vooral voor modellen die voorheen leden onder scherpe accuratesse-degradatie (Comba, Titans). Op de LongBench benchmark verbeterde Proteus de gemiddelde scores voor alle drie de geëvalueerde backbones.

Belangrijke Observatie: De prestatiewinsten schalen over het algemeen met de contextlengte, wat bevestigt dat het mechanisme specifiek helpt bij long-context retentie en extrapolatie.

Betekenis en Claims

Het paper claimt dat statisch geheugen suboptimaal is voor long-context sequentiemodellering. Door geheugencapaciteit als een statische bron te behandelen, falen modellen in het balanceren van de noodzaak voor vroege compressie met de noodzaak voor latere retentie.

De betekenis van Proteus ligt in de eenvoud en brede toepasbaarheid:

Het is een eenvoudig scheduling-instrument dat de onderliggende geheugenarchitectuur, update-regels of interne doelstellingen niet verandert.
Het is architectuur-agnostisch, waardoor diverse modellen worden verbeterd, van lineaire RNN's tot complexe geheugen-geaugmenteerde netwerken.
Het demonstreert dat het schemalen van effectieve capaciteit een fundamentele hefboom is voor het verbeteren van long-context prestaties, wat een praktisch alternatief biedt voor het vergroten van de modelgrootte of geheugencomplexiteit.

De auteurs blijven bescheiden en merken op dat hun schema momenteel vast en handmatig ontworpen is, en dat de extensie naar MLP-blokken een proof-of-concept is. Ze suggereren dat toekomstig werk geleerde, data-afhankelijke activatiebeleid kan verkennen en incrementele activatie kan combineren met growing-memory architecturen.