💬 NLP

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

Het artikel introduceert LiveMem, een intrinsieke geheugenmethode voor vooraf getrainde full-attention LLM's die een persistente, belastbare geheugenstatus behoudt die onafhankelijk is van het actieve contextvenster, waardoor het staat van continuïteit en langdurige informatiebehoud mogelijk maakt in scenario's met langdurige inferentie waarbij historisch bewijs niet langer aanwezig is in de directe context.

Oorspronkelijke auteurs: Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een zeer slimme vriend die alles wat je ooit hebt gezegd onthoudt. In de wereld van kunstmatige intelligentie is deze vriend een "Large Language Model" (LLM). Meestal zijn deze modellen als studenten die een toets maken: ze lezen een specifieke set instructies en een verhaal, beantwoorden een vraag, en daarna is de toets voorbij. Maar wat als je wilde dat deze vriend een levenslange metgezel zou zijn, die jarenlang met je chat, je helpt bij het plannen van een reis, je favoriete liedjes onthoudt en problemen oplost over honderden gesprekken?

Het probleem is dat deze AI-vrienden een "werkgeheugen" hebben dat verrassend klein is. Denk aan een whiteboard in een klaslokaal. De leraar (de AI) kan alleen zien wat er op dit moment op het bord staat geschreven. Als de les te lang duurt, moet de leraar de oude aantekeningen wissen om ruimte te maken voor nieuwe. Zodra ze gewist zijn, zijn die oude aantekeningen weg van het bord. Traditionele AI-systemen proberen dit op te lossen door een gigantisch schrift bij te houden van alles wat ooit is gezegd en erdoorheen te bladeren wanneer er een vraag wordt gesteld. Maar dat is traag en onhandig; het is alsof je de conversatie moet onderbreken om een feit op te zoeken in een bibliotheek in plaats van het gewoon te herinneren. De grote vraag die wetenschappers stellen is: Kunnen we de AI een manier geven om een "gevoel" of een "samenvatting" van het verleden op haar whiteboard te bewaren, zelfs nadat de specifieke woorden zijn gewist, zodat ze de draad van het gesprek nooit kwijtraakt?

Dit is precies waar het artikel "LiveMem" zich mee bezighoudt. De onderzoekers, onder leiding van Zhichen Liu en Ruihan Sun, stellen een nieuwe manier voor waarop AI lange gesprekken kan afhandelen zonder haar verstand te verliezen. Ze introduceren een systeem genaamd LiveMem, dat werkt als een magische, permanente "rugzak" voor de gedachten van de AI.

Zo werkt het: Stel je voor dat de AI twee manieren van denken heeft. De eerste is haar "Hoofdbrein", dat naar de huidige conversatie op het whiteboard kijkt. Dit whiteboard is beperkt in omvang; wanneer het vol raakt, worden de oudste aantekeningen gewist om ruimte te maken voor nieuwe. Dit is normaal. Maar LiveMem voegt een tweede deel toe: een "Zijbrein" of een Recurrent Memory State. Dit zijbrein is als een rugzak die de AI altijd draagt. Terwijl de AI nieuwe woorden leest, werkt ze deze rugzak bij. Wanneer het whiteboard vol raakt en oude aantekeningen worden gewist, gaat de belangrijke informatie uit die gewiste aantekeningen niet verloren; die wordt in de rugzak gepakt.

De onderzoekers hebben dit systeem getraind met een speciale techniek. Ze lieten de AI niet alleen lange verhalen lezen; ze dwongen het om te oefenen met het "vergeten" van het whiteboard terwijl de rugzak vol werd gehouden. Ze gebruikten een methode genaamd "context turnover", waarbij ze een lang gesprek namen, de AI het begin lieten zien, en vervolgens het begin uit het whiteboard verwijderden en de AI een vraag over dat deel stelden. Als de AI alleen vertrouwde op het whiteboard, zou ze falen omdat de aantekeningen weg waren. Maar omdat LiveMem de belangrijkste details in haar rugzak had gepakt, kon de AI nog steeds correct antwoorden.

Het artikel laat zien dat LiveMem hier erg goed in is. In hun tests, toen het bewijs voor een vraag volledig uit het directe gezichtsveld van de AI (het whiteboard) was verwijderd, kon LiveMem nog steeds met een hoge nauwkeurigheid antwoorden. Bijvoorbeeld, in een test genaamd "LongMemEval", toen het ondersteunende bewijs ver weg werd geduwd van het huidige conversatievenster, presteerde LiveMem aanzienlijk beter dan andere methoden. Terwijl modellen zonder deze "rugzak" (zoals de standaard Qwen3-4B) zakten naar extreem lage nauwkeurigheid, behaalde LiveMem resultaten die meer dan tien procentpunten hoger lagen. Dit suggereert dat de AI niet zomaar gokt; ze draagt de geschiedenis daadwerkelijk voort in haar geheugenstatus.

De auteurs merken echter voorzichtig op dat deze "rugzak" geen perfecte opnamestudio is. Het slaat niet elke letterlijke zin exact op zoals deze gesproken is. Als je de AI vraagt om een specifieke zin te reciteren die drie dagen geleden is gewist, zal ze het misschien niet 100% correct doen. Het is meer een samenvatting of een gevoel van wat er is gebeurd. Het artikel sluit expliciet de mogelijkheid uit dat dit systeem een perfect, verliesvrij archief is van elk token. In plaats daarvan is het een "lossy" (informatieverlieslatende) staat die de nuttige delen van het geheugen levend houdt.

Het team kwam ook tot de ontdekking dat hoe je de AI traint, veel uitmaakt. Als je gewoon allerlei soorten data mengt, leert de AI misschien niet effectief om de rugzak te gebruiken. Ze ontdekten dat een specifieke trainingsplanning — beginnend met lange verhalen om het geheugen aan de zijkant te "wekken", en daarna overschakelen naar een mix van verschillende taken — het beste werkte. Hierdoor kon de AI leren om efficiënt naar de rugzak te schrijven en eruit te lezen.

Kortom, LiveMem suggereert een nieuwe manier om AI-assistenten te bouwen die echt hun geschiedenis kunnen onthouden. In plaats van alleen maar oude aantekeningen op te zoeken in een bibliotheek of te vertrouwen op een klein whiteboard, geeft LiveMem de AI een persistente staat die evolueert met elke conversatie. Hoewel het geen perfect archief is van elk woord, houdt het succesvol de "geschiedenis" van de interactie levend, waardoor de AI coherent en behulpzaam blijft, zelfs nadat de specifieke details van het verleden uit haar directe gezichtsveld zijn gewist. Dit brengt ons een stap dichter bij AI-agenten die werkelijk levenslange metgezellen kunnen zijn, die een continu gevoel van zelf en geschiedenis behouden over de tijd heen.

Technische Samenvatting: LiveMem

Probleemdefinitie: Toestandscontinuïteit bij Context-omloop

Langlopende AI-assistenten en agenten opereren over interactielevenscycli die onvermijdelijk de vaste contextvensters van Large Language Models (LLM's) overschrijden. Bestaande oplossingen zoals Retrieval-Augmented Generation (RAG) en externe geheugensystemen bieden "historische toegang" (het ophalen van specifieke eerdere records op aanvraag), maar falen in het bieden van toestandscontinuïteit. Deze systemen fungeren als persistente opslag (zoals notitieblokken), maar behouden geen naadloze, continue computationele toestand die evolueert naarmate de werkcontext verandert.

Het kernprobleem dat wordt geïdentificeerd, is hoe inferentiecontinuïteit te behouden wanneer de werkcontext onderhev van omloop gaat (d.w.z. wanneer oude tokens worden verwijderd om plaats te maken voor nieuwe). Bestaande methoden hebben moeite om de berekening voort te zetten door een toestand met een vaste capaciteit waarvan de levensduur onafhankelijk is van de actieve context. Het artikel stelt dat hoewel externe retrieval zorgt voor "historische toegang", een afzonderlijk mechanisme vereist is voor "toestandscontinuïteit"—een continue, online bijgewerkte geheugenstatus die persisteert gedurende de gehele levenscyclus van het model.

Methodologie: LiveMem Architectuur en Training

LiveMem wordt geïntroduceerd als een intrinsische geheodenmethode die een vooraf getrainde full-attention LLM aanvult met een parallelle recurrente geheugentak. Het systeem is ontworpen om te opereren onder strikte beperkingen van context-omloop.

1. Architectuur

LiveMem wijzigt een standaard decoder transformer door een parallelle recurrente geheugentak toe te voegen aan elke attention-laag:

Hoofdtraject (Attention): Handhaaft een begrensde werkcontext (KV cache) voor precieze korte-termijn toegang. Wanneer de contextlimiet wordt bereikt, worden oude Key-Value (KV) vermeldingen verwijderd (context-omloop).
Zijtraject (Recurrent Memory): Gebruikt Gated DeltaNet-2 (GDN2) als de ruggengraat voor een parallelle recurrente toestand ( $S_t$ ). Deze tak leest en werkt continu een geheugenstatus van vaste grootte bij vanuit dezelfde verborgen representaties als het hoofdtraject.
Integratie: De output van de GDN2-tak ( $r_t$ ) wordt bij elke decoderlaag direct toegevoegd aan de attention-output ( $a_t$ ) ( $o_t = a_t + r_t$ ).
Mechanisme: De GDN2-toestandsupdate omvat geleerde decay-, erase- en write-gates. Cruciaal is dat wanneer een blok tokens wordt verwijderd uit het hoofd-attentionpad, de informatie ervan wordt bewaard in de recurrente geheugenstatus. Het systeem behoudt de systeem-prompt als een "attention sink" om structurele stabiliteit te garanderen.

2. Context-omloop en Inferentieconsistentie

Het systeem dwingt een strikt "oldest-first" verwijderbeleid af tijdens zowel training als inferentie.

Training: Dynamische attention-masks worden gebruikt om context-omloop te simuleren, waardoor het model wordt gedwongen te vertrouwen op de geheugenstatus voor informatie die uit het actieve venster is verwijderd.
Inferentie: Verwijderde KV-pages worden vrijgegeven aan het geheugen, waardoor ze ontoegankelijk zijn voor het attention-mechanisme. De recurrente toestand is de enige resterende drager van die historische informatie.

3. Geheugen-georiënteerde Post-training

Het simpelweg toevoegen van een recurrente module garandeert niet dat deze effectief geheugen zal dragen. LiveMem hanteert een specifiek post-training regime om ervoor te zorgen dat de toestand "levend" wordt (d.w.z. dat het daadwerkelijk toekomstige voorspellingen beïnvloedt nadat de bron-tokens verdwenen zijn):

Supervised Fine-Tuning (SFT): Het model wordt getraind op lang-document QA en multi-hop redeneertaken waarbij de historie wordt afgekapt van het attention-venster. De loss wordt alleen toegepast op antwoord-tokens, wat het model dwingt de geheugenstatus te gebruiken om correcte antwoorden te generen.
Reinforcement Learning (RL): Het model wordt verder geoptimaliseerd met behulp van het GRPO-algoritme met een beloningssignaal gebaseerd op antwoordnauwkeurigheid. Dit moedigt het model aan om informatie beter te bewaren en op te halen uit de geheugenstatus, met name in scenario's met meerdere vragen die een gedeelde historische achtergrond hebben.
Trainingsstrategie: Er wordt een curriculum gebruikt waarbij het model eerst wordt "opgewarmd" met lang-tekst data om de zijtak te activeren, gevolgd door training op een gebalanceerde mix om geheugenbehoud te verfijnen.

Belangrijkste Bijdragen

Formalisering van Toestandscontinuïteit: Het artikel definieert "toestandscontinuïteit onder context-omloop" als een afzonderlijke inferentiecapaciteit, waarbij het wordt gescheiden van externe retrieval-mechanismen. Het modelleert dit als een vereiste op levenscyclus-schaal waarbij een geheugenstatus met vaste capaciteit onafhankelijk van de actieve context persisteert.
LiveMem Architectuur: Een end-to-end ontwerp dat een GDN2-gebaseerde recurrente zijtak integreert in een full-attention LLM, waardoor het model een continue toestand kan behouden terwijl het hoofd-attentionvenster roteert.
Training Paradigma: De voorstel van geheugen-georiënteerde post-training taken (SFT en RL) die specifiek zijn ontworpen om het model te dwingen te leren hoe het naar een geheugenstatus moet schrijven, deze moet bewaren en eruit moet lezen nadat de oorspronkelijke tokens niet langer zichtbaar zijn voor de attention.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat de geheugenstatus relevante taakinformatie kan dragen buiten het actieve venster, zelfs wanneer het bewijs volledig is verwijderd.

Experimentele Resultaten

Prestatieoverzicht:
LiveMem werd geëvalueerd op Qwen3-4B over Wiki QA, Conversation QA, Test-Time Learning (TTL) en Long Document QA taken, met contextvensters beperkt tot 8k of 32k tokens.

Algemene Prestaties: LiveMem (specifiek de RL-variant) behaalde leidende algemene prestaties en presteerde beter dan baselines zoals RAG, Context2LoRA, $\delta$ -Mem en een Recurrent baseline.
Multi-Question (MQ) Taken: Terwijl andere methoden (inclusief RAG en $\delta$ -Mem) dramatische prestatiedalingen vertoonden bij multi-hop, multi-question taken, behield LiveMem zijn voorsprong, wat duidt op een superieur vermogen om meerdere logische ketens tegelijkertijd af te handelen via een persistente toestand.
Long QA: LiveMem behaalde gebalanceerde en sterke scores over lang-document taken, terwijl andere methoden vaak gespecialiseerd waren op specifieke subsets.

Toestandscontinuïteitsanalyse (LongMemEval):

Bewijsverwijdering: Experimenten toonden aan dat wanneer ondersteunend bewijs volledig uit het actieve contextvenster werd verwijderd, LiveMem een significant hogere nauwkeurigheid behield dan baselines (bijv. ~16,5% vs ~3,1% voor Qwen3-4B in scenario's met volledige verwijdering).
Afstandsanalyse: Naarmate de afstand tussen het bewijs en het huidige venster toenam, vertoonde de nauwkeurigheid van LiveMem een lichte daling, maar bleef deze stabiel en meetbaar, wat bewijst dat de geheugenstatus informatie over meerdere omloopintervallen behoudt.
Ablatie: Het trainen van de zijtak met volledige parameters leverde betere stabiliteit op dan LoRA, wat suggereert dat de distributiekloof tussen attention en GDN2 volledige adaptatie vereist.

Beperkingen:
Het artikel merkt op dat de geheugenstatus van LiveMem verlieslatend (lossy) is. Het kan niet betrouwbaar willekeurige, fijnmazige tokens (bijv. specifieke "needles in a haystack") reconstrueren zodra deze zijn verwijderd, zoals aangetoond in Needle-in-a-Haystack (NIAH) tests waar LiveMem vergelijkbaar presteerde met het basismodel onder begrensde contexten. Het systeem is ontworig voor taakrelevante invloed, niet voor exacte archiveringsherinnering.

Betekenis en Claims

Het artikel claimt dat LiveMem toestandscontinuïteit vestigt als een afzonderlijke en complementaire abstractie voor continue LLM-inferentie.

Complementariteit: Het betoogt dat "historische toegang" (retrieval) en "toestandscontinuïteit" (recurrente geheugen) orthogonaal zijn. Retrieval bepaalt wat voorheen aan informatie wordt gelezen, terwijl de recurrente toestand bepaalt hoe de coherentie van informatie wordt behouden over de levenscyclus na het lezen.
Practicaliteit: Door een query-onafhankelijke geheugenstatus te behouden die context-omloop overleeft, adresseert LiveMem een kritiek gat tussen de beperkte capaciteit van attention en externe retrieval, bewegend naar praktische oneindige-context inferentie waarbij de interne toestand van het model continu evolueert zonder uitsluitend te vertrouven op het opnieuw ophalen van historie.
Bescheidenheid: De auteurs geven expliciet aan dat LiveMem niet universeel optimaal is; retrieval en parametrisch geheugen hebben nog steeds sterke punten. Echter, de resultaten demonstreren voldoende dat intrinsieke geheugenstaten historische informatie kunnen dragen buiten de werkcontext, een capaciteit die eerder niet werd geadresseerd door bestaande engineering-gebaseerde geheugenpatches.