💬 NLP

Language Models Need Sleep

Dit artikel stelt een slaapachtig consolidatiemechanisme voor voor grote taalmodellen dat recente context periodiek omzet in persistente snelle gewichten tijdens offline recurrente passes, waardoor de beperkingen van attention-schaling worden overwonnen en de prestaties op taken met een lange horizon en diep redeneren aanzienlijk worden verbeterd, terwijl de inferentielatentie behouden blijft.

Oorspronkelijke auteurs: Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante student voor die een zeer lang en complex examen aflegt. Deze student beschikt over een superkracht: ze kunnen een enorme hoeveelheid informatie lezen. Ze hebben echter een strikte regel: ze kunnen op elk moment slechts een klein aantal feiten in hun "actieve" werkgeheugen (zoals een post-it) houden. Zodra de post-it vol is, moeten ze deze leegvegen om ruimte te maken voor nieuwe feiten.

Het probleem is dat, zodra de feiten van de post-it zijn gewist, een standaardstudent (of een standaard AI) ze direct vergeet. Als het examen een vraag stelt waarbij een feit uit het allereerste begin van de toets moet worden verbonden met een feit uit het einde, faalt de student omdat het eerste feit verdwenen is.

Dit artikel stelt een oplossing voor die "LLM Sleep" wordt genoemd.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "Leegveegbare" Post-it

Huidige AI-modellen (Transformers) zijn uitstekend in het terugkijken naar recente tekst, maar naarmate de tekst langer wordt, moeten ze oude informatie weggooien om ruimte te besparen. Denk hierbij aan een bibliothecaris die slechts 50 boeken op zijn bureau kan houden. Zodra het 51e boek arriveert, moet hij het eerste boek in de prullenbak gooien om ruimte te maken.

Als de bibliothecaris wordt gevraagd: "Wat was het eerste woord in het eerste boek?", kan hij niet antwoorden omdat het weg is. Zelfs als ze een "snel geheugen" hebben (zoals een mentale notitie), kunnen ze vaak niet het diepe denken verrichten dat nodig is om complexe puzzels op te lossen die gebaseerd zijn op die weggegooide informatie.

De Oplossing: De "Nachtstudie"-Sessie

De auteurs suggereren dat wanneer het bureau van de bibliothecaris vol raakt, de bibliothecaris in plaats van de boeken weg te gooien, een "slaap" moet nemen (een pauze in de actie).

Tijdens deze "slaap":

Geen nieuwe boeken: De bibliothecaris stopt met het lezen van nieuwe input.
Diepe Herhaling: De bibliothecaris neemt de boeken die momenteel op het bureau liggen en herleest ze mentaal keer op keer (recursief).
Herschrijven van het Brein: In plaats van alleen naar de boeken te kijken, gebruikt de bibliothecaris deze tijd om zijn eigen "interne encyclopedie" (de gewichten van het model) te herschrijven. Ze distilleren de belangrijkste lessen uit die boeken naar hun langetermijngeheugen.
Bureau Opschonen: Zodra de interne encyclopedie is bijgewerkt met de nieuwe kennis, veegt de bibliothecaris het bureau schoon en is hij klaar voor de volgende batch boeken.

Wanneer het examen later komt, hoeft de bibliothecaris niet naar de oude boeken op het bureau te kijken (omdat ze weg zijn). In plaats daarvan opent hij gewoon zijn interne encyclopedie, die nu de gedistilleerde wijsheid van die oude boeken bevat, en beantwoordt de vraag direct.

Waarom "Slaap" Helpt

Het artikel laat zien dat hoe meer tijd het model besteedt aan "slapen" (het herzien en herschrijven van zijn interne encyclopedie), hoe beter het wordt in het oplossen van moeilijke puzzels.

Eenvoudige Taken: Als de vraag makkelijk is (zoals "Wat is het eerste woord?"), is een snelle blik voldoende.
Moeilijke Taken: Als de vraag moeilijk is (zoals "Als je dit pad van logica 10 stappen terug volgt, waar eindig je dan?"), moet het model diepe mentale berekeningen uitvoeren. Een standaardmodel probeert dit allemaal in één keer te doen en faalt. Een model dat "slaapt" krijgt extra tijd om de wiskunde te doen voordat het examen begint, zodat het de moeilijke vraag direct kan beantwoorden wanneer het zover is.

De Resultaten

De onderzoekers hebben dit getest op drie soorten uitdagingen:

Cellulaire Automata (Het "Spel van het Leven"): Een puzzel waarbij je moet voorspellen hoe een patroon verandert over vele stappen. De "slapende" modellen werden veel beter in het voorspellen van de toekomstige stappen van patronen die ze al hadden "vergeten".
Grafische Opvraging (De "Kaart"): Een taak waarbij je een pad moet vinden door een doolhof van verbindingen. De slapende modellen konden dieper het doolhof in navigeren dan niet-slapende modellen.
Wiskundeproblemen: Bij realistische wiskundige woordproblemen waren de modellen die langer sliepen aanzienlijk beter in het oplossen van problemen die vele rekenstappen vereisten, zelfs wanneer de probleemtekst te lang was om in hun actieve geheugen te passen.

De Ruil

Het artikel merkt op dat deze "slaap" het model niet trager maakt tijdens het examen (inferentie). Het model beantwoordt vragen nog steeds direct. De "kosten" worden betaald tijdens de trainingsfase (wanneer het model leert). Het model moet extra tijd besteden aan "slapen" en studeren om die sterke interne encyclopedie op te bouwen. Maar de opbrengst is een model dat veel dieper kan redeneren over informatie die het niet meer direct kan zien.

Kortom: Het artikel leert AI-modellen om te stoppen met proberen alles op een post-it te onthouden. In plaats daarvan, wanneer de notitie vol raakt, nemen ze een dutje om de belangrijke informatie over te brengen naar hun brein, waardoor ze later moeilijke problemen kunnen oplossen zonder de originele notities opnieuw te hoeven zien.

Technische Samenvatting: "Taalmodellen hebben slaap nodig"

Probleemstelling
Op transformatoren gebaseerde Large Language Models (LLM's) hebben moeite met taken op lange termijn omdat hun aandachtsmechanisme kwadratisch schaalt met de contextlengte en hun Key-Value (KV) cache-geheugen lineair groeit. Hoewel recente efficiënte hybride modellen (die aandacht combineren met State-Space Models, of SSM's) de geheugenkosten mitigeren via vaste "snelle gewichten", staan ze voor een kritieke bottleneck in redeneerdiepte.

De auteurs tonen aan dat standaard SSM-aandacht hybride modellen falen bij het uitvoeren van diepe sequentiële berekeningen over tokens die uit de KV-cache zijn verwijderd. Zelfs wanneer de geheugencapaciteit toereikend is om de informatie op te slaan, verslechtert de prestatie van de modellen naarmate de vereiste redeneerdiepte toeneemt (bijvoorbeeld het simuleren van cellulaire automata voor vele stappen of het uitvoeren van multi-hop graaftraversering). De bottleneck is niet louter opslagcapaciteit, maar het ontbreken van voldoende rekenkracht om verwijderde context binnen één forward pass om te zetten in een bruikbare interne staat.

Methodologie: LLM-slaap
Geïnspireerd door biologische geheugenconsolidatie (hippocampale replay tijdens slaap), stelt het artikel een "slaap-achtig" mechanisme voor LLM's voor. Deze aanpak verschuift extra berekening naar een offline fase, waardoor de latentie van de online voorspelfase behouden blijft.

Architectuur: Het model maakt gebruik van een hybride architectuur die aandachtsblokken ( $B^{attn}$ ) en SSM-blokken ( $B^{ssm}$ ) met snelle gewichten ( $S_t$ ) met elkaar verweeft.
De slaapfase: Wanneer het contextvenster vol raakt (bijvoorbeeld elke $L$ $L$ tokens), gaat het model een "slaap"fase in. Tijdens deze fase:
- Ontvangt het model geen externe input-tokens.
- Voert het $N$ offline recurrente passes uit over de geaccumuleerde context.
- Update het model in elke pass de snelle gewichten binnen de SSM-blokken recursief met een geleerde lokale regel (bijvoorbeeld een gated delta-rule update).
- Hierdoor kan het model de gecomprimeerde representatie van de verwijderde context iteratief verfijnen.
Verwijdering en voorspelling: Na $N$ passes wordt de KV-cache gewist (of gedeeltelijk gewist bij varianten met schuivend venster), en hervat het model de operatie met de bijgewerkte snelle gewichten.
Inferentiebeperking: Cruciaal is dat tijdens de daadwerkelijke voorspelfase (het beantwoorden van vragen) het model slechts een enkele forward pass uitvoert. Alle diepe redenering en contextconsolidatie moeten hebben plaatsgevonden tijdens de voorafgaande "slaap"fase.
Training: Het model wordt end-to-end getraind via backpropagation door de volledige computationele graaf, inclusief de recurrente slaappasses, om de voorspelfout te minimaliseren nadat de context is verwijderd.

Belangrijkste bijdragen

Identificatie van redeneerbottleneck: De auteurs tonen aan dat in gecontroleerde omgevingen standaard SSM-aandacht hybriden falen bij taken die diepe redenering vereisen (hoge $t$ bij cellulaire automata, hoge $k$ bij graafretrieval), zelfs wanneer de geheugencapaciteit vast en toereikend is. Dit isoleert de diepte van de berekening als de beperkende factor, niet alleen het geheugen.
Slaaparchitectuur: Zij stellen een architectuur voor die recurrente berekening specifiek integreert voor geheugenconsolidatie. Door het aantal slaappasses ( $N$ ) te verhogen, kan het model zijn rekenkracht schalen om diepere redeneertaken aan te kunnen zonder de inferentielatentie te verhogen.
Empirische validatie: De methode wordt gevalideerd op:
- Regel 110 (Cellulaire Automata): Een taak die diepe sequentiële simulatie vereist.
- Depo: Een multi-hop kennisretrieval-taak die graaftraversering vereist over gefragmenteerde context.
- GSM-Infinite: Een realistische benchmark voor wiskundig redeneren met lange contexten en afleidende tokens, geëvalueerd op voorgetrainde LLM's (Jet-Nemotron 2B en Ouro 1.4B).

Resultaten

Synthetische taken: Het verhogen van de slaaptijd ( $N$ ) verbetert de prestaties aanzienlijk. Bij de Regel 110-taak met $t=32$ presteerde een niet-recurrent model ( $N=1$ ) bijna op willekeurige gokken (~10% nauwkeurigheid), terwijl modellen met 3–4 slaappasses meer dan 30% nauwkeurigheid behaalden. Evenzo versnelde bij de Depo-taak het verhogen van $N$ het leren en verbeterde het de nauwkeurigheid, vooral voor queries met veel hops (bijvoorbeeld 16-hop) waar modellen met één pass vastliepen.
Realistisch redeneren (GSM-Infinite): Bij voorgetrainde modellen leverde het verhogen van $N$ aanzienlijke winsten op bij moeilijkere problemen (die 6–8 rekenoperaties vereisen). Bijvoorbeeld, bij het Ouro 1.4B-model verbeterde het verhogen van het aantal slaappasses van 1 naar 4 de nauwkeurigheid bij problemen met 6 operaties van 41,9% naar 61,5%.
Schuivend venster: De voordelen bleven bestaan zelfs bij strategieën voor verwijdering met schuivend venster, waarbij het model recente tokens behoudt maar nog steeds op slaap vertrouwt om oudere context te comprimeren.
Trainingsthruput: Hoewel de trainingsthruput door de sequentiële aard van de slaappasses ongeveer lineair afneemt met $N$ , merken de auteurs op dat voor grote contextvensters deze overhead de trainingsduur op de klok niet significant belemmert in vergelijking met volledig parallelle baselines, aangezien GPU's verzadigd blijven.

Betekenis en claims
Het artikel beweert dat offline recurrentie een levensvatbaar mechanisme is om verwijderde context te organiseren in snelle gewichten, waardoor modellen diep kunnen redeneren over informatie waarnaar ze niet meer direct kunnen kijken.

Bescheiden omvang: De auteurs benadrukken dat hun bevindingen gebaseerd zijn op gecontroleerde synthetische taken en voorgetrainde modellen van bescheiden schaal. Zij claimen niet alle problemen met redeneren in lange contexten op te lossen, maar tonen een specifiek architectonisch pad aan waarbij "slaap" (offline consolidatie) de kloof overbrugt tussen geheugencapaciteit en redeneerdiepte.
Biologische inspiratie: Het werk valideert de hypothese dat het overdragen van korte-termijn context naar lange-termijn gewichten iteratieve berekening (replay) vereist, wat losgekoppeld kan worden van de strikte latentie-eisen van real-time voorspelling.
Toekomstige richting: Het artikel positioneert dit als een methodologische bijdrage aan het bouwen van krachtigere systemen voor lange contexten, en suggereert dat de trade-off van sequentieelheid tijdens training voor redeneerdiepte tijdens inferentie een veelbelovende weg is voor toekomstig onderzoek.