🤖 machine learning

Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention

Dit artikel betoogt dat het uitbreiden van in-context leren naar lifelong-omgevingen vereist dat de geheugenintensieve, niet-parametrische softmax-attention van standaard transformers wordt vervangen door parametrische attention-mechanismen die key-value-relaties leren via online regressie om een constant geheugenspeld te behouden, terwijl het tegelijkertijd de huidige beperkingen identificeert en openstaande vragen voorstelt om de ontwikkeling van long-horizon AI-agenten te begeleiden.

Oorspronkelijke auteurs: Luke McDermott, Robert W. Heath jr., Rahul Parhi

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luke McDermott, Robert W. Heath jr., Rahul Parhi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Oneindige Notebook" Valstrik

Stel je voor dat je een robot probeert te leren een levenslange assistent te zijn. Je wilt dat de robot leert van alles wat hij ziet, hoort en doet, vanaf het moment dat hij wordt aangezet tot de dag dat hij wordt uitgeschakeld.

Huidige AI-modellen (Transformers) zijn als briljante studenten die kunnen leren van een kort verhaal dat je ze nú voorleest. Dit wordt In-Context Learning genoemd. Als je zegt: "Hier is een regel: als je een rood licht ziet, stop dan," volgt de robot die direct.

Er is echter een addertje onder het gras. Om deze regels te onthouden, gebruiken huidige modellen een methode die lijkt op het bijhouden van een groeiende notebook. Elke keer dat de robot een nieuw feit leert of een nieuw voorbeeld ziet, schrijft hij dat op een nieuwe pagina in de notebook.

Het Probleem: Naarmate de robot langer leeft, wordt de notebook dikker. Uiteindelijk wordt de notebook zo zwaar (te veel geheugen) en duurt het zo lang om erdoorheen te lezen (te veel rekenkracht) dat de robot niet meer kan functioneren. Hij loopt tegen een "hardwaremuur" aan. Hij kan geen notebook met een miljoen pagina's in zijn zak dragen.

De Voorgestelde Oplossing: De "Slimme Samenvatter"

De auteurs stellen dat om AI echt levenslang te maken, we moeten stoppen met het gebruik van de "groeiende notebook" en moeten beginnen met een Slimme Samenvatter.

In plaats van elk enkel rauw feit op te schrijven (zoals "Om 14:00 uur zag ik een blauwe auto"), moet de robot leren om die informatie te comprimeren naar een mentaal model van een vaste grootte.

De Analogie: Stel je voor dat je een taal leert.
- Huidige Methode (Niet-parametrisch): Je houdt een woordenboek bij dat groter wordt elke keer dat je een nieuw woord leert. Uiteindelijk kun je het woordenboek niet meer dragen.
- Nieuwe Methode (Parametrisch): Je onthoudt niet elk woord afzonderlijk. In plaats daarvan leer je de grammatica en de patronen van de taal. Je brein (het model) blijft dezelfde grootte, maar wordt slimmer in het voorspellen van wat er nu komt op basis van de geleerde regels.

Hoe het werkt: "Test-Time Training"

Het artikel suggereert een specifieke manier om deze Slimme Samenvatter te bouwen. Ze noemen dit Test-Time Training.

Beschouw het aandachtsmechanisme van de robot (het deel dat beslist waar de focus op moet liggen) niet als een statisch zoekinstrument, maar als een student die een toets maakt terwijl de leraar nog aan het praten is.

De Opzet: De robot ontvangt een stroom informatie (keys en values).
De Taak: Het probeert de verbinding tussen deze informatie te raden.
De Update: Direct nadat het een gok heeft gedaan, controleert het of het goed zat. Als het fout zat, past het onmiddellijk zijn interne "breingewichten" aan om beter te worden.
Het Resultaat: In plaats van het verleden op te slaan om het toekomstige te onthouden, werkt het de huidige kennis bij om de toekomst te voorspellen.

Dit stelt de robot in staat om een oneindige stroom informatie te verwerken zonder ooit tekort te komen aan geheugen, omdat het de stroom niet opslaat, maar er van leert.

Waarom huidige "Shortcuts" niet werken

Het artikel wijst erop dat mensen hebben geprobeerd het "groeiende notebook"-probleem op te lossen met behulp van Sparse Attention.

De Analogie: Dit is also weakly de robot besluit: "Ik kan mijn hele notebook niet lezen, dus ik gooi gewoon de pagina's weg die ik saai vind en houd de laatste 10 pagina's over."
De Fout: Dit werkt voor korte taken, maar voor een levenslange agent faalt het. Als de robot drie weken geleden een pagina weggooide waarop stond "Het wachtwoord is 1234", kan hij vandaag nooit meer een puzzel oplossen. Hij moet oude herinneringen samenvoegen in algemene kennis, in plaats van ze alleen maar te verwijderen.

De Blokkades (Openstaande Vragen)

De auteurs geven toe dat hoewel dit idee van een "Slimme Samenvatter" de juiste weg is, we het perfecte recept nog niet hebben. Ze stellen drie belangrijke vragen voor de toekomst:

Wat is het doel? Moet de robot gewoon exacte feiten proberen te onthouden (zoals een fotoalbum), of moet hij proberen het concept achter de feiten te begrijpen (zoals een filosoof)? Het artikel suggereert dat we de robot moeten leren te generaliseren, niet alleen te memoriseren.
Hoe leren we trends? Als de robot vandaag iets leert, hoe zorgt hij er dan voor dat die kennis morgen niet wordt overschreven? We hebben betere manieren nodig om de hersenen te updaten zodat het langetermijnpatronen onthoudt, en niet alleen de laatste paar seconden.
Waar moet het van leren? Op dit moment leert de robot van eenvoudige, lineaire verbindingen. Misschien moeten we het leren om naar complexere, niet-lineaire patronen in de data te kijken om de wereld echt te begrijpen.

Samenvatting

Het artikel betoogt dat voor AI om een echte levenslange metgezel te worden, het moet stoppen met proberen alles te onthouden in een gigantisch, groeiend bestand. In plaats daarvan moet het leren om continu een brein van vaste grootte bij te werken dat ervaringen samenvat. Dit vereist een verandering in hoe de AI "aandacht besteedt", door het te veranderen van een statische bibliothecaris in een dynamische, lerende student die slimmer wordt met elk moment, zonder ooit meer ruimte nodig te hebben.

Technische Samenvatting: Levenslang In-Context Leren met Transformers

Probleemstelling
Moderne AI-systemen, primair gebaseerd op Transformers, vertrouwen op offline training over eindige datasets. Hoewel ze "vonken van intelligentie" vertonen door middel van in-context leren (ICL), worden standaard softmax-attentionmechanismen geconfronteerd met een fundamentele schaalbaarheidsbarrière voor levenslang leren. De kwadratische aard van softmax-attention vereist het onderhouden van een steeds groeiende Key-Value (KV) cache, waardoor de inferentiekosten en de geheugenvoetafdruk lineair schalen met de contextlengte. Dit verhindert dat agenten willekeurig lange sequenties verwerken (bijv. een menselijk leven aan tokens) onder een vast hardwarebudget. Huidige sparse attention-methoden verzachten dit door tokens te verwijderen (eviction), maar falen in het samenvoegen van ervaringen uit het verleden tot algemene kennis of taakrelevante voldoende statistieken, wat hen ontoereikend maakt voor taken die het modelleren van volledige contexten vereisen.

Methodologie en Perspectief
Het artikel herformuleert attention niet louter als een retrieval-mechanisme, maar als een online leeralgoritme dat test-time regressie uitvoert.

Attention als Regressie: De auteurs beschouwen het attentionmechanisme als het construeren van een estimator $m_t$ die keys ( $k$ ) mapt naar values ( $v$ ) op basis van een zelfgesuperviseerde trainingsset die door de transformer zelf wordt gegenereerd. De query ( $q$ ) fungeert als een ongelabeld testpunt, en de output is de voorspelde waarde.
Niet-parametrisch versus Parametrisch:
- Niet-parametrisch (Softmax): Standaard softmax-attention wordt geïdentificeerd als een Nadaraya-Watson kernel-estimator. Het slaat ruwe key-value paren op als "parameters", wat leidt tot onbegrensde groei van het geheugen.
- Parametrisch: Het artikel pleit voor parametrische vormen van attention, waarbij de key-naar-value relatie wordt geleerd door een einddimensionaal, online bijwerkbaar neuraal netwerk (parameters $\theta_t$ ). Dit vervangt de groeiende KV-cache door een representatie van constante grootte.
Test-Time Training (TTT): De voorgestelde oplossing maakt gebruik van TTT, waarbij het parametrische model $\theta_t$ tijdens de inferentie wordt bijgewerkt via gradiëntafdaling om een verliesfunctie (bijv. de Delta-regel, Hebbiaanse regel of Omega-regel) te minimaliseren op de binnenkomende stroom van key-value paren. Dit omvat lineaire attention, state-space modellen (SSMs) en fast-weight programmers.

Belangrijkste Bijdragen

Theoretische Unificatie: Het artikel verenigt diverse recente architecturen (lineaire attention, SSMs, fast-weight memories) onder de lens van parametrische test-time regressie. Het betoogt dat dit niet louter alternatieven zijn voor Transformers, maar noodzakelijke evoluties voor levenslang leren.
Formalisering van de Beperking: Het demonstreert expliciet dat niet-parametrische estimators (zoals softmax) levenslang leren onder een vast hardwarebudget niet kunnen ondersteunen, omdat ze niet in staat zijn om ervaringen uit het verleden te abstraheren of te comprimeren; ze roepen slechts ruwe tokens op.
Vereisten voor Levenslange ICL: De auteurs definiëren vier noodzakelijke eigenschappen voor attentionmechanismen om levenslang leren te ondersteunen:
- Expressieve in-context geheugen (begrip van concepten, niet alleen het oproepen van tokens).
- Per-token inferentiekosten die onafhankelijk zijn van de contextlengte.
- Paralleliseerbare updates (om moderne GPU's/TPU's te benutten).
- Geheugen zonder verdrijving (het samenvoegen van het verleden in een begrensde representatie).
Identificatie van Openstaande Vragen: In plaats van één nieuwe architectuur voor te stellen, organiseert het artikel de huidige hiaten in drie kritieke onderzoeksrichtingen:
- Doelstellingontwerp (Objective Design): Als het doel niet perfecte memorisatie van key-value paren is, wat is dan de juiste online doelstelling? Het artikel suggereert dat regularisatie (bijv. gating, weight decay) cruciaal is om overfitting op de directe context te voorkomen en generalisatie te stimuleren. Het benadrukt dat multi-headed lineaire attention fungeert als een impliciete regularisator.
- Signalen over Lange Termijn (Long-Horizon Signals): Hoe kunnen online verliesfuncties trends over de tijd efficiënt vastleggen? Het artikel bekritiseert instantane updates (die leiden tot catastrofale vergetelheid) en wijst op gebatched updates (sliding windows) en auxiliaire staten (momentum, second-order optimizers) als veelbelovende maar onderbelichte richtingen.
- Zelfgesuperviseerde Labelgeneratie: Hoe moeten keys en values worden gegenereerd? Het artikel stelt de vraag of lineaire projecties voldoende zijn of dat niet-lineaire feature maps en rijkere zelfgesuperviseerde taken (bijv. meerdere KV-paren per token) nodig zijn om de online leerder te dwingen hogere structuren te vatten.

Resultaten en Claims
Het artikel presenteert geen nieuwe empirische benchmarks of een specifieke nieuwe architectuur met SOTA-resultaten. In plaats daarvan zijn de "resultaten" theoretisch en analytisch:

Het bewijst dat softmax-attention wiskundig equivalent is aan een specifieke niet-parametrische kernelregressie, wat de geheugenbeperkingen verklaart.
Het demonstreert dat lineaire attention met meerdere koppen werkt als een regularisator, waardoor het model voorkomt dat het de trainingsdata perfect aanpast (wat wenselijk is voor generalisatie).
Het betoogt dat huidige parametrische methoden (zoals lineaire attention of SSMs) veelbelovende kandidaten zijn, maar momenteel tekortschieten door beperkte geheugencapaciteit, inefficiënte update-regels en suboptimale doelstellingontwerpen.

Betekenis
De betekenis van het artikel ligt in de paradigmaverschuiving: het verschuiven van de visie op attention van een statisch retrieval-instrument naar een dynamische, online leerder.

Het daagt de voldoendeheid uit van huidige Transformer-backbones die enkel worden uitgebreid met externe retrieval-tools, en stelt dat interne parametrische geheugens vereist zijn om episodische sporen om te zetten in herbruikbare interne structuren.
Het roept op tot een convergentie van onderzoek vanuit zelfgesuperviseerd leren, reinforcement learning en continual learning om de specifieke knelpunten van update-efficiëntie, geheugencapaciteit en doelstellingontwerp op te lossen in test-time training.
Uiteindelijk stelt het dat voor AI-agenten die over lange horizonten (maanden of jaren) moeten opereren, zij parametrische attentionmechanismen moeten adopteren die tijdens runtime leren van ervaringen, terwijl ze een constante geheugenvoetafdruk behouden.