🤖 AI

Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments

Het artikel introduceert Continual Learning Bench (CL-Bench), de eerste door experts gevalideerde benchmark over zes diverse real-world domeinen die de online leervermogens isoleert van eerdere modelkennis, waarbij wordt onthuld dat huidige frontier AI-systemen en toegewijde geheugenarchitecturen moeite hebben om echt te verbeteren door middel van sequentiële ervaring en vaak onderpresteren vergeleken met naïeve in-context learning.

Oorspronkelijke auteurs: Parth Asawa, Christopher M. Glaze, Gabriel Orlanski, Ramya Ramakrishnan, Benji Xu, Asim Biswal, Vincent Sunn Chen, Frederic Sala, Matei Zaharia, Joseph E. Gonzalez

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Parth Asawa, Christopher M. Glaze, Gabriel Orlanski, Ramya Ramakrishnan, Benji Xu, Asim Biswal, Vincent Sunn Chen, Frederic Sala, Matei Zaharia, Joseph E. Gonzalez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Leren versus Onthouden"-test

Stel je voor dat je een nieuwe assistent inhuurt om je te helpen bij het beheren van een chaotisch kantoor.

De Oude Manier: Je geeft ze een enorme instructiehandleiding (pre-training) en vraagt ze een probleem op te lossen. Als ze het goed doen, geweldig. Als ze het fout doen, ga je door naar het volgende probleem zonder dat ze van de fout leren.
De Nieuwe Manier (Continual Learning): Je wilt een assistent die slimmer wordt terwijl ze werken. Als ze op maandag een fout maken in een archiefsysteem, moeten ze hun mentale model op dinsdag aanpassen zodat ze diezelfde fout niet meer maken.

Het probleem is: Hoe weten we of de assistent echt aan het leren is, of dat ze gewoon heel goed zijn in gokken op basis van wat ze al weten?

Dit artikel introduceert CL-BENCH, een "sportschool" die ontworpen is om te testen of AI-systemen echt leren van hun dagelijkse ervaringen of dat ze alleen vertrouwen op hun bestaande hersencapaciteit.

1. De Speeltuin: Zes Verschillende "Spellen"

Om deze AI-assistenten te testen, hebben de onderzoekers zes verschillende "kamers" (domeinen) gebouwd, elk ontworpen als een puzzel waarbij de regels niet vooraf worden opgeschreven. Je moet ze ontdekken door te spelen.

Beschouw deze kamers als verschillende banen die de AI moet uitvoeren:

De Database Detective: De AI moet vragen stellen aan een mysterieuze database. In het begin hebben de tabellen vreemde namen en staan de getallen in centen in plaats van dollars. De AI moet deze eigenaardigheden leren om later minder vragen te hoeven stellen.
De Poker Speler: De AI speelt poker tegen tegenstanders met vaste, voorspelbare gewoonten. De AI moet leren welke tegenstander er speelt en de strategie aanpassen om meer geld te winnen.
De Verkoop Voorspeller: De AI voorspelt hoeveel meubilair er verkocht zal worden. De data verandert elke week (andere winkels, andere producten), maar er zijn verborgen patronen (zoals "stoelen verkopen altijd beter in de zomer") die de AI moet ontdekken.
De Code Fixer: De AI moet bugs in software oplossen. Verschillende projecten hebben verschillende regels. De AI zou moeten leren waar hij naar fouten moet zoeken in Project A, zodat hij Project B sneller kan repareren.
De Signaal Jager: De AI luistert naar radiogolven. Sommige signalen verschijnen en verdwijnen. De AI moet onthouden welke signalen bestaan, zelfs als ze stil zijn, zodat hij niet denkt dat ze voorgoed weg zijn.
De Ziekte Tracker: De AI analyseert medische studies. Elke studie gebruikt verschillende termen voor dezelfde zaken. De AI moet leren te vertalen tussen deze termen om een beter totaalbeeld van patiëntoverleving te krijgen.

De Twist: Halverwege sommige van deze spellen veranderen de regels (zoals een database-migratie of een nieuwe tegenstander). Een slimme leerling zou de verandering moeten opmerken en zich aanpassen. Een "domme" leerling blijft oude regels gebruiken en faalt.

2. Het Scorebord: Hebben Ze Echt Geleerd?

De onderzoekers realiseerden zich dat alleen naar de eindscore kijken niet genoeg is. Een superintelligente AI kan een hoge score halen simpelweg omdat hij van nature al briljant is, niet omdat hij iets nieuws heeft geleerd.

Daarom hebben ze een "Gain" metriek uitgevonden.

De Analogie: Stel je twee hardlopers voor.
- Hardloper A (Stateless): Loopt een race, vergeet daarna alles, en loopt de zelfde race weer helemaal vanaf nul.
- Hardloper B (Stateful): Loopt de race, onthoudt het pad, en loopt het opnieuw.
- De Gain: Als Hardloper B slechts een klein beetje sneller is, heeft hij niet veel geleerd. Als Hardloper B veel sneller is, heeft hij het parcours geleerd.

CL-BENCH meet precies hoe veel sneller de "onthoudende" AI is vergeleken met de "vergetende" AI. Dit isoleert leren van ruwe intelligentie.

3. De Schokkende Resultaten: De "Simpele Notitie-nemer" Wint

De onderzoekers testten de meest geavanceerde AI-modellen (de "frontier" modellen) met verschillende geheugensystemen:

Het "Superbrein" (Naive ICL): Houdt gewoon de hele gesprekshistorie in het chatvenster. Geen speciale geheugentrucs.
De "Archiefkast" (Mem0, ACE, etc.): Systemen die proberen te samenvatten, op te slaan en specifieke herinneringen op te halen zoals een menselijk archiefsysteem.
Het "Notitieblok" (Notepad): Een systeem waarbij de AI wordt gedwongen om aantekeningen te maken.

De Resultaten:
De Simpele Notitie-nemer (het bijhouden van de hele chatgeschiedenis) presteerde eigenlijk beter dan de complexe, toegewezen geheugensystemen.

Waarom? De fancy geheugensystemen raakten vaak in de war. Ze "herinnerden" zich de verkeerde dingen, of ze bleven hangen in een oude overtuiging en weigerden deze aan te passen toen de regels veranderden.
De Foutmodus: De AI "overfit" vaak op het directe verleden. Als de AI een fout maakte bij Vraag 10, paste hij diezelfde fout blindelings toe op Vraag 11, zelfs als de context veranderd was. Het lukte de AI niet om te zeggen: "Wacht, die oude regel geldt hier niet meer."

De Kern van het Zaken: Zelfs de beste AI-systemen van vandaag zijn slecht in continual learning. Ze zijn geweldig in slim zijn, maar slecht in het slimmer worden over een langere periode in een dynamische omgeving.

4. Waarom Dit Belangrijk Is

Het artikel concludeert dat we momenteel vastzitten. We hebben AI die moeilijke problemen kan oplossen, maar we hebben geen AI die kan leren van een lange reeks interacties in de echte wereld zonder in de war te raken of te vergeten.

CL-BENCH is het eerste instrument dat bewijst dat dit gat bestaat. Het laat zien dat:

Huidige AI-systemen veel "headroom" (potentieel voor verbetering) onbenut laten.
Het toevoegen van complexe geheugenmodules het probleem niet automatisch oplost; soms maakt het het zelfs erger.
We nieuwe manieren nodig hebben om AI te bouwen die echt kan aanpassen, ontleren en opnieuw leren terwijl de wereld om hen heen verandert.

Kortom: We hebben AI gebouwd die erg slim is, maar we hebben nog geen AI gebouwd die een goede leerling is.

Technische Samenvatting: Continual Learning Bench (CL-BENCH)

Probleemstelling

Hoewel er substantiële belangstelling is voor het bouwen van AI-systemen die verbeteren door sequentiële ervaring (continual learning), bestaat er geen hoogwaardige benchmark die deze capaciteit rigoureus kan evalueren. Bestaande evaluatieprotocollen voor taalagenten en geheugensystemen vertrouwen grotendeels op proxies zoals de getrouwheid van herinnering over lange contexten, vraag-antwoord op basis van eerdere data, of offline taaknauwkeurigheid. Deze metrieken falen in het testen of een systeem werkelijk online leert door het ontdekken en exploiteren van latente structuren die gedeeld worden over gerelateerde taken. Bovendien confunderen huidige benchmarks vaak prestatieverbeteringen met de onderliggende modelcapaciteit, waardoor het moeilijk is om echt leren te isoleren van vooraf getrainde kennis.

Methodologie

Het CL-BENCH Framework

De auteurs introduceren Continual Learning Bench (CL-BENCH), de eerste uitdagende, door experts gevalideerde benchmark die is ontworien om te meten of LLM-gebaseerde systemen werkelijk verbeteren door sequentiële ervaring. De benchmark beslaat zes diverse real-world domeinen:

Blind Spectrum Monitoring: Het in kaart brengen van persistente RF-transmitters vanuit partiële, ruisgevoelige scans.
Codebase Adaptation: Het oplossen van GitHub-issues over twee repositories, waarbij bestandslay-outs en testpatronen worden geleerd.
Cohort Studies: Het schatten van overlevingscurves van patiënten over vijf verschillende epidemiologische studies met variërende schema's en biases.
Database Exploration: Het beantwoorden van natuurlijke taalvragen over een onbekende SQLite-database met geobfusceerde schema's en dataformaten.
Exploitable Poker: Spelen tegen deterministische tegenstanders met vaste, exploiteerbare strategieën.
Sales Prediction: Het voorspellen van de vraag over winkels en producten met roterende datavisibiliteit en distractor-kolommen.

Taakontwerpcriteria

Om ervoor te zorgen dat taken leren meten in plaats van statische capaciteit, zijn CL-BENCH-taken geconstrueerd om aan drie strikte criteria te voldoen:

Headroom: De initiële prestaties moeten ruim onder het maximaal haalbare liggen. De latente structuur die geleerd moet worden (bijv. schema-conventies, tegenstanderstrategieën) moet taakspecifiek zijn en niet alleen uit algemene offline training te herleiden zijn.
Gedeelde Latente Structuur: Instanties binnen een taak moeten een ontdekbare gedeelde structuur delen (bijv. codebase-lay-out, ziekte-dynamiek) die een systeem kan exploiteren om de prestaties in de loop van de tijd te verbeteren. Deze structuur wordt niet expliciet gecommuniceerd, maar moet worden afgeleid uit ervaring.
Leermechanisme: De omgeving moet een feedbackloop bieden (bijv. foutmeldingen, tussenliggende voorspellingen), waardoor geaccumuleerde ervaring kan worden vertaald naar bruikbare kennis voor toekomstige instanties.

Taken bevatten ook concept drift (bijv. database-migraties, veranderende tegenstanderstrategieën) om te testen of systemen kunnen adapteren en verouderde kennis kunnen weggooien in plaats van blindelings te memoriseren.

Validatiepipeline

Elke taak ondergaat een rigoureus validatieproces:

Auteursreview: Twee auteurs verifiëren of de taak aan de drie ontwerpcriteria voldoet.
Expertpanel: 2–3 domeinexperts per taak beoordelen de specificatie op Realisme (weerspiegeling van real-world workflows), Herbruikbare Kennis (patronen die overstappen tussen stappen) en Leerverbetering (meetbare prestatiewinsten).
Besluitvorming: Taken worden alleen geaccepteerd als ze op alle assen aan de validatie voldoen.

Evaluatiemetrieken

Het paper introduceert twee primaire metrieken om prestaties te analyseren:

Reward: De cumulatieve uitkomst over een sequentie van instanties (bijv. query-efficiëntie, voorspellingsnauwkeurigheid).
Gain: Een metriek ontworpen om leren te isoleren van basiscapaciteit. Het is gedefinieerd als het verschil tussen de stateful prestaties van een systeem ( $r_{sf}$ $r_{s f}$ ) en de prestaties als het stateless zou draaien ( $r_{sl}$ $r_{s l}$ ) op dezelfde instanties: $g_t = r_{sf,t} - r_{sl,t}$ $g_{t} = r_{s f, t} - r_{s l, t}$ .
- Genormaliseerde Gain: Om vergelijking tussen taken mogelijk te maken, wordt de gain genormaliseerd door de specifieke "headroom" van het systeem (het verschil tussen de taakmaximum en de stateless baseline).

Belangrijkste Bijdragen

CL-BENCH Benchmark: Een suite van zes door experts gevalideerde, uitdagende taken over real-world domeinen, specifiek ontworpen om online leren te isoleren van onderliggende modelcapaciteit.
Metrische Innovatie: De introductie van de Gain-metriek en de genormaliseerde variant hiervan, die onderzoekers in staat stelt om onderscheid te maken tussen een systeem dat simpelweg "sterk" is en een systeem dat effectief leert van sequentiële ervaring.
Empirische Evaluatie: Een grootschalige evaluatie van frontier-modellen (inclusief Claude Opus 4.7, Sonnet 4.6, GPT-5.4 en Gemini 3.1 Pro) over diverse agent-architecturen.

Resultaten

De evaluatie van frontier-modellen via CL-BENCH onthult significante hiaten in de huidige capaciteiten voor continual learning:

Naive ICL Presteert Beter dan Dedicated Memory: Verrassend genoeg presteert In-Context Learning (ICL) met volledige contextretentie (zonder gespecialiseerde geheugenmodules) consequent beter dan systemen met dedicated memory-architecturen (zoals Mem0, ACE, ICL Notepad). Bijvoorbeeld: ICL met Claude Sonnet 4.6 behaalde de hoogste genormaliseerde reward (22,3%) en gain (25,4%).
Dedicated Memory Systemen Struggelen: Systemen die specifiek zijn ontworpen voor geheugenbeheer (zoals ACE of ICL Notepad) presteerden vaak slechter dan naive ICL, en stonden soms onderaan de leaderboard ondanks hogere kosten.
Beperkte Online Adaptatie: Zelfs de best presterende systemen bereikten slechts een genormaliseerde gain van 25,4% ten opzichte van hun stateless baselines. Dit geeft aan dat huidige systemen een aanzienlijke hoeveelheid headroom onbenut laten.
Foutmodi:
- Overfitting: Agenten overfitten frequent op directe observaties of falen om kennis te hergebruiken over instanties heen.
- Stale Beliefs: Systemen hebben moeite met het updaten van onjuiste overtuigingen, zelfs wanneer ze feedback krijgen die op fouten wijst (bijv. het niet detecteren van database-migraties).
- Plasticiteit vs. Stabiliteit: De decompositie van gain laat zien dat hoewel sommige systemen snel adapteren aan nieuwe taakvarianten (plasticiteit), ze vaak er niet in slagen nuttige structuren vast te houden over varianten heen (stabiliteit), of vice versa.

Betekenis en Claims

Het paper claimt dat CL-BENCH de eerste benchmark is die continual learning evalueert over diverse real-world domeinen met door experts gevalideerde taken, waarbij online leren succesvol is geïsoleerd van de onderliggende modelcapaciteit.

De auteurs concluderen dat betrouwbare online adaptatie een openstaand probleem blijft. De bevinding dat naive ICL beter presteert dan dedicated memory-mechanismen suggereert dat de huidige benaderingen voor geheugenbeheer en stateful agent-design nog niet effectief zijn. Het paper stelt dat geaccumuleerde staat vaak eerder schadelijk is dan helpend, aangezien geheugenmodules leiden tot spookachtige generalisaties en stale beliefs.

De auteurs positioneren CL-BENCH als een fundament voor het bijhouden van vooruitgang in dit veld, met duidelijke criteria voor toekomstige bijdragers om nieuwe taken voor te stellen. Ze geven expliciet aan dat de benchmark in haar huidige omvang bescheiden is (zes domeinen en tientallen instanties), maar tot doel heeft te groeien met bijdragen van de community om de bredere uitdaging aan te pakken van het bouwen van AI-systemen die werkelijk verbeteren door sequentiële ervaring.