🤖 AI

Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents

Dit artikel toont aan dat AI-agenten met bevroren gewichten aanzienlijke verbeteringen in continu leren kunnen bereiken door hun statische modellen te koppelen aan een extern geheugensysteem dat feedback uit de inzet distilleert tot ophaalbare regels in natuurlijke taal, waardoor ze voorheen onoplosbare taken kunnen oplossen zonder het model opnieuw te trainen.

Oorspronkelijke auteurs: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Gepubliceerd 2026-07-27

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin je, elke keer dat je een puzzel probeert op te lossen, de regels vergeet op het moment dat de timer stopt. Als je vandaag een lastig wiskundig probleem oplost, begin je morgen weer vanaf nul, zelfs als het probleem exact hetzelfde is. Dit is de huidige realiteit voor veel AI-agenten. Ze zijn gebouwd op "bevroren" breinen—krachtige modellen die in steen gebeiteld zijn op het moment dat ze worden gelanceerd. Ze kunnen niet leren van hun fouten in realtime, omdat het veranderen van de bedrading van hun brein duur, riskant en traag is. Echter, in de echte wereld krijgen deze agenten constant feedback. Een klant kan zeggen: "Dat werkte!" of een mens kan een fout herstellen en zeggen: "Dit is de juiste manier." De grote vraag die wetenschappers stellen is: Kunnen we deze agenten met bevroren breinen slimmer maken door simpelweg een "spiekbriefje" te laten lezen van hun eigen eerdere ervaringen, zonder hun brein daadwerkelijk te veranderen?

Dit artikel, getiteld "Learning on the Job", onderzoekt een slimme workaround. In plaats van te proberen de bedrading van het AI-brein te veranderen, gaven de onderzoekers de agent een extern schrift—een geheugensysteem. Wanneer de agent een taak voltooit, kijkt hij naar het resultaat (won hij of verloor hij?) en schrijft hij een korte regel in natuurlijke taal in dit schrift. Bijvoorbeeld: "Als de klant een terugbetaling vraagt, controleer dan eerst de datum." Later, wanneer de agent een soortgelijke situatie tegenkomt, raadpleegt hij zijn schrift voordat hij handelt. De studie testte dit op een bankensimulatie waarbij de AI complexe regels moest navigeren om klanten te helpen. Ze ontdekten dat de agenten, simpelweg door hun eigen aantekeningen te lezen, aanzienlijk beter werden in hun werk. Een agent die leerde van enkel een "winst/verlies"-signaal verbeterde zijn succespercentage met 1,6 keer, terwijl een agent die leerde van gedetailleerde correcties met 2,6 keer verbeterde. Nog cooler: de aantekeningen geschreven door het ene type AI waren nuttig voor een totaal ander type AI, wat bewees dat deze "ervaring" gedeeld kon worden als een bibliotheekboek.

Het Probleem: De AI-Amnesie

Beschouw de meest geavanceerde AI-agenten van vandaag als ongelooflijk getalenteerde maar ongelooflijk vergeetachtige stagiairs. Je neemt ze aan, ze krijgen een enorme bibliotheek aan beleidsboeken (ongeveer 700 documenten in deze studie) om naar te verwijzen, en ze proberen een klant te helpen. Als ze een moeilijk probleem oplossen, geweld! Maar op het moment dat het gesprek eindigt, wordt hun kortetermijngeheugen gewist. Als diezelfde moeilijke klant morgen terugbelt, heeft de agent geen idee wat er gisteren is gebeurd. Hij moet weer bij nul beginnen.

De reden voor deze amnesie is architecturaal. Deze agenten draaien op modellen met "bevroren gewichten". Stel je het brein van het model voor als een gigantisch, ingewikkeld beeldhouwwerk gemaakt van klei. Zodra het beeldhouwwerk is gebakken en uitgehard (geïmplementeerd), kun je niet zomaar stukjes wegkappen of nieuwe klei toevoegen zonder het hele ding te smelten en opnieuw te beginnen. Het smelten ervan is gevaarlijk (het kan alles vergeten wat het eerder wist) en duur. Dus in de echte wereld blijven deze agenten bevroren. Ze zijn op hun laatste werkdag even bekwaam als op hun eerste dag.

De Oplossing: Het Externe Schrift

De onderzoekers vroegen: Wat als de agent zijn brein niet hoefde te veranderen om te leren? Wat als hij alleen een schrift nodig had?

Ze koppelden de bevroren AI aan een systeem genaamd Spark. Denk aan Spark als een gedeelde, magische bibliotheek waar de agent aantekeningen kan schrijven en lezen. Wanneer een agent een taak voltooit, gooit hij de ervaring niet zomaar weg. In plaats daarvan reflecteert hij op wat er is gebeurd en schrijft hij een "regel" in de bibliotheek.

De "Ervaringsmodus": De agent krijgt een simpel duimpje omhoog of omlaag (een één-bit oordeel). Hij moet de les zelf ontdekken. "Ik probeerde X te doen en faalde. Ik moet X de volgende keer vermijden."
De "Instructiemodus": De agent krijgt de duim omlaag plus het juiste antwoord. "Ik probeerde X en faalde. De juiste manier is Y."

De agent schrijft deze lessen op als eenvoudige regels in natuurlijke taal, zoals: "Wanneer een klant een overboeking aanvraagt, controleer dan altijd eerst de dagelijkse limiet." Deze regels worden opgeslagen in de Spark-bibliotheek. De volgende keer dat de agent een klant tegenkomt, zoekt hij in de bibliotheek naar relevante regels voordat hij handelt.

Het Experiment: Wedden op Geheugen

Om dit te testen, gebruikte het team een uitdagende bankenbenchmark genaamd τ-bench. Stel je een videogame voor waarin de AI een bankbediende speelt. De "klanten" worden gesimuleerd door andere AI's, en zij hebben verborgen doelen en lastige verzoeken. De agent moet de regels van de bank ontdekken door te zoeken in een enorme stapel beleidsdocumenten. Het is moeilijk; zelfs de beste AI-modellen lossen slechts ongeveer 25% van deze taken bij hun eerste poging op.

De onderzoekers voerden het experiment uit met twee verschillende AI-modellen:

Mistral Large: Een krachtig, open-source model dat bedrijven op hun eigen servers kunnen draaien.
Claude Sonnet 5: Een topniveau, frontier model.

Ze testten drie scenario's voor elk model:

De Baseline: De agent heeft de beleidsbibliotheek maar geen geheugen. Hij vergeet alles tussen de pogingen door.
Experience (Ervaring): De agent heeft de bibliotheek en een geheugen-schrift, maar leert alleen van een simpel "winst/verlies"-signaal.
Instruction (Instructie): De agent heeft de bibliotheek, een geheugen-schrift, en leert van het "winst/verlies"-signaal plus de juiste oplossing na een fout.

De Resultaten: Van Nul naar Held

De resultaten waren opmerkelijk. De agenten die het geheugen-schrift gebruikten, werden veel beter in hun werk, en dat deden ze zonder ook maar één neuron in hun bevroren breinen te veranderen.

De Kracht van Correcties: Voor het Mistral Large-model loste de "Instruction"-groep (lerend van correcties) 2,6 keer meer taken op bij de eerste poging vergeleken met de baseline. Ze slaagden erin om 22 van de 84 taken op te lossen die de baseline-agent nooit oploste, ongeacht het aantal pogingen.
De Kracht van Ervaring: Zelfs leren van een simpel "winst/verlies"-signaal hielp. De "Experience"-groep verbeterde met 1,6 keer ten opzichte van de baseline.
De Leercurve: In het begin waren alle agenten even slecht omdat de schriften nog leeg waren. Maar naarmate de pogingen vorderden, werden de agenten met de schriften slimmer. De baseline-agent bleef vlak, terwijl de lerende agenten met elke poging hoger klimden.
Cross-Model Magie: De onderzoekers deden iets heel cools. Ze namen het schrift dat door het Mistral Large-model was opgebouwd en gaven dat aan het Claude Sonnet 5-model om te lezen (en vice versa). Ondanks dat het verschillende modellen waren, waren de aantekeningen nuttig! Het Mistral-model verbeterde zijn succespercentage aanzienlijk toen het de aantekeningen van Claude las. Dit bewijst dat de kennis in het schrift niet slechts "de stijl van Mistral" was, maar algemene, nuttige kennis die elke agent kon gebruiken.

Waarom dit ertoe doet

Dit artikel suggereert een nieuwe manier om AI slimmer te maken zonder de enorme kosten en risico's van hertraining. In plaats van te proberen het AI-brein te smelten en te hervormen, kunnen we het simpelweg een betere manier geven om te onthouden.

De studie sloot ook enkele ideeën uit. Ze controleerden bijvoorbeeld of de agenten niet gewoon antwoorden aan het "cachen" waren (het memoreren van de exacte oplossing voor een specifieke puzzel). Ze ontdekten dat dit niet het geval was. De agenten leerden regels (zoals "controleer de datum") die hen hielpen om nieuwe variaties van het probleem op te lossen. Ze toonden ook aan dat dit leren de agenten niet slechter maakte in zaken waar ze al goed in waren; ze behielden hun oude vaardigheden terwijl ze nieuwe verwierven.

Kortom, dit onderzoek laat zien dat voor bevroren AI-agenten de feedback die ze elke dag krijgen—of het nu een simpel "goed gedaan" is of een gedetailleerde correctie—genoeg is om ze te veranderen in levenslange leerlingen, mits ze een plek hebben om op te schrijven wat ze hebben geleerd. Het verandert de ervaring van een enkele agent in een gedeelde organisatorische waarde, waardoor het hele systeem slimmer wordt, één aantekening per keer.

Technische Samenvatting: Leren op de Werkvloer voor Agents met Bevroren Gewichten

Probleemstelling

Huidige AI-agent-implementaties vertrouwen op foundation models met bevroren gewichten, wat betekent dat agents bijna alle leermogelijkheden verwerpen na elke episode. Wanneer een moeilijke aanvraag zich herhaalt, begint de agent weer vanaf nul. Hoewel gewichtsuit updates een klassieke route bieden voor continu leren, brengen ze prohibitieve kosten met zich mee wat betreft infrastructuur, het risico op catastrofale vergetelheid en de noodzaak van nieuwe veiligheidsevaluaties. Gevolgelijk blijven uitgerolde agents vaak even bekwaam op hun laatste dag als op hun eerste.

Real-world implementaties genereren doorgaans supervisiesignalen—zoals uitkomstverdicten (succes/falen) of post-hoc correcties (geverifieerde oplossingen)—maar deze signalen worden zelden gebruikt voor leren. Dit paper onderzoekt of deze gewone feedbacksignalen voldoende zijn om continu leren mogelijk te maken zonder de modelgewichten aan te passen, door de bevroren agent te koppelen aan een extern geheugensysteem.

Methodologie

Het Spark Geheugensysteem

De studie maakt gebruik van Spark, een gedeeld geheugendienst voor AI-agents.

Eenheid van Kennis: Inzichten worden opgeslagen als compacte natuurlijke taaluitspraken (regels, procedures, waarschuwingen) met een titel, inhoud en een retrieval-query geformuleerd als een vraag die een toekomstige agent zou stellen.
Levenscyclus: Bijdragen ondergaan een autonome curatiepipeline bestaande uit veiligheidsfiltering, kwaliteitscontroles en deduplicatie. Het systeem ondersteunt continue pruning en synthese van nieuwe inzichten uit clusters van gerelateerde inzichten.
Interactie: Agents interageren via vier oproepen: search, create_memory, enrich_memory en share_feedback. Het systeem werkt volgens een read-contribute-feedback cyclus, waarbij feedback de betrouwbaarheidsschattingen bijwerkt om de retrieval-ranking te beïnvloeden.

Experimentele Opstelling

De experimenten worden uitgevoerd op de $\tau$ -Banking domein van $\tau$ -bench, een kennisintensieve benchmark bestaande uit multi-turn conversaties met gesimuleerde klanten.

Taakcomplexiteit: Agents moeten bedrijfsregels en tools ontdekken door een corpus van ~700 beleidsdocumenten te doorzoeken met behulp van sparse BM25 retrieval. De benchmark is deterministisch, waarbij succes wordt gedefinieerd door de uiteindelijke database-status die overeenkomt met een grondwaarheid.
Modellen: Twee modellen bestrijken het deployment-spectrum: Mistral Large (open-weights, zelf hostbaar) en Claude Sonnet 5 (frontier model).
Protocol: Elke taak draait $k=4$ onafhankelijke trials. De geheugenopslag begint leeg en blijft actief over de trials heen voor een enkele taak, waardoor lessen uit trial $t$ trial $t+1$ kunnen beïnvloeden.

Condities

Drie condities worden vergeleken:

No-memory Baseline: Een statische RAG-controle die de volledige beleidscorpus doorzoekt zonder inter-trial geheugen.
Experience: De agent leert van een single-bit uitkomstverdict (succes/falen). Bij falen moet de agent zijn eigen lessen destilleren (vermijdingsregels) zonder toegang tot de juiste oplossing.
Instruction: De agent leert van het verdict plus een geverifieerde actievolgorde (correctie) die na een mislukte episode wordt geleverd. Dit stelt de agent in staat om de correcte regel in het geheugen te schrijven.

Metrieken

$pass^k$ : De standaard benchmark-metriek die vereist dat een taak in alle $k$ trials wordt opgelost.
Per-trial success rate: De gepoolde succesrate als functie van de trial-index.
Hold rate: De waarschijnlijkheid dat een taak die bij trial $t$ is geslaagd, ook bij $t+1$ weer wordt geslaagd, wat kennisretentie meet.
Conversion: De snelheid waarmee taken in het "floor stratum" (taken die de baseline nooit oplost) worden opgelost door de leercondities.

Belangrijkste Resultaten

Prestaties van Continu Leren

Mistral Large:
- Instruction verhoogde de single-trial success ( $pass^1$ ) naar 0.170, wat 2.6 $\times$ de baseline (0.064) is en 1.6 $\times$ de Experience-conditie (0.103).
- Experience alleen verhoogde $pass^1$ naar 0.103 (1.6 $\times$ baseline).
- Conversion: Instruction converteerde 22 van de 84 taken die de baseline nooit oploste. Experience converteerde er 5.
- Retentie: Experience hield gebankte oplossingen vast met een rate van 0.88, terwijl Instruction op 0.65 zat.
Claude Sonnet 5:
- Repliceerde de trend op een sterker model. Instruction verhoogde $pass^1$ van 0.248 (baseline) naar 0.397.
- Converteerde 28 van de 57 taken die de baseline nooit oploste.
- De leercurve vertoonde een monotone stijging van de succesrates over de trials voor de leercondities, terwijl de baseline vlak bleef.

Cross-Model Transfer

De studie testte of geheugen opgebouwd door één model een andere kon bevoordelen door de stores te bevriezen en de andere model deze alleen te laten lezen (read-only).

Mistral Large die de door Claude Sonnet 5 opgebouwde store leest, verbeterde $pass^1$ van 0.064 naar 0.289 (+0.224).
Claude Sonnet 5 die de door Mistral Large opgebouwde store leest, verbeterde $pass^1$ van 0.248 naar 0.314 (+0.066).
Significantie: De transfer was effectief in beide richtingen, inclusief "uphill" transfer waarbij de regels van het zwakkere model het sterkere model hielpen. Voorwaardelijk op een overdraagbare taak (niet opgelost door de consument maar wel door de producent), was de conversierate ongeveer 31% in beide richtingen.

Betekenis en Claims

Het paper claimt drie primaire bijdragen:

Voldoendeheid van Post-Episode Feedback: De studie demonstreert dat gewone deployment-feedback (uitkomstverdicten en correcties) een voldoende signaal is voor continu leren. Een agent kan zijn prestaties aanzienlijk verbeteren (tot 2.6 $\times$ ) zonder gewichtsuit updates, mits gekoppeld aan een extern geheugen dat episodes destilleert tot doorzoekbare regels.
Overdraagbaarheid van Geaccumuleerde Geheugen: De geaccumuleerde geheugenstores zijn draagbaar tussen verschillende modellen. Een bevroren store opgebouwd door één model kan de prestaties van een ander model verbeteren, waardoor individuele agent-ervaring wordt omgezet in organisatorische kennis die model-agnostisch is.
Herbruikbaar Meetprotocol: Het paper introduceert een protocol voor het meten van continu leren in agents met bevroren gewichten, waarbij onderscheid wordt gemaakt tussen taaksucces, betrouwbaarheid over trials en kennisretentie (hold rate), vrijgegeven samen met de harness en data.

De auteurs benadrukken dat de resultaten de specifieke regime adresseren waar de kennis die het model mist, doorslaggevend is. Het leer-effect vindt plaats tussen de trials en wordt uitsluitend gedreven door de geheugenstore, en de geaccumuleerde kennis wordt effectief overgedragen, wat suggereert dat extern geheugen een levensvatbaar alternatief kan zijn voor gewichtsuit updates voor veel enterprise-implementaties. Het paper merkt expliciet op dat generalisatie naar onbekende taaktypen niet is gemeten; de focus ligt op terugkerende situaties in de deployment.