🤖 AI

Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation

Dit artikel introduceert AFTER, een uitgebreide benchmark voor het evalueren van procedureel geheugen in LLM-agenten over diverse enterprise-taken, waarbij wordt aangetoond dat verfijnde vaardigheden de prestaties aanzienlijk verbeteren en effectieve cross-model en cross-role transfer mogelijk maken, terwijl de variërende gradaties van generaliseerbaarheid tussen verschillende vaardigheden worden benadrukt.

Oorspronkelijke auteurs: Julia Belikova, Rauf Parchiev, Evgeny Egorov, Grigorii Davydenko, Gleb Gusev, Andrey Savchenko, Maksim Makarenko

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julia Belikova, Rauf Parchiev, Evgeny Egorov, Grigorii Davydenko, Gleb Gusev, Andrey Savchenko, Maksim Makarenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe werknemer aanneemt voor een druk kantoor. Je hebt twee manieren om hen in te werken:

De "Blank Slate" Aanpak: Je geeft ze de taak en hoopt dat ze het zelf uitzoeken met behulp van hun algemene intelligentie.
De "Procedural Memory" Aanpak: Je geeft ze een specifieke, herbruikbare "spiekbrief" of een "standard operating procedure" (SOP) gebaseerd op hoe vergelijkbare taken in het verleden zijn opgelost.

Dit artikel, getiteld "Managing Procedural Memory in LLM Agents," gaat over het testen hoe goed deze "spiekbriefjes" echt zijn voor AI-medewerkers (LLM-agenten) en hoe we ze beter kunnen maken.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het Problek: De "Overgespecialiseerde Stagiair"

De auteurs merkten op dat hoewel AI-agenten slimmer worden, ze vaak worstelen met repetitieve kantoortaken (zoals het verwerken van documenten, het beheren van databases of het schrijven van code).

Ze ontdekten een lastig probleem: Als je een AI traint op een zeer specifieke reeks taken (zoals "hoe verwerk ik facturen voor dit specifieke bedrijf"), wordt de AI een expert in dat ene ding, maar faalt hij jammerlijk als je hem vraat om een iets ander werk te doen of voor een andere afdeling te werken.

De Analogie: Stel je een chef voor die leert om een perfecte pizza te maken alleen in een specifieke keuken met specifieke ovens. Als je die chef naar een nieuwe keuken verplaatst met een andere oven, kan hij de pizza aanbranden omdat hij de specifieke eigenaardigheden van de oven heeft onthouden in plaats van de algemene vaardigheid van "pizza maken" te leren. Dit wordt overfitting genoemd.

2. De Oplossing: De "AFTER" Benchmark

Om dit op te lossen, hebben de onderzoekers een enorme testomgeving gebouwd genaamd AFTER.

Wat het is: Een collectie van 382 realistische kantoortaken (zoals een data engineer die een pipeline repareert of een projectmanager die een rapport samenvat).
De Twist: Ze testten niet alleen of de AI de taak kon uitvoeren; ze testten of de AI een "vaardigheid" die geleerd is in de ene situatie, kon meenemen en gebruiken in een andere situatie (een andere rol, een ander type taak, of zelfs een ander AI-model).

3. Belangrijkste Bevindingen: Wat werkt en wat niet

A. "Spiekbriefjes" helpen wel (Maar niet altijd)

Toen ze de AI-agenten deze procedurele "spiekbriefjes" (vaardigheden) gaven, werd de AI beter in zijn werk.

Het Resultaat: Gemiddeld verbeterde het toevoegen van deze vaardigheden het succespercentage van de AI met ongeveer 2,8 punten.
De "Verfijnings"-truc: Als ze een basis-spiekbriefje namen en de AI één keer naar zijn fouten lieten kijken om het briefje te verbeteren, steeg het succespercentage met nog eens 5,2 punten. Het is alsof je de stagiair na zijn eerste dag een korte "debriefing" geeft om zijn aantekeningen te corrigeren.

B. Het Geheim van "Diverse Ervaring"

Dit is de belangrijkste ontdekking. De onderzoekers vroegen zich af: Waar moet het spiekbriefje vandaan komen?

Scenario A: Het spiekbriefje is geschreven op basis van de eigen eerdere pogingen van de AI (Nauwe ervaring).
Scenario B: Het spiekbriefje is geschreven door de pogingen van veel verschillende AI-modellen te combineren (Diverse ervaring).

De Winnaar: Scenario B.

De Analogie: Als je wilt leren autorijden, is het beter om een handleiding te lezen die geschreven is door 100 verschillende bestuurders (sommigen snel, anderen langzaam, sommigen in de regen, anderen in de sneeuw) dan alleen het exacte pad te memoriseren dat je ene vriend nam naar de supermarkt.
De Data: Vaardigheden gebouwd uit "diverse" ervaringen (veel verschillende AI-modellen) behaalden 7able 73,1% nauwkeurigheid wanneer ze op nieuwe modellen werden getest. Vaardigheden gebouwd uit slechts één model behaalden slechts ongeveer 36–59%. Verrassend genoeg boden zelfs "zwakkere" AI-modellen nuttige lessen wanneer ze samen werden gemengd!

C. De "Rol-valstrik"

De studie vond dat vaardigheden te gespecialiseerd kunnen raken voor een specifieke functietitel.

De Analogie: Een vaardigheid voor "Documentverwerking" die geleerd is door een Projectmanager (die PDF's gebruikt om vergaderingen samen te vatten) is nutteloos voor een Data Scientist (die PDF's gebruikt om ruwe cijfers te extraheren). Als je het spiekbriefje van de Projectmanager aan de Data Scientist geeft, presteert de Data Scientist zelfs slechter dan wanneer hij helemaal geen spiekbriefje had.
De Les: Je kunt niet zomaar een vaardigheid van de ene afdeling naar de andere kopiëren en plakken. De context is van belang.

D. Geld Besparen (Tokens)

Ten slotte bespaart het gebruik van deze geëvolueerde "spiekbriefjes" geld.

Het Resultaat: Omdat de AI door het spiekbriefje al weet hoe de taak moet worden uitgevoerd, hoeft de AI niet "harder" na te denken of minder vragen te stellen. Dit verminderde de hoeveelheid "rekenkracht" (tokens) die nodig was met wel 62% in sommige gevallen. Het is alsof je een kortere route neemt die benzinegeld bespaart.

Samenvatting

Het artikel concludeert dat de toekomst van AI-agenten niet alleen gaat over het algemeen "slimmer" maken van AI. Het gaat over het leren van herbruikbare, aanpasbare vaardigheden.

Doe niet alleen een specifiek pad uit je hoofd (dat leidt tot falen in nieuwe situaties).
Leer juist van een grote verscheidenheid aan ervaringen (verschillende modellen, verschillende rollen).
Wees voorzichtig met het mengen van vaardigheden tussen verschillende functies, omdat deze met elkaar in conflict kunnen komen.

Het doel is om te bewegen van AI die simpelweg "gokt" naar AI die beschikt over een betrouwbare, evoluerende bibliotheek van "hoe-doe-ik-dit"-gidsen die werken in de echte wereld.

Technische Samenvatting: Beheer van Procedureel Geheugen in LLM-agenten

Probleemstelling

Hoewel Large Language Model (LLM) agenten steeds vaker worden ingezet in industriële workflows om terugkerende taken af te handelen (bijv. documentverwerking, database-querying, infrastructuurconfiguratie), blijft het mechanisme voor het verbeteren van hun prestaties over de tijd heen onvoldoende begrepen. Huidige benaderingen verwarren lokale verbeteringen binnen een enkele omgeving vaak met echte overdraagbaarheid. Bestaande benchmarks evalueren doorgaans statische, door experts gecureerde vaardigheden of richten zich op taakvoltooiing zonder het "procedurele geheugen"-component — de herbruikbare laag van instructies en strategieën gedestilleerd uit eerdere trajecten — te isoleren.

Er bestaat een kritieke kloof in het begrip van hoe procedurele kennis over verschillende contexten wordt overgedragen. Specifiek is het onduidelijk of vaardigheden die zijn geëvolueerd uit smalle, single-context ervaringen generaliseren naar nieuwe taken, rollen of model-backbones, of dat ze slechts overfitten op hun bronomgeving. Het vakgebied mist een gecontroleerde setting om te bepalen wanneer ervaring leidt tot herbruikbare procedurele structuren versus wanneer het resulteert in bron-context overfitting.

Methodologie

De AFTER Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs AFTER (Agent Framework for Transfer Evaluation and Refinement), een benchmark die ontworpen is om de transfer van procedurele vaardigheden te evalueren.

Scope: Bevat 382 realistische enterprise-taken verspreid over zes professionele rollen (Data Engineers, Data Scientists, Generative AI Engineers, Infrastructure Engineers, Project Managers en Software Engineers) en 22 procedurele vaardigheden.
Structuur: Taken zijn gecategoriseerd in single-skill en multi-skill workflows. Vaardigheden zijn gedefinieerd als zelfstandige SKILL.md artefacten (procedurele geheugeneenheden) die vijf capaciteitsgebieden dekken: documentverwerking, data-operaties, ML/AI, infrastructuur en software engineering.
Evaluatie-splits: De benchmark maakt gebruik van gecontroleerde splits om te meten:
- Specificiteit: In-context winst (verbetering op de bronset van taken).
- Generaliteit: Prestaties onder distributieverschuivingen, inclusief cross-task, cross-role en cross-model transfer.
Taakbronnen: Taken zijn afgeleid van bestaande benchmarks (bijv. SWE-bench, SkillsBench) en nieuw geschreven scenario's, die allemaal geverifieerd zijn via pytest suites om robuustheid te garanderen en oracle leakage te voorkomen.

Evaluatiekader: EVOLUTION

De auteurs maken gebruik van EVOLUTION, een lichtgewicht harness die de levenscyclus van procedureel geheugen standaardiseert:

Verzameling: Het verzamelen van executietrajecten ( $D$ ) onder een specifieke skill-configuratie ( $\Sigma$ ).
Diagnose & Revisie: Een reflector-model ( $\rho$ ) inspecteert de trajecten, identificeert foutmodi en stelt een herziene skill-body voor.
Update: Een update-operator $U$ brengt de ervaring in kaart naar een nieuwe configuratie: $\Sigma' = U(\Sigma, D)$ .
Meting: Het systeem evalueert de bijgewerkte skill op zowel de bron (specificiteit) als de uitgesloten (generaliteit) distributies.

De studie vergelijkt statische skill-waarderingen (handmatig gemaakt versus door LLM gegenereerd) met dynamische evolutiestrategieën met behulp van smalle (enkele trace) en diverse (multi-model, multi-trace) ervaringpools.

Belangrijkste Bijdragen

AFTER Benchmark: De eerste benchmark die expliciet gestructureerd is om lokale verbetering te onderscheiden van cross-context transfer in LLM-agenten. Het combineert uniek rol-gestuurde taakdistributies met gecontroleerde transfer-splits.
Empirisch Bewijs over Transfer: Een uitgebreide evaluatie van hoe procedureel geheugen evolueert. De studie toont aan dat hoewel procedureel geheugen consistente winsten oplevert, de effectiviteit ervan sterk afhankelijk is van de diversiteit van de trainingservaring en de doelcontext.
Verfijning van Procedureel Geheugen: De introductie van een gecontroleerd protocol om skills te evolueren vanuit executietrajecten, waarbij men verder gaat dan statische prompt engineering naar dynamische, data-gestuurde skill-optimalisatie.

Resultaten

Statische Skill-waardering

Baseline Winsten: Statische procedurele skills verbeteren de full-pass accuratesse ( $M2$ ) met gemiddeld +2.8 punten over verschillende modellen.
Modelafhankelijkheid: Zwakkere modellen profiteren consistenter van procedurele skills dan frontier modellen. Zo zag Gemma 4 E4B bijvoorbeeld een winst van +14.2 punten op GenAI-taken, terwijl GPT 5.4 slechts +3.1 zag.
Bronkwaliteit: Door LLM gegenereerde skills presteren vaak beter dan handmatig gemaakte expert-skills, wat suggereert dat geautomatiseerde auteur-processen menselijke afgeleide procedurele kennis kunnen evenaren of overtreffen.

Skill Evolutie en Verfijning

Single-Round Verfijning: Eén ronde van LLM-gestuurde verfijning verbetert de geaggregeerde prestaties met 3.7–6.7 punten over verschillende model-schalen.
Diversiteit versus Smalheid:
- Smal Ervaringsveld: Skills die geëvolueerd zijn uit een enkele trace vertonen vaak "bron-context overfitting", waarbij de specificiteit (train-prestaties) verbetert terwijl de generaliteit (test-prestaties) afneemt.
- Divers Ervaringsveld: Skills die geëvolueerd zijn uit diverse, multi-model trajecten bereiken een 73.1% cross-model test-accuratesse, wat de beste single-model trace bron met +13.7 punten overtreft.

Transfer Beperkingen

Cross-Model Generalisatie: Skills geëvolueerd uit diverse trajecten presteren significant beter dan die geëvolueerd uit een enkele bronmodel, zelfs wanneer de bronmodellen zwakker zijn. Dit suggereert dat procedurele kennis profiteert van imperfecte executies en diverse foutmodi.
Cross-Role Specialisatie: Skills falen vaak bij transfer tussen rollen. Bijvoorbeeld, een PDF-skill geëvolueerd voor Project Managers (executive summarization) verliest effectiviteit wanneer deze wordt toegepast op Data Scientists (data ingestion), wat resulteert in prestatiedalingen van -4.8 tot -7.5 punten. Dit duidt op natuurlijke specialisatie naar rol-specifieke workflows.
Efficiëntie: Geëvolueerde skills verminderen de inferentie-kosten door kennis naar voren te halen. In een Kafka Lag Anomaly Detection taak verminderden geëvolueerde skills het tokengebruik met 62% (326k tokens) voor Claude vergeleken met handgemaakte skills.

Betekenis en Claims

Het papier claimt dat de centrale uitdaging van procedureel geheugen niet louter het opslaan van meer ervaring is, maar het extraheren van procedurele structuren die nuttig blijven buiten de omgeving waarin ze zijn geleerd.

De auteurs positioneren AFTER als een praktisch hulpmiddel voor het bouwen, evalueren en implementeren van procedurele geheugensystemen in productie. De resultaten suggereren dat:

Diversiteit is essentieel: Om generaliseerbare vaardigheden te bereiken, moeten geheugensystemen trajecten aggregeren uit diverse modellen en contexten, in plaats van te vertrouwen op een enkele "expert" traject.
Context doet ertoe: Procedureel geheugen is niet universeel overdraagbaar; het specialiseert zich van nature naar specifieke rollen en workflows. Implementaties moeten rekening houden met deze specialisatie in plaats van uit te gaan van een "one-size-fits-all" skill bibliotheek.
Evolutie boven Statica: Het bewegen van statische prompts naar evoluerende, door trajecten verfijnde skills biedt een levensvatbaar pad naar het verbeteren van de betrouwbaarheid en efficiëntie van agenten in industriële settings.

De auteurs blijven bescheiden over hun reikwijdte en merken op dat de benchmark zich richt op rollen in de technologiesector en procedurele workflows, en creatieve of conversationele taken uitsluit de. Ze erkennen ook dat real-world implementaties mogelijk grotere traject-pools omvatten dan getest, waardoor de relatie tussen de volume van trajecten en de kwaliteit van transfer een openstaande vraag blijft.