🤖 AI

PATH-Bench: Path-Dependent Evaluation of Lifelong Agents

Dit artikel introduceert PATH-Bench, een benchmark voor het evalueren van de impact die de sequentie van geaccumuleerde ervaringen heeft op lifelong LLM-agenten, en stelt Selective Experience Use (SEU) voor, een methode die pad-afhankelijke herinneringen filtert om vergeten te verminderen en forward transfer te verbeteren.

Oorspronkelijke auteurs: Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xidong Yang, Xingyi Zhang, Wenhao Li, Wenyan Liu, Junjie Sheng, Yun Hua, Wei Yin, Tao Fang, Chuyun Shen, Xiangfeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om een behulpzame assistent te zijn. In de wereld van kunstmatige intelligentie is er een grote droom: het creëren van "levenslange" agenten die niet alleen vragen eenmalig beantwoorden en dan vergeten, maar die ook echt leren van hun eerdere interacties, een geheugen opbouwen en door de tijd heen beter worden. Denk aan een student die niet alleen voor een toets studeert en daarna de aantekeningen weggooit, maar die een groeiend notitieboek bijhoudt met trucjes, feiten en lessen die hij elke dag heeft geleerd.

Echter, er is een lastig probleem. Als je simpelweg alles wat een robot leert in zijn geheugen dumpt, kan hij in de war raken. Stel je voor dat een student een wiskundeprobleem probeert op te lossen terwijl zijn brein overspoeld wordt met herinneringen aan een voetbalwedstrijd, een kookrecept en een geschiedenisles tegelijkertijd. Sommige van die herinneringen kunnen helpen, maar andere kunnen juist in de weg zitten. Wetenschappers noemen dit "padafhankelijkheid" — het betekent dat hoe en in welke volgorde de robot dingen leert, bepaalt wat hij onthoudt en hoe goed hij later presteert. De grote vraag is: doet het pad van de robot dat de robot bewandelt er toe doen, en zo ja, hoe zorgen we ervoor dat hij de goede dingen behoudt en de slechte vergeet?

Dit is precies waar de onderzoekers achter PATH-Bench zich op wilden richten. Ze bouwden een speciale testomgeving om te zien hoe verschillende AI-agenten met hun groeiende geheugens omgaan. In plaats van ze alleen maar willekeurig te laten leren, creëerden ze een gecontroleerd experiment waarbij ze de agenten specifieke "geschiedenissen" konden voeren — sommige vol met nuttige tips, andere vol met verwarrende of misleidende adviezen. Ze wilden zien of de volgorde van deze ervaringen hun vermogen om nieuwe taken op te lossen veranderde, en of de agenten het verschil konden zien tussen een nuttige herinnering en een afleidende een.

Dit is wat zij ontdekten, en het is een stuk ingewikkelder dan simpelweg "meer geheugen is beter."

Ten eerste ontdekten ze dat het hebben van een geheugen een AI niet automatisch slimmer maakt. Sterker nog, voor sommige agenten maakte het toevoegen van een geheugenbank hen zelfs slechter in hun prestaties dan wanneer ze helemaal geen geheugen hadden! Het blijkt dat het opslaan van eerdere interacties alleen niet genoeg is; de agent moet weten welke herinneringen nuttig zijn voor de huidige taak. Als een agent een herinnering grijpt die ergens op lijkt maar eigenlijk irrelevant is, kan hij in de war raken en fouten maken. Het is alsof je een lekkende kraan probeert te repareren door een handleiding te lezen over hoe je een cake bakt; het boek is echt, maar het is het verkeerde gereedschap voor de klus.

Ten tweede ontdekten de onderzoekers dat wat als geheugen dient, volledig afhangt van het type taak. Voor eenvoudige, eenstaps-taken (zoals het schrijven van een enkel stuk code) presteerden agenten die specifieke, concrete details uit het verleden onthielden het best. Maar voor complexe, meerstaps-taken (zoals het gebruiken van een reeks verschillende hulpmiddelen om een reis te plannen) presteerden agenten die hoogwaardige patronen en abstracte regels onthielden veel beter. Het is het verschil tussen het onthouden van de exacte ingrediënten die je voor één specifieke taart gebruikte, versus het onthouden van de algemene regel dat "eieren dingen luchtig maken." Eén aanpak wint voor de taart, de andere aanpak wint voor het algemene bakken.

Ten derde, en misschien wel het meest verrassend, ontdekten ze dat iets nieuws leren niet betekent dat je het voor altijd behoudt. Een agent kan een enorme verbetering laten zien direct nadat hij een nieuwe vaardigheid heeft geleerd (een proces genaamd "forward transfer"), maar kan die vaardigheid later volledig vergeten wanneer hij wordt geconfronteerd met nieuwe, verwarrende ervaringen. Omgekeerd kan een nieuwe ervaring de winst die een agent eerder heeft gemaakt soms hervormen of zelfs uitwissen. Het is alsof je een danspasje leert, er heel goed in wordt, en dan je brein zo rommelig wordt door nieuwe, conflicterende danspassen dat je de oorspronkelijke pas volledig bent vergeten. Het pad dat je neemt is van belang: als je de "juiste" sequentie van dingen leert, behoud je je vaardigheden; als je de "verkeerde" sequentie leert, kun je ze verliezen.

Om deze problemen op te lossen, stelden de auteurs een nieuwe strategie voor genaamd Selective Experience Use (SEU). Denk aan dit als een slim filter of een uitsmijter voor het geheugen van de agent. In plaats van elke enkele opgehaalde herinnering toe te laten in het brein van de agent, controleert SEU elke herinnering tegen de huidige taak. Als een herinnering direct nuttig is, wordt deze toegelaten. Als een herinnering alleen nuttig is als een algemeen patroon, wordt deze vereenvoudigd en toegelaten. Maar als het waarschijnlijk verwarring of interferentie veroorzaakt, wordt het geblokkeerd.

Toen ze dit nieuwe filter testten, waren de resultaten veelbelovend. Bij bijna alle verschillende agenten en taken die ze probeerden, verminderde SEU consistent de mate van "vergeten" en hielp het de agenten om hun vaardigheden effectiever over te dragen naar nieuwe problemen. Het zorgde niet alleen voor het onthouden van meer; het zorgde ervoor dat ze beter onthielden.

Kortom, dit artikel leert ons dat voor AI om echt te leren als een levenslange student, het niet zomaar elke ervaring kan verzamelen. Het moet kieskeurig zijn. Het moet de vorm van de taak begrijpen waarmee het wordt geconfronteerd en zijn herinneringen zorgvuldig cureren, door de nuttige lessen binnen te laten en de ruis eruit te filteren. Het pad van het leren is niet slechts een achtergronddetail; het is de hoofdrolspeler in het verhaal van hoe een AI volwassen wordt.

Technische Samenvatting: PATH-Bench: Pad-afhankelijke Evaluatie van Lifelong Agents

Probleemstelling

Lifelong Large Language Model (LLM) agents streven ernaar om nuttige ervaringen over tijd te accumuleren en te bewaren, doorgaans door een externe leerstatus (geheugens of vaardigheden) te onderhouden terwijl het basismodel bevroren blijft om catastrofale vergetelheid en hoge computationele kosten te voorkomen. Echter, bestaande benchmarks voor lifelong learning negeren grotendeels pad-afhankelijkheid: het fenomeen waarbij de specifieke sequentie en geschiedenis van eerdere taken bepalen wat een agent overdraagt en behoudt.

Huidige evaluaties vertrouwen vaak op vaste of gerandomiseerde taaksequenties, waardoor ze niet kunnen controleren hoe geaccumuleerde ervaring—of deze nu helpend, misleidend of conflicterend is—interacteert met daaropvolgende taken. Voorlopige studies naar LifelongAgentBench geven aan dat verschillende taakpaden over dezelfde verzameling taken de relatieve rangschikking van agents kunnen veranderen. Bovendien zijn standaard lifelong learning-metrieken (forward transfer, backward transfer, forgetting) computationeel te duur om op grote schaal toe te passen op LLM-agents, die multi-step redeneren en interactie met de omgeving vereisen. Er is een kritieke behoefte aan een framework dat efficiënt traceert hoe de pad-afhankelijkheid van taken de lifelong performance van agents vormgeeft, waarbij onderscheid wordt gemaakt tussen de bruikbaarheid van de representatie van ervaring en de structuur van het leerpad.

Methodologie: PATH-Bench

De auteurs introduceren PATH-Bench, een benchmark die ontworpen is om lifelong agents te evalueren onder gecontroleerde, pad-afhankelijke geschiedenissen. Het framework werkt via vier hoofdfases:

1. Constructie van de Taakpool

De benchmark maakt gebruik van twee verschillende datasets om verschillende interactiestructuren te dekken:

BigCodeBench: Een single-turn code generatie benchmark.
WildToolBench: Een multi-turn tool-use benchmark geworteld in real-world gebruikersgedrag.
Taken worden gefilterd op basis van "headroom" (om te garanderen dat ze noch te makkelijk, noch te moeilijk zijn voor het basis-LLM) om een meetbaar verbeteringspotentieel te garanderen.

2. In-Context Transfer Estimatie

Om de computationele kosten van het simuleren van volledige agent-evolutie voor elk paar taken te vermijden, schat PATH-Bench gerichte taakrelaties in via multi-model in-context learning (ICL).

Voor elk geordend paar taken $(t_i, t_j)$ wordt een bevroren LLM geprompt met $t_i$ als een one-shot demonstratie om $t_j$ op te lossen.
De transfer gain $M_{i,j}$ wordt berekend als het prestatieverschil tussen de demonstratie-geconditioneerde en de zero-shot prestatie.
Drie modellen (DeepSeek-V4-Flash, GPT-5.4-mini, GLM-5.0) stemmen over het teken van de gain (Positief, Neutraal, Negatief). Een consensus (ten minste twee modellen) bepaalt de uiteindelijke relatiematrix $V$ , waarbij paren met gemengde stemmen worden uitgesloten.

3. Probe-gecentreerde Sequentie Sampling

In plaats van volledige taaksets herhaaldelijk te evalueren, construeert PATH-Bench sequenties gecentreerd rond een specifieke probe task ( $T_{probe}$ ).

Geschiedenisconstructie: De sampler selecteert een probe task en construeert een tussenliggende geschiedenis van taken op basis van de transfermatrix $V$ . Geschiedenissen worden geconfigureerd als positief-dominant (voornamelijk helpende taken) of negatief-dominant (voornamelijk interfererende taken).
Protocol: De sequentie begint met een cold-start probe, gevolgd door een warm-up blok, en vervolgens worden tussenliggende taken afgewisseld waarbij de probe op vaste intervallen verschijnt. Alleen tussenliggende taken updaten de externe status van de agent; de verschijningen van de probe dienen uitsluitend als evaluatiepunten.

4. Evaluatie Metrieken

Het framework kwantificeert prestaties met behulp van vier metrieken afgeleid van de probe-trajectorie:

Gemiddelde Prestatie (AP): Algemene taakoplossende bekwaamheid over de gehele sequentie.
Forward Transfer (FWT): Verbetering van latere probe-momenten ten opzichte van de cold-start baseline.
Backward Transfer (BWT): Het begunstigende retroactieve effect van latere ervaring op de probe (hoeveel latere probes boven de warm-up referentie stijgen).
Vergetelheid (FGT): De degradatie van de probe-bekwaamheid ten opzichte van de post-warm-up referentie.

Belangrijkste Bijdragen

1. Het PATH-Bench Framework

PATH-Bench wordt gepresenteerd als de eerste benchmark die transfer en retentie in LLM-agents traceert onder gecontroleerde geschiedenissen. Het vervangt uitputtende geschiedenis-enumeratie door relatie-gestuurde sampling en vervangt volledige set-re-evaluatie door longitudinale probe tracking.

2. Empirische Studie van Acht Agents

De auteurs evalueerden acht representatieve agents binnen drie categorieën:

RAG Agents: BGE-M3 RAG, HippoRAG-v2.
Agentic Memory Agents: Clin, AWM, SimpleMem, MemRL.
Skill Agents: AutoSkill, SkillClaw.

Belangrijkste Bevindingen:

Bruikbaarheid van Ervaring is Context-afhankelijk: Geaccumuleerde ervaring verbetert de prestaties niet universeel. De bruikbaarheid ervan hangt af van of de representatie van de ervaring overeenkomt met de interactiestructuur van de taak. Voor single-turn code taken presteerde taakspecifieke concrete ervaring (bijv. AutoSkill) het best. Voor multi-turn tool taken presteerden compacte abstracties (bijv. Clin) beter dan concrete traces.
Dissociatie van Transfer en Retentie: Sterke onmiddellijke forward transfer garandeert geen retentie. Agents kunnen een hoge FWT vertonen terwijl ze tegelijkertijd aanzienlijke vergetelheid (FGT) lijden, vooral wanneer de representatie van de ervaring niet overeenkomt met de taakstructuur.
Pad-afhankelijke Dynamiek: Latere ervaring kan eerder verkregen winsten hervormen. Zelfs in positief-dominante geschiedenissen erodeert de prestatie vaak in de loop van de tijd. Agents zijn zeer gevoelig voor recency effects, waarbij het meest recente geschiedenis-interval de staat van de agent domineert, wat vaak de cumulatieve geschiedenis overstijgt.

3. Selectief Ervaringsgebruik (SEU)

Gestuurd door de bevinding dat willekeurige injectie van gearriveerde ervaring interferentie veroorzaakt, stellen de auteurs Selective Experience Use (SEU) voor.

Mechanisme: SEU fungeert als een harnas tussen de retrieval module en het inference model. Het evalueert gearriveerde items tegen de huidige taak en besluit om te:
1. Preserveren: Toelaten als concreet detail indien direct herbruikbaar.
2. Abstraheren: Toelaten als compacte begeleiding indien alleen het hoog-niveau patroon overdraagt.
3. Negeren: Potentiële interferentie wegfilteren.
Resultaten: SEU werd geëvalueerd op een subset van 20 sequenties uit de 50 sequenties die in de hoofdexperimenten werden gebruikt. Het verminderde consistent de vergetelheid bij alle agents, datasets en transfer-geschiedenissen. Het verbeterde ook de forward transfer in de meerderheid van de settings, wat aantoont dat het reguleren van de invloed van pad-geaccumuleerde ervaring crucialer is dan simpelweg meer data accumuleren.

Betekenis en Claims

Het artikel claimt dat PATH-Bench een gecontroleerd evaluatieframework biedt dat de beperkingen in huidige lifelong agent designs blootlegt, specifelijk het gebrek aan selectiviteit in ervaringgebruik. De auteurs betogen dat de bottleneck voor lifelong agents niet de capaciteit is om ervaring op te slaan, maar het vermogen om de bruikbaarheid ervan voor de huidige taak te beoordelen.

Door aan te tonen dat de bruikbaarheid van ervaring gezamenlijk afhangt van representatie en taakstructuur, en dat latere ervaring eerder verkregen winsten kan hervormen, biedt het werk bruikbare richtlijnen voor het ontwerpen van robuustere agents. Het voorgestelde SEU-harnas dient als een proof-of-concept dat het filteren van ervaring tijdens de inference-fase de transfer kan ontkoppelen van vergetelheid, wat leidt tot stabielere lifelong learning.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige benchmark slechts twee taakdomeinen beslaat (code generatie en tool use) en een enkel backbone LLM gebruikt, en identificeren de uitbreiding naar bredere domeinen en diverse modellen als een richting voor toekomstig werk.