Technische Samenvatting: LongMemEval-V2

Probleemstelling

Lange-termijngeheugen is essentieel voor agents op basis van grote taalmodellen (LLM) die opereren in gespecialiseerde, aangepaste webomgevingen, waar succes afhankelijk is van het terugroepen van interface-aanbod, statische dynamiek, werkstromen en terugkerende foutpatronen. Echter, bestaande geheugentests richten zich voornamelijk op gebruikerschatgeschiedenissen, korte sporen of succespercentages voor downstream-taken. Deze benchmarks falen in het direct evalueren of geheugensystemen omgevingsspecifieke ervaring die over lange perioden is opgebouwd, effectief kunnen internaliseren. Specifiek bestaat er een gat in de evaluatie of een agent kan overgaan van een "onervaren" gebruiker naar een "ervaren collega" die diepgaande, herbruikbare kennis bezit van de eigenaardigheden en procedures van een specifieke omgeving.

Methodologie

Benchmarkconstructie: LongMemEval-V2 (LME-V2)

De auteurs introduceren LME-V2, een benchmark ontworpen om te evalueren of geheugensystemen agents helpen de ervaring op te doen die nodig is om tot deskundige collega's te groeien in aangepaste omgevingen.

• Data Bron: Trajecten zijn verzameld uit WebArena (OneStopShop, CMS, Reddit) en WorkArena/WorkArena++ (ServiceNow), met gebruik van de AgentLab2-bibliotheek. De dataset bevat 1.540 trajecten (599 uit WebArena, 941 uit WorkArena) met gemiddeld 28,1 staten per traject.
• Vragen Cureren: 451 handmatig samengestelde vragen bestrijken vijf kerngeheugencapaciteiten:
  1. Static State Recall: Het onthouden van herkenningspunten, lay-outs en subtiele verschillen.
  2. Dynamic State Tracking: Het begrijpen van hoe de omgeving verandert op basis van staten en acties (wereldmodellering).
  3. Workflow Knowledge: Het kennen van stappen voor veelvoorkomende taken.
  4. Environment Gotchas: Bewustzijn van terugkerende problemen en foutpatronen.
  5. Premise Awareness: Het herkennen van aannames die geldig zijn in andere omgevingen maar foutief zijn in de huidige.
• Contextschaal: De benchmark bevat "hooibergen" van historische trajecten. LME-V2-Small gebruikt een gedeelde context van 100 trajecten (25 miljoen tokens), terwijl LME-V2-Medium vraag-specifieke contexten van 500 trajecten gebruikt (115 miljoen tokens).
• Evaluatieformulering: De benchmark maakt gebruik van een contextverzameling-formulering. Een geheugensysteem ontvangt een reeks trajecten, voegt deze in en beantwoordt vervolgens een query door een compacte, multimodale bewijscontext terug te geven. Een vaste reader-LLM (Qwen3.5-9B) beantwoordt de vraag vervolgens op basis van deze afgekorte context.

Voorgestelde Baselines: AgentRunbook

Om de uitdaging aan te pakken om ruisachtige agenttrajecten te organiseren, stellen de auteurs twee geheugenmethoden voor:

1. AgentRunbook-R (RAG-gebaseerd): Een efficiënte retrieval-augmented generation-pijplijn. Het onderhoudt drie aparte kennispools die bij invoeging worden bijgewerkt:
   • Raw State Slices: Lokale UI-waarnemingen en acties.
   • State Transition Events: Beschrijvingen van hoe acties de omgeving veranderen.
   • Procedure/Hint Notes: Hoogwaardige herbruikbare werkstromen en omgevingsspecifieke valkuilen.
     Bij querytijd genereert een LLM-controller specifieke queries voor elke pool, haalt de top-k resultaten op en assembleert een multimodale context.
2. AgentRunbook-C (Coding Agent-gebaseerd): Een methode die geheugenbeheer behandelt als een bestandsbeheerprobleem. Trajecten worden direct als bestanden opgeslagen. Bij querytijd wordt een kant-en-klare coding agent (Codex) opgeroepen binnen een sandbox die bevat:
   • Werkstroomdocumenten die de agent instrueren over bewijsverzameling.
   • Manifest-artefacten die de geheugenindeling samenvatten.
   • Helper-scripts voor efficiënte trajectinspectie.
     De agent assembleert een compact bewijsset, dat vervolgens naar de reader wordt doorgegeven.

Belangrijkste Resultaten

Experimenten zijn uitgevoerd op zowel de LME-V2-Small als de LME-V2-Medium niveaus.

• Baseline Prestaties: Eenvoudige RAG-methoden die staten-slices ophalen, bereikten slechts 40% nauwkeurigheid. De kant-en-klare Codex coding agent bereikte een concurrerende nauwkeurigheid van 69,3%, maar leed onder hoge latentie (182 seconden per query).
• AgentRunbook-R: Verbeterde de prestaties naar een gemiddelde nauwkeurigheid van 57,8% met aanzienlijk lagere latentie (~26 seconden) in vergelijking met de coding agent-aanpak. Ablatiestudies toonden aan dat de ruwe staten-pool cruciaal is voor statische vragen, terwijl de event- en noten-pools vitaal zijn voor dynamische en werkstroomvragen.
• AgentRunbook-C: Bereikte de beste algehele prestaties met een gemiddelde nauwkeurigheid van 72,5% op het medium niveau, en presteerde beter dan de vanilla Codex baseline (69,3%) en de sterkste RAG baseline (48,5%). Cruciaal was dat AgentRunbook-C 32% sneller was dan de vanilla Codex agent (139,9s vs 185,8s op medium niveau) vanwege zijn lichtgewicht scaffolding (werkstroominstructies, manifesten en helper-scripts) die onnodige exploratie verminderde.
• Nauwkeurigheid-Latentie Grens: AgentRunbook-C verlegt de Pareto-grens en biedt een superieure afweging tussen nauwkeurigheid en query-latentie in vergelijking met bestaande methoden.

Betekenis en Claims

Het artikel claimt dat LME-V2 een nieuwe standaard stelt voor agentgeheugenevaluatie door de focus te verschuiven van eenvoudige ophaling naar ervaringsopbouw.

• Ervaring als Geheugen: De benchmark stelt dat een hoogwaardig geheugensysteem een agent in staat moet stellen te handelen als een "ervaren collega" die omgevingsspecifieke dynamiek internaliseert, niet alleen feiten.
• Contextdiepte: LME-V2 duwt de contextdiepte van geheugentests naar meer dan 100 miljoen tokens, en onthult dat standaard RAG-benaderingen worstelen met de ruis en complexiteit van ruwe agenttrajecten.
• Coding Agents als Controllers: De resultaten suggereren dat algemene coding agents, wanneer verrijkt met specifieke werkstroomrichtlijnen en bestandssysteemtools, fungeren als uiterst effectieve geheugencontrollers, en traditionele RAG-pijplijnen overtreffen in zowel nauwkeurigheid als efficiëntie voor dit specifieke domein.
• Toekomstige Richting: Hoewel AgentRunbook-C de state-of-the-art vooruitbrengt, merken de auteurs bescheiden op dat er aanzienlijke ruimte voor verbetering blijft, met name in het verder verminderen van latentiekosten terwijl een hoge nauwkeurigheid wordt behouden.

Het werk biedt een concrete testomgeving voor het ontwikkelen van geheugenmodules die langdurig werkende agents betrouwbaarder, adaptiever en nuttiger maken in real-world, gespecialiseerde omgevingen.