Technische Samenvatting: Is Één Score Voldoende? Heroverweging van de Evaluatie van Sequentieel Evoluerend LLM-geheugen

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker uitgerust met extern geheugen om te opereren in sequentiële taken, waarbij ze ervaring accumuleren en hergebruiken om hun gedrag in de loop van de tijd aan te passen. Hoewel eerdere werken deze setting hebben geformaliseerd (bijv. Wei et al. [35]), blijft de evaluatie van sequentieel evoluerend LLM-geheugen onvolledig. Huidige praktijken vertrouwen voornamelijk op aggregatiemetrieken, zoals de uiteindelijke hold-out nauwkeurigheid of cumulatieve online prestaties. De auteurs betogen dat deze metrieken misleidend zijn omdat ze verschillende geheugengedragingen samenvoegen tot één getal, waardoor kritieke faalmodi zoals vergeten, negatieve transfer en onstabiele leerdynamiek worden verduisterd. Bijgevolg kunnen methoden met vergelijkbare aggregatiescores fundamenteel verschillende interne dynamieken vertonen: de ene bouwt gestaag herbruikbare kennis op, terwijl de andere lijdt aan oscillerend gedrag of tijdelijke verbeteringen gevolgd door achteruitgang.

Methodologie: SEQMEM-EVAL

Om deze beperkingen aan te pakken, introduceert het artikel SEQMEM-EVAL, een diagnostisch evaluatiekader dat is geïnspireerd op continu leren, maar is aangepast aan de specifieke beperkingen van testtijd-LLM-geheugen. In tegenstelling tot continu leren, waarbij modelparameters worden bijgewerkt, richt SEQMEM-EVAL zich op een setting waarin de LLM onveranderd blijft en aanpassing uitsluitend plaatsvindt via updates aan een extern, prompt-gemedieerd geheugentoestand.

Het kader decomposeert geheugenkwaliteit in vijf complementaire dimensies, verder dan een enkele eindpunt-score:

1. Online Nut: Meet de prestaties terwijl het model het geheugen geleidelijk bijwerkt tijdens de taakstroom. In plaats van een enkele scalar analyseert het de trajectorie van cumulatieve nauwkeurigheid met behulp van:

   • OnlineAcc: Eindcumulatieve nauwkeurigheid.
   • Peak-to-End Drop (PED): De degradatie van de beste tussentijdse prestatie naar de eindtoestand.
   • Minimum-to-End Recovery (MER): Het herstel vanaf de slechtste tussentijdse prestatie.
   • Extremum Timing ($r_{min}$): Het relatieve tijdstip van het laagste prestatiepunt.

2. Hold-out Generalisatie: Evalueert of het evoluerende geheugen herbruikbare kennis leert die toepasbaar is op ongezette taken.

   • HoldOutAcc: Eindnauwkeurigheid op een vaste set ongezette voorbeelden.
   • TrendHO: De helling van de hold-out prestatietrajectorie in de tijd, wat aangeeft of generalisatie verbetert, stagneert of verslechtert naarmate het geheugen evolueert.

3. Backward Transfer: Beoordeelt of latere geheugenupdates de prestaties op eerder tegengekomen taken verbeteren.

   • BWT(t): Het effect van geheugenupdates na $t$ stappen op eerdere taken.
   • Immediate Validity (IV): De één-staps backward transfer ($t=1$), die meet of een nieuwe update de huidige ervaring direct herbruikbaar maakt.

4. Vergeten: Kwantificeert het verlies van eerder verworven capaciteiten.

   • F(t): Het verschil tussen de beste prestatie die op een verleden taak is behaald binnen een horizon $t$ en de prestatie na $t$ extra updates.

5. Efficiëntie: Meet computatiekosten naast prestaties.

   • Tokenverbruik: Totale tokens gebruikt (prompts, opgehaald geheugen, antwoorden, updates).
   • Runtime: End-to-end wandkloktijd.

Experimentele Opzet

De auteurs hebben een systematische empirische studie uitgevoerd over diverse benchmarks (HumanEval, MATH500, APIBench, MMLU-Pro, ALFWorld) en twee LLM-ruggengraten (Qwen3-8B, MiniMax-M2.7). Ze evalueerden een representatieve set geheugenmethoden, waaronder:

• Instance-level retrieval: ExpRecent, ExpRAG.
• Gestructureerd geheugen: Dynamic Cheatsheet (DC-RS), Agent Workflow Memory (AWM), G-Memory.
• Experiëntiële reflectie: ExpeL (Single-Try en Multi-Try varianten).

Belangrijkste Bevindingen

De studie onthult dat aggregatiemetrieken vaak significante faalmodi en trade-offs maskeren:

• Aggregatenauwkeurigheid is Misleidend: Methoden met sterke uiteindelijke of cumulatieve online nauwkeurigheid vertonen vaak aanzienlijk vergeten of negatieve backward transfer. Hoge eindscores impliceren niet noodzakelijk betere geheugenkwaliteit of stabiele accumulatie.
• Onstabiele Trajecten: Veel methoden tonen niet-monotoon verbetering. Sommigen bereiken hoge tussentijdse prestaties maar degraderen aanzienlijk tegen het einde (hoge PED), terwijl anderen vertraagd herstel tonen.
• Zwakke Generalisatie: Online winsten vertalen zich niet betrouwbaar naar hold-out generalisatie. Veel methoden slagen er niet in om de prestaties op ongezette taken te verbeteren, en in sommige gevallen (bijv. APIBench) presteren ze op hold-out sets slechter dan de geheugenloze baseline, ondanks online winsten.
• Beperkte Backward Transfer: Hoewel recente updates vaak kortetermijnvoordelen bieden, consolideren ze zich niet betrouwbaar tot transferbare kennis voor eerdere taken over langere horizons. Immediate validity (IV) is vaak zwak, wat suggereert dat updates oppervlakkig zijn (bijv. eenvoudig toevoegen) in plaats van herbruikbare inzichten te extraheren.
• Aanzienlijk Vergeten: Sequentiële updates interfereren vaak met eerder verworven nut. Naarmate nieuwe ervaringen worden opgenomen, wordt nuttige informatie vaak overschreven of verdund, wat leidt tot het verlies van capaciteiten die eerder in de reeks zijn bereikt.
• Efficiëntie Trade-offs: Sterkere prestaties gaan vaak gepaard met aanzienlijke token- en runtime-overhead. Bijvoorbeeld, ExpeL-MT bereikt hoge nauwkeurigheid maar tegen een tokenkosten van 7,4x, terwijl DC-RS een tokenkosten van 36x incasseert met marginale winsten ten opzichte van goedkopere methoden.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Diagnostisch Evaluatiekader: Het introduceert SEQMEM-EVAL, een kader dat het evaluatieparadigma verschuift van een enkele aggregatiescore naar een multidimensionale analyse van geheugendynamiek (nut, generalisatie, transfer, vergeten en efficiëntie).
2. Uitgebreide Empirische Studie: Het biedt een systematische vergelijking van representatieve geheugenmethoden onder een uniek sequentieel protocol, waarbij wordt aangetoond dat standaardmetrieken systematisch terugkerende faalmodi missen.
3. Hanteerbare Ontwerpinsights: De bevindingen benadrukken dat huidige geheugendesigns duidelijke trade-offs vertonen tussen aanpasbaarheid en stabiliteit. De auteurs betogen dat toekomstige geheugenmechanismen moeten gaan voorbij ruwe instance-opslag naar abstractie die gepaard gaat met validatie en kostenbeheersing. Ze benadrukken dat sterkere online prestaties vaak een reflectie zijn van verhoogde inferentiebudgetten in plaats van een betrouwbaardere geheugenevolutie.

De auteurs concluderen dat een multidimensionaal perspectief essentieel is voor het begrijpen van LLM-geheugen. Door evaluatie te herformuleren als de analyse van een evoluerend proces in plaats van een eindpunt, streeft SEQMEM-EVAL ernaar de ontwikkeling te sturen van betrouwbaardere, generaliseerbaardere en efficiëntere geheugenaugmentatie voor LLM-agenten.