💻 computer science

MESA:Task-Adaptive Multi-Structure Evidence Selection for Long-Horizon Agent Memory

MESA is een taakadaptief framework dat dynamisch een query-specifieke subset van complementaire geheugenstructuren selecteert en fuseert voor langetermijnagenten, wat de prestaties en efficiëntie op de AMA-Bench significant verbetert door de ruis van fixed-context benaderingen te vermijden terwijl het de compositie van diverse bewijslast mogelijk maakt.

Oorspronkelijke auteurs: Beidi Zhao, Yaoqi Chen, Yuru Feng, Menghao Li, Qianxi Zhang, Baotong Lu, Jianan Lu, Zhirui Wang, Xinjiang Wang, Shusen Xu, Zengzhong Li, Xiaoxiao Li, Qi Chen

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Beidi Zhao, Yaoqi Chen, Yuru Feng, Menghao Li, Qianxi Zhang, Baotong Lu, Jianan Lu, Zhirui Wang, Xinjiang Wang, Shusen Xu, Zengzhong Li, Xiaoxiao Li, Qi Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen dat zich over meerdere dagen heeft afgespeeld. Je hebt een enorm notitieboek vol met alles wat je hebt gedaan, gezien, gedacht en gezegd. Sommige pagina's zijn slechts een korte samenvatting van de dag, andere zijn een ruwe lijst van elke voetstap die je hebt gezet, weer andere zijn een kaart van met wie je hebt gesproken, en weer andere zijn een lijst met trefwoorden die je hebt gezocht. Als je het hele notitieboek zou proberen te lezen om één simpele vraag te beantwoorden zoals "Hoe ben ik mijn sleutels kwijtgeraakt?", zou je brein overweldigd raken door te veel informatie. Maar als je slechts één specifieke pagina leest, mis je misschien een cruciale aanwijzing die in een andere sectie verborgen zit. Dit is de uitdaging waar moderne "AI-agenten" voor staan — computerprogramma's die fungeren als digitale assistenten. Ze moeten lange ketens van gebeurtenissen kunnen onthouden om complexe problemen op te lossen, maar ze raken vaak verdwaald in hun eigen geheugen. Wetenschappers proberen al een tijdje uit te vinden wat de beste manier is om deze herinneringen te organiseren: moet de AI alles lezen? Moet de AI slechts één type aantekening kiezen? Of is er een slimmere manier?

Dit artikel introduceert een slim nieuw systeem genaamd MESA (Multi-structure Evidence Selection for long-horizon Agent) dat fungeert als een superintelligente bibliothecaris voor deze AI-detectives. In plaats van de AI te dwingen zijn hele notitieboek te lezen of blindelings te gokken naar welke enkele pagina hij moet kijken, leert MESA de perfecte combinatie van aantekeningen te kiezen voor elke specische vraag. Denk aan een chefkok die niet zomaar het eerste kruidenpotje pakt dat hij ziet of de hele kruidenkast in de pan stort. In plaats daarvan proeft de chef het gerecht, beseft dat het wat zout en een snufje peper nodig heeft, en pakt precies die twee potjes. De onderzoekers hebben dit getest op een benchmark genaamd AMA-Bench, wat een enorme test is voor hoe goed AI over lange perioden kan onthouden en redeneren. Ze ontdekten dat MESA veel beter is in het beantwoorden van vragen dan eerdere methoden. Sterker nog, het gaf 8,5% vaker het juiste antwoord dan het beste bestaande systeem, en dat deed het terwijl het 41% minder woorden (of "tokens") uit het geheugen las. Dit suggereert dat selectief zijn en het mengen van verschillende soorten geheugenzichten de sleutel is tot het oplossen van langetermijnpuzzels, in plaats van simpelweg alles te lezen of slechts één ding te kiezen.

Het Probleem: Te Veel Ruis, Niet Genoeg Signaal

Stel je voor dat je een videogame speelt waarin je een puzzel moet oplossen die vereist dat je onthoudt wat je 50 stappen geleden hebt gedaan. Je personage is rondgerend, heeft monsters bevochten, met NPC's gepraat en voorwerpen verzameld. Als je de game vraagt: "Waarom zit de deur op slot?", dan kan het antwoord begraven liggen in een klein detail van 40 stappen geleden, zoals een specifieke sleutel die je hebt laten vallen.

In de wereld van AI worden deze "stappen" trajectorieën genoemd. Dit zijn lange, rommelige ketens van acties, observaties en gedachten. Het probleem is dat deze ketens honderden stappen lang kunnen zijn. Als je de hele keten aan een AI voert, wordt het duur en verwarrend. Als je het probeert samen te vatten, kun je het kleine detail dat er echt toe doet, kwijtraken.

Wetenschappers hebben geprobeerd dit op te lossen door herinneringen te organiseren in verschillende "structuren", of formaten, net zoals je een rommelige kamer organiseert in verschillende bakken:

Samenvattingen: Zoals een dagboekvermelding die de "kern" van de dag geeft, maar de kleine details overslaat.
Temporele Opslagplaatsen: Zoals een tijdlijn of een kalender die gebeurtenissen in strikte volgorde bijhoudt.
Kennisgrafieken: Zoals een web van verbindingen tussen mensen en dingen, die laat zien hoe ze met elkaar samenhangen.
Vector-databases: Zoals een zoekmachine die zaken vindt op basis van "vibe" of betekenis, zelfs als de woorden anders zijn.
Ruwe Sporen: Zoals een beveiligingscamera-opname die elke beweging laat zien, maar die vol ruis zit en moeilijk te scannen is.

De grote vraag was: Welke bak moet de AI openen?

De Oude Manieren: Te Veel of Te Weinig

Vóór MESA waren er twee belangrijke manieren waarop AI probeerde hiermee om te gaan:

De "Alles Lezen"-benadering: De AI zou álle bakken tegelijk openen en elke aantekening in zijn brein dumpen. Dit is alsof je je hele dagboek, je kalender, je kaart en je camerabeelden tegelijkertijd probeert te lezen om uit te zoeken wat je ontbijt had. Het is te veel informatie, en de belangrijke aanwijzingen raken verloren in de ruis.
De "Eén Kiezen"-benadering: De AI zou proberen te raden welke enkele bak de beste was en alleen die ene lezen. Dit is alsof je besluit om alleen naar je kalender te kijken om uit te zoeken wat je ontbijt had. Je mist dan misschien het feit dat je er een aantekening over hebt gemaakt in je dagboek.

De onderzoekers ontdekten dat geen van beide extremen goed werkt. Soms heb je de tijdlijn nodig; soms heb je de kaart nodig; vaak heb je een mix van beide nodig. Maar de "beste mix" verandert afhankelijk van de vraag. Een vraag over "wat er eerst gebeurde" vereist de tijdlijn, terwijl een vraag over "wie met wie heeft gepraat" de kaart nodig heeft.

De Oplossing: MESA, de Adaptieve Bibliothecaris

MESA is een systeem dat leert een dynamische bibliothecaris te zijn. Het kiest niet zomaar één bak of opent ze allemaal. In plaats daarvan kijkt het naar de vraag en zegt: "Ah, deze vraag heeft een beetje van de tijdlijn nodig en een beetje van de kaart, maar ik kan de ruwe videobeelden overslaan."

Zo werkt het in eenvoudige termen:

De Bibliotheek: Eerst bouwt de AI alle vijf de verschillende soorten geheugenstructuren (Samenvatting, Tijdlijn, Kaart, Zoekopdracht en Ruwe Video) vanuit zijn geschiedenis. Al deze structuren worden vooraf gecreëerd en blijven gelijk.
De Selector: Wanneer er een vraag binnenkomt, beslist een speciaal "selector"-onderdeel van het systeem (dat MESA traint) welke structuren gebruikt moeten worden. Het is als een slimme assistent die naar de vraag kijkt en de juiste hulpmiddelen kiest.
Het Leren: Het lastige deel is het trainen van de selector. Het systeem heeft geen leraar die het precies vertelt welke bakken het voor elke vraag moet kiezen. In plaats daarvan leert het van het eindresultaat: "Heeft de AI het juiste antwoord gegeven?" Als het antwoord fout was, past het systeem zijn selectiestrategie aan. Het gebruikt een slim wiskundig trucje genaamd UCB (Upper Confidence Bound) om een balans te vinden tussen het uitproberen van nieuwe combinaties (exploratie) en het vasthouden aan wat werkt (exploitatie).

Wat Ze Hebben Ontdekt

De onderzoekers hebben MESA getest op AMA-Bench, een dataset vol lange, complexe taken. Ze hebben het vergeleken met de beste bestaande methoden.

Betere Nauwkeurigheid: MESA gaf in 65,1% van de gevallen het juiste antwoord, waarmee het de vorige beste systeem (AMA-Agent) met 8,5% versloeg.
Slimmere Efficiëntie: Hoewel MESA nauwkeuriger was, gebruikte het zelfs 41% minder woorden (tokens) uit het geheugen om dit te bereiken. Dit betekent dat het niet simpelweg meer las; het las beter.
Geen Enkele Winnaar: De studie bevestigde dat er geen "one size fits all" geheugenstructuur bestaat. De beste combinatie van geheugentypen verandert afhankelijk van de specifie specifieke taak en de specifieke vraag.

Waarom Dit Belangrijk Is

Dit artikel suggereert dat de toekomst van AI-geheugen niet draait om het bouwen van steeds grotere bibliotheken of het simpelweg kiezen van één type aantekening. Het draait om flexibiliteit. Net zoals een menselijke detective weet dat hij de kalender moet controleren voor datums, de kaart voor locaties en het dagboek voor gevoelens, moet een AI weten hoe hij zijn verschillende geheugenzichten kan mixen en matchen om een probleem op te lossen.

MESA laat zien dat door een AI te leren selectief en adaptief te zijn, we het slimmer en efficiënter kunnen maken zonder de manier waarop het denkt of hoe het zijn herinneringen opslaat te hoeven veranderen. Het is een stap naar AI die niet alleen veel data heeft, maar ook precies weet hoe het de juiste stukjes data moet vinden wanneer dat nodig is.

Technische Samenvatting: MESA – Taakadaptieve Multi-structuur Bewijsselectie voor Long-Horizon Agent Geheugen

1. Probleemformulering

Long-horizon agents accumuleren trajecten die honderden geïnterleaved stappen van redeneren, acties, observaties en tool-outputs bevatten. Het beantwoorden van een query vereist vaak het ophalen van bewijsmateriaal dat diep begraven ligt in deze historie. Hoewel externe geheugensystemen deze historie transformeren naar gestructureerde representaties (bijv. samenvattingen, grafen, vector stores), kampen bestaande benaderingen met een fundamenteel dilemma:

Fixed All-Structure Fusion: Systemen die een statische, uitputtende set geheugenweergaven voor elke query bevragen, maximaliseren de recall maar blazen de context windows op met redundante of afleidende ruis, wat de kosten verhoogt zonder prestaties te garanderen.
Single-Structure Routing: Systemen die elke query naar één enkele "beste" structuur routeren, beperken de expressiviteit, waardoor het onmogelijk wordt om complementaire bewijslast te combineren (bijv. het combineren van hoogwaardige samenvattingen met exacte episodische stappen) die nodig is voor complexe taken.

De auteurs stellen dat de optimale geheugenconfiguratie noch een enkele structuur, noch de volledige unie is, maar een op maat gemaakte compositie van meerdere structurele geheugens die dynamisch varieert met de specifie�s van de query en de taakeisen. Het leren van een dergelijke selectiebeleid is echter uitdagend vanwege de combinatorische aard van subset-structuren en het gebrek aan grondwaarheid-labels voor per-structuur nut (zwakke supervisie), waarbij feedback alleen beschikbaar is op het niveau van het uiteindelijke antwoord.

2. Methodologie: Het MESA-framework

Het paper stelt MESA voor (Multi-structure Evidence Selection for long-horizon Agent), een framework dat een query-adaptief beleid leert om een subset van gespecialiseerde geheugenstructuren te selecteren en te fuseren.

2.1 Constructie van Multi-View Structureel Geheugen

MESA onderhoudt vijf onafhankelijke, complementaire geheugenstructuren voor elk traject $\tau_i$ , die offline worden geconstrueerd:

Samenvatting (S): Een gecomprimeerd staatgeheugen dat saillante staatveranderingen en sub-doeltransities bewaart.
Temporele Store (T): Een op beurten geïndexeerde opslag die de exacte chronologische sequentie van acties en observaties bewaart.
Knowledge Graph (G): Een relationele graaf die entiteitsverbindingen en causale links over stappen heen vastlegt.
Vector Database (V): Een dichte, op stap-niveau geïndexeerde index voor semantische gelijkenis-retrieval.
Raw Episodic (R): Ongecomprimeerde, overlappende vensters van het originele traject voor exact oppervlakte-vorm bewijs.

2.2 Structuur-niveau Dynamische Selectie

Voor een gegeven query $q_i$ en context $c_i$ geeft een selector $S_\rho$ een niet-lege binaire vector $z_i \in \{0,1\}^5$ uit, die aangeeft welke structuren geraadpleegd moeten worden. Het opgehaalde bewijs uit de geselecteerde structuren wordt samengesteld en gevoed aan een bevroren antwoordmodel $F$ om een antwoord te genereren. Het doel is om het beleid $\rho$ te leren dat de nauwkeurigheid van het antwoord maximaliseert terwijl de kosten van de bewijstokens worden geminimaliseerd.

2.3 Prior-Guided Harness Optimization

Om $\rho$ te leren onder zwakke supervisie (schaarse feedback op antwoordniveau), gebruikt MESA een Prior-Guided Harness Optimization strategie:

Beperkte Zoekruimte: In plaats van te zoeken in de volledige ruimte van mogelijke beleidsregels, wordt de optimalisatie beperkt tot een set prior richtingen ( $A$ ). Deze richtingen definiëren mechanismen voor routing, zoals het afleiden van de vraag vanuit het type query, het schatten van de backend-waarde, of het controleren van de subset-constructie (bijv. eerst cardinaliteit, dan complementariteit).
UCB-gestuurde Scheduling: Het systeem balanceert exploratie en exploitatie met behulp van een Upper Confidence Bound (UCB) scheduler. Elke prior richting fungeert als een "bandit arm". De scheduler selecteert richtingen die historisch gezien sterke beleidsregels hebben opgeleverd (exploitatie) of die minder vaak zijn geëvalueerd (exploratie).
Iteratieve Verfijning: Een LLM-proposer genereert uitvoerbare beleids-kandidaten op basis van de geselecteerde richting en de huidige foutanalyse. Deze kandidaten worden gefit op trainings-traces, geëvalueerd op een validatieset, en de beste beleidsregel wordt geselecteerd op basis van een geregulariseerde doelstelling: $J_{val}(\rho) - \lambda C_{val}(\rho)$ , waarbij $C$ de tokenkosten zijn.

3. Belangrijkste Bijdragen

Probleemformulering & Empirische Analyse: De auteurs formaliseren "structuur-niveau dynamische selectie" en demonstreren via een gecontroleerde sweep van alle niet-lege subset-structuren op AMA-Bench dat:
- Intermediaire subsets (combinaties van 2–4 structuren) doorgaans beter presteren dan enkele structuren of de volledige unie.
- Geen enkele vaste compositie universeel optimaal is; de beste subset varieert per domein en capaciteit.
Het MESA-framework: Een nieuw framework dat een query-adaptief selectiebeleid leert van schaarse feedback op antwoordniveau via prior-guided harness optimization en UCB-scheduling, zonder de onderliggende geheugenbouwers of het antwoordmodel te wijzigen.
Empirische Validatie: Uitgebreide experimenten die de superioriteit van MESA aantonen ten opzichte van state-of-the-art baselines in zowel long-horizon agent-taken als conversationeel geheugen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op AMA-Bench (2.496 vragen over 6 agentische domeinen) en LoCoMo (long-term conversational memory).

Prestaties op AMA-Bench: Met een Qwen3-32B backbone bereikte MESA een algehele nauwkeurigheid van 65,1%, waarmee het de sterkste baseline (AMA-Agent) met 8,5% versloeg en de long-context reader met 12,5%. MESA was de top performer in drie van de vier geheugencategorieën: Recall (69,2%), State Updating (65,8%) en State Abstraction (57,8%). In de categorie Causal Inference behaalde MESA 63,6%, waarbij het tweede werd achter AMA-Agent (65,0%).
Efficiëntie: MESA behaalde deze winsten terwijl het 41% minder bewijstokens gebruikte (11,0k vs. 18,7k) vergeleken met de "all-structure" alternatief, wat aantoont dat adaptieve selectie ruis en kosten vermindert.
Generalisatie: Op LoCoMo behaalde MESA een F1-score van 49,0%, waarmee het de gespecialiseerde baseline met 1,8% versloeg, wat bewijst dat het framework zich uitbreidt van agent-trajecten naar conversationeel geheugen.
Ablatie-studies:
- Het verwijderen van het leercomponent (gebruik van random of zero-shot selectie) resulteerde in significante dalingen in nauwkeurigheid.
- Het beperken van de selectie tot een enkele structuur ("Route-to-one") verminderde de nauwkeurigheid tot 57,0%, wat de noodzaak bevestigt om complementaire structuren te combineren.
- Het verwijderen van prior-guidance of UCB-scheduling verslechterde de prestaties en stabiliteit, wat het belang van gestructureerde zoektocht en de balans in exploratie benadrukt.

5. Betekenis en Claims

Het paper claimt dat MESA een kritiek gat in agent-geheugensystemen aanpakt: het onvermogen om geheugentoegang-strategieën dynamisch aan te passen aan specifieke query-behoeften. Door aan te tonen dat intermediaire, taakadaptieve subsets superieur zijn aan vaste strategieën, verschuift dit werk het paradigma van "meer geheugen is beter" naar "de juiste geheugencompositie is beter".

De auteurs benadrukken dat MESA deze resultaten bereikt door een selectiebeleid te leren dat expliciet en interpreteerbaar is (bijv. op trefwoorden gebaseerde routing regels geleerd tijdens optimalisatie), in plaats van een black-box neurale selector. Het framework biedt een praktische afweging: het verbetert zowel de nauwkeurigheid als de efficiëntie zonder dat het hertrainen van de onderliggende large language models of de geheugenconstructie-pipelines vereist is. Het paper concludeert dat toekomstig werk de gezamenlijke optimalisatie van geheugenconstructie en selectie moet verkennen, evenals het explicieter modelleren van cross-structuur afhankelijkheden.