Technische Samenvatting: EMemBench

Probleemdefinitie

De huidige evaluatiepraktijken voor langetermijngeheugen in Large Language Models (LLM's) en Vision-Language Models (VLM's) zijn grotendeels statisch. Bestaande benchmarks beoordelen modellen door vooraf gedefinieerde, vaste conversatiegeschiedenissen of logs te verstrekken en daar vragen over te stellen. Deze aanpak faalt om geheugen te behandelen als een interactieve en geïndividualiseerde competentie. In de cognitieve psychologie wordt episodisch geheugen gedefinieerd als de registratie van persoonlijke ervaringen, wat inherent geïndividualiseerd is. Statische benchmarks abstraheren het proces van geheugenvorming weg, waardoor ze er niet in slagen te evalueren hoe een agent gestructureerde verslagen vormt van zijn eigen beslissingen en observaties in een dynamische omgeving. Bovendien zijn veel bestaande benchmarks tekstgericht, missen ze ruimtelijk redeneervermogen en leunen ze zwaar op handmatige annotatie, wat de schaalbaarheid beperkt.

Methodologie

De auteurs introduceren EMemBench, een programmatische benchmarkgenerator ontworpen om langetermijngeheugen te evalueren via interactieve spellen. In tegenstelling tot vaste datasets genereert EMemBench vragen dynamisch op basis van de eigen interactietrajectorie van elke agent.

Kernframework

1. Interactieve Omgevingen: De benchmark werkt op twee omgevingen:
   • Jericho: Een suite van door mensen geschreven interactieve fictiespellen (alleen tekst).
   • Crafter: Een open-world survivalgame met visuele observaties (64x64 RGB-frames + HUD).
2. Driefasige Evaluatiepipeline:
   • Fase 1 (Interactie): Een agent speelt een episode en produceert een traject $\tau = \{(o_t, a_t, r_t)\}$ van observaties, acties en beloningen. Het systeem logt zowel door de agent observeerbare signalen als onderliggende spelstatussen (bijv. globale kaarten, coördinaten).
   • Fase 2 (Generatie): Een programmatische generator $G$ zet de episode-trace en de spelstatus om in een gebalanceerde set vragen ($Q$) met deterministische grondwaarheden ($Y$). De generator gebruikt een bibliotheek van sjablonen die zeven categorieën van redeneren dekken:
     • Single-hop en Multi-hop herinnering (recall)
     • Inductie (patroonontdekking)
     • Temporeel redeneren
     • Ruimtelijk redeneren
     • Logisch redeneren
     • Adversariële (contrafactische) vragen
   • Fase 3 (Evaluatie): Dezelfde agent die de episode speelde, beantwoordt de gegenereerde vragen met behulp van alleen het geheugen dat tijdens de interactie is gevormd (plus de huidige context), zonder toegang tot het volledige ruwe logbestand, tenzij gespecificeerd in de "open-book" setting.

Belangrijke Ontwerpparameters

Om eerlijkheid en verifieerbaarheid te garanderen, implementeren de auteurs verschillende controles:

• Individualisering: Vragen worden afgeleid van het specifieke traject van de agent, waardoor de evaluatie ervaringsgeconditioneerd is.
• Verifieerbare Grondwaarheid: Antwoorden worden programmatisch berekend uit onderliggende spel-signalen (bijv. exacte coördinaten, inventarisstatussen), wat de noodzaak voor menselijke nabewerking elimineert.
• Query-Horizon Controle: Om lengte-gerelateerde confounders te voorkomen (waarbij langere trajecten herinnering inherent moeilijker maken), kan de benchmark de selectie van bewijsmateriaal en de berekening van antwoorden beperken tot een vast venster van interactiestappen (bijv. stappen 1–50).
• Gebalanceerde Dekking: Het generatieproces dwingt een gebalanceerde distributie van vraagtypen over verschillende redeneercapaciteiten af.

Belangrijkste Bijdragen

1. Een Programmatische Benchmarkgenerator: Het verschuift het artefact van een statische dataset naar een reproduceerbare pipeline die geïndividualiseerde, verifieerbare QA-paren genereert uit agent-trajecten.
2. Multi-modale en Multi-domein Scope: Dekking van zowel tekst-only (Jericho) als visuele (Crafter) settings, waarbij expliciet ruimtelijk redeneren en inductie worden opgenomen die vaak ontbreken in eerder werk.
3. Strikte Evaluatiecontroles: Introductie van mechanismen zoals query-horizon controle en adversariële negatieve generatie om specifieke geheugencapaciteiten te isoleren en overfitting aan specifieke trajectlengtes of priors te voorkomen.
4. Menselijke Baseline: Het uitvoeren van een menselijke studie om boven- en ondergrenzen voor prestaties vast te stellen, waarmee wordt bevestigd dat veel vragen traject-gegrond geheugen vereisen in plaats van algemene priors.

Experimentele Resultaten

De auteurs evalueerden sterke fundamentmodellen (GPT-5.1, Qwen2.5/3, InternVL) en geheugenagents (Mem0, LangMem, A-MEM) over 15 tekstspellen en meerdere visuele seeds.

• Algemene Prestaties: De resultaten zijn verre van verzadigd. Zelfs de sterkste instellingen behalen slechts ~51,9% nauwkeurigheid op tekstspellen en ~43,8% op visuele spellen.
• Aanhoudende Bottlenecks: Inductie en Ruimtelijk redeneren blijven de moeilijkste vaardigheden, vooral in visuele settings waar agents moeite hebben om vluchtige observaties te koppelen aan stap-geïndexeerde episodes en deze te aggregeren tot een coherente kaart.
• Geheugenagents versus In-Context:
  • Tekstspellen: Persistente geheugenmodules (vooral A-MEM) leveren duidelijke winst op ten op respectie van in-context prompting voor open backbones (bijv. Qwen3-32B verbeterde van 44,9% naar 51,9% algemene nauwkeurigheid).
  • Visuele Spellen: Verbeteringen zijn minder consistent. Hoewel sommige redeneercapaciteiten verbeteren, zijn de winsten kleiner of negatief vergeleken met tekst, wat suggereert dat visueel gegrond episodisch geheugen een open uitdaging blijft.
• Menselijke Vergelijking: Menselijke prestaties in "closed-book" (geheugen-alleen) settings zijn aanzienlijk lager dan in "open-book" (context-toegang) settings, met name voor Multi-hop, Inductie en Ruimtelijke vragen. Deze kloof valideert de moeilijkheidsgraad van de benchmark en geeft aan dat huidige agents moeite hebben om menselijk episodisch herinneringsvermogen te evenaren zonder externe hulpmiddelen.
• Stabiliteit: Resultaten zijn stabiel over verschillende random seeds (standaarddeviatie < 0,05), wat aangeeft dat rangschikkingen niet worden gedreven door specifieke omgeving-seeds.

Betekenis en Claims

Het artikel beweert dat EMemBench een betrouwbaar testbed biedt voor de ontwikkeling van robuuste geheugen-geaugmenteerde agents door verder te gaan dan statische long-context QA. De betekenis ligt in:

1. Diagnose van Specifieke Tekortkomingen: Het onthult dat hoewel modellen verbeteren in eenvoudige herinnering, ze falen bij complexe, omgeving-gegronde redenering (inductie, ruimtelijk) die vereist is voor echt episodisch geheugen.
2. Het Benadrukken van de Visuele Kloof: Het toont aan dat huidige VLM-agents achterlopen op tekst-only agents in het behouden en ophalen van fijnmazig, ruimtelijk gegrond bewijs.
3. Methodologische Verschuiving: Het pleit voor een evaluatieparadigma waarbij geheugen wordt getest als een interactief, geïndividualiseerd proces in plaats van een passieve retrieval-taak over een vast document.

De auteurs merken bescheiden op dat hoewel de benchmark test-set lekkage vermindert door dynamische generatie, contaminatie via patroonmemorisatie niet volledig is geëlimineerd. Ze erkennen ook dat de huidige dekking van omgevingen beperkt is vanwege de hoge kosten van het valideren van spel-specifieke redeneersjablonen, maar zij zijn van plan dit in toekomstige releases uit te breiden.