Technische Samenvatting: PM-Bench: Het evalueren van prospectief geheugen in LLM-agenten

Probleemstelling

Het artikel identificeert een kritieke lacune in de evaluatie van Large Language Model (LLM) agenten: prospectief geheugen (prospective memory). Terwijl bestaande benchmarks zich richten op planning over lange termijn, toolgebruik en retrospectieve herinnering (het ophalen van informatie uit het verleden), falen zij in het isoleren van het vermogen om een intentie uit te voeren op basis van een specifieke toekomstige aanwijzing of staat, terwijl andere activiteiten gaande zijn. De auteurs stellen dat fouten bij agenten vaak niet voortkomen uit een gebrek aan kennis, maar uit het onvermogen om die kennis op het juiste moment in actie te brengen. Deze capaciteit is verschillend van eenvoudige herinnering, omdat het vereist dat intenties onder afleiding worden vastgehouden, veranderingen in de latente omgeving worden gemonitord en de timing van acties wordt gekalibreerd zonder externe herinneringen.

Methodologie

PM-Bench Constructie

De auteurs introduceren PM-Bench, een tekstgebaseerde benchmark geïnspireerd door het Virtual Week-paradigma uit de cognitieve wetenschap. De benchmark simuleert een week van zeven dagen met 80 tijdgeankerde stappen.

• Taakstructuur: Agenten moeten een narratief navigeren terwijl ze uitgestelde intenties beheren. Taken worden gecategoriseerd als:
  • Event-gebaseerd: Getriggerd door specifieke aanwijzingen in het narratief of verborgen kanaalstaten.
  • Tijd-gebaseerd: Getriggerd wanneer de virtuele klok een specifieke tijd bereikt.
  • Cross-day (Over de dagen heen): Aangekondigd op de ene dag, maar pas uitvoerbaar op een toekomstige dag.
  • Dynamische updates: Taken kunnen worden geannuleerd, uitgesteld of overschreven, wat vereist dat de agent zijn interne staat bijwerkt.
• Interactieprotocol: De benchmark werkt volgens een query-dan-acteer protocol. Bij elke stap ontvangt de agent een narratieve scène en drie lopende activiteitskeuzes. Om een prospectieve taak uit te voeren, moet de agent kiezen uit een menu van anonieme actie-handles. Cruciaal is dat veel aanwijzingen verborgen zijn in kanaalstaten (bijv. e-mail, klok, afsprakenportaal) die de agent proactief moet opvragen.
• Validatie: Scenario's worden gegenereerd via een geseedde synthetische pipeline en gevalideerd op oplosbaarheid, waarbij wordt gegarandeerd dat elke taak een geldig pad naar voltooiing heeft als de agent de juiste kanalen monitort en op het juiste moment handelt.

Experimentele Opstelling

De auteurs evalueerden 8 state-of-the-art LLM's (waaronder GPT-5.4, GPT-5.3-Codex, Llama-3.3, Mistral en Qwen3 varianten) over 8 verschillende agent-configuraties:

1. Single-agent baseline: Geen extern geheugen of scaffolding.
2. Todo-ledger: Een in-context grootboek dat openstaande intenties en statussen bijhoudt.
3. Heartbeat varianten: Agenten die worden aangestuurd om periodiek verborgen kanalen te controleren (optioneel, auto-30m, auto-60m).
4. Hiërarchische multi-agent: Een coördinator die drie specialistische subagenten beheert (event watcher, status watcher, update watcher) die queries en taken voorstellen.
5. Voting ablations: Replay-gebaseerde meerderheids- en unanieme stemming over de hiërarchische traces.

Evaluatiemetrieken

De primaire metriek is Set-F1, berekend over het gehele traject. Deze metriek balanceert:

• True Positives (TP): Het correct uitvoeren van een taak die aan de beurt is.
• False Positives (FP): Het uitvoeren van een taak die nog niet aan de beurt is (overmatig handelen/spammen).
• False Negatives (FN): Het niet uitvoeren van een taak die wel aan de beurt is (missers).
  De auteurs benadrukken Set-F1 omdat een hoge recall bereikt kan worden door acties te "spammen", terwijl een hoge precisie bereikt kan worden door nooit te handelen; een robuuste agent moet beide balanceren.

Belangrijkste Resultaten

1. Geen universele beste strategie

Geen enkele agent-configuratie domineert alle modellen of metrieken.

• De optional-heartbeat single agent behaalde de hoogste algemene Set-F1 (65,1%).
• De todo-ledger variant behaalde de op één na hoogste Set-F1 (62,8%) en het laagste aantal false positives, wat wijst op superieure precisie.
• Hiërarchische multi-agent opstellingen presteerden, ondanks het uitgeven van aanzienlijk meer queries (1.661 totaal versus ~100 voor single agents), slecht op Set-F1 (45,2%), wat suggereert dat verhoogde monitoring niet automatisch vertaalt naar een betere kalibratie van acties.

2. De Precisie-Recall Tradeoff

De resultaten onthullen een fundamentele spanning in het prospectief geheugen:

• Over-acting (Overmatig handelen): Methoden die meer opeenvolgende taken herstellen (bijv. auto-heartbeat 30m) verhogen vaak de false positives, wat leidt tot lagere Set-F1 scores.
• Under-acting (Ondermatig handelen): Conservatieve methoden behouden precisie maar missen geldige kansen.
• Modelafhankelijkheid: De optimale scaffold varieert per model-backbone. Zo presteerde GPT-5.4 het best met optional heartbeat, terwijl Qwen3-8B een significante sprong liet zien met optional heartbeat (71,9%) vergeleken met de baseline (42,0%), terwijl andere modellen andere voorkeuren toonden.

3. Proactief monitoren blijft een bottleneck

• Verborgen kanalen: Agenten hebben grote moeite met taken die monitoring van verborgen staten vereisen. Terwijl de hit rates voor klok-monitoring ongeveer 60% bereikten voor de beste opstellingen, bleven de hit rates voor andere verborgen kanalen (bijv. e-mail, zendingsstatus) rond de 0–16% liggen.
• Cross-Day en Updates: Lange-termijn taken (cross-day) en dynamische updates (herplanningen/annuleringen) blijven grotendeels onopgelost. De beste cross-day hit rate was slechts 50,0%, en geen enkele opstelling overschreed de 50% op update-gevoelige uitvoering.
• Beperkingen van Multi-Agent: De hiërarchische opstelling slaagde er niet in de prestaties op narratief-gecusteerde taken te verbeteren (daalde naar een hit rate van 45,2%), ondanks het hoge query-volume, wat aangeeft dat de bottleneck niet alleen het verwerven van bewijs is, maar het omzetten van dat bewijs in correcte actiesets.

Betekenis en Claims

Het artikel claimt dat prospectief gedrag behandeld moet worden als een afzonderlijke evaluatie-as voor LLM-agenten, los van de grootte van het contextvenster of generieke geheugen-retrieval capaciteiten.

• Diagnostische waarde: PM-Bench dient als een gecontroleerde testomgeving om specifieke faalmodi te diagnosticeren, zoals het onvermogen om uitgestelde intenties over dagen heen vast te houden of het onvermogen om onderscheid te maken tussen "actieve" en "aan de beurt zijnde" taken.
• Kalibratie-uitdaging: De kernbevinding is dat prospectief gedrag moeilijk te kalibreren is. Huidige agenten handelen ofwel te laat (vergeten te handelen) of handelen te agressief.
• Toekomstige richtingen: De benchmark biedt een fundament voor het ontwikkelen van training of inference-time interventies (bijv. betere scaffolding, geheugenbeheer) die betrouwbaar, tijdsgevoelig gedrag van agenten ondersteunen.

De auteurs waarschuwen expliciet tegen het interpreteren van hoge benchmarkscores als bewijs van gereedheid voor veiligheidskritische real-world implementaties (bijv. gezondheidszorg of luchtvaart), waarbij zij opmerken dat fouten in het prospectieve geheugen in die domeinen ernstige gevolgen hebben. PM-Bench wordt gepresenterd als een diagnostisch instrument om deze specifieke faalmodi te meten en te mitigeren.