Did You Check the Right Pocket? Cost-Sensitive Store Routing for Memory-Augmented Agents

1. Probleemstelling

Memory-augmented agents (agenten met geheugen) gebruiken vaak meerdere gespecialiseerde opslagplaatsen (stores) om informatie te bewaren, zoals kortetermijngeheugen (STM), samenvattingen, langetermijngeheugen (LTM) en episodisch geheugen (ruwe transcripties).

Het huidige standaardgedrag in veel systemen is uniform retrieval: bij elke query worden alle beschikbare stores opgehaald, ongeacht het type vraag. Dit leidt tot twee fundamentele problemen:

1. Computational Waste: Er wordt tijd en rekenkracht verspild aan het ophalen van stores die geen antwoord bevatten.
2. Accuracy Degradatie: Irrelevante of ruisachtige context verlaagt de signaal-ruisverhouding. In lange contexten kan dit de taalmodel (LLM) verhinderen om het juiste antwoord te vinden, zelfs als de informatie aanwezig is ("Needle in a haystack"-probleem).

De auteurs formuleren het probleem daarom als een store-routing probleem: in plaats van alles op te halen, moet een router beslissen welke specifieke subset van stores nodig is voor een gegeven query, voordat de ophaalactie plaatsvindt.

2. Methodologie

De auteurs definiëren een architectuur met vier stores:

• STM (Short-Term Memory): Huidige conversatie.
• Sum (Summary Store): Geconsolideerde feiten (voorkeuren, profiel).
• LTM (Long-Term Memory): Samenvattingen van eerdere sessies.
• Epi (Episodic Memory): Ruwe transcripties.

Het Routing Probleem:
Gegeven een query $q$, selecteert een routing-beleid $\pi$ een subset van stores $\hat{G} \subseteq S$. Het doel is om de afweging tussen antwoordkwaliteit en ophalingskosten (tokens/latentie) te optimaliseren. Dit wordt geformuleerd als een kostengevoelig subset-selectieprobleem:
$$\pi^*(q) = \arg \max_{G \subseteq S} \left[ E[Acc(q, G)] - \lambda \sum_{s \in G} c_s \right]$$
Waarbij $Acc$ de waarschijnlijkheid van een correct antwoord is en $c_s$ de kosten van het ophalen van store $s$.

Evaluatie-Metrics:

1. Coverage: Worden alle noodzakelijke stores opgehaald? (Essentieel voor antwoordbaarheid).
2. Exact Match (EM): Wordt precies de juiste subset geselecteerd (geen over-retrieval)?
3. Waste: Hoeveel onnodige stores worden opgehaald?
4. Cost: Aantal context-tokens (proxy voor inferentiekosten).

Experimenteel Opzet:

• Synthetische Evaluatie: Gebruik van synthetische labels (afgeleid van query-taxonomieën) om routing-beleiden te testen zonder de variabiliteit van het LLM-reasoning.
• LLM Evaluatie: Testen van 12 routing-beleiden op 150 vragen met GPT-3.5-turbo en GPT-4o-mini.
• Beleiden vergeleken:
  • Uniform: Altijd alle stores.
  • Oracle: Altijd de perfecte, grond-waarheid stores (bovengrens).
  • Fixed Subset: Vaste combinaties (bijv. STM+Sum+LTM).
  • Hybrid Heuristic: Een regelgebaseerde aanpak met semantische signalen (tijdswoorden, hoeveelheden) en een veilige fallback.

3. Belangrijkste Bijdragen

1. Definitie van Routing Metrics: Introductie van metrics (Coverage, Exact Match, Waste) die de kwaliteit van store-selectie kwantificeren, los van de kwaliteit van de binnen-store ranking.
2. Decoupling van Selectie en Ranking: Het tonen dat store-selectie een "first-class component" is in het ontwerp van agents, los van het retrieval-proces zelf.
3. Decision-Theoretisch Framework: Formele modellering van store-routing als een kostengevoelige optimalisatieprobleem, wat een principieel kader biedt voor het begrijpen van de afweging tussen kosten en nauwkeurigheid.
4. Empirisch Bewijs: Demonstratie dat selectieve retrieval zowel efficiëntie als prestaties verbetert, in tegenstelling tot de gangbare aanname dat "meer context altijd beter is".

4. Resultaten

De experimenten leveren enkele cruciale inzichten op:

• Verbeterde Nauwkeurigheid met Minder Tokens:

  • De Oracle router bereikte 86,7% nauwkeurigheid met slechts 299 tokens (gemiddeld).
  • De Uniforme router bereikte slechts 81,3% nauwkeurigheid maar gebruikte 787 tokens.
  • Conclusie: Selectieve routing verhoogde de nauwkeurigheid met 5,4% terwijl het het token-gebruik met 62% verlaagde.

• De Straf voor Over-Retrieval in Lange Contexten:

  • Het prestatieverschil tussen routing-beleiden nam toe bij lange contexten (1000 tokens per store). Uniform retrieval leidde hier tot een daling van 72% (Oracle) naar 60% (Uniform) nauwkeurigheid. Irrelevante stores fungeren als ruis die het model afleidt.

• Sterke Vaste Baselines:

  • Een simpele vaste policy (STM + Sum + LTM) presteerde bijna net zo goed als de Oracle (84,7% vs 86,7%) en is een zeer bruikbare, goedkope standaardoplossing.

• Het "Coverage-Accuracy Gap":

  • De hybride heuristiek had een hoge coverage (94% van de juiste stores werden gevonden), maar een lagere QA-nauwkeurigheid (70,7%).
  • Dit toont aan dat het vinden van de juiste store niet voldoende is; het model moet de informatie ook kunnen extraheren uit de context. Over-retrieval (het meenemen van extra, onnodige stores) kan zelfs schadelijk zijn voor de extractie, zelfs als de juiste store aanwezig is.

• Feature Ablatie:

  • Semantische signalen (zoals "voor", "vergelijk", "lijst alles") zijn veel effectiever voor routing dan alleen linguïstische features (zoals voornaamwoorden of tijd). Semantische signalen verhoogden de coverage met 33%.

5. Betekenis en Conclusie

Dit paper ondermijnt de veronderstelling dat het ophalen van alle beschikbare geheugen-informatie de veiligste of beste strategie is. In plaats daarvan toont het aan dat:

1. Routing een kritieke schakel is: Het selecteren van de juiste "zak" (store) voordat er gezocht wordt, is essentieel voor schaalbare en kostenefficiënte agents.
2. Minder is meer: Een kleinere, scherpere context leidt vaak tot betere prestaties van het LLM omdat de signaal-ruisverhouding verbetert.
3. Toekomstrichting: Hoewel regelgebaseerde heuristieken goed werken, is er ruimte voor verbetering door geleerde routing-mechanismen die direct geoptimaliseerd worden op downstream QA-doelen, in plaats van alleen op synthetische labels.

De studie biedt een fundamenteel kader voor het ontwerpen van toekomstige memory-augmented agents die niet alleen slimme zoekopdrachten uitvoeren, maar ook slim weten waar ze moeten zoeken.