Technische Samenvatting: ElasticMem

Probleemstelling

Langetermijngeheugen is cruciaal voor het in staat stellen van Large Language Model (LLM) agenten om coherent te redeneren tijdens uitgebreide interacties, responsen te personaliseren en ervaringen uit het verleden te hergebruiken. De huidige geheugenversterkte systemen behandelen geheugen echter als een vaste hulpbron, wat een mismatch creëert tussen de query-afhankelijke bruikbaarheid van het geheugen en de statische allocatie van de geheugencapaciteit.

Huidige benaderingen vallen uiteen in twee categorieën, die beide significante beperkingen hebben:

1. Tekstruimte-methoden: Deze halen tekstuele records op en voegen deze samen in het contextvenster. Hoewel interpreteerbaar, veroorzaken ze een substantiële token-overhead en zijn ze gevoelig voor ruis of redundante bewijslast, aangezien irrelevante herinneringen context-tokens consumeren ongeacht hun nut.
2. Latente-ruimte-methoden: Deze comprimeren herinneringen tot continue vectoren of 'soft tokens' om tekstuele kosten te verlagen. Ze vertrouwen echter doorgaans op rigide ophaalmechanismen (bijv. vaste cosinus-gelijkenis) en interfaces met een vaste capaciteit waarbij elke opgehaalde chunk een uniforme latente budget krijgt. Dit slaagt er niet in om onderscheid te maken tussen chunks die cruciale bewijslast bevatten versus chunks die weliswaar lexicaal overeenkomen maar niet behulpzaam zijn.

De kernuitdaging is dat de bruikbaarheid van het geheugen sterk afhankelijk is van de query en de taak, terwijl ophaalprocessen en capaciteitsallocatie vaak worden bepaald door vaste ontwerpkeuzes in plaats van te worden geleerd uit de resultaten van de taak.

Methodologie: ElasticMem

De auteurs stellen ElasticMem voor, een framework dat geheugen behandelt als een leerbare, elastische latente hulpbron. In plaats van vaste ophaalprocessen en uniforme allocatie, leert ElasticMem om herinneringen adaptief op te halen op basis van de interne staat van de redeneerder en om variabele latente budgetten aan hen toe te wijzen op basis van hun downstream-nut.

Het framework bestaat uit vier sleutelstadia:

1. Constructie van de Latente Geheugenbank

Een offline latente geheugenbank wordt eenmalig geconstrueerd en blijft bevroren tijdens de training. Elke geheugenchunk $m_i$ wordt gecodeerd door een bevroren base LLM-encoder om het volgende te produceren:

• Een retrieval key ($k_i$): de finale verborgen staat van de chunk.
• Een content cache ($C_i$): de laatste $N_c$ verborgen staten van de chunk.
  Dit maakt efficiënte ophaalprocessen mogelijk zonder de volledere corpus opnieuw te hoeven coderen tijdens de inferentie.

2. Query-geconditioneerde Retrieval

In tegen tegenstelling tot standaard systemen die een aparte, vaste retriever gebruiken, afleidt ElasticMem de retrieval-query uit de eigen verborgen staat van de redeneerder.

• De LoRA-geadapteerde redeneerder samplet een retrieval-control token $a$ gegeven de query $q$.
• De redeneerder verwerkt $(q, a)$ om een query-staat $h_q$ te genereren.
• Herinneringen worden opgehaald op basis van de cosinus-gelijkenis tussen $h_q$ en de gecachte retrieval keys $k_i$. Dit stelt de ophaalprocedure in staat om zich aan te passen aan de interne interpretatie van de query door het model, in plaats van enkel te vertrouwen op oppervlakkige semantische overeenkomst.

3. Elastische Latente Budgetallocatie

Na het ophalen van de top-$Z$ kandidaat-chunks, wijst een lichtgewicht Transformer budgetbeleid ($\pi_\phi$) een variabel aantal latente tokens ($b_j$) toe aan elke chunk.

• Het budget $b_j$ wordt gesampled uit een discrete distributie $\{0, 1, \dots, B_{max}\}$.
• Een budget van $b_j=0$ stelt het model in staat om opgehaalde chunks te onderdrukken die weliswaar gelijkenis vertonen maar niet behulpzaam zijn.
• Het beleid gebruikt kenmerken zoals de query-staat, geheugenkeys, retrieval-scores en geleerde rang-embeddings, en maakt gebruik van self-attention om herinneringen met elkaar te vergelijken voordat de capaciteit wordt toegewezen.
• Nuttige chunks ontvangen grotere budgetten, terwijl redundante of misleidende chunks worden gecomprimeerd of onderdrukt.

4. Latente Geheugeninjectie en Optimalisatie

Geselecteerde verborgen staten uit de content caches worden geprojecteerd naar soft geheugentokens via een geleerde latente projector ($P_\psi$) en geïnjecteerd in de inputsequentie van de redeneerder.

• Training: Het gehele proces (retrieval control, budgetallocatie, projectie en generatie) wordt gezamenlijk geoptimaliseerd met behulp van Group-Relative Policy Optimization (GRPO).
• Het beloningssignaal (bijv. nauwkeurigheid, taaksucces) stuurt niet alleen het uiteindelijke antwoord aan, maar ook de ophaalbeslissingen en de budgetallocaties. Dit stelt het model in staat om te leren welke herinneringen te ophalen en hoeveel representatieve capaciteit elke herinnering verdient op basis van daadwerkelijke taakresultaten.

Belangrijkste Bijdragen

1. Elastic Latent Memory: Een nieuw paradigma dat de verschuiving markeert van een vast tekstueel of latent interface naar een leerbare, elastische hulpbron waarbij capaciteit dynamisch wordt toegewezen op basis van nut.
2. Reasoner-State Adaptive Retrieval: Een ophaalmechanisme dat geconditioneerd is op de interne staat van de redeneerder en een gesamplede control token, wat verder gaat dan rigide gelijkenis-matching.
3. Utility-Aware Budget Policy: Een geleerd beleid dat variabele latente budgetten aan opgehaalde chunks toewijst, waardoor het model in staat is om nuttige bewijslast te prioriteren en ruis te onderdrukken.
4. End-to-End Optimalisatie: Een trainingsframework dat retrieval, allocatie en generatie gezamenlijk optimaliseert via downstream taakbeloningen, waardoor het beheer van het geheugen wordt afgestemd op de taak-utiliteit.

Experimentele Resultaten

ElasticMem werd geëvalueerd op MemorySuite, met dekking van geheugenintensieve QA (PersonaMem, LoCoMo, LongMemEval) en belichaamde agentische besluitvorming (ALFWorld), gebruikmakend van Qwen2.5-3B en Qwen2.5-7B backbones.

• Prestatiewinst:
  • QA-taken: ElasticMem verbeterde de gewogen gemiddelde nauwkeurigheid met 26,2% (Qwen2.5-3B) en 24,6% (Qwen2.5-7B) ten opzichte van de sterkste baselines.
  • Agentische taken (ALFWorld): ElasticMem verbeterde het gewogen gemiddelde succespercentage met 66,3% (Qwen2.5-3B) en 27,2% (Qwen2.5-7B).
• Efficiëntie: ElasticMem behaalde de laagste tokenkosten op ALFWorld van alle vergeleken methoden, wat aantoont dat de prestatiewinsten niet voortkwamen uit langere interactietrajecten of excessief geheugengebruik.
• Ablatie-studies:
  • Budgetbeleid: Het Transformer-gebaseerde budgetbeleid presteerde aanzienlijk beter dan willekeurige, uniforme en MLP-gebaseerde allocatiestrategieën, wat de waarde bevestigt van het leren van interacties tussen herinneringen.
  • Retrieval: Query-staat retrieval met een control token presteerde beter dan semantische en frozen-state retrieval, wat het belang benadrukt van het aanpassen van de retrieval aan de interne staat van de redeneerder.
  • Capaciteitslimieten: Een gematigd budget per chunk ($B_{max}=20$) leverde de beste resultaten op, wat suggereert dat te grote budgetten de prestaties kunnen verslechteren door capaciteit toe te wijzen aan minder nuttige chunks.

Betekenis en Claims

Het artikel claimt dat ElasticMem een fundamentele mismatch in huidige geheugensystemen aanpakt: de statische aard van geheugenallocatie versus de dynamische aard van de bruikbaarheid van geheugen. Door geheugen als een leerbare hulpbron te behandelen, stelt het framework agenten in staat om:

• Nuttige bewijslast en overdraagbare plannen te prioriteren, zelfs wanneer deze niet de meest lexicale overeenkomst met de query hebben.
• Ruisende of redundante herinneringen te onderdrukken die anders de context of latente capaciteit zouden verbruiken.
• Superieure prestaties te leveren in zowel redeneer- als besluitvormingstaken, terwijl een hoge token-efficiëntie behouden blijft.

De auteurs concluderen dat elastisch latent geheugen een veelbelovende richting is voor het bouwen van efficiëntere, adaptieve en langdurige LLM-agenten, die verder gaan dan de beperkingen van vaste contexten en rigide ophaalparadigma's.