$\delta$-mem: Efficient Online Memory for Large Language Models

Technische Samenvatting van $\delta$-mem: Efficiënt Online Geheugen voor Grootte Taalmodellen

1. Probleemstelling

Naarmate Grootte Taalmodellen (LLM's) worden ingezet in langetermijnassistenten en agent-systemen, staan ze voor een kritieke uitdaging: de noodzaak om historische informatie te accumuleren, bij te werken en opnieuw te gebruiken tijdens langdurige interacties. Bestaande strategieën vertrouwen vaak op het simpelweg uitbreiden van het invoercontextvenster. Deze aanpak is echter computergewijs duur vanwege de kwadratische kosten van standaard attention ten opzichte van de contextlengte. Bovendien garandeert het simpelweg vergroten van de venstergrootte geen effectief gebruik; modellen lijden vaak aan "contextdegradatie" of "contextrot" bij het verwerken van zeer lange sequenties, wat suggereert dat vensters met miljoenen tokens het geheugenprobleem fundamenteel niet oplossen.

Bestaande geheugenmechanismen vallen uiteen in drie paradigma's, elk met beperkingen:

• Tekstuele Geheugenmechanismen (TMM's): Bewaren geheugen als tekst die in de invoercontext wordt geïnjecteerd. Hoewel flexibel, lijden ze aan contextvenstergrenzen, ophaalruis en verlies door comprimering.
• Geheugenmechanismen via Externe Kanalen (OMM's): Bewaren geheugen in externe modules die via ophalen worden benaderd. Dit introduceert overhead, integratiecomplexiteit en potentieel een misalignement met de backbone.
• Parametrische Geheugenmechanismen (PMM's): Encoderen geheugen in prefixes of adapters. Hoewel efficiënt voor bevroren backbones, beperkt hun statische aard de aanpassing aan dynamisch evoluerende informatie.

Er is behoefte aan een mechanisme dat een compacte, dynamisch evoluerende geheugentoestand handhaaft en de backbone stuurt via een pad dat nauw is afgestemd op zijn interne attention-berekening, zonder volledige fine-tuning of expliciete contextuitbreiding te vereisen.

2. Methodologie: $\delta$-mem

De auteurs stellen $\delta$-mem voor, een lichtgewicht geheugenmechanisme dat een bevroren full-attention backbone verrijkt met een compacte Online State of Associative Memory (OSAM). Het kernontwerp volgt een "Lezen-Sturen-Schrijven"-cyclus op elke positie, waarbij de backbone-parameters bevroren blijven.

A. Online State of Associative Memory (OSAM)
In plaats van alle historische tokens op te slaan, comprimeert $\delta$-mem vorige informatie tot een statematrix van vaste grootte $S \in \mathbb{R}^{r \times r}$ (specifiek een $8 \times 8$ matrix in experimenten). Deze toestand slaat key-value associaties ($k \to v$) op uit de historische context.

• Bijwerkregel: De toestand wordt sequentieel bijgewerkt met een delta-rule learning-aanpak, geïnspireerd door online regressie. Gegeven een geheugensleutel $k_t$ en waarde $v_t$, voorspelt de toestand $\hat{v}_t = S_{t-1}k_t$. De update minimaliseert de residufout:
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  Hierbij regelt $\lambda_t$ (forget gate) het behoud van vorig geheugen, en regelt $\beta_t$ (write gate) de sterkte van de residu-update. Dit stelt de toestand in staat om voorspellende discrepanties dynamisch te corrigeren terwijl stabiele historische informatie behouden blijft.

B. Geheugenprojecties
De hidden state $x_t$ van de bevroren backbone wordt geprojecteerd naar een laag-dimensionale geheugenruimte ($r$ dimensies) om query- ($q^m_t$), key- ($k^m_t$) en value- ($v^m_t$) vectoren voor de geheugentoestand te genereren. Normalisatie wordt toegepast op $q^m_t$ en $k^m_t$ om instabiliteit tijdens lange-sequentierecurrentie te verminderen.

C. Sturen via Low-Rank Correcties
Tijdens generatie leest $\delta$-mem uit de vorige toestand $S_{t-1}$ met behulp van de huidige query $q^m_t$ om een leesvector $r_t = S_{t-1}q^m_t$ te produceren. Deze vector levert contextrelevante signalen die de attention van de backbone sturen zonder teksttokens op te halen.

• Het lees-signaal wordt omgezet in low-rank correcties voor de query ($\Delta q_t$) en output ($\Delta o_t$) zijden van het attention-mechanisme:
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  waarbij $q^0_t$ de originele query is en $a_t$ de standaard attention-output. Deze correcties stellen het associatieve geheugen in staat om direct deel te nemen aan de forward-berekening.

D. Strategieën voor Schrijfgrootte
Het artikel onderzoekt drie strategieën voor het bijwerken van de toestand:

1. Token-State Write (TSW): Update de toestand bij elk token. Behoudt fijnmazige details maar is gevoelig voor ruis.
2. Sequence-State Write (SSW): Gemiddelde hidden states binnen een bericht/segment voordat wordt bijgewerkt. Vermindert redundantie en gladt de evolutie.
3. Multi-State Write (MSW): Onderhoudt meerdere parallelle sub-toestanden (bijv. voor feiten, voorkeuren, taakvoortgang) om interferentie te verminderen, en aggregeert hun uitlezingen.

E. Training
$\delta$-mem wordt getraind met standaard Supervised Fine-Tuning (SFT) loss. De contexttokens worden in de online toestand geschreven, maar de toestand zelf (niet de ruwe contexttokens) stuurt de bevroren backbone tijdens het voorspellen van het antwoord.

3. Belangrijkste Bijdragen

1. Nieuw Mechanisme: Stelt $\delta$-mem voor, dat een compacte, dynamisch bijgewerkte online toestand direct koppelt aan de attention-berekening van een bevroren backbone, waardoor volledige fine-tuning of vervanging van de backbone wordt vermeden.
2. Compacte Efficiëntie: Laat zien dat een extreem kleine geheugentoestand ($8 \times 8$ matrix) voldoende is om nuttige historische signalen te behouden en contextrelevante informatie te herstellen, zelfs wanneer expliciete geschiedenis wordt verwijderd.
3. Prestatiewinst: Toont aanzienlijke verbeteringen op geheugenzware benchmarks terwijl algemene capaciteiten behouden blijven, zonder te vertrouwen op het uitbreiden van expliciete context of zware externe ophaalmodules.

4. Experimentele Resultaten

De methode werd geëvalueerd op algemene capaciteitsbenchmarks (IFEval, GPQA-Diamond, HotpotQA) en geheugenzware benchmarks (LoCoMo, MemoryAgentBench) met Qwen3-4B-Instruct, Qwen3-8B en SmolLM3-3B backbones.

• Algemene Prestaties: $\delta$-mem verbeterde de gemiddelde score met 1,10$\times$ ten opzichte van de bevroren backbone en met 1,15$\times$ ten opzichte van de sterkste niet-$\delta$-mem geheugenbaseline (Context2LoRA).
• Geheugenzware Taken:
  • MemoryAgentBench: Bereikte een verbetering van 1,31$\times$ (van 29,54% naar 38,85% gemiddeld).
  • LoCoMo: Bereikte een verbetering van 1,20$\times$ (van 40,79% naar 49,12% gemiddeld).
  • TTL Subtaak: De score verdubbelde bijna van 26,14 naar 50,50.
• Backbone-variaties:
  • Op Qwen3-4B behaalde de TSW-variant het beste gemiddelde (51,66%).
  • Op Qwen3-8B presteerde SSW het beste (50,86%), wat suggereert dat schrijven op segmentniveau ruis mitigeert voor sterkere modellen.
  • Op SmolLM3-3B dreef MSW een aanzienlijke sprong (van 26,08% naar 36,96%), wat aangeeft dat kleinere modellen profiteren van het scheiden van geheugentypen om interferentie te minimaliseren.
• Contextherstel: In "Geen Context"-instellingen (waar expliciete geschiedenis wordt verwijderd), herstelde $\delta$-mem aanzienlijke prestaties, waarbij HotpotQA EM steeg van 0,08% naar 6,48% en het LoCoMo-gemiddelde van 3,49% naar 8,05%, wat bewijst dat de toestand herbruikbare signalen opslaat.
• Ablatiestudies:
  • Heads: Het injecteren van correcties in zowel de query- als outputtakken ($qo$) bood de beste afweging tussen prestaties en parameters.
  • Diepte: Het toepassen van correcties over alle lagen leverde de beste resultaten op, wat aangeeft dat geheugensignalen het volledige representatiehierarchy ten goede komen.

5. Betekenis en Claims

Het artikel beweert dat effectief geheugen voor LLM's kan worden gerealiseerd via een compacte online toestand die direct is gekoppeld aan attention-berekening. De betekenis van $\delta$-mem ligt in het vermogen om:

• Geheugenonderhoud te ontkoppelen van prompt-herinvoeging: In tegenstelling tot tekstueel geheugen, routeert het geen gecomprimeerde geschiedenis terug door de tokenruimte, waardoor contextvenstergrenzen en ophaalruis worden vermeden.
• Dynamische evolutie mogelijk te maken: In tegenstelling tot parametrisch geheugen, evolueert de toestand continu met de sequentie via delta-rule learning, en past zich aan nieuwe interacties aan zonder discrete bewerkingsstappen.
• Efficiëntie te handhaven: Het bereikt deze winsten met een vaste, kleine stategrootte ($8 \times 8$) en zonder de backbone-architectuur te wijzigen, wat een schaalbaar interface biedt voor testtijd-geheugen in bevroren Transformers.

De auteurs concluderen dat deze aanpak een robuust alternatief biedt voor contextuitbreiding, waardoor modellen historische informatie effectief kunnen benutten zonder de computebelasting van lange-contextverwerking of de complexiteit van externe ophaalsystemen.