$\delta$-mem: Efficient Online Memory for Large Language Models

Riepilogo Tecnico di $\delta$-mem: Memoria Online Efficiente per Modelli Linguistici di Grande Dimensione

1. Enunciato del Problema

Man mano che i Modelli Linguistici di Grande Dimensione (LLM) vengono implementati in assistenti a lungo termine e sistemi di agenti, affrontano una sfida critica: la necessità di accumulare, aggiornare e riutilizzare informazioni storiche nel corso di interazioni prolungate. Le strategie attuali spesso si basano semplicemente sull'espansione della finestra di contesto in ingresso. Tuttavia, questo approccio è computazionalmente costoso a causa del costo quadratico dell'attenzione standard rispetto alla lunghezza del contesto. Inoltre, aumentare semplicemente la dimensione della finestra non garantisce un utilizzo efficace; i modelli spesso soffrono di "degradazione del contesto" o "marciume del contesto" quando gestiscono sequenze molto lunghe, suggerendo che finestre da milioni di token non risolvono fondamentalmente il problema della memoria.

I meccanismi di memoria esistenti rientrano in tre paradigmi, ciascuno con limitazioni:

• Meccanismi di Memoria Testuale (TMM): Memorizzano la memoria come testo iniettato nel contesto di input. Sebbene flessibili, soffrono di limiti della finestra di contesto, rumore nel recupero e perdita di compattazione.
• Meccanismi di Memoria Fuori Canale (OMM): Mantengono la memoria in moduli esterni accessibili tramite recupero. Ciò introduce sovraccarico, complessità di integrazione e potenziale disallineamento con il backbone.
• Meccanismi di Memoria Parametrica (PMM): Codificano la memoria in prefissi o adattatori. Sebbene efficienti per backbone congelati, la loro natura statica limita l'adattamento a informazioni in evoluzione dinamica.

È necessario un meccanismo che mantenga uno stato di memoria compatto ed in evoluzione dinamica e guidi il backbone attraverso un percorso strettamente allineato al suo calcolo interno dell'attenzione, senza richiedere un fine-tuning completo o un'estensione esplicita del contesto.

2. Metodologia: $\delta$-mem

Gli autori propongono $\delta$-mem, un meccanismo di memoria leggero che potenzia un backbone completo a attenzione congelata con uno Stato Online di Memoria Associativa (OSAM) compatto. Il design centrale segue un ciclo "Leggi-Guida-Scrivi" a ogni posizione, lasciando i parametri del backbone congelati.

A. Stato Online di Memoria Associativa (OSAM)
Invece di memorizzare tutti i token storici, $\delta$-mem comprime le informazioni passate in una matrice di stato a dimensione fissa $S \in \mathbb{R}^{r \times r}$ (specificamente una matrice $8 \times 8$ negli esperimenti). Questo stato memorizza le associazioni chiave-valore ($k \to v$) dal contesto storico.

• Regola di Aggiornamento: Lo stato viene aggiornato sequenzialmente utilizzando un approccio di apprendimento basato sulla regola delta ispirato alla regressione online. Dato un token chiave di memoria $k_t$ e un valore $v_t$, lo stato prevede $\hat{v}_t = S_{t-1}k_t$. L'aggiornamento minimizza l'errore residuo:
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  Qui, $\lambda_t$ (cancello di oblio) controlla la ritenzione della memoria precedente, e $\beta_t$ (cancello di scrittura) controlla la forza dell'aggiornamento residuo. Ciò permette allo stato di correggere dinamicamente le discrepanze predittive mantenendo al contempo informazioni storiche stabili.

B. Proiezioni di Memoria
Lo stato nascosto $x_t$ dal backbone congelato viene proiettato in uno spazio di memoria a bassa dimensionalità ($r$ dimensioni) per generare vettori di query ($q^m_t$), chiave ($k^m_t$) e valore ($v^m_t$) per lo stato di memoria. Viene applicata la normalizzazione a $q^m_t$ e $k^m_t$ per ridurre l'instabilità durante la ricorrenza di sequenze lunghe.

C. Guida tramite Correzioni a Rango Basso
Durante la generazione, $\delta$-mem legge dallo stato precedente $S_{t-1}$ utilizzando la query corrente $q^m_t$ per produrre un vettore di lettura $r_t = S_{t-1}q^m_t$. Questo vettore fornisce segnali pertinenti al contesto che guidano l'attenzione del backbone senza recuperare token di testo.

• Il segnale di lettura viene trasformato in correzioni a rango basso per i lati query ($\Delta q_t$) e output ($\Delta o_t$) del meccanismo di attenzione:
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  dove $q^0_t$ è la query originale e $a_t$ è l'output standard dell'attenzione. Queste correzioni permettono alla memoria associativa di partecipare direttamente al calcolo in avanti.

D. Strategie di Granularità di Scrittura
Il documento indaga tre strategie per l'aggiornamento dello stato:

1. Scrittura Token-Stato (TSW): Aggiorna lo stato ad ogni token. Preserva dettagli a grana fine ma è sensibile al rumore.
2. Scrittura Sequenza-Stato (SSW): Media gli stati nascosti all'interno di un messaggio/segmento prima di aggiornare. Riduce la ridondanza e smussa l'evoluzione.
3. Scrittura Multi-Stato (MSW): Mantiene più sottostati paralleli (ad esempio, per fatti, preferenze, progresso del compito) per ridurre l'interferenza, aggregando le loro letture.

E. Addestramento
$\delta$-mem viene addestrato utilizzando la perdita standard di Fine-Tuning Supervisionato (SFT). I token di contesto vengono scritti nello stato online, ma è lo stato stesso (non i token di contesto grezzi) a guidare il backbone congelato durante la previsione della risposta.

3. Contributi Chiave

1. Meccanismo Innovativo: Propone $\delta$-mem, che accoppia uno stato online compatto e aggiornato dinamicamente direttamente con il calcolo dell'attenzione di un backbone congelato, evitando il fine-tuning completo o la sostituzione del backbone.
2. Efficienza Compatta: Dimostra che uno stato di memoria estremamente piccolo (matrice $8 \times 8$) è sufficiente per mantenere segnali storici utili e recuperare informazioni pertinenti al contesto anche quando la storia esplicita viene rimossa.
3. Miglioramenti delle Prestazioni: Mostra miglioramenti significativi su benchmark pesanti in termini di memoria, preservando al contempo le capacità generali, senza fare affidamento sull'estensione del contesto esplicito o su pesanti moduli di recupero esterni.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark di capacità generali (IFEval, GPQA-Diamond, HotpotQA) e benchmark pesanti in termini di memoria (LoCoMo, MemoryAgentBench) utilizzando i backbone Qwen3-4B-Instruct, Qwen3-8B e SmolLM3-3B.

• Prestazioni Complessive: $\delta$-mem ha migliorato il punteggio medio di 1,10$\times$ rispetto al backbone congelato e di 1,15$\times$ rispetto alla baseline di memoria più forte non-$\delta$-mem (Context2LoRA).
• Compiti Pesanti in Memoria:
  • MemoryAgentBench: Ha raggiunto un miglioramento di 1,31$\times$ (da 29,54% a 38,85% in media).
  • LoCoMo: Ha raggiunto un miglioramento di 1,20$\times$ (da 40,79% a 49,12% in media).
  • Sottocompito TTL: Il punteggio è quasi raddoppiato da 26,14 a 50,50.
• Variazioni del Backbone:
  • Su Qwen3-4B, la variante TSW ha raggiunto la media migliore (51,66%).
  • Su Qwen3-8B, SSW ha performato meglio (50,86%), suggerendo che la scrittura a livello di segmento mitiga il rumore per modelli più potenti.
  • Su SmolLM3-3B, MSW ha guidato un salto sostanziale (da 26,08% a 36,96%), indicando che i modelli più piccoli beneficiano della separazione dei tipi di memoria per minimizzare l'interferenza.
• Recupero del Contesto: In impostazioni "Senza Contesto" (dove la storia esplicita viene rimossa), $\delta$-mem ha recuperato prestazioni significative, aumentando l'EM di HotpotQA da 0,08% a 6,48% e la media LoCoMo da 3,49% a 8,05%, dimostrando che lo stato memorizza segnali riutilizzabili.
• Studi di Ablazione:
  • Teste: Iniettare correzioni sia nel ramo query che in quello output ($qo$) ha fornito il miglior compromesso tra prestazioni e parametri.
  • Profondità: Applicare correzioni su tutti i livelli ha prodotto i migliori risultati, indicando che i segnali di memoria beneficiano l'intera gerarchia di rappresentazione.

5. Significato e Affermazioni

Il documento afferma che una memoria efficace per gli LLM può essere realizzata attraverso uno stato online compatto accoppiato direttamente al calcolo dell'attenzione. Il significato di $\delta$-mem risiede nella sua capacità di:

• Disaccoppiare la manutenzione della memoria dalla reinserzione del prompt: A differenza della memoria testuale, non instrada la storia compressa nuovamente attraverso lo spazio dei token, evitando i limiti della finestra di contesto e il rumore nel recupero.
• Abilitare un'evoluzione dinamica: A differenza della memoria parametrica, lo stato evolve continuamente con la sequenza tramite apprendimento basato sulla regola delta, adattandosi a nuove interazioni senza passaggi di editing discreti.
• Mantenere l'efficienza: Raggiunge questi guadagni con una dimensione di stato fissa e minuscola ($8 \times 8$) e senza modificare l'architettura del backbone, offrendo un'interfaccia scalabile per la memoria al momento del test in Transformer congelati.

Gli autori concludono che questo approccio offre un'alternativa robusta all'espansione del contesto, permettendo ai modelli di sfruttare efficacemente le informazioni storiche senza il carico computazionale dell'elaborazione di contesti lunghi o la complessità dei sistemi di recupero esterni.