MemRouter: Memory-as-Embedding Routing for Long-Term Conversational Agents

1. Enunciato del Problema

Gli agenti conversazionali a lungo termine richiedono una memoria esterna per conservare fatti personali, preferenze e piani attraverso interazioni multi-sessione. Tuttavia, i sistemi attuali all'avanguardia presentano due limitazioni critiche:

• Costo Autoregressivo per Turno: Gli approcci esistenti (ad esempio, Memory-R1, AgeMem) utilizzano il Large Language Model (LLM) stesso per decidere se memorizzare un turno di conversazione. Ciò richiede una generazione autoregressiva completa per ogni turno, portando a un enorme sovraccarico computazionale (ad esempio, ~1.200 chiamate di generazione per una conversazione di 600 turni) e ad alta latenza.
• Accoppiamento del Backbone: Le politiche di gestione della memoria sono spesso addestrate congiuntamente o dipendono dal modello di risposta a valle specifico. Ciò crea un accoppiamento stretto, il che significa che l'aggiornamento del modello di risposta (ad esempio, a un LLM più grande o più recente) richiede il riaddestramento della politica di gestione della memoria.

La domanda centrale affrontata è: È possibile prendere la decisione di memorizzare un turno in modo efficiente a livello di embedding senza invocare la generazione autoregressiva, e questa decisione può essere disaccoppiata dal backbone di generazione della risposta?

2. Metodologia: MemRouter

MemRouter introduce un router di memoria lato scrittura che opera interamente nello spazio degli embedding, disaccoppiando l'ammissione della memoria dal processo di generazione della risposta.

Architettura

Il sistema è composto da tre componenti principali:

1. Memory Router (Percorso di Scrittura):

   • Input: Elabora il turno corrente ($x_t$) e la storia recente ($H_t$).
   • Chunking Contestuale: Il dialogo è suddiviso in chunk di dimensioni fisse (fino a 5 turni per chunk).
   • Embedding e Proiezione: Un sentence transformer (BGE-large-en-v1.5) codifica i chunk. Questi embedding sono proiettati tramite un leggero MLP a 2 livelli (con LayerNorm e GELU) nella dimensione nascosta di un backbone LLM congelato (ad esempio, Qwen2.5-7B).
   • Contestualizzazione del Backbone: Gli embedding proiettati vengono immessi nel backbone LLM congelato tramite un'interfaccia di input continua (bypassando la tokenizzazione). Il backbone contestualizza la sequenza in un singolo passaggio in avanti senza generare testo.
   • Classificazione: Un leggero head predice l'operazione (ADD o NOOP) e, se ADD, il tipo di contenuto (ad esempio, fatti chiave, piani, emozioni).
   • Parametri: Solo il livello di proiezione e gli head di classificazione sono addestrabili (~12M parametri), rappresentando solo lo 0,17% del modello completo da 7B.

2. Memory Store:

   • Memorizza i turni ammessi come tuple contenenti timestamp, identità del parlante e testo verbatim.
   • Utilizza una strategia di recupero ibrido che combina la corrispondenza semantica densa (similarità del coseno) e la ricerca di parole chiave sparsa (BM25) per gestire sia query semantiche che corrispondenze esatte di entità/date.

3. Answer Agent (Percorso di Lettura):

   • Un LLM congelato (separato dal router) recupera i 60 ricordi più rilevanti e genera la risposta finale. Questo è l'unico componente che esegue la generazione di testo.

Strategia di Addestramento

• Apprendimento Supervisionato: Il router è addestrato utilizzando etichette a livello di turno generate da un modello "insegnante" (Qwen3.5-35B).
• Obiettivo: Cross-entropy pesata per l'head dell'operazione e cross-entropy standard per l'head del tipo di contenuto.
• Nessun Apprendimento per Rinforzo: A differenza di lavori precedenti che utilizzano PPO/GRPO, MemRouter si basa su un addestramento supervisionato stabile.

3. Contributi Chiave

1. Routing Basato su Embedding: Sostituisce la decodifica autoregressiva costosa per turno con un classificatore solo in avanti costruito su un backbone congelato, riducendo drasticamente la latenza.
2. Design Disaccoppiato: La politica di ammissione è addestrata indipendentemente dall'agent di risposta, consentendo di riutilizzare lo stesso router su diversi backend QA senza riaddestramento.
3. Pipeline di Addestramento Efficiente: Raggiunge alte prestazioni con soli ~12M parametri addestrabili, evitando la necessità di fine-tuning completo del modello o loop RL complessi.
4. Valutazione Controllata: Fornisce un confronto rigoroso "matched-harness" in cui il recupero, i prompt e il modello di risposta sono mantenuti costanti per isolare le prestazioni della politica di ammissione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark LoCoMo, confrontando MemRouter con baseline come Memory-R1, A-Mem e Mem0.

Metriche di Prestazione (Set di Test LoCoMo)

• Accuratezza: MemRouter (Qwen2.5-7B) ha raggiunto un F1 complessivo di 52,0, superando la baseline basata su LLM Memory-R1 (43,1) e altri metodi all'avanguardia.
  • Single-hop: 57,5 vs 33,6 (Memory-R1).
  • Multi-hop: 52,4 vs 23,6 (Memory-R1).
  • Significatività Statistica: Gli intervalli di confidenza al 95% per MemRouter (51–53) e il gestore LLM (42–49) non si sono sovrapposti, confermando un miglioramento affidabile.
• Trasferimento del Backbone: Quando l'agent di risposta è stato sostituito con un modello più grande Qwen3.5-35B senza riaddestrare il router, l'F1 complessivo è salito a 55,5, dimostrando la natura agnostica del router rispetto al backbone.
• Trasferimento LLaMA: Riaddestrando solo gli head del router su un backbone congelato LLaMA-3.1-8B si è ottenuto un F1 di 49,1, confermando la generalizzabilità tra famiglie di modelli.

Metriche di Efficienza

• Latenza: MemRouter ha ridotto la latenza p50 di gestione della memoria da 970 ms a 58 ms (un miglioramento di 16,7 volte).
• Throughput: Il throughput end-to-end è migliorato di 10,8 volte (2,58 QA/s vs 0,24 QA/s).
• Costo: Ha eliminato la necessità di ~1.200 chiamate di generazione per conversazione, riducendo significativamente il budget di servizio.

Studi di Ablazione

• Corrispondenza del Budget: Anche quando vincolato a memorizzare la stessa percentuale di turni (62%) delle baseline casuali o euristica, MemRouter le ha superate significativamente, dimostrando la qualità della sua logica di selezione.
• Analisi dei Fattori: L'ammissione appresa ha contribuito al guadagno maggiore (+10,3 F1 rispetto alla memorizzazione casuale), seguita dal prompting specifico per categoria (+5,2).

5. Significato

MemRouter dimostra che l'ammissione della memoria lato scrittura non richiede generazione autoregressiva. Trattando la gestione della memoria come un compito di classificazione nello spazio degli embedding, il paper stabilisce un nuovo paradigma per gli agenti conversazionali a lungo termine che è:

• Scalabile: In grado di gestire migliaia di turni senza una crescita lineare del costo di inferenza.
• Modulare: Consente aggiornamenti indipendenti del router di memoria e del modello di risposta.
• Efficiente: Rende la memoria a lungo orizzonte fattibile per applicazioni in tempo reale ad alto throughput, dove i gestori basati su LLM attuali sono troppo lenti e costosi.

Il codice è disponibile all'indirizzo https://github.com/SongW-SW/MemRouter.