MemRouter: Memory-as-Embedding Routing for Long-Term Conversational Agents

1. Declaración del Problema

Los agentes conversacionales a largo plazo requieren memoria externa para retener hechos personales, preferencias y planes a través de interacciones de múltiples sesiones. Sin embargo, los sistemas actuales de última generación enfrentan dos limitaciones críticas:

• Costo Autoregresivo por Turno: Los enfoques existentes (por ejemplo, Memory-R1, AgeMem) utilizan el Modelo de Lenguaje Grande (LLM) en sí mismo para decidir si almacenar un turno de conversación. Esto requiere una generación autoregresiva completa para cada turno, lo que genera una sobrecarga computacional masiva (por ejemplo, ~1.200 llamadas de generación para una conversación de 600 turnos) y una alta latencia.
• Acoplamiento del Esqueleto (Backbone): Las políticas de gestión de memoria a menudo se entrenan conjuntamente o dependen del modelo de respuesta específico aguas abajo. Esto crea un acoplamiento estrecho, lo que significa que actualizar el modelo de respuesta (por ejemplo, a un LLM más grande o nuevo) requiere reentrenar la política de gestión de memoria.

La pregunta central abordada es: ¿Puede tomarse la decisión de almacenar un turno de manera eficiente a nivel de incrustación sin invocar generación autoregresiva, y puede esta decisión desacoplarse del esqueleto de generación de respuestas?

2. Metodología: MemRouter

MemRouter introduce un enrutador de memoria del lado de escritura que opera completamente en el espacio de incrustaciones, desacoplando la admisión de memoria del proceso de generación de respuestas.

Arquitectura

El sistema consta de tres componentes principales:

1. Enrutador de Memoria (Ruta de Escritura):

   • Entrada: Procesa el turno actual ($x_t$) y el historial reciente ($H_t$).
   • Fragmentación Contextual: El diálogo se divide en fragmentos de tamaño fijo (hasta 5 turnos por fragmento).
   • Incrustación y Proyección: Un transformador de oraciones (BGE-large-en-v1.5) codifica los fragmentos. Estas incrustaciones se proyectan mediante una MLP ligera de 2 capas (con LayerNorm y GELU) en la dimensión oculta de un esqueleto LLM congelado (por ejemplo, Qwen2.5-7B).
   • Contextualización del Esqueleto: Las incrustaciones proyectadas se alimentan al esqueleto LLM congelado a través de una interfaz de entrada continua (eludiendo la tokenización). El esqueleto contextualiza la secuencia en una sola pasada hacia adelante sin generar texto.
   • Clasificación: Una cabeza ligera predice la operación (ADD o NOOP) y, si es ADD, el tipo de contenido (por ejemplo, hechos clave, planes, emociones).
   • Parámetros: Solo la capa de proyección y las cabezas de clasificación son entrenables (~12M de parámetros), lo que representa solo el 0,17% del modelo completo de 7B.

2. Almacén de Memoria:

   • Almacena los turnos admitidos como tuplas que contienen la marca de tiempo, la identidad del hablante y el texto literal.
   • Utiliza una estrategia de recuperación híbrida que combina la coincidencia semántica densa (similitud coseno) y la búsqueda de palabras clave dispersa (BM25) para manejar tanto consultas semánticas como coincidencias exactas de entidades/fechas.

3. Agente de Respuesta (Ruta de Lectura):

   • Un LLM congelado (separado del enrutador) recupera las 60 memorias más relevantes y genera la respuesta final. Este es el único componente que realiza la generación de texto.

Estrategia de Entrenamiento

• Aprendizaje Supervisado: El enrutador se entrena utilizando etiquetas a nivel de turno generadas por un modelo "maestro" (Qwen3.5-35B).
• Objetivo: Entropía cruzada ponderada para la cabeza de operación y entropía cruzada estándar para la cabeza de tipo de contenido.
• Sin Aprendizaje por Refuerzo: A diferencia de trabajos anteriores que utilizan PPO/GRPO, MemRouter se basa en un entrenamiento supervisado estable.

3. Contribuciones Clave

1. Enrutamiento Basado en Incrustaciones: Reemplaza la decodificación autoregresiva costosa por turno con un clasificador solo hacia adelante construido sobre un esqueleto congelado, reduciendo drásticamente la latencia.
2. Diseño Desacoplado: La política de admisión se entrena independientemente del agente de respuesta, permitiendo reutilizar el mismo enrutador en diferentes backends de preguntas y respuestas sin reentrenamiento.
3. Pipeline de Entrenamiento Eficiente: Logra un alto rendimiento con solo ~12M de parámetros entrenables, evitando la necesidad de ajuste fino de modelos completos o bucles complejos de RL.
4. Evaluación Controlada: Proporciona una comparación rigurosa de "arnés emparejado" donde la recuperación, los prompts y el modelo de respuesta se mantienen constantes para aislar el rendimiento de la política de admisión.

4. Resultados Experimentales

Los experimentos se realizaron en la prueba LoCoMo, comparando MemRouter contra líneas base como Memory-R1, A-Mem y Mem0.

Métricas de Rendimiento (Conjunto de Pruebas LoCoMo)

• Precisión: MemRouter (Qwen2.5-7B) logró un F1 general de 52,0, superando la línea base Memory-R1 basada en LLM (43,1) y otros métodos de última generación.
  • Salto único: 57,5 vs. 33,6 (Memory-R1).
  • Múltiples saltos: 52,4 vs. 23,6 (Memory-R1).
  • Significancia Estadística: Los intervalos de confianza del 95% para MemRouter (51–53) y el gestor LLM (42–49) no se superpusieron, confirmando una mejora fiable.
• Transferencia de Esqueleto: Cuando el agente de respuesta se cambió a un modelo Qwen3.5-35B más grande sin reentrenar el enrutador, el F1 general subió a 55,5, demostrando la naturaleza agnóstica del esqueleto del enrutador.
• Transferencia LLaMA: Reentrenar solo las cabezas del enrutador en un esqueleto congelado LLaMA-3.1-8B produjo un F1 de 49,1, confirmando la generalización entre familias de modelos.

Métricas de Eficiencia

• Latencia: MemRouter redujo la latencia p50 de gestión de memoria de 970 ms a 58 ms (una mejora de 16,7 veces).
• Rendimiento: El rendimiento de extremo a extremo mejoró en 10,8 veces (2,58 QA/s vs. 0,24 QA/s).
• Costo: Eliminó la necesidad de ~1.200 llamadas de generación por conversación, reduciendo significativamente el presupuesto de servicio.

Estudios de Ablación

• Emparejamiento de Presupuesto: Incluso cuando se restringió para almacenar el mismo porcentaje de turnos (62%) que las líneas base aleatorias o heurísticas, MemRouter las superó significativamente, demostrando la calidad de su lógica de selección.
• Análisis de Factores: La admisión aprendida contribuyó a la mayor ganancia (+10,3 F1 sobre el almacenamiento aleatorio), seguida por el prompting específico de categoría (+5,2).

5. Significado

MemRouter demuestra que la admisión de memoria del lado de escritura no requiere generación autoregresiva. Al tratar la gestión de memoria como una tarea de clasificación en el espacio de incrustaciones, el artículo establece un nuevo paradigma para agentes conversacionales a largo plazo que es:

• Escalable: Capaz de manejar miles de turnos sin un crecimiento lineal en el costo de inferencia.
• Modular: Permite actualizaciones independientes del enrutador de memoria y del modelo de respuesta.
• Eficiente: Hace viable la memoria de horizonte largo para aplicaciones en tiempo real y de alto rendimiento donde los gestores basados en LLM actuales son demasiado lentos y costosos.

El código está disponible en https://github.com/SongW-SW/MemRouter.