Resumen Técnico: Memoria de Agentes: Caracterización e Implicaciones del Sistema de Cargas de Trabajo de Largo Horizonte con Estado

Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más para tareas de largo horizonte que requieren un razonamiento sostenido sobre historiales de interacción extendidos, como asistentes personales que rastrean preferencias a lo largo de semanas o agentes de código que mantienen el contexto de un proyecto a través de sesiones. Mientras que los primeros LLM dependían del conocimiento paramétrico y de la Generación Aumentada por Recuperación (RAG), que desacoplaba el conocimiento de los parámetros mediante corpora externos estáticos, los agentes con estado requieren un corpus de memoria mutable producido por el propio flujo de interacción del agente.

Depender únicamente de la ventana de contexto del modelo para la memoria enfrenta tres límites fundamentales:

1. Capacidad: Las interacciones continuas de múltiples sesiones exceden inevitablemente los presupuestos fijos de contexto.
2. Costo: Los costos de prellenado (prefill) escalan cuadráticamente con la longitud del historial, y la presión de memoria del KV-cache se vuelve inmanejable a través de las sesiones debido a la evacuación de caché.
3. Fidelidad: El razonamiento y la recuperación se degradan en secuencias largas, exhibiendo una curva de rendimiento en forma de "U" donde se pierden los hechos del contexto medio.

En consecuencia, los agentes requieren sistemas de memoria externa para persistir, recuperar selectivamente y actualizar el estado. Sin embargo, ha surgido un rico ecosoistema de sistemas de memoria de agentes con diseños diversos (recuperación plana, extracción mediada por LLM, estructuras basadas en grafos, flujos de control agénticos), pero su comportamiento a nivel de sistema permanece sin caracterizar. Los benchmarks existentes se centran puramente en la precisión downstream, ignorando la redistribución asimétrica de los costos computacionales (construcción vs. recuperación) que impacta críticamente el despliegue a escala.

Metodología

Los autores presentan la primera caracterización de sistemas de algoritmos de memoria de agentes, abarcando todo el espacio de diseño.

1. Taxonomía y Suite de Carga de Trabajo

El estudio introduce una taxonomía orientada al sistema que clasifica diez sistemas de memoria de agentes representativos a lo largo de cuatro ejes: construcción, almacenamiento, recuperación y mutabilidad. Estos sistemas se categorizan en cuatro paradigmas:

• Paradigma I: Memoria de contexto largo: Utiliza el propio contexto del modelo (p. ej., long_context).
• Paradigma II: Memoria RAG plana: Indexación determinista (léxica o vectorial) sin construcción por LLM (p. ej., BM25, EmbedRAG).
• Paradigma III: Memoria RAG aumentada por estructura: Utiliza un LLM como un extractor fijo para derivar hechos, resúmenes o grafos. Subdividido en solo-adición (p. ej., GraphRAG, HippoRAG v2) y consolidación (p. ej., Mem0, SimpleMem).
• Paradigma IV: Flujo de control agéntico: Expone las operaciones de memoria al LLM como parte del bucle de decisión (p. ej., A-Mem, Letta, MIRIX).

La evaluación utiliza dos suites de benchmarks:

• MemoryAgentBench (MAB): Evalúa la recuperación, el aprendizaje en tiempo de prueba, la comprensión de largo alcance y el olvido selectivo. El estudio se centra en LongMemEval_S_* (aprox. 360K tokens de historial, 60 consultas por muestra) para separar los costos de construcción de los de recuperación.
• MemoryArena: Contiene tareas de múltiples sesiones para exponer los compromisos entre frescura y latencia en escenarios de ingestión continua.

2. Harness de Perfilado

Los autores construyeron un harness de perfilado consciente de las fases (que será de código abierto) que atribuye los costos a tres fases lógicas: construcción, recuperación y generación.

• Telemetría de API: Instrumenta las solicitudes de chat-completion y embeddings para rastrear el volumen de tokens, la estructura de llamadas y la latencia.
• Telemetría de Hardware: Muestrea contadores de GPU (NVML/DCGM) para medir potencia, utilización, huella de VRAM y energía.
• Configuración Experimental: Los experimentos se ejecutaron en dos regímenes: construcción remota (API de OpenAI) y construcción local (NVIDIA H100 con servicio vLLM de modelos Qwen3).

Principales Contribuciones

1. Taxonomía Orientada al Sistema: Una clasificación de sistemas de memoria de agentes a lo largo de cuatro ejes con firmas de costo predichas por paradigma.
2. Perfilado Consciente de Fases: Un harness que rastrea tokens, llamadas al modelo, utilización de GPU y latencia a través de la construcción, recuperación y generación.
3. Caracterización Exhaustiva: Análisis de las formas de costo de construcción, umbrales de capacidad, estructuras de amortización, programación de frescura, crecimiento de la huella y comportamiento de la cola de recuperación.
4. Diez Recomendaciones de Sistemas: Guías accionables para infraestructura, programación y selección de sistemas.

Resultados Clave e Insights

1. La Construcción Domina el Ciclo de Vida

Contrario a la suposición de que el servicio en tiempo de consulta es el costo principal, la energía de construcción domina el ciclo de vida del agente para los sistemas mediados por LLM.

• Distribución de Energía: La energía total por respuesta correcta varía en más de 47× a través de la suite (desde ~4.1 kJ para BM25 hasta ~185.9 kJ para Letta).
• Desplazamiento de Costo: Los paradigmas III y IV desplazan la mayor parte de la energía de extremo a extremo hacia la fase de construcción, la cual es invisible para el usuario en el momento de la consulta.
• Implicación: Las métricas de precisión por sí solas son insuficientes; los operadores deben contabilizar la energía del ciclo de vida, que varía en un orden de magnitud incluso para sistemas con precisión similar.

2. La Construcción está Dominada por el Prellenado y el Embedding

La construcción es estructuralmente una carga de trabajo de "lectura larga, escritura corta" dominada por el embedding y el prellenado del LLM, con un tiempo de decodificación mínimo (la participación media de decodificación es del 4.6%).

• Patrones de Tráfico: Los sistemas del Paradigma III.a generan tráfico de indexación offline en lotes grandes, mientras que los Paradigmas III.b y IV generan tráfico secuencial por evento.
• Conflicto: Dirigir tanto la construcción (orientada al throughput) como el QA (sensible a la latencia) a través del mismo endpoint causa bloqueo de cabeza de línea (head-of-line blocking). Los trabajos de construcción ocupan el espacio libre del KV-cache, estancando las consultas sensibles a la latencia.

3. La Elección del LLM de Construcción está Limitada por el Algoritmo

Los operadores pueden reducir la escala del LLM utilizado para la construcción para reducir costos, pero el rango seguro depende del algoritmo.

• Degradación Grácil: Los sistemas sin contratos de salida estrictos (p. ej., Mem0, SimpleMem) toleran LLMs de construcción más pequeños con una degradación de precisión suave.
• Pisos de Capacidad: Los sistemas con contratos de salida estrictos (p. ej., MIRIX que requiere esquemas JSON específicos) exhiben un piso duro; caer por debajo de cierta capacidad de modelo (p. ej., Qwen3-1.7B) corrompe el almacén de memoria por completo, dejándolo inutilizable.

4. La Frontera Construcción–Servicio–Precisión

Ningún sistema es óptimo en todos los aspectos de costo de construcción, latencia por consulta y precisión.

• Compromisos: BM25 ofrece una construcción rápida y alta precisión agregada pero tiempos de consulta más lentos. Mem0 ofrece la latencia de consulta más rápida pero incurre en costos de construcción masivos y menor precisión.
• Selección: Las cargas de trabajo de alto volumen de consultas favorecen sistemas que mueven el trabajo hacia la construcción; las cargas de trabajo de ingestión continua favorecen sistemas de bajo costo de construcción.

5. Compromiso entre Frescura y Latencia en Sesiones Continuas

En cargas de trabajo de múltiples sesiones, el tiempo de construcción por sesión abarca cinco órdenes de magnitud (desde sub-milisegundos para BM25 hasta decenas de segundos para Letta).

• Dilema de Programación: Si el tiempo de construcción excede el intervalo de llegada entre sesiones, los operadores enfrentan una elección: programación síncrona (exponiendo alta latencia al usuario) o programación asíncrona (sirviendo memoria obsoleta).
• Implicación: Para dependencias estrictas entre sesiones, el tiempo acumulado de construcción y recuperación debe tratarse como una restricción de factibilidad dura.

6. Divergencia de Huella y Costo de Tokens

• Almacenamiento: Las huellas de memoria por usuario varían aproximadamente por ~9× a 1M de tokens. Los diseños de múltiples vistas inflan el almacenamiento; los sistemas de consolidación pueden comprimirlo.
• Costo de Tokens: Los sistemas agénticos del Paradigma IV escalan superlinealmente en costo de tokens a medida que los almacenes de memoria crecen, porque cada nueva ingestión consulta el almacén en expansión. Esto hace que los costos a largo plazo para los sistemas agénticos sean desproporcionadamente caros en comparación con su huella inicial.

7. Estructura de Latencia y Comportamiento de Cola

• Determinista vs. Limitado por LLM: Los sistemas deterministas (Paradigma II) tienen colas de latencia estrechas (p95/p50 ~1.3×). Los sistemas limitados por LLM (Paradigmas III/IV) exhiben colas anchas (hasta 5.9×) porque las decisiones de tiempo de ejecución del LLM pueden introducir un número variable de pasos de razonamiento o uso de herramientas.
• Recomendación: Los sistemas limitados por LLM requieren topes de iteración externos y tiempos de espera (timeouts) para acotar los costos del peor de los casos.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera caracterización de sistemas de cargas de trabajo de memoria de agentes, revelando que las elecciones de diseño redistribuyen los costos de manera drástica y asimétrica de formas invisibles para las métricas de precisión.

• Decisión a Nivel de Sistema: Los autores argumentan que la selección del sistema de memoria de agentes debe tratarse como una decisión a nivel de sistema, no solo como una optimización de precisión.
• Implicaciones de Infraestructura: El trabajo destaca que la memoria de agentes impone necesidades de sistema más allá del servicio tradicional de LLM, específicamente requiriendo un manejo distinto para la construcción (throughput de fondo) frente a la recuperación (sensible a la latencia) y una gestión cuidadosa de los compromisos entre frescura y latencia.
• Alcance Modesto: Los autores reconocen que su caracterización se basa en escenarios de un solo nodo y un solo agente. Señalan que la consistencia multi-nodo/multi-agente y la memoria multimodal son fronteras emergentes no capturadas en este estudio, pero la taxonomía y metodología propuestas proporcionan una base para la futura caracterización.

El artículo concluye con 10 recomendaciones específicas para operadores, cubriendo la programación de construcción, pisos de capacidad, amortización mediante volumen de consultas, compromisos entre frescura y latencia, y gestión de flotas a escala, con el fin de guiar el despliegue de agentes con estado a escala.