MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

Resumen Técnico de MEMAUDIT

Enunciado del Problema
Los agentes LLM a largo plazo enfrentan el desafío de comprimir flujos de interacciones pasadas en memoria persistente antes de que se conozcan las consultas futuras. Los protocolos de evaluación existentes miden típicamente la precisión final en preguntas y respuestas (QA). Los autores argumentan que este enfoque es defectuoso porque entrelaza tres modos de fallo distintos: escritura de memoria (selección y representación), recuperación y razonamiento del lector. Un sistema puede fallar porque almacenó la memoria incorrecta, porque el recuperador omitió una buena memoria, o porque el lector ignoró la evidencia; la precisión final de QA por sí sola no puede aislar qué capa falló. Además, los sistemas desplegados a menudo almacenan elementos en formas demasiado costosas para el presupuesto objetivo o fallan al seleccionar la representación óptima (por ejemplo, fragmento crudo vs. hecho extraído vs. tumba) de un conjunto de candidatos.

Metodología: El Protocolo MEMAUDIT
El artículo introduce MEMAUDIT, un protocolo de evaluación exacto tipo oráculo de paquetes diseñado para evaluar la capa de escritura de memoria de forma aislada. La unidad central de evaluación es el paquete MEMAUDIT, que transforma el problema de selección de memoria en un problema de optimización finito y auditable con un denominador certificado.

• Definición de Paquete: Un paquete $P$ se define por un flujo de experiencia fijo, un conjunto de representaciones de memoria candidatas (por ejemplo, texto crudo, hechos, resúmenes, tumbas), costos de almacenamiento, unidades de evidencia semántica, requisitos de consultas futuras y un presupuesto de almacenamiento $B$.
• Restricciones de Factibilidad: El almacén de memoria factible $X$ debe satisfacer dos restricciones:
  1. Restricción de la Mochila: El costo total $\sum c_u \le B$.
  2. Restricción de Matroide de Partición: Se elige como máximo una representación por experiencia ($|X \cap G_i| \le 1$), forzando una elección de representación en lugar de mantener todas las variantes.
• Función Objetivo: La utilidad de un almacén se define mediante un objetivo de cobertura semántica cóncavo-sobre-modular:
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  Donde $R$ son unidades de evidencia, $w_r$ son pesos de importancia, $a_{ur}$ es la cobertura de la unidad $r$ por la memoria $u$, y $h_r$ es una función cóncava y no decreciente (por defecto $\min(1, z)$). Esta estructura asegura rendimientos decrecientes para la cobertura duplicada de la misma unidad de evidencia.
• Optimización Exacta: El protocolo calcula el óptimo exacto del paquete ($OPT_P(B)$) utilizando solucionadores de ramificación y acotación, y certifica los resultados con Programación Lineal Entera Mixta (MILP). Esto proporciona un denominador de verdad fundamental contra el cual se puede puntuar a cualquier escritor.
• Denominador de Unión para Sistemas Externos: Para evaluar sistemas del mundo real (como Mem0, Letta, A-Mem) que pueden generar memorias fuera del conjunto de candidatos predefinido, el protocolo utiliza un paquete de unión. Las memorias exportadas se añaden como candidatos de primera clase con filas de cobertura adjudicadas. La puntuación es la relación entre la utilidad lograda por el sistema y la utilidad óptima alcanzable por cualquier subconjunto de la unión (candidatos originales + exportaciones del sistema). Esto distingue entre calidad de extracción (cuánto contenido útil se encontró) y calidad de selección (qué tan bien se eligió bajo presupuesto).

Contribuciones Clave

1. Definición de un Oráculo de Paquete Finito: El artículo define un marco riguroso para la escritura de memoria presupuestada con un denominador reproducible y certificado, separando la calidad en el momento de la escritura de la recuperación y el razonamiento aguas abajo.
2. Estructura de Cobertura Semántica: Instancia una estructura de cobertura submodular conocida como cóncava-sobre-modular para modelar la preservación de memoria semántica, manejando explícitamente estados de validez (por ejemplo, tumbas para invalidar hechos antiguos) como unidades de evidencia positivas en lugar de penalizaciones negativas.
3. Solucionadores Exactos y Líneas Base: Los autores proporcionan óptimos exactos de paquetes mediante ramificación y acotación y certificación MILP. Introducen una línea base de referencia Umbral de Valor por Grupo (GVT) que utiliza márgenes exactos para calibrar el sistema, y demuestran que las heurísticas basadas solo en densidad pueden ser arbitrariamente malas.
4. La Suite MEMAUDIT: Una liberación de conjuntos de datos y herramientas que incluye:
   • Paquetes Exactos Controlados: Entornos sintéticos (MEMAUDIT-Pequeño) con grafos de eventos ocultos para probar elecciones de representación.
   • Pruebas de Estrés de Validez Pesada: Escenarios diseñados específicamente para probar la preservación de la verdad actual frente a hechos obsoletos (por ejemplo, cadenas de actualización, intervalos temporales).
   • Paquetes Naturales y Exportados: Un subconjunto "Natural-87" auditado por humanos derivado de fragmentos de conversación realistas, y almacenes de memoria exportados de Mem0, A-Mem y Letta evaluados bajo el mismo protocolo.

Resultados

• Separación de Capas: En experimentos controlados, MEMAUDIT aísla con éxito la calidad de la representación. Por ejemplo, una heurística "solo densidad" (elegir el elemento con mayor valor por costo) falla sistemáticamente en preservar unidades de estado de validez (tumbas), logrando solo el 26–36% del OPT exacto en presupuestos ajustados, mientras que la línea base GVT permanece cerca del óptimo.
• Importancia de los Candidatos de Validez: Eliminar candidatos de tumba/actualización compuesta del conjunto de candidatos reduce la utilidad máxima alcanzable (OPT) en márgenes significativos (por ejemplo, bajando a ~52–81% del OPT completo dependiendo del presupuesto), demostrando que los cuellos de botella en la generación de candidatos son distintos de los cuellos de botella en la selección.
• Diagnósticos de Sistemas Externos: Al aplicarse a almacenes exportados:
  • Mem0: Muestra un límite superior "podado" alto (indicando una buena extracción de evidencia útil) pero una relación de almacén seleccionado más baja, identificando la selección consciente del presupuesto como el cuello de botella principal.
  • Letta: Logra fuertes relaciones de unión podadas por saliencia, indicando una selección efectiva de contenido relevante.
  • A-Mem: Preserva evidencia en notas ricas, pero el tamaño serializado a menudo excede los presupuestos estrictos, resultando en una puntuación cero para vistas de almacén completo a menos que se compacte.
• Estabilidad: El protocolo es robusto a variaciones en el modelo de costos (por ejemplo, recuento de palabras vs. sobrecarga de bytes) y ruido de anotación, con etiquetas validadas por humanos que preservan las clasificaciones en comparación con las etiquetas adjudicadas por modelos.

Significado y Afirmaciones
El artículo afirma que MEMAUDIT proporciona una herramienta de diagnóstico necesaria para la capa de escritura de memoria que el QA de extremo a extremo no puede ofrecer. Al congelar el conjunto de candidatos, los costos y las unidades de evidencia, responde a la pregunta específica: "Dado este paquete, cuánto del valor semántico factible del paquete preservó el escritor?"

Los autores enfatizan que esto es un diagnóstico en el momento de la escritura, no un reemplazo para la evaluación de asistentes de extremo a extremo. Su significado radica en:

1. Localización: Identifica si los fallos provienen de la generación de candidatos, la elección de representación o la selección consciente del presupuesto, en lugar de confundirlos con errores de recuperación o del lector.
2. Reproducibilidad: Ofrece un denominador determinista y auditable (el OPT exacto) en lugar de depender de un QA aguas abajo estocástico.
3. Comparabilidad: Permite que sistemas heterogéneos (con representaciones internas diferentes) sean puntuados sobre una verdad fundamental semántica compartida a través del denominador de unión.

El artículo se mantiene modesto, señalando que Natural-87 es un "primer paquete natural auditado" y recortado de soporte, destinado a diagnósticos en lugar de ser un punto de referencia final de pila completa. No afirma resolver todo el problema de la memoria a largo plazo, sino que proporciona el "oráculo de paquete exacto" necesario para evaluar rigurosamente los componentes de compresión y selección.