Resumen Técnico: Eywa – Memoria de Largo Plazo Basada en la Proveniencia para Agentes de IA

1. Definición del Problema

Los agentes de IA que operan a través de múltiples sesiones requieren sistemas de memoria que puedan recuperar, auditar, actualizar y borrar información. Las arquitecturas de memoria actuales suelen colapsar la evidencia de la fuente, los hechos extraídos, el contexto recuperado y las políticas de respuesta en una única ruta de prompt opaca. Este enfoque de "caja negra" dificulta el diagnóstico de fallos: una respuesta incorrecta podría derivarse de la falta de evidencia, de una extracción no sustentada, de un estado desactualizado, de una pérdida de recuperación o del comportamiento del modelo de respuesta, pero los benchmarks de extremo a extremo suelen reportar únicamente una puntuación agregada única.

Además, simplemente extender la ventana de contexto de los Modelos de Lenguaje Extensos (LLMs) es insuficiente. Los modelos de contexto largo sufren altos costes computacionales a escala y a menudo fallan al recuperar de forma fiable la evidencia ubicada en la parte media de los prompts o cuando las tareas exceden los tamaños de contexto efectivos. Los sistemas existentes también tienen dificultades para distinguir entre datos de origen inmutables y creencias derivadas, lo que dificulta la verificación de afirmaciones, la realización de la eliminación por parte del usuario o la reparación de errores de memoria específicos sin tener que reprocesar todo el historial.

2. Metodología: La Arquitectura Eywa

Eywa introduce una arquitectura de memoria basada en la proveniencia construida sobre el principio de "evidencia antes que creencia". Separa el ciclo de vida de la memoria en etapas distintas y auditables: captura de evidencia inmutable, extracción de creencias validadas, recuperación determinista y síntesis de respuestas con políticas separadas.

2.1. Objetos Centrales e Invariantes

Eywa define tres objetos de memoria distintos, manteniendo la invariante de que la evidencia precede a la creencia:

1. Evidencia: Material de origen inmutable (turnos de usuario brutos, marcas de tiempo, roles, metadatos). Esta es la sustancia autoritativa.
2. Señales: Detecciones tipadas sobre la evidencia (fechas, entidades, decisiones, correcciones) extraídas mediante detectores deterministas sin llamadas a LLMs.
3. Creencias: Hechos canónicos derivados de LLM. Estas son válidas solo en la medida en que están sustentadas por la evidencia de origen y permanecen vinculadas a ella mediante metadatos de proveniencia.

2.2. La Ruta de Escritura: Evidencia Antes que Creencia

El proceso de escritura opera en dos niveles para asegurar una extracción fundamentada:

• Nivel 0 (Captura Inmutable): Cada turno de usuario se almacena como una fila de evidencia inmutable. Un detector de señales determinista extrae anclajes tipados (p. ej., fechas, URLs, valores monetarios) para servir como sustrato de validación.
• Nivel 1 (Extracción Validada): Un LLM propone candidatos a hechos. Una función de validación comprueba estos candidatos contra la evidencia y las señales del Nivel 0. Verifica:
  • Sustento: Solapamiento léxico y difuso con el texto de origen.
  • Anclajes Fuertes: Coincidencia exacta de valores determinísticos (fechas, IDs, montos).
  • Sujeto y Acción: Verificación de que el sujeto reclamado existe y que se preserva la negación o la incertidumbre.
  • Resultado: Solo los hechos validados se escriben como creencias canónicas, manteniendo un vínculo con su evidencia de origen. Los candidatos fallidos son rechazados o marcados para reparación.

2.3. La Ruta de Lectura: Recuperación Multiruta Determinista

La ruta de lectura de Eywa está libre de LLM (no ocurren llamadas a LLM entre la recepción de la consulta y el retorno del contexto). Utiliza un planificador de consultas determinista para analizar la forma de la pregunta (p. ej., inferencia, lista, temporal) y asigna pesos a múltiples rutas de recuperación:

• Búsqueda Vectorial: Similitud de coseno de embeddings.
• Búsqueda por Palabras Clave: Coincidencia BM25 de SQLite FTS5.
• Búsqueda Temporal: Filtrado por ventanas de validez de los hechos.
• Búsqueda de Entidades/Grafo: Recorrido de grafos de conocimiento basados en entidades extraídas.
• Canales de Soporte: Rescate de episodios brutos para preguntas exactas y soporte de inferencia para tareas de razonamiento.

Los candidatos de estas rutas se fusionan utilizando la Fusión de Clasificación Recíproca Ponderada (RRF). Los filtros post-fusión aplican la democión de persona (penalizando hechos sobre la entidad incorrecta) y un suelo de preservación (protegiendo a los candidatos de alto rango de ser enterrados por el ruido). La lista final clasificada se empaqueta en una cadena de contexto acotada bajo un presupuesto de tokens.

2.4. Separación de la Política de Respuesta

El sistema devuelve dos campos distintos al modelo de respuesta:

1. Contexto: La evidencia de memoria recuperada.
2. Instrucciones de Respuesta: Texto de política explícito (p. ej., estricto, equilibrado, avanzado) que dicta cómo debe utilizar el modelo la evidencia.
   Esta separación permite que el mismo sustrato de memoria sea evaluado a través de diferentes regímenes de modelos (frontera, presupuesto, local) y políticas sin alterar la arquitectura de recuperación.

3. Contribuciones Clave

1. Modelo Basado en la Proveniencia: Una arquitectura de memoria que separa estrictamente la evidencia de origen inmutable de las creencias canónicas derivadas de LLM, permitiendo la auditabilidad y la reparación.
2. Ruta de Escritura de Dos Niveles: Un mecanismo que combina la detección de señales tipadas y la validación de anclajes fuertes para reducir las memorias extraídas no sustentadas.
3. Ruta de Lectura Multiruta Determinista: Un sistema de recuperación que opera sin llamadas a LLM, utilizando múltiples rutas (vectorial, palabras clave, temporal, grafo) mientras preserva la trazabilidad hacia la evidencia de origen.
4. Interfaz Separable del Modelo: Una arquitectura donde la entrega de la memoria está desacoplada de la síntesis de la respuesta, permitiendo que la misma evidencia recuperada sirva a diversos modelos de respuesta y políticas.
5. Protocolo de Evaluación a Nivel de Traza: Un enfoque de benchmarking que reporta por separado las rutas de escritura, QA y los roles de juez, preservando los artefactos por pregunta (preguntas, respuestas de oro, contexto recuperado, etiquetas) para una inspección independiente.

4. Resultados Experimentales

Eywa fue evaluado en tres benchmarks: LoCoMo (memoria conversacional a largo plazo), LongMemEval-S (suficiencia de recuperación) y BEAM (estrés de memoria técnica).

• LoCoMo (División C1–C4): Utilizando Claude Sonnet la versión 4.6 tanto para el rol de escritura como para el de QA, con GPT-4o como juez, Eywa alcanzó un 90.19% de precisión del juez.
  • Las ejecuciones de diagnóstico mostraron que una ruta de escritura más fuerte (Sonnet 4.6) mejoró significamente el rendimiento de un modelo de respuesta más pequeño (Qwen3 32B), elevando su precisión del 69.09% al 79.68%.
  • El sistema demostró robustez a través de diferentes familias de modelos, aunque el razonamiento de dominio abierto (C3) siguió siendo la categoría más sensible al modelo.
• LongMemEval-S: Eywa alcanzó un 88.2% de precisión de suficiencia de recuperación a través de 500 preguntas. El análisis de fallos indicó que los errores restantes se debían principalmente a brechas de cobertura de recuperación y pérdidas de selección de contexto, más que a simples fallos de extracción.
• BEAM: En un test de estrés de memoria técnica de 700 preguntas, Eywa alcanzó una puntuación media de nugget de 81.45% y un pass@score≥0.5 de 85.29%. El rendimiento fue más fuerte en resolución de contradicciones, abstención y razonamiento temporal, mientras que la sumarización y las actualizaciones de conocimiento presentaron los mayores desafíos.

Métricas Operativas: La ruta de lectura libre de LLM demostró una baja latencia, devolviendo el contexto ensamblado en aproximadamente 150–200 ms en un almacén de estrés que contenía miles de hechos y enlaces.

5. Significado y Reivindicaciones

El artículo posiciona a Eywa no como un reemplazo para los modelos de contexto largo, sino como una capa de infraestructura de memoria que hace que el comportamiento del agente sea inspeccionable y controlable.

• Auditabilidad: Al separar la evidencia de la creencia, Eywa permite a los usuarios y desarrolladores rastrear cualquier afirmación hasta su turno de origen, facilitando la depuración, la reparación y la eliminación solicitada por el usuario.
• Claridad Diagnóstica: El protocolo de evaluación a nivel de traza transforma los fallos de los benchmarks de puntuaciones opacas en diagnósticos de ingeniería específicos (p. ej., distinguir entre una brecha de recuperación y una brecha de síntesis).
• Flexibilidad de Coste y Privacidad: La arquitectura soporta el despliegue "local-first" y la separación de modelos, permitiendo a los operadores elegir entre privacidad local, modelos de bajo coste o capacidades de razonamiento de frontera sin reconstruir el sustrato de memoria.
• Evaluación Consciente de la Negativa (Refusal-Aware): El artículo destaca que las métricas estándar pueden verse infladas por las negativas de los modelos ante preguntas que sí son contestables. El marco de evaluación de Eywa rastrea explícitamente las tasas de negativa para proporcionar una imagen más clara de la capacidad del sistema.

Los autores concluyen que Eywa demuestra que la separación de la captura de evidencia, la entrega de memoria y la política de respuesta crea un sistema que es tanto preciso como auditable, moviendo el campo hacia sistemas de memoria que son prácticos por defecto para los agentes de IA, en lugar de meras decoraciones de prompts opacas. Todos los artefactos y benchmarks por pregunta se publican para inspección independiente.