To Know is to Construct: Schema-Constrained Generation for Agent Memory

Resumen Técnico: SCG-MEM

1. Planteamiento del Problema

El trabajo identifica limitaciones fundamentales en los sistemas actuales de memoria para agentes autónomos, los cuales se basan predominantemente en la recuperación densa (dense retrieval) o en la generación abierta sin restricciones.

• Limitaciones de la Recuperación Densa: Los sistemas basados en RAG (Retrieval-Augmented Generation) y vectores dependen de la superposición semántica. Esto genera ruido al recuperar entradas que son semánticamente similares pero contextualmente distintas (falta de relevancia contextual). Además, las estructuras de recuperación suelen ser planas, dificultando el razonamiento multi-hop asociativo.
• El Problema de la "Alucinación Estructural": Si se intenta reemplazar la recuperación por una generación directa de claves de memoria por parte del LLM, surge el riesgo de que el modelo genere claves que no existen en la memoria real. El artículo define esto como Alucinación Estructural (Structural Hallucination). A diferencia del ruido en la recuperación (que devuelve claves válidas pero irrelevantes), la alucinación estructural devuelve claves inválidas, provocando fallos catastróficos en la búsqueda (lookup failures).

El artículo propone un cambio de paradigma basado en la epistemología constructivista (Piaget), donde el conocimiento no se copia pasivamente, sino que se construye activamente dentro de estructuras cognitivas preexistentes.

2. Metodología: SCG-MEM

Los autores proponen SCG-MEM (Schema-Constrained Generative Memory), una arquitectura que reformula el acceso a la memoria como un proceso de Generación Constrained por Esquema. El sistema se compone de tres componentes sinérgicos:

A. Esquema Cognitivo (Cognitive Schema) - Decodificación Restringida

• Estructura: Se implementa como un Trie de Prefijos dinámico que contiene todas las "llaves" o conceptos válidos de la memoria del agente.
• Mecanismo: Durante la generación, el Trie actúa como una restricción dura (hard constraint) sobre el proceso de decodificación del LLM. Se utiliza un indicador de validez binaria para eliminar cualquier token que no conduzca a una ruta válida dentro del Trie.
• Garantía: Esto asegura matemáticamente que el agente solo pueda generar claves de memoria que existan en el sistema ($\hat{k} \in S$), eliminando por construcción las alucinaciones estructurales.

B. Construcción Evolutiva del Esquema (Evolutionary Schema Construction)
Para permitir la adaptación a largo plazo, el esquema no es estático. Se actualiza mediante dos procesos inspirados en Piaget:

• Asimilación: Cuando llega una nueva entrada, el sistema intenta mapearla a los conceptos existentes en el Trie mediante decodificación restringida. Esto refuerza las conexiones sin cambiar la frontera epistémica.
• Acomodación: Si la entrada no puede ser representada por los conceptos actuales (detectado por alta perplejidad o tokens de "desconocido"), el sistema relaja temporalmente la restricción para generar nuevos conceptos. Estos nuevos conceptos se validan y se insertan en el Trie, expandiendo la memoria del agente.

C. Razonamiento Asociativo (Associative Graph)

• Estructura: Sobre el Trie (que define la existencia), se superpone un Grafo Asociativo ponderado.
• Funcionamiento: Los nodos del grafo son los conceptos válidos del esquema. Las aristas se ponderan basándose en la fuerza del acoplamiento semántico (producto acumulado de IDF) a lo largo de la historia de interacciones.
• Propagación de Activación: Al recibir una consulta, el sistema primero activa conceptos "semilla" mediante decodificación restringida. Luego, propaga la activación a través del grafo (muestreo ponderado) para recuperar conceptos vecinos relevantes que no fueron mencionados explícitamente en la consulta, permitiendo el razonamiento multi-hop.

3. Contribuciones Clave

1. Paradigma de Generación Restringida: Propone SCG-MEM, que transforma el acceso a la memoria de un problema de recuperación discriminativa a uno de generación constructiva restringida, eliminando formalmente las alucinaciones estructurales.
2. Arquitectura Híbrida (Trie + Grafo): Introduce un esquema basado en un Trie de Prefijos para garantizar la validez de las claves, combinado con un Grafo Asociativo para el razonamiento y la recuperación de contexto implícito.
3. Mecanismo de Evolución Dinámica: Diseña un sistema de actualización de memoria que equilibra la estabilidad (asimilación) con la adaptabilidad (acomodación), permitiendo un crecimiento de memoria a largo plazo sin perder consistencia estructural.

4. Resultados Experimentales

El sistema se evaluó en el benchmark LoCoMo, diseñado para probar la memoria a largo plazo y multi-sesión de agentes.

• Rendimiento General: SCG-MEM superó consistentemente a los baselines más fuertes (incluyendo A-MEM, MemGPT, MemoryBank) en todas las categorías: Single-Hop, Multi-Hop, Temporal y Adversarial.
• Mejoras Significativas:
  • En la tarea Multi-Hop con el modelo Qwen2.5 3B, se logró una mejora del +126.6% en la puntuación F1 respecto al mejor baseline.
  • En tareas Temporales con Llama 3.2 1B, la mejora fue del +111.5%.
  • En escenarios Adversariales (consultas engañosas), SCG-MEM demostró una robustez superior, mejorando hasta un +88.6% en F1, gracias a la capacidad de mapear consultas engañosas a conceptos válidos dentro del esquema.
• Estudios de Ablación:
  • Sin la restricción cognitiva (decodificación libre), el rendimiento cayó drásticamente (ej. -39.5% en Multi-Hop), confirmando la necesidad de evitar alucinaciones estructurales.
  • Sin el mecanismo evolutivo (solo acomodación), el sistema falló en conectar nueva información con el conocimiento existente, degradando el rendimiento en tareas temporales y multi-hop.

5. Significado e Impacto

Este trabajo representa un cambio fundamental en la arquitectura de memoria de agentes:

• De la Recuperación a la Construcción: Demuestra que la memoria no debe verse como un almacén pasivo que se busca, sino como una estructura cognitiva activa que se construye y navega.
• Garantía de Validez: Al utilizar restricciones de decodificación basadas en un Trie, ofrece una solución teórica y práctica al problema de la alucinación en la recuperación de memoria, un problema crítico para agentes autónomos fiables.
• Escalabilidad y Adaptabilidad: La combinación de un esquema dinámico y un grafo asociativo permite a los agentes manejar contextos ultra-largos y evolucionar con el tiempo, superando las limitaciones de los sistemas estáticos o puramente vectoriales.

En conclusión, SCG-MEM establece un nuevo estándar para la memoria de agentes, priorizando la consistencia estructural y el razonamiento asociativo sobre la mera coincidencia semántica.