MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents

Resumen Técnico: MemORAI

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) carecen actualmente de capacidades de memoria persistente necesarias para conversaciones a largo plazo y personalizadas. Aunque la Generación Aumentada por Recuperación (RAG) y los sistemas basados en vectores han avanzado en la fundamentación factual, luchan con las estructuras relacionales y temporales inherentes a los diálogos de múltiples sesiones. Los sistemas de memoria basados en grafos existentes exhiben limitaciones críticas: a menudo sufren de dilución de la información al no filtrar el diálogo genérico del contenido relevante para la persona del usuario; carecen de un seguimiento granular de la procedencia, lo que dificulta auditar los orígenes factuales de la información recuperada; y emplean mecanismos de recuperación uniformes (como PageRank estándar) que ignoran el contexto de la consulta, lo que conduce a una clasificación subóptima de nodos semánticamente relevantes pero estructuralmente dispersos.

Metodología
MemORAI (Organización y Recuperación de Memoria mediante Inteligencia de Grafos Adaptativa) aborda estas brechas mediante un pipeline de tres fases diseñado para integrar almacenamiento selectivo, representación enriquecida y recuperación adaptativa.

1. Segmentación de Sesión y Compresión Selectiva:
   El sistema primero descompone las conversaciones crudas de múltiples sesiones en segmentos semánticamente coherentes. Una "puerta de memoria" aplica luego un filtrado selectivo, reteniendo únicamente los mensajes que contienen contenido episódico específico del usuario (por ejemplo, hechos personales, preferencias, compromisos) mientras descarta el discurso genérico. Para prevenir la pérdida del contexto global, el sistema genera resúmenes a nivel de segmento para el contenido descartado. Este enfoque de doble capa almacena contenido personal de granularidad fina junto con anclajes contextuales globales, reduciendo significativamente la sobrecarga de almacenamiento y el ruido.

2. Construcción de Grafos Enriquecidos con Procedencia:
   A partir del contenido filtrado, MemORAI construye un grafo de conocimiento heterogéneo multi-relacional ($G = (V, E)$). El grafo incluye tres tipos de nodos:

   • Nodos de entidad: Almacenan nombres y descripciones de lenguaje natural de granularidad fina (por ejemplo, "Alex—ingeniero de software...") vinculados a IDs de turno específicos.
   • Nodos de turno: Almacenan el texto crudo del turno de conversación.
   • Nodos de segmento: Almacenan los resúmenes a nivel de segmento.
     Las aristas conectan entidades con sus menciones, turnos con segmentos, y entidades con otras entidades mediante relaciones tipificadas. Crucialmente, cada tripleta y nodo incluye procedencia explícita a nivel de turno, permitiendo una auditoría transparente de los orígenes factuales.

3. Recuperación y Clasificación de Subgrafos Adaptativos a la Consulta:
   Al recibir una consulta de usuario, el sistema no recorre todo el grafo de memoria. En su lugar, realiza una recuperación paralela multi-aspecto para identificar los nodos semilla top-$k$ (segmentos, entidades y relaciones) basándose en la similitud semántica. Luego construye un subgrafo disperso y enfocado en la consulta expandiendo un salto desde estas semillas.
   La clasificación se realiza utilizando PageRank Ponderado Dinámico (DW-PR). A diferencia del PageRank tradicional o los métodos de propagación uniformes, DW-PR modula la propagación de puntuaciones basándose en pesos de arista condicionados a la consulta. Los pesos de las aristas se calculan como la similitud del coseno entre la consulta y la descripción del nodo o relación conectado. Esto asegura que la evidencia semánticamente alineada sea priorizada incluso si el nodo está débilmente conectado, evitando que el sesgo estructural opaque la memoria contextualmente crítica.

Contribuciones Clave
El artículo identifica tres innovaciones principales:

• Filtrado Selectivo de Memoria: Un mecanismo que retiene únicamente el contenido relevante para la persona del usuario mientras preserva el contexto global mediante resúmenes de segmento, mejorando tanto la eficiencia de almacenamiento como la precisión de recuperación.
• Grafo de Conocimiento Enriquecido con Procedencia: Una arquitectura heterogénea que presenta un seguimiento explícito de la procedencia a nivel de turno, habilitando la recuperación de granularidad fina y una auditoría transparente de los orígenes factuales.
• PageRank Ponderado Dinámico: Un método de recuperación adaptativo a la consulta que aplica ponderación de aristas condicionada a la consulta durante el recorrido, permitiendo al sistema priorizar evidencia semánticamente alineada sin un recorrido exhaustivo del grafo.

Resultados Experimentales
MemORAI fue evaluado en los puntos de referencia LongMemEval-s y LOCOMO-10, que se dirigen a la memoria conversacional de largo horizonte. El marco se comparó contra un conjunto diverso de líneas base, incluidas líneas base de contexto completo, modelos de recuperación densa (por ejemplo, Contriever, BGE-M3) y enfoques RAG estructurados (por ejemplo, HippoRAG 2, RAPTOR).

• Rendimiento de Recuperación: MemORAI logró un rendimiento de vanguardia tanto en recuperación a nivel de sesión como a nivel de turno. En LongMemEval-s, alcanzó un Recall@3 a nivel de sesión del 90.17% y un Recall@3 a nivel de turno del 71.13%, superando a líneas base basadas en grafos sólidas como HippoRAG 2 (75.53% sesión, 27.80% turno).
• Rendimiento de Generación: En términos de generación de respuestas, MemORAI obtuvo las puntuaciones más altas del juez GPT-4o (75.55% en LongMemEval-s y 60.22% en LOCOMO-10) y métricas léxicas superiores (F1, BLEU, ROUGE) en comparación con todas las líneas base.
• Estudios de Ablación: Experimentos controlados confirmaron que la segmentación de temas proporciona el prior estructural más fuerte para la organización de la memoria, mientras que la ponderación dinámica de aristas mejoró consistentemente la precisión de recuperación sobre la ponderación uniforme. El uso de subgrafos enfocados en la consulta redujo la latencia sin sacrificar el recall.

Significado y Afirmaciones
El artículo afirma que MemORAI demuestra que el almacenamiento selectivo, la representación enriquecida y la recuperación adaptativa son esenciales para agentes LLM coherentes y personalizados. Al integrar estos componentes, el marco cierra la brecha entre la precisión de recuperación y la fidelidad de generación. Los autores afirman que su enfoque supera las limitaciones de los sistemas existentes al filtrar la dilución de la información, rastrear la procedencia a nivel de turno y adaptar los pesos de recuperación a la semántica de la consulta.

El artículo reconoce limitaciones, señalando que la dependencia de la procedencia a nivel de turno y el enlace de entidades estático pueden limitar la adaptabilidad en contextos altamente dinámicos donde la intención del usuario cambia abruptamente. Además, el sistema actualmente incurre en una sobrecarga computacional más alta durante la fase de indexación en comparación con pipelines ligeros solo de incrustaciones, aunque esto se desacopla de la latencia de inferencia en tiempo real. Los autores sugieren que el trabajo futuro podría aprovechar la destilación de conocimiento para optimizar el marco para entornos con recursos limitados.