HiGMem: A Hierarchical and LLM-Guided Memory System for Long-Term Conversational Agents

Resumen Técnico: HiGMem

1. El Problema

Los agentes conversacionales basados en Modelos de Lenguaje Grande (LLM) que operan a largo plazo requieren sistemas de memoria capaces de recuperar evidencia relevante de interacciones históricas sin saturar la fase de generación de respuestas con contexto irrelevante.

El problema central identificado en los sistemas existentes (incluyendo enfoques jerárquicos) es su dependencia exclusiva de la similitud vectorial para la recuperación. Este enfoque presenta varias limitaciones críticas:

• Conjuntos de evidencia inflados: Una vez recuperada la información más relevante, añadir más fragmentos superficialmente similares genera rendimientos decrecientes en la recuperación (recall) pero erosiona drásticamente la precisión.
• Costo de contexto: Esto infla el tamaño del contexto enviado a la fase de respuesta, aumentando los costos computacionales y de tokens.
• Falta de razonamiento: La similitud vectorial no puede juzgar si un recuerdo vale la pena leerse, ya que carece de un mecanismo para razonar sobre diferentes niveles de abstracción y evaluar qué detalles finos contribuyen realmente a responder una consulta.

2. Metodología: HiGMem

Para abordar estos desafíos, los autores proponen HiGMem (Sistema de Memoria Jerárquico y Guiado por LLM). Este sistema introduce un paradigma de recuperación que combina una arquitectura de memoria de dos niveles con una estrategia de recuperación guiada por razonamiento del LLM.

A. Arquitectura de Memoria Jerárquica (Event-Turn)
HiGMem organiza la memoria en dos capas interconectadas:

1. Capa de Turno (Turn Layer): Captura los detalles brutos de la interacción. Cada nodo de "Turno" representa una vuelta de diálogo enriquecida con metadatos generados por el LLM (palabras clave, etiquetas, timestamp, contexto).
2. Capa de Evento (Event Layer): Agrupa nodos de turno relacionados en unidades narrativas coherentes. Cada nodo de "Evento" contiene un resumen breve y una hoja de hechos estructurada (fact sheet) que mantiene enlaces explícitos a los turnos subyacentes.
   • Mecanismo de construcción: Al ingresar un nuevo turno, el sistema analiza el contexto local, extrae metadatos y utiliza un LLM para decidir a qué evento(s) existente(s) afiliarse o si debe crear uno nuevo. Los eventos se actualizan adaptativamente según el volumen de turnos asociados.

B. Estrategia de Recuperación Guiada por LLM
A diferencia de la recuperación pasiva basada solo en vectores, HiGMem utiliza un proceso activo de razonamiento:

1. Anclajes Semánticos: Ante una consulta, el sistema recupera primero los Eventos más relevantes (usando similitud vectorial sobre los resúmenes). Estos eventos actúan como "anclajes semánticos".
2. Predicción Activa: El LLM evalúa los resúmenes de los eventos candidatos y predice qué turnos específicos vinculados a esos eventos valen la pena leer para responder la consulta.
3. Filtrado Final: Se combinan los turnos recuperados directamente por similitud vectorial con los turnos predichos por el LLM. Un mecanismo de filtrado final (también guiado por LLM) selecciona el conjunto de evidencia final ($T_{final}$), que es mucho más compacto y preciso.

3. Contribuciones Clave

1. Nuevo Paradigma de Recuperación: Se introduce un enfoque que integra la abstracción jerárquica con el filtrado guiado por LLM. Esto permite entregar conjuntos de evidencia concisos y fiables mediante razonamiento, evitando el costo prohibitivo de aplicar razonamiento a cada memoria almacenada.
2. Implementación de Código Abierto (HiGMem): Se presenta un sistema funcional evaluado en el benchmark LoCoMo10.
3. Eficiencia y Precisión: Demostración de que es posible lograr un alto recall manteniendo un conjunto de evidencia extremadamente pequeño, reduciendo significativamente los costos de inferencia en la fase de respuesta.

4. Resultados Experimentales

El sistema fue evaluado en el benchmark LoCoMo10, que contiene conversaciones de muy largo plazo (promedio de 587 turnos).

• Rendimiento en F1: HiGMem logró la mejor puntuación F1 en 4 de las 5 categorías de preguntas (Multi-hop, Open-Domain, Single-Hop y Adversarial).
  • Destacó especialmente en preguntas Adversariales, mejorando el F1 de 0.54 (A-Mem) a 0.78.
• Eficiencia de Recuperación:
  • Reducción de Turnos: HiGMem recupera un orden de magnitud menos turnos que el mejor baseline (A-Mem): 8.09 turnos en promedio frente a 99.84.
  • Precisión: Logra una precisión mucho mayor ($Precision@K$ de 0.1909 vs 0.0101) manteniendo un recall comparable (0.7241 vs 0.7502).
• Análisis de Costos:
  • Aunque HiGMem consume más tokens y tiempo en las etapas de construcción y recuperación (debido a las llamadas al LLM para razonamiento), reduce drásticamente la entrada en la fase de respuesta (que suele usar modelos más costosos).
  • En una configuración híbrida (GPT-4o-mini para memoria, GPT-5 para respuesta), el costo total estimado disminuyó de $17.43 a$6.43 (una reducción de ~2.7x).

5. Significado e Impacto

HiGMem demuestra que la recuperación de memoria para agentes a largo plazo no debe basarse únicamente en la coincidencia vectorial pasiva. Al utilizar resúmenes de eventos como anclajes semánticos y permitir que el LLM razone activamente sobre qué detalles finos son necesarios, se logra un equilibrio óptimo entre:

1. Recuperación suficiente de evidencia.
2. Conjuntos de evidencia compactos y de alta precisión.
3. Reducción de costos en la fase de generación de respuestas.

El trabajo sugiere que la selección de evidencia guiada por LLM es una dirección efectiva para construir sistemas de memoria conversacional escalables y robustos, aunque señala limitaciones en entornos de diálogo multi-participante donde la estructura actual aún necesita optimización.

Código disponible: El repositorio está públicamente disponible en GitHub bajo el nombre ZeroLoss-Lab/HiGMem.