🤖 AI

MEMONDEMAND: A Memory Management System for Large-Scale Enterprise Data

MEMONDEMAND es un sistema de gestión de memoria escalable para datos empresariales a gran escala que emplea una jerarquía dinámica multinivel, una separación de memoria dual y una promoción bajo demanda para superar los métodos de recuperación existentes a través de diversas escalas de datos y dominios.

Autores originales: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno, las grandes organizaciones generan una cantidad asombrosa de información cada día. Las políticas, contratos, correos electrónicos, código y registros se acumulan en enormes repositorios digitales que pueden contener cientos de millones de documentos. Cuando un humano necesita encontrar un dato específico dentro de este océano de datos, recurre a herramientas de búsqueda. Hoy en día, los sistemas de inteligencia artificial se utilizan cada vez más para actuar como estas herramientas de búsqueda, leyendo los documentos y respondiendo preguntas. Sin embargo, estos sistemas de IA tienen una limitación significativa: solo pueden retener una pequeña cantidad de información en su memoria activa a la vez, de forma muy parecida a una persona que intenta recordar una conversación mientras solo mantiene en mente las últimas pocas frases. Si la respuesta se encuentra en lo profundo de una colección masiva de archivos, la IA a menudo la pasa por alto o se confunde con detalles irrelevantes. Los investigadores han intentado resolver esto dotando a la IA de un banco de memoria permanente, pero los métodos existentes luchan por organizar tales cantidades de datos de manera eficiente sin abrumar al sistema o perder los detalles precisos necesarios para probar que una respuesta es correcta.

Un equipo de investigadores ha introducido un nuevo sistema llamado MEMONDEMAND para resolver este problema. La idea central es dejar de intentar cargar cada uno de los documentos en la memoria activa de la IA a la vez. En su lugar, el sistema construye una estructura flexible y de múltiples capas para los datos, similar a cómo una biblioteca organiza los libros en categorías generales, luego secciones y finalmente estantes individuales. En la parte superior de esta estructura, el sistema mantiene un resumen comprimido y de alto nivel de la información. Este resumen es ligero y permite que la IA escanee rápidamente toda la colección para encontrar qué área general podría contener la respuesta. A medida que el sistema reduce la búsqueda, se desplaza hacia las capas más profundas, llegando finalmente a los documentos originales y detallados solo cuando es absolutamente necesario. Este enfoque asegura que la IA dedique su limitada memoria a los hechos más relevantes en lugar de desperdiciar espacio en texto irrelevante.

Los investigadores probaron este sistema en un conjunto de datos masivo que contenía 618 millones de tokens de texto, lo que representa una colección de aproximadamente 500,000 documentos empresariales. Compararon su nuevo sistema con los mejores métodos existentes disponibles. Los resultados mostraron que MEMONDEMAND era significativamente más preciso. En la escala más pequeña de su prueba, con 10 millones de tokens, el nuevo sistema mejoró la calidad de las respuestas en un 12.23 por ciento en comparación con el método anterior más avanzado. Incluso en la escala más grande, con los 618 millones de tokens completos, siguió superando a la competencia por un 4.66 por ciento. Crucialmente, el sistema logró esto utilizando muchos menos recursos. Al separar la memoria de "búsqueda" de la memoria de "respuesta", el sistema redujo la cantidad de datos que necesitaba procesar para cada pregunta en más del 70 por ciento en comparación con los métodos que intentaban cargar los detalles completos de inmediato.

Una característica clave de este sistema es su capacidad para adaptarse con el tiempo. Así como un humano podría recordar mejor un cajón de un archivador que utiliza con frecuencia que uno que abre rara vez, el sistema aprende qué partes de los datos son más útiles. Rastrea qué documentos se acceden con frecuencia y los mantiene fácilmente disponibles, mientras que empuja la información menos útil o desactualizada al fondo. Esto sucede automáticamente sin que el sistema necesite reconstruir toda su estructura. Los investigadores descubrieron que este comportamiento adaptativo permitió al sistema prepararse para nuevas preguntas en solo 1.46 segundos, mientras que un enfoque tradicional que intentaba preparar todo por adelantado habría tomado casi diez minutos. Esta diferencia de velocidad resalta la eficiencia de preparar solo la memoria que es realmente necesaria para la tarea actual.

El estudio también demostró que este enfoque funciona bien en diferentes tipos de datos, no solo en los documentos corporativos específicos utilizados en la prueba principal. Cuando los investigadores aplicaron el sistema a documentos financieros, preguntas de razonamiento complejo de múltiples pasos y tareas de recuperación de hechos, este mantuvo un alto rendimiento. Esto sugiere que el método es lo suficientemente robusto como para manejar la naturaleza desordenada y cambiante de la información del mundo real. El sistema no solo encuentra respuestas, sino que también asegura que cada respuesta venga con una cita clara al documento fuente exacto, preservando la integridad de la información. Al gestionar la memoria de forma dinámica, el sistema permite que la inteligencia artificial trabaje eficazmente con bibliotecas de datos que son mucho más grandes que la propia capacidad interna de la IA, cerrando la brecha entre los registros empresariales masivos y la limitada capacidad de atención de los modelos de IA actuales.

Resumen Técnico: MEMONDEMAND

Formulación del Problema

Los repositorios empresariales presentan un desafío de recuperación único caracterizado por una escala masiva (cientos de millones a miles de millones de elementos), heterogeneidad (políticas, contratos, correos electrónicos, código, tickets) y evolución continua. Los sistemas existentes de Generación Aumentada por Recuperación (RAG) y de memoria enfrentan tres limitaciones primarias cuando se aplican a este dominio:

Jerarquía Rígida: Las taxonomías fijas o las jerarquías predefinidas no logran acomodar las diversas estructuras de las diferentes colecciones y clientes de la empresa.
Intercambios de Memoria Ineficientes: Los sistemas a menudo fuerzan una elección entre memoria comprimida (eficiente para el enrutamiento pero propensa a omitir detalles críticos) y memoria detallada (fiel a las fuentes pero costosa de buscar y cargar).
Gestión de Estado Estática: La preparación previa de todas las representaciones de memoria desperdicia recursos en datos no utilizados, mientras que no adaptarse a los cambios en las cargas de trabajo conduce a estados activos obsoletos o irrelevantes.

El problema central es diseñar un sistema de memoria que soporte la recuperación precisa y fiel a la fuente, así como la generación a escalas ultra-grandes, manteniendo la eficiencia y adaptándose a patrones de consulta dinámicos sin exceder los presupuestos de contexto.

Metodología: MEMONDEMAND

MEMONDEMAND (Memoria Bajo Demanda) aborda estos desafíos a través de un diseño de gestión unificado que comprende tres mecanismos coordinados:

1. Jerarquía Multinivel Dinámica

En lugar de una taxonomía fija, MEMONDEMAND construye una jerarquía específica para cada colección.

Construcción: Partiendo de los registros de la fuente de Nivel 0 (L0), el sistema agrupa representaciones destiladas y propone niveles de abstracción superiores (L1, L2, etc.). Un controlador de LLM evalúa estas propuestas basándose en la coherencia del grupo, el ruido residual y las restricciones de presupuesto, decidiendo si CREAR, REAGRUPAR o DETENERSE.
Navegación: En el momento de la consulta, la recuperación comienza en el nivel más alto disponible y desciende jerárquicamente (L $\ell$ $\to$ L0). Este enfoque de grueso a fino estrecha el espacio de búsqueda de manera eficiente mientras preserva el acceso directo a los nodos de la fuente L0 si las abstracciones de nivel superior carecen de los detalles necesarios.

2. Memoria Dual en Cada Nivel

Para equilibrar el costo de recuperación con la fidelidad de la evidencia, cada nodo en la jerarquía mantiene dos representaciones distintas:

Memoria Destilada: Una representación compacta que contiene temas, entidades, identificadores y hechos relevantes para la decisión. Se utiliza para el enrutamiento y la clasificación eficientes a lo largo del recorrido de la jerarquía.
Memoria Detallada: El contenido completo de la fuente (en L0) o la abstracción completa (en niveles superiores). Esta no se carga durante el enrutamiento.
Selección: Solo después de que el recorrido de la jerarquía identifica los candidatos L0 más relevantes, el sistema carga la memoria detallada para las fuentes mejor clasificadas que quepan dentro del presupuesto de tokens de entrada-respuesta ( $B$ ). Esto asegura que el modelo de generación reciba evidencia rica sin incurrir en el costo de tokens de cargar el contenido completo para cada candidato.

3. Promoción de Memoria Bajo Demanda

MEMONDEMAND se adapta a los cambios en la carga de trabajo gestionando la prioridad de los nodos dinámicamente bajo un presupuesto de estado activo limitado ( $K$ ).

Promoción: Cuando un nodo es accedido, un controlador de promoción calcula una puntuación basada en la relevancia de la consulta y el historial de uso. Si la puntuación supera un umbral ( $\theta$ ), el nodo es promovido, aumentando su prioridad de recuperación.
Decaimiento y Democión: Las puntuaciones de retención decaen con el tiempo ( $\rho_t(v)$ ). Si el estado activo excede el presupuesto $K$ , los nodos con retención expirada o puntuaciones bajas son demovidos.
Eficiencia: Este mecanismo evita la preparación "eager" (ansiosa) de todas las representaciones de nivel superior. Las representaciones solo se construyen o priorizan cuando la evidencia de la consulta indica que son útiles, reduciendo significativamente la computación previa.

Contribuciones Clave

Diseño del Sistema: Introducción de MEMONDEMAND, un sistema de gestión de memoria que maneja conjuntamente la organización jerárquica, la representación de recuperación, la carga de evidencia y las actualizaciones de estado entre consultas para datos empresariales a gran escala.
Tres Mecanismos Coordinados:
- Una jerarquía multinivel dinámica que infiere la estructura y profundidad por colección.
- Memoria dual en cada nivel, separando el enrutamiento eficiente de la respuesta fiel a la fuente.
- Promoción bajo demanda que adapta la prioridad de los nodos a los cambios de carga de trabajo dentro de un presupuesto limitado.
Validación Empírica: Demostración de operación exitosa a escalas ultra-grandes (hasta 618 millones de tokens) con ganancias significativas sobre las líneas base existentes.

Resultados

El sistema fue evaluado en EnterpriseRAG-Bench (500k documentos, hasta 618M de tokens) y tres benchmarks externos (FinanceBench, HotpotQA, FRAMES).

Rendimiento de Escalamiento: MEMONDEMAND superó a la línea base publicada más fuerte (LB#1) en todas las escalas.
- A 10M de tokens, logró una ganancia del 12.23% en la puntuación Combinada.
- En la colección completa de 618M de tokens, mantuvo una ganancia del 4.66% (72.88% vs 68.22%).
- Logró un 80.0% de Exactitud (Correctness) y un 74.28% de Completitud (Completeness) en la escala más grande, a pesar de una caída en la Recuperación de Documentos (Document Recall) (48.77%), lo que indica que el sistema prioriza la evidencia de alta calidad sobre el volumen bruto.
Eficiencia:
- Reducción de Tokens: La carga selectiva de memoria detallada redujo los tokens de entrada-respuesta en un 70.2% (a escala de 20M) en comparación con la carga de memoria detallada para todos los candidatos, manteniendo una alta calidad.
- Tiempo de Preparación: La promoción bajo demanda redujo el tiempo de ejecución (wall time) para preparar las representaciones de nivel superior de un estimado de 593.5 segundos (preparación eager) a 1.46 segundos, una reducción de 407 $\times$ .
Generalización: El sistema mantuvo un sólido rendimiento en FinanceBench (80.0% DocRcl), HotpotQA (78.4% Correct) y FRAMES (88.76% DocRcl), demostrando su aplicabilidad más allá del benchmark empresarial principal.

Significancia y Reivindicaciones

El artículo afirma que MEMONDEMAND establece una solución práctica, precisa y escalable para extender los Modelos de Lenguaje Grande (LLMs) con memoria ultra-grande más allá de los límites de la ventana de contexto del modelo.

Escalabilidad: Demuestra que los sistemas de memoria gestionada pueden operar efectivamente a la escala de cientos de millones de tokens, un régimen donde los enfoques de recuperación estándar o de contexto fijo fallan.
Fidelidad a la Fuente: Al separar el enrutamiento (destilado) de la evidencia (detallada) y aplicar reglas estrictas de citación, el sistema asegura que los registros comprimidos guíen el acceso sin reemplazar las fuentes autorizadas.
Adaptabilidad: El mecanismo de promoción bajo demanda demuestra que la memoria empresarial puede adaptarse a los cambios en los datos y las cargas de trabajo sin incurrir en los costos prohibitivos de la pre-computación total.

Los autores señalan limitaciones, incluyendo que los resultados se basan en ejecuciones únicas (no se estudió la varianza) y que la Recuperación de Documentos disminuye en las escalas más grandes, sugiriendo que una fuerte recuperación de la fuente no siempre garantiza una exactitud perfecta en la respuesta. Se sugiere como trabajo futuro explorar dominios más amplios y flujos de consulta más largos.