🤖 AI

MegaMem: A Retrieval Solution for Ultra-Large Context Windows

MegaMem es un sistema de recuperación de doble vista con resolución de fuentes que permite la generación precisa sobre memorias persistentes ultra-grandes (hasta mil millones de tokens) al desacoplar la búsqueda semántica de la recuperación de evidencia acotada, logrando mejoras significativas de rendimiento en el EnterpriseRAG-Bench.

Autores originales: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La inteligencia artificial moderna se ha vuelto notablemente buena para responder preguntas, pero enfrenta una limitación fundamental: solo puede mantener una cierta cantidad de información en su "mente" activa al mismo tiempo. Imagine intentar leer un solo libro mientras mantiene simultáneamente todo el contenido de una biblioteca masiva en su cabeza; cuantos más libros intente recordar, más difícil le resultará concentrarse en el que está leyendo realmente. Durante años, los investigadores han intentado resolver esto construyendo sistemas que almacenan vastas cantidades de datos fuera de la atención inmediata de la computadora, recuperando solo las páginas específicas necesarias cuando se hace una pregunta. Este enfoque funciona bien para colecciones pequeñas, pero comienza a fallar cuando la biblioteca crece hasta contener cientos de millones de páginas, como el código completo de una empresa de software o años de registros corporativos. El desafío no es solo encontrar la página correcta en un montón tan grande, sino hacerlo sin abrumar a la computadora con demasiado texto, lo que la ralentizaría o confundiría su respuesta.

Un equipo de investigadores ha desarrollado un nuevo sistema llamado MegaMem para resolver este problema específico. Su trabajo aborda un cuello de botella crítico en cómo la inteligencia artificial maneja memorias masivas y persistentes. En lugar de intentar obligar a la computadora a leer a través de millones de documentos cada vez que se le hace una pregunta, el equipo creó un proceso de dos pasos que separa el acto de buscar del acto de responder. Construyeron un sistema que primero busca respuestas utilizando resúmenes altamente condensados de la información y, solo una vez que se encuentra un indicio prometedor, recupera el texto completo y detallado. Esto permite que el sistema busque a través de una biblioteca que contiene cientos de millones de palabras mientras solo alimenta a la computadora con una cantidad pequeña y manejable de texto para generar una respuesta.

Los investigadores probaron su sistema en un conjunto de datos masivo de más de 500,000 documentos empresariales del mundo real, que totalizan aproximadamente 650 millones de palabras. Esta colección incluía desde manuales técnicos y contratos legales hasta notas de reuniones y especificaciones de productos. En sus experimentos, compararon MegaMem contra métodos estándar que intentan buscar en los documentos originales directamente. Los resultados fueron impactantes. Cuando se le pidió al sistema encontrar información dentro de esta enorme biblioteca, logró mejorar la calidad general de sus respuestas de aproximadamente un 68 por ciento a más del 82 por ciento. Más importante aún, mantuvo un alto nivel de precisión incluso a medida que el tamaño de la biblioteca crecía de 20 millones de palabras a 250 millones de palabras. Esto demostró que el sistema podía escalar para manejar una biblioteca casi del tamaño de la producción escrita completa de una pequeña nación sin perder su capacidad para encontrar los hechos correctos.

El secreto de este éxito reside en cómo el sistema organiza y recupera la información. Cuando se construye la biblioteca por primera vez, la computadora lee cada documento y crea dos versiones diferentes de los datos. Una versión consiste en el texto original y detallado, mantenido exactamente como fue escrito. La segunda versión es un conjunto de notas destiladas y compactas que capturan las ideas principales, los hechos y los procedimientos de esos documentos. Cuando un usuario hace una pregunta, el sistema busca primero en estas notas compactas. Debido a que las notas son cortas y enfocadas, la computadora puede escanear toda la biblioteca de millones de palabras en una fracción de segundo. Si la búsqueda encuentra una nota relevante, el sistema luego utiliza un identificador único para localizar el documento original exacto del que proviene esa nota. Recupera solo esa pieza específica de texto detallado para ayudar a la computadora a formular su respuesta final. Esto asegura que la computadora tenga la evidencia precisa y sin alteraciones que necesita sin ser distraída por información irrelevante.

Los investigadores también descubrieron que este método es mucho más eficiente que los enfoques anteriores. Al utilizar las notas condensadas para guiar la búsqueda, el sistema redujo la cantidad de texto que necesitaba procesar para cada respuesta en casi un 70 por ciento, pero aun así produjo respuestas que eran casi tan precisas como si hubiera leído los documentos completos. Esta eficiencia es crucial porque significa que el sistema puede permanecer rápido y receptivo incluso a medida que la memoria que gestiona se vuelve más grande. El estudio también reveló que la principal dificultad al manejar bibliotecas tan grandes no es la capacidad de la computadora para entender el texto una vez que lo encuentra, sino la dificultad de encontrar el texto correcto en primer lugar. A medida que la biblioteca crecía, el rendimiento del sistema disminuía ligeramente, pero esto se debía al desafío de localizar la evidencia correcta entre más distracciones, no porque la computadora fallara en comprender la evidencia una vez que la encontraba.

Para asegurar que el sistema fuera confiable, los investigadores agregaron un paso final donde la computadora revisa su propia respuesta e identifica exactamente qué documentos respaldaron sus afirmaciones. Este proceso filtró cualquier fuente que fuera recuperada pero que no fuera realmente utilizada, lo que resultó en una lista de referencias más limpia y precisa. El equipo probó su sistema en varios tipos de preguntas, incluyendo aquellas que requieren un razonamiento complejo a través de múltiples documentos y aquellas que involucran información conflictiva. En cada caso, el enfoque de dos pasos de buscar primero los resúmenes y luego recuperar los detalles resultó superior a los métodos que intentaban buscar en el texto original directamente. El trabajo sugiere que para que la inteligencia artificial funcione verdaderamente como una memoria a largo plazo para las organizaciones, debe separar la escala de lo que puede buscar del tamaño de lo que puede leer al mismo tiempo. Al hacerlo, MegaMem ofrece un camino práctico hacia la construcción de sistemas que puedan recordar y razonar sobre las historias vastas y complejas de las empresas modernas sin perderse en el ruido.

Resumen Técnico: MegaMem – Una Solución de Recuperación para Ventanas de Contexto Ultra-Grandes

1. Formulación del Problema

Los modelos de lenguaje y agentes modernos requieren cada vez más una memoria persistente para soportar la interacción a largo plazo, la planificación y la toma de decisiones intensiva en conocimiento. Estos sistemas deben gestionar corpora masivos —que van desde bases de código completas hasta registros empresariales heterogéneos que contienen cientos de millones o miles de millones de tokens—.

El desafío central radica en el compromiso entre la escala de búsqueda y el contexto de generación. Si bien los modelos nativos de contexto largo pueden procesar millones de tokens, el rendimiento suele degradarse a medida que la longitud del contexto aumenta debido a los costos de computación de la atención, la latencia y el fenómeno de "perderse en el medio" (lost in the middle), donde la evidencia relevante se pasa por alto. Por el contrario, los sistemas basados en recuperación pueden buscar billones de tokens pero enfrentan un dilema:

Las representaciones comprimidas (por ejemplo, resúmenes, grafos) mejoran la eficiencia de la recuperación, pero a menudo omiten detalles críticos (fechas, excepciones, condiciones) necesarios para respuestas precisas.
Los fragmentos detallados preservan la evidencia exacta, pero aumentan la exposición a distractores y debilitan la precisión de la recuperación a medida que el corpus crece.

El objetivo es escalar el contexto persistente (el corpus completo buscable) sin aumentar proporcionalmente el contexto de evidencia (la evidencia fuente detallada y acotada que consume el modelo de respuesta para una sola consulta).

2. Metodología: MegaMem

MegaMem es un sistema de recuperación de doble vista resuelto por la fuente, diseñado para separar el acceso semántico de la evidencia de generación. Opera en tres etapas principales:

2.1 Construcción de Memoria de Doble Vista

El sistema mantiene dos índices complementarios que se refieren a la misma evidencia subyacente:

Índice Detallado: Almacena los embeddings de los fragmentos de evidencia originales (preservando la redacción exacta, las condiciones y la procedencia).
Índice Destilado: Almacena los embeddings de "memorias" compactas y tipificadas extraídas de los fragmentos detallados. Estas memorias son enunciados atómicos categorizados en tipos (hecho, procedimiento, definición, requisito, decisión) y vinculados a sus fragmentos de origen mediante IDs inmutables.

Esta arquitectura permite que el sistema utilice los registros destilados para un emparejamiento semántico eficiente, asegurando al mismo tiempo que cada acierto de recuperación pueda resolverse hacia la fuente original.

2.2 Recuperación de Ruta Múltiple y Resolución de Evidencia

Cuando se plantea una pregunta $q$ , el sistema emplea una estrategia de recuperación de rutas múltiples:

Transformación de Consulta: Genera múltiples rutas de consulta, incluyendo una reescritura canónica y expansiones diversas en terminología, para manejar desajustes de vocabulario.
Búsqueda de Doble Vista: Cada ruta busca tanto en el índice detallado como en el índice destilado.
Resolución de Fuente: Crucialmente, cada acierto del índice destilado se resuelve a su correspondiente fragmento de fuente detallada antes de la agregación de candidatos. Esto asegura que las memorias destiladas actúen solo como claves de recuperación, no como elementos de evidencia independientes.
Fusión y Reclasificación (Reranking):
- Las clasificaciones de diferentes rutas se combinan utilizando Fusión de Clasificación Recíproca Ponderada (RRF).
- Un codificador cruzado (cross-encoder) reclasifica el conjunto de candidatos fusionados utilizando la pregunta y el contenido completo del fragmento detallado.
- Los candidatos duplicados se fusionan por identidad de fuente.
Empaquetado Acotado: Solo los fragmentos detallados con mayor rango son seleccionados para llenar un presupuesto de evidencia fijo $B$ , formando el contexto para el modelo de respuesta.

2.3 Generación Acotada y Atribución Post-Respuesta

Generación: El modelo de respuesta recibe únicamente el conjunto acotado de fragmentos de evidencia detallada. Ninguna memoria destilada o fuente no seleccionada se expone durante la generación.
Atribución: Una vez fijada la respuesta, un módulo de atribución separado identifica qué fuentes cargadas sustentan directamente las afirmaciones en la respuesta. Este paso filtra las fuentes no soportadas o no utilizadas del conjunto reportado final, mejorando la precisión de la fuente sin alterar la respuesta generada.

3. Contribuciones Clave

El artículo realiza tres contribuciones primarias:

Definición del Problema: Aborda el problema de la memoria persistente ultra-grande (250M a 1B de tokens) donde un sistema debe mantener toda la memoria buscable mientras pasa solo una cantidad acotada de evidencia al modelo de respuesta.
Diseño del Sistema: Introduce MegaMem, un sistema de recuperación de doble vista resuelto por la fuente. Las innovaciones clave incluyen:
- Separar los registros de recuperación (destilados) de la evidencia de generación (detallada).
- Resolver todos los aciertos destilados a IDs de fuente inmutables antes de la fusión.
- Aplicar la atribución post-respuesta para refinar el reporte de fuentes.
Evaluación Empírica: Proporciona una evaluación exhaustiva en EnterpriseRAG-Bench (500k+ documentos, ~650M de tokens), analizando la calidad de extremo a extremo, los efectos de los componentes, el comportamiento de escalabilidad y la eficiencia.

4. Resultados Experimentales

El sistema fue evaluado en el EnterpriseRAG-Bench, un benchmark que contiene más de 500,000 documentos empresariales heterogéneos y 500 preguntas que cubren recuperación, razonamiento multi-documento y resolución de conflictos.

Ganancias de Rendimiento: En la división de validación de 400 preguntas, MegaMem mejoró la puntuación Global de 68.22 (el líder publicado del benchmark) a 82.26, y la Corrección a 86.50.
Comportamiento de Escala: A medida que la memoria persistente creció de 20M a 250M de tokens bajo un presupuesto de evidencia fijo, MegaMem mantuvo su efectividad operativa. A 250M de tokens, alcanzó una puntuación de Corrección de 73.50, demostrando que el rendimiento de la recuperación se degrada gradualmente en lugar de colapsar.
Análisis de Componentes:
- Doble Vista y Destilación: Estos proporcionaron las mayores ganancias. Eliminar el índice dual redujo el Global en 17.91%; eliminar la destilación lo redujo en 14.15%.
- Expansión de Consulta y Reclasificación: Proporcionaron mejoras adicionales de 3.55% y 4.97% respectivamente.
- Atribución Post-Respuesta: No cambió la calidad de la respuesta, pero redujo el número promedio de documentos reportados de 5.00 a 2.31, mejorando significativamente la precisión de la fuente (el InvDocs se redujo de 0.774 a 0.760).
Eficiencia: MegaMem redujo los tokens de entrada del modelo de respuesta en aproximadamente un 68.6% en comparación con el uso de la evidencia detallada completa, sacrificando solo 1.5 puntos en Corrección. La latencia de recuperación en línea se mantuvo por debajo de 1.1 segundos incluso a 100M de tokens.
Transferibilidad: El sistema mostró un fuerte desempeño en FinanceBench (81.05 Global) y HotpotQA (86.37 Global), aunque el rendimiento cayó en benchmarks conversacionales (LoCoMo) y de dominio amplio (UltraDomain), indicando limitaciones al transferir diseños orientados a documentos a almacenes de memoria conversacional.

5. Significado y Reivindicaciones

El artículo afirma que MegaMem proporciona un camino práctico hacia la recuperación precisa sobre memorias que van desde cientos de millones hasta mil millones de tokens. Al separar la escala de la memoria buscable del tamaño del contexto de la respuesta, el sistema logra:

Escalabilidad: Mantiene cientos de millones de tokens buscables sin pasar la memoria completa al modelo de respuesta.
Fidelidad de la Fuente: Asegura que la generación se base únicamente en evidencia detallada y fiel a la fuente, evitando la pérdida de información inherente a los resúmenes comprimidos.
Precisión: Mejora el reporte de fuentes mediante la atribación post-respuesta, asegurando que las fuentes reportadas sean estrictamente necesarias para la respuesta.

Los autores concluyen que la elección de diseño central —usar memorias destiladas para el acceso semántico y resolverlas a evidencia detallada solo cuando es necesario— permite un compromiso favorable entre precisión y contexto. Sin embargo, reconocen modestamente ciertas limitaciones: la precisión de la fuente (medida por InvDocs) sigue siendo inferior al líder publicado de EnterpriseRAG-Bench, el rendimiento en tareas conversacionales/trans-dominio no es uniforme, y el sistema no extiende la ventana de atención nativa del modelo de lenguaje subyacente.