💬 NLP

MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA

MARDoc es un marco de Agente de Refinamiento Consciente de la Memoria que mejora la respuesta de preguntas sobre documentos largos multimodales al desacoplar el proceso en agentes especializados de Explorador, Refinador y Reflector que utilizan una memoria estructurada actualizada dinámicamente para reducir el ruido del contexto y mejorar el razonamiento de múltiples saltos.

Autores originales: Kaifeng Chen, Hongtao Liu, Qiyao Peng, Jian Yang, Yongqiang Liu, Xiaochen Zhang, Qing Yang

Publicado 2026-06-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaifeng Chen, Hongtao Liu, Qiyao Peng, Jian Yang, Yongqiang Liu, Xiaochen Zhang, Qing Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver una misteriosa novela de 100 páginas donde las pistas están esparcidas en textos, gráficos, fotos y tablas. Tienes un equipo de detectives (una IA) tratando de encontrar la respuesta a una pregunta específica.

La forma antigua: El detective "monolítico"
En la mayoría de los sistemas actuales, el detective trabaja como una persona que nunca tira nada a la basura. Cada vez que mira una página, anota el número de página, lo que vio y sus pensamientos en un único y gigante cuaderno.

El problema: Después de 20 turnos de búsqueda, este cuaderno es enorme. Está lleno de pistas reales, pero también de callejones sin salida, frases irrelevantes y "ruido". El detective se siente abrumado. Las pistas importantes quedan enterradas bajo páginas de basura, lo que dificulta conectar los puntos. Esto se llama el problema de la "dilución del contexto".

La nueva forma: MARDoc (El equipo "consciente de la memoria")
El artículo presenta MARDoc, un sistema más inteligente que no solo mantiene un cuaderno gigante. En su lugar, utiliza un equipo de tres detectives especializados que trabajan juntos usando un sistema de archivo dinámico y organizado (Memoria Estructurada) en lugar de un cuaderno desordenado.

Así es como trabaja el equipo, utilizando una analogía creativa:

1. El Explorador (El Scout)

Rol: Este detective corre por el documento buscando pistas. No solo lee; utiliza herramientas especiales para saltar a páginas específicas, hacer zoom en gráficos o buscar palabras clave.
Acción: Recopila información bruta y la trae de vuelta al equipo.
Analogía: Piensa en él como un explorador corriendo por un bosque, recogiendo hojas, piedras y ramas, y amontonándolas en un montón.

2. El Refinador (El Bibliotecario)

Rol: Esta es la parte nueva y más importante. Mientras que el Explorador trae de vuelta un montón desordenado de evidencia "bruta", el Bibliotecario la clasifica inmediatamente.
Acción: Desecha el ruido (las hojas irrelevantes) y organiza lo bueno en dos categorías netas:
1. Memoria de Evidencia: Los hechos duros (por ejemplo, "El gráfico en la página 27 dice 26%").
2. Memoria de Razonamiento: Los pasos lógicos que conectan los hechos (por ejemplo, "Debido a que el gráfico dice X, y el texto dice Y, podemos calcular Z").
Analogía: En lugar de conservar todo el montón de desechos del bosque, el Bibliotecario crea una tarjeta de resumen limpia y concisa. Tira el montón viejo y lo reemplaza con esta nueva y perfecta tarjeta. Esto mantiene el "cerebro" del equipo pequeño y enfocado, evitando que se pierdan en el pasado.

3. El Reflector (El Supervisor)

Rol: Este detective mira la tarjeta de resumen del Bibliotecario y pregunta: "¿Tenemos suficiente para resolver el misterio?".
Acción:
- Si la respuesta es Sí: Escribe la respuesta final.
- Si la respuesta es No: No se limita a decir "inténtalo de nuevo". Le da instrucciones específicas al Explorador, como: "Te faltó el número total de personas en la encuesta; ve a buscar esa tabla específica".
Analogía: El Supervisor revisa el mapa. Si al mapa le falta un punto de referencia clave, le dice al Explorador exactamente a dónde ir después, en lugar de dejar que el Explorador deambule sin rumbo.

Por qué esto es importante

El artículo probó este sistema en dos evaluaciones difíciles (MMLongBench-Doc y DocBench) que involucran documentos largos y complejos con imágenes y texto.

El resultado: MARDoc funcionó significativamente mejor que los métodos anteriores. Incluso utilizando un modelo de IA más pequeño y menos potente, superó a sistemas que utilizaban modelos mucho más grandes.
La razón: Al limpiar constantemente la "memoria" y mantener solo los hechos y la lógica esenciales, el sistema evita confundirse con su propio historial. Se mantiene nítido y enfocado, tal como un detective que mantiene un expediente de caso limpio en lugar de una pila desordenada de papeles.

En resumen: MARDoc resuelve el problema de "olvidar lo importante debido a que hay demasiada basura" al tener un miembro del equipo dedicado cuyo único trabajo es limpiar, organizar y resumir la evidencia después de cada paso, asegurando que el equipo nunca pierda el camino en un documento largo.

Resumen Técnico: MARDoc

Planteamiento del Problema

La respuesta a preguntas (QA) sobre documentos largos y multimodales es crítica para aplicaciones como el análisis financiero y la revisión de literatura científica, pero sigue siendo un desafío debido a dos factores primordiales: la expresión conjunta de información a través de texto, diseño (layout), tablas y figuras, y la distribución dispersa de la evidencia a lo través de muchas páginas.

Los agentes de recuperación-razonamiento iterativos existentes enfrentan limitaciones significativas:

Flujo de Contexto Monolítico: La mayoría de los sistemas mantienen un contexto único y en constante crecimiento que mezcla trazas de recuperación, observaciones y razonamiento intermedio. A medida que las interacciones se acumulan, la evidencia clave se dispersa y se diluye por el historial irrelevante, comprimiendo el espacio de razonamiento efectivo del modelo e introduciendo ruido.
Falta de Control de Calidad Basado en Memoria: Los métodos agénticos actuales suelen fallar al distinguir entre la evidencia faltante, la interpretación errónea del contenido visual y el razonamiento defectuoso entre páginas. Los errores introducidos en las primeras vueltas persisten y se agravan a través de las iteraciones, provocando alucinaciones en las cadenas de razonamiento de múltiples saltos (multi-hop).

Metodología: El Marco MARDoc

Los autores proponen MARDoc (Agente de Refinamiento Consciente de la Memoria), un marco que reemplaza el flujo de contexto monolítico con una memoria estructurada actualizada dinámicamente impulsada por un bucle de "Explorar–Refinar–Reflexionar". El marco desacopla el proceso de QA en tres agentes especializados:

1. Procesamiento de Documentos y Construcción de Esquema

Antes de la interacción del agente, el sistema emplea MinerU2.5 para un parseo preciso del documento con el fin de generar nodos semánticos de grano fino que preserven la estructura del diseño. Se utiliza Qwen3-VL para generar descripciones concisas de los elementos visuales (imágenes, tablas), creando un esquema estructurado unificado que sirve como índice para las herramientas de recuperación posteriores.

2. El Agente Explorador (Explorer Agent)

El Explorador recupera iterativamente evidencia de multigranularidad del esquema estructurado utilizando un conjunto de herramientas personalizadas (búsqueda textual, visual y de metadatos). Opera bajo un marco ReAct, generando pensamientos de razonamiento y acciones de herramientas para reunir información preliminar. A diferencia de los agentes tradicionales que anexan todo el historial a una ventana de contexto, el Explorador recibe únicamente la consulta actual, el esquema del documento, la memoria estructurada previa y la retroalimentación del Reflector.

3. El Agente Refinador (Refiner Agent)

El Refinador simula el razonamiento de un experto humano destilando las trazas de interacción en una memoria estructurada y compacta, reemplazando la acumulación tradicional de contexto bruto. Procesa la consulta del usuario, la memoria previa y la cadena de razonamiento actual del Explorador para generar dos componentes distintos:

Memoria de Evidencia ( $M_E$ ): Un registro de alto nivel de información fáctica central y relevante para la consulta (por ejemplo, declaraciones clave, fuentes, datos multimodales condensados) con la eliminación de información redundante.
Memoria de Razonamiento ( $M_R$ ): Una ruta de razonamiento clara que integra los nodos de evidencia, anotada con dependencias. Esto desacopla la evidencia del razonamiento, permitiendo al sistema rastrear si los errores provienen de hechos incorrectos o de una lógica defectuosa.

El Refinador sobrescribe la memoria antigua con la versión actualizada en cada iteración, evitando la explosión del contexto.

4. El Agente Reflector (Reflector Agent)

El Reflector examina la memoria estructurada compactada para determinar si la evidencia es suficiente para responder a la pregunta.

Si es Suficiente: Emite la respuesta final.
Si es Insuficiente: Genera retroalimentación dirigida (por ejemplo, "falta el número total de X") para guiar al Explorador hacia la información específica faltante, evitando la repetición de errores pasados.

Contribuciones Clave

Recuperación y Refinamiento Desacoplados: MARDoc reemplaza el flujo de contexto monolítico con una memoria estructurada actualizada dinámicamente. Al desacoplar la recuperación de información de la digestión de la evidencia, mantiene el contexto de razonamiento compacto, aliviando fundamentalmente la dilución del contexto.
Memoria de Mecanismo Dual: El marco introduce un proceso de destilación que compacta las trazas en Memoria de Evidencia (fundamentación fáctica) y Memoria de Razonamiento (coherencia lógica), junto con una evaluación reflexiva iterativa que verifica la suficiencia y proporciona retroalimentación heurística.
Desempeño Sin Entrenamiento: El sistema logra resultados sólidos sin necesidad de ajuste fino (fine-tuning) específico para la tarea, basándose únicamente en ingeniería de prompts y en el mecanismo de memoria estructurada.

Resultados Experimentales

Los autores evaluaron MARDoc en dos bancos de pruebas desafiantes: MMLongBench-Doc y DocBench.

Desempeño: Utilizando Qwen3-VL-30B como base, MARDoc alcanzó una precisión del 57.1% en MMLongBench-Doc. Esto supera a las líneas base de la misma arquitectura (por ejemplo, DocAgent con Qwen3-30B con un 48.3%) y iguala el desempeño de DocAgent utilizando el mucho más grande Claude 3.5 Sonnet (57.3%).
Robustez: MARDoc demostró una disminución de desempeño menor a medida que aumentaba el número de páginas de evidencia en comparación con otros métodos basados en agentes, lo que indica una capacidad superior para integrar información dispersa.
Estudios de Ablación:
- Eliminar el Refinador causó una degradación drástica en el desempeño, confirmando que el Reflector no puede identificar eficazmente los errores en contextos ruidosos y acumulados linealmente sin memoria estructurada.
- Eliminar la Memoria de Razonamiento ( $M_R$ ) afectó principalmente el desempeño en preguntas de múltiples saltos (multi-hop), mientras que eliminar la Memoria de Evidencia ( $M_E$ ) afectó el desempeño en preguntas no contestables, resaltando sus roles complementarios.
- Reemplazar la memoria estructurada con compresión de texto plano resultó en el peor desempeño, validando la necesidad de la representación estructurada.
Eficiencia: Aunque MARDoc incurre en un aumento modesto en el uso de tokens (~~22.5k tokens adicionales) y latencia (~~16s) en comparación con los métodos de un solo paso, este intercambio genera una ganancia significativa en precisión (7.8 puntos porcentuales).

Significado y Reivindicaciones

El artículo sostiene que MARDoc valida la efectividad de la memoria estructurada para la QA de documentos basada en agentes. Al evitar que el historial completo de interacción se propague repetidamente, el marco mantiene un estado de razonamiento compacto mientras preserva los hechos críticos para la respuesta y sus dependencias lógicas.

Los autores posicionan a MARDoc como una solución al problema de la "explosión de contexto" en la recuperación-razonamiento iterativa, demostrando que una interfaz mediada por la memoria puede mejorar significativamente las capacidades de razonamiento de múltiples saltos en tareas de documentos largos multimodales sin requerir un costoso ajuste fino del modelo. El trabajo sugiere que la calidad de la representación de la memoria (estructurada vs. monolítica) es un factor más crítico para el razonamiento de contexto largo que simplemente aumentar la ventana de contexto o el número de parámetros del modelo.