💬 NLP

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG es un marco de grafo adaptativo multigranular para la respuesta a preguntas multimodales en documentos largos que construye subgrafos de evidencia en tiempo de consulta mediante la activación y poda iterativa de nodos de página y de elemento, equilibrando así la cobertura de evidencia con la reducción de ruido para lograr un rendimiento de vanguardia en LongDocURL y MMLongBench-Doc.

Autores originales: Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero en lugar de unas pocas pistas sobre un escritorio, te entregan una enciclopedia masiva de 500 páginas llena de texto, gráficos, fotos y diagramas complejos. Tu objetivo es encontrar la respuesta específica que está escondida en algún lugar dentro de ella.

Este es el desafío de la Pregunta-Respuesta Multimodal de Documentos Largos. El artículo presenta un nuevo sistema llamado MAGE-RAG para resolver este problema. Así es como funciona, explicado de forma sencilla:

El Problema: El error de "Talla Única"

Los sistemas actuales intentan resolver este misterio de dos formas fallidas:

El enfoque "Solo Texto": Leen las palabras pero desechan las imágenes y el diseño. Es como leer la transcripción de una película pero nunca ver a los actores ni el escenario. Podrías perderte una pista crucial escondida en un gráfico o un diagrama.
El enfoque de "Página Completa": Toman páginas enteras del libro y se las muestran a la IA. Pero si la respuesta es solo una pequeña frase en medio de una página, la IA se siente abrumada por toda la basura irrelevante (como anuncios, pies de página o imágenes no relacionadas) que la rodea. Es como intentar encontrar una aguja en un pajar entregándole todo el pajar a un robot.

Ambos métodos están estancados en un modo "fijo": toman un número determinado de páginas o fragmentos sin importar qué tan difícil o fácil sea la pregunta.

La Solución: MAGE-RAG (El Detective Inteligente)

MAGE-RAG actúa como un detective inteligente y adaptativo que no solo agarra páginas, sino que construye un mapa dinámico del documento.

1. El Mapa (El Grafo Multigranular)

Antes de que el detective comience a buscar, MAGE-RAG construye un "mapo" especial de todo el documento.

Nodos de Página: Estos son los grandes puntos de referencia (la página completa).
Nodos de Elemento: Estos son los detalles diminutos (un párrafo específico, una tabla, un gráfico o una lista).
Conexiones: El mapa dibuja líneas entre estos elementos, mostrando cómo se relacionan. Por ejemplo, sabe que un gráfico está dentro de una sección específica, o que una tabla está al lado de un párrafo.

Este mapa permite al sistema hacer zoom en un detalle minúsculo o alejarse para ver la página completa, dependiendo de lo que sea necesario.

2. La Investigación (Control en el Momento de la Consulta)

Cuando haces una pregunta, MAGE-RAG no solo vuelca datos a la IA. Juega un juego de "Frío o Caliente" con un presupuesto estricto (un límite de cuánto tiempo y memoria puede usar).

Paso 1: El Punto de Entrada: Comienza tomando algunas páginas probables (como el detective entrando en la habitación correcta).
Paso 2: La Búsqueda Iterativa: El sistema tiene un "controlador" que actúa como un gerente de proyecto. Pregunta:
- "¿Tenemos suficiente información?"
- "¿Deberíamos hacer zoom y abrir ese gráfico específico?" (Abrir Nodo)
- "¿Deberíamos mirar la página anterior o la siguiente?" (Buscar/Expandir)
- "¿Este párrafo es irrelevante? Ignorémoslo." (Podar)
Paso 3: El Presupuesto: El detective tiene una regla: "Solo puedo mirar 5 páginas y abrir 10 detalles". Si la respuesta es simple, se detiene pronto. Si la respuesta es compleja y está dispersa por todo el libro, utiliza todo su presupuesto para profundizar más.

3. El Informe Final (Renderizado Estructurado)

Una vez que el detective ha reunido las pistas adecuadas, no entrega simplemente un montón de papeles desordenados. Organiza la evidencia en un informe limpio y estructurado. Le muestra a la IA el texto específico, el recorte exacto del gráfico y el diseño de la página relevante, eliminando todo el ruido.

Por qué es mejor (Los Resultados)

El artículo probó esto en dos conjuntos de datos difíciles (LongDocURL y MMLongBench-Doc) llenos de documentos largos y complejos.

Precisión: MAGE-RAG logró aproximadamente un 52.75% de precisión en una prueba y un 53.26% en la otra, superando a los métodos anteriores que dependían de recuentos de páginas fijos o búsquedas de solo texto.
Eficiencia: No ganó simplemente leyendo más; ganó leyendo mejor. Logró encontrar respuestas que estaban dispersas en diferentes páginas o escondidas dentro de diseños complejos, algo que otros sistemas pasaron por alto.
Transparencia: Debido a que el sistema mantiene un "rastro" (un registro de cada paso que tomó), podemos ver exactamente por qué tuvo éxito o falló. ¿Pasó por alto la página correcta? ¿Podó una pista demasiado pronto? Esto hace que el sistema sea más fácil de depurar.

La Conclusión

MAGE-RAG cambia el juego de "agarra unas pocas páginas y espera lo mejor" a "construye un mapa, sigue las pistas y muestra a la IA exactamente lo que necesita para resolver el rompecabezas". Equilibra la necesidad de ver el panorama general (la página) con la necesidad de ver los detalles finos (el gráfico o texto específico), todo mientras se mantiene dentro de un presupuesto estricto de tiempo y recursos.

Resumen Técnico: MAGE-RAG

Definición del Problema

La respuesta a preguntas (QA) multimodal en documentos largos requiere que los sistemas localicen evidencia dispersa dentro de PDFs extensos e integren pistas heterogéneas de texto, tablas, imágenes, gráficos y diseños complejos. Los enfoques actuales de Generación Aumentada por Recuperación (RAG) enfrentan tres limitaciones principales:

Top-k Fijo y Presupuestos Estáticos: Los métodos actuales mapean cada consulta a un número fijo de páginas o fragmentos. Esto crea un compromiso donde un $k$ pequeño pierde evidencia dispersa entre varias páginas, mientras que un $k$ grande introduce un exceso de ruido y regiones irrelevantes, particularmente para preguntas no contestables o de una sola página.
Evidencia de Granularidad Única: La recuperación basada en texto comprime el contexto pero pierde la información visual y de diseño. Por el contrario, la recuperación visual a nivel de página preserva el diseño original pero obliga al lector a procesar grandes regiones irrelevantes, aumentando los costos de inferencia y el ruido.
Falta de Control en el Tiempo de Consulta: Los pipelines estándar pasan los candidatos recuperados directamente al lector sin un mecanismo explícito para rastrear estados de evidencia, gestionar brechas o expandir/podar dinámicamente la evidencia basándose en las necesidades específicas de una consulta.

El artículo formula la QA multimodal en documentos largos como un problema de construcción de subgrafos de evidencia en el tiempo de consulta bajo restricciones de presupuesto, con el objetivo de equilibrar la cobertura de evidencia, el control de ruido y el costo de inferencia.

Metodología: MAGE-RAG

MAGE-RAG (Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG) aborda estas limitaciones a través de un marco que comprende cuatro componentes interconectados:

1. Construcción de Grafo de Evidencia Multigranular Offline

Antes del tiempo de consulta, el sistema analiza el PDF en un grafo de evidencia heterogéneo $G_D = (V, E)$ :

Nodos: El grafo contiene Nodos de Página ( $V_p$ ) que representan vistas de página completa (preservando el diseño y el contexto visual) y Nodos de Elemento ( $V_e$ ) que representan componentes de grano fino (encabezados, párrafos, tablas, gráficos, imágenes, fórmulas).
Aristas: Las relaciones codifican la estructura del documento, incluyendo contención (página-a-elemento), orden de lectura, adyacencia de diseño, jerarquía de secciones y relaciones de vecindad semántica.
Atributos: Cada nodo almacena descripciones multimodales, incluyendo resúmenes, contenido de texto, cajas delimitadoras (bounding boxes) y referencias de imágenes.

2. Anclaje Inicial a Nivel de Página

En el tiempo de consulta, el sistema utiliza recuperación visual a nivel de página (por ejemplo, ColPali) para identificar las Top- $k$ páginas más relevantes. Esto sirve como un punto de entrada robusto, inicializando la memoria de trabajo con nodos de página en lugar de intentar buscar en todo el espacio de elementos desde cero.

3. Controlador de Evidencia Online

Un controlador iterativo gestiona el estado de la evidencia ( $S_t$ ) a través de una secuencia de acciones dentro de un presupuesto definido ( $B$ ). El estado de cada nodo puede ser Inactivo, Activo (seleccionado para la memoria de trabajo), Abierto (contenido detallado expuesto) o Podado (descartado).

Espacio de Acción: El controlador realiza ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (re-recuperación enfocada), PRUNENODE y STOP.
Proceso de Decisión: Un evaluador estima la utilidad marginal de las acciones candidatas basándose en la pregunta actual, el estado de la evidencia y el rastro reciente. Decide si expandir el grafo, abrir elementos específicos, buscar nuevas páginas o podar nodos de bajo valor.
Restricciones de Presupuesto: El proceso está limitado por topes en las páginas iniciales, acciones de activación por iteración, iteraciones totales y nodos finales abiertos, evitando un crecimiento de contexto sin límites.

4. Renderizado de Lector Multimodal Estructurado

El subgrafo de evidencia final se renderiza en una entrada estructurada para el lector de Modelo de Lenguaje Visual Grande (LVLM). Esta entrada alinea imágenes de páginas, recortes de nodos locales y cajas delimitadoras con texto estructurado en XML que contiene resúmenes y tipos de nodos. Esto permite que el lector consuma evidencia compacta, relevante y visualmente fundamentada en lugar de texto bruto no estructurado o páginas completas.

Contribuciones Clave

Formulación del Problema: Los autores diagnostican las limitaciones de la recuperación de granularidad fija y proponen formular la QA de documentos largos como la construcción de subgrafos de evidencia con presupuesto, enfatizando la necesidad de la gestión de estado en el tiempo de consulta.
Marco MAGE-RAG: El artículo presenta un sistema que unifica puntos de entrada visuales a nivel de página, un grafo de documentos multigranular, un controlador de evidencia online y un renderizado estructurado. Esto permite la selección, expansión y poda dinámica de la evidencia dentro de un espacio de estado compartido.
Protocolo Unificado y Análisis: Los autores establecen un protocolo de comparación unificado a través de LongDocURL y MMLongBench-Doc, analizando el rendimiento no solo por precisión, sino también por presupuesto de evidencia, comportamiento de traza y desgloses granulares (página única vs. entre páginas, tipos de evidencia).

Resultados Experimentales

El sistema fue evaluado en LongDocURL y MMLongBench-Doc, comparándolo contra Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG) y Graph/Agentic RAG (MLDocRAG, G2-Reader).

Rendimiento: MAGE-RAG logró una precisión general del 52.75% en LongDocURL y una precisión del 53.26% (51.19 F1) en MMLongBench-Doc.
Comparaciones: Superó a Direct MLLM, Text RAG, Page-level Visual RAG y la línea base de Graph/Agentic RAG, G2-Reader. Notablemente, mostró mejoras significativas en tareas de razonamiento entre páginas en comparación con las líneas base de RAG visual (por ejemplo, 34.70% de precisión entre páginas frente a 24.87% para M3DocRAG en MMLongBench-Doc).
Granularidad: El sistema demostró que combinar anclajes a nivel de página con evidencia local a nivel de elemento produce un rendimiento más estable a través de tipos de evidencia heterogéneos (texto, tablas, gráficos) que los enfoques de un solo nivel de granularidad.
Análisis de Traza: El análisis detallado de la traza reveló que las muestras correctas no requieren necesariamente trazas más largas o más iteraciones que las incorrectas; más bien, se benefician de una selección de evidencia más efectiva (abrir nodos relevantes y podar los irrelevantes).

Significancia y Reivindicaciones

El artículo afirma que MAGE-RAG demuestra que la construcción de subgrafos de evidencia en el tiempo de consulta puede equilibrar eficazmente la cobertura de evidencia dispersa con el control del ruido de contexto. Al tratar la recuperación no como una decisión de un solo paso, sino como un proceso iterativo y con estado, el marco se adapta a los requisitos de evidencia específicos de cada pregunta.

Los autores señalan modestamente que el límite superior del marco depende de la calidad del grafo de evidencia offline y que el controlador introduce costos computacionales adicionales (llamadas al evaluador). Sugieren que el enfoque es particularmente adecuado para escenarios de documentos largos con evidencia dispersa, dependencias entre páginas o diseños visuales complejos, reconociendo que puede no ser rentable para todos los casos de documentos cortos o de un solo salto. El trabajo proporciona un mecanismo trazable y auditable para diagnosticar fallos en la comprensión de documentos multimodales, yendo más allá de las simples métricas de precisión para analizar el propio proceso de construcción de la evidencia.