Resumo Técnico: MAGE-RAG

Definição do Problema

O questionamento (QA) multimodal de documentos longos requer sistemas que localizem evidências esparsas em PDFs extensos e integrem pistas heterogêneas de textos, tabelas, imagens, gráficos e layouts complexos. As abordagens atuais de Recuperação Aumentada por Geração (RAG) enfrentam três limitações principais:

1. Top-k Fixo e Orçamentos Estáticos: Os métodos atuais mapeiam cada consulta para um número fixo de páginas ou fragmentos (chunks). Isso cria um compromisso onde um $k$ pequeno perde evidências dispersas entre várias páginas, enquanto um $k$ grande introduz ruído excessivo e regiões irrelevantes, particularmente para perguntas não respondíveis ou de página única.
2. Evidência de Granularidade Única: A recuperação baseada em texto comprime o contexto, mas perde informações visuais e de layout. Inversamente, a recuperação visual em nível de página preserva o layout original, mas força o leitor a processar grandes regiões irrelevantes, aumentando os custos de inferência e o ruído.
3. Falta de Controle em Tempo de Consulta: Os pipelines padrão passam candidatos recuperados diretamente para o leitor sem um mecanismo explícito para rastrear estados de evidência, gerenciar lacunas ou expandir/podar evidências dinamicamente com base nas necessidades específicas de uma consulta.

O artigo formula o QA multimodal de documentos longos como um problema de construção de subgrafo de evidências em tempo de consulta sob restrições de orçamento, visando equilibrar cobertura de evidências, controle de ruído e custo de inferência.

Metodologia: MAGE-RAG

O MAGE-RAG (Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG) aborda essas limitações através de um framework composto por quatro componentes interconectados:

1. Construção de Grafo de Evidências Multigranular Offline

Antes do tempo de consulta, o sistema analisa o PDF em um grafo de evidências heterogêneo $G_D = (V, E)$:

• Nós: O grafo contém Nós de Página ($V_p$) que representam visualizações de página inteira (preservando o layout e o contexto visual) e Nós de Elemento ($V_e$) que representam componentes de granularidade fina (títulos, parágrafos, tabelas, gráficos, imagens, fórmulas).
• Arestas: As relações codificam a estrutura do documento, incluindo contenção (página-para-elemento), ordem de leitura, adjacência de layout, hierarquia de seção e relações de vizinhança semântica.
• Atributos: Cada nó armazena descrições multimodais, incluindo resumos, conteúdo de texto, caixas delimitadoras (bounding boxes) e referências de imagem.

2. Fundamentação Inicial em Nível de Página

No tempo de consulta, o sistema utiliza recuperação visual em nível de página (ex: ColPali) para identificar as Top-$k$ páginas mais relevantes. Isso serve como um ponto de entrada robusto, inicializando a memória de trabalho com nós de página em vez de tentar buscar em todo o espaço de elementos do zero.

3. Controlador de Evidências Online

Um controlador iterativo gerencia o estado da evidência ($S_t$) através de uma sequência de ações dentro de um orçamento definido ($B$). O estado de cada nó pode ser Inativo, Ativo (selecionado para a memória de trabalho), Aberto (conteúdo detalhado exposto) ou Podado (descartado).

• Espaço de Ação: O controlador realiza ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (re-recuperação focada), PRUNENODE e STOP.
• Processo de Decisão: Um avaliador estima a utilidade marginal das ações candidatas com base na pergunta atual, no estado da evidência e no rastro recente. Ele decide se deve expandir o grafo, abrir elementos específicos, buscar novas páginas ou podar nós de baixo valor.
• Restrições de Orçamento: O processo é limitado por limites de páginas iniciais, ações de ativação por iteração, total de iterações e nós abertos finais, evitando o crescimento ilimitado do contexto.

4. Renderização do Leitor Multimodal Estruturado

O subgrafo de evidências final é renderizado em uma entrada estruturada para o leitor de Modelo de Linguagem de Visão de Grande Escala (LVLM). Esta entrada alinha imagens de página, recortes de nós locais e caixas delimitadoras com texto estruturado em XML contendo resumos e tipos de nós. Isso permite que o leitor consuma evidências compactas, relevantes e visualmente fundamentadas, em vez de texto bruto não estruturado ou páginas completas.

Principais Contribuições

1. Formulação do Problema: Os autores diagnosticam as limitações da recuperação de granularidade fixa e propõem formular o QA de documentos longos como construção de subgrafo de evidências com orçamento, enfatizando a necessidade de gerenciamento de estado em tempo de consulta.
2. Framework MAGE-RAG: O artigo apresenta um sistema que unifica pontos de entrada visual de nível de página, um grafo de documentos multigranular, um controlador de evidências online e renderização estruturada. Isso permite a seleção, expansão e poda dinâmica de evidências dentro de um espaço de estado compartilhado.
3. Protocolo Unificado e Análise: Os autores estabelecem um protocolo de comparação unificado entre LongDocURL e MMLongBench-Doc, analisando o desempenho não apenas por precisão, mas por orçamento de evidência, comportamento de rastro e decomposições granulares (página única vs. múltiplas páginas, tipos de evidência).

Resultados Experimentais

O sistema foi avaliado no LongDocURL e MMLongBench-Doc, comparando-se com Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG) e Graph/Agentic RAG (MLDocRAG, G2-Reader).

• Desempenho: O MAGE-RAG alcançou 52,75% de precisão geral no LongDocURL e 53,26% de precisão (51,19 F1) no MMLongBench-Doc.
• Comparações: Superou o Direct MLLM, Text RAG, Page-level Visual RAG e a linha de base de Graph/Agentic G2-Reader. Notavelmente, mostrou melhorias significativas em tarefas de raciocínio entre páginas (cross-page) em comparação com as linhas de base de RAG visual (ex: 34,70% de precisão cross-page vs. 24,87% para M3DocRAG no MMLongBench-Doc).
• Granularidade: O sistema demonstrou que combinar âncoras de nível de página com evidências locais de nível de elemento produz um desempenho mais estável em tipos de evidência heterogêneos (texto, tabelas, gráficos) do que abordagens de granularidade única.
• Análise de Rastro: Uma análise detalhada de rastro revelou que amostras corretas não necessariamente requerem rastros mais longos ou mais iterações do que as incorretas; em vez disso, elas se beneficiam de uma seleção de evidência mais eficaz (abrindo nós relevantes e podando os irrelevantes).

Significância e Alegações

O artigo alega que o MAGE-RAG demonstra que a construção de subgrafo de evidências em tempo de consulta pode equilibrar efetivamente a cobertura de evidências dispersas com o controle de ruído de contexto. Ao tratar a recuperação não como uma decisão de etapa única, mas como um processo iterativo e com estado, o framework se adapta aos requisitos de evidência específicos de cada pergunta.

Os autores observam modestamente que o limite superior do framework depende da qualidade do grafo de evidências offline e que o controlador introduz custos computacionais adicionais (chamadas de avaliador). Eles sugerem que a abordagem é particularmente adequada para cenários de documentos longos com evidências esparsas, dependências entre páginas ou layouts visuais complexos, reconhecendo que pode não ser custo-efetiva para todos os casos de documentos curtos ou de passo único. O trabalho fornece um mecanismo rastreável e auditável para diagnosticar falhas na compreensão de documentos multimodais, indo além das simples métricas de precisão para analisar o próprio processo de construção de evidências.