MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering

Título: MARA: Um Framework de Recuperação Aumentada Adaptativa Multimodal para Resposta a Perguntas em Documentos

1. Problema e Contexto

A Resposta a Perguntas (QA) baseada em recuperação para documentos multimodais visa identificar e integrar informações relevantes de documentos ricos em visualidade (combinando texto, layouts estruturados, tabelas e elementos visuais). Embora a Geração Aumentada por Recuperação (RAG) tenha mostrado desempenho robusto em QA baseada apenas em texto, sua aplicação a documentos multimodais enfrenta duas limitações críticas:

1. Codificação Agnóstica à Consulta (Query-Agnostic Encoding): Os métodos atuais geram representações de documentos fixas que não consideram a pergunta específica. Em documentos multimodais, onde a informação relevante pode variar desde estruturas de layout grosseiras até detalhes visuais finos, tratar todas as regiões igualmente dilui a atenção, levando a uma recuperação imprecisa.
2. Seleção Estática de Evidências (Static Input Selection): Os pipelines tradicionais utilizam uma seleção fixa de top-k documentos para alimentar o gerador. Isso não se adapta à distribuição incerta das evidências relevantes. Um k pequeno pode omitir informações cruciais (respostas parciais), enquanto um k grande introduz ruído e sobrecarrega o contexto do gerador, degradando a qualidade da resposta.

2. Metodologia: O Framework MARA

O MARA (Multimodal Adaptive Retrieval-Augmented) propõe um framework dual-adaptativo que introduz mecanismos sensíveis à consulta tanto na fase de recuperação quanto na de geração. O sistema consiste em dois componentes principais:

A. Query-Aligned Region Encoder (QRE) - Codificador de Região Alinhado à Consulta

• Objetivo: Melhorar a precisão da recuperação criando representações de documentos que se adaptam dinamicamente à semântica da pergunta.
• Funcionamento:
  • Decomposição Hierárquica: O documento é decomposto offline em três níveis de granularidade: Global (documento inteiro), Grosso (blocos de layout/segmentos) e Fino (células de tabela, trechos de texto, recortes de imagem).
  • Codificação Offline: Todas as regiões são codificadas independentemente por um encoder multimodal compartilhado.
  • Atenção Alinhada à Consulta (Online): Durante a inferência, o modelo calcula pesos de atenção entre a consulta e cada nível de granularidade.
  • Fusão Adaptativa: Um mecanismo de "gate" pondera dinamicamente as representações grossas e finas com base na relevância para a consulta, preservando o contexto global. Isso permite que o recuperador foque nas regiões mais informativas (seja layout ou detalhes finos) dependendo da pergunta.

B. Self-Reflective Evidence Controller (SEC) - Controlador de Evidência Auto-Reflexivo

• Objetivo: Substituir a seleção estática top-k por uma estratégia de expansão dinâmica de evidências durante a geração.
• Funcionamento:
  • Janela Deslizante: O gerador processa os documentos recuperados em janelas deslizantes.
  • Mecanismo de Reflexão: Em cada etapa, o gerador avalia se a evidência atual é suficiente para responder à pergunta. Ele emite um sinal discreto:
    • Suficiente (Suf.): Gera a resposta final e para.
    • Parcialmente Suficiente (Par. Suf.): Extrai informações úteis da janela atual, adiciona à memória de contexto e continua para a próxima iteração.
    • Insuficiente (Insuf.): Avança a janela sem atualizar a memória.
  • Parada Antecipada: O processo termina assim que a suficiência é atingida, evitando a sobrecarga de contexto e reduzindo custos computacionais desnecessários.

3. Contribuições Principais

1. Framework MARA: Introdução de um sistema unificado que aborda as limitações de codificação agnóstica e seleção estática através de mecanismos adaptativos em ambas as etapas (recuperação e geração).
2. Codificação de Região Alinhada à Consulta (QRE): Um módulo de representação multi-granular que repondera dinamicamente regiões do documento com base na relevância para a consulta, permitindo recuperação interpretável e de alta precisão em layouts complexos.
3. Controlador de Evidência Auto-Reflexivo (SEC): Uma estratégia que expande o escopo de evidências incrementalmente durante a geração, substituindo a rigidez do top-k por uma abordagem flexível e consciente do contexto.
4. Validação Empírica: Experimentos abrangentes em seis benchmarks de QA multimodal, demonstrando superioridade consistente sobre métodos State-of-the-Art (SOTA).

4. Resultados Experimentais

Os experimentos foram conduzidos em seis conjuntos de dados diversos (ArxivQA, ChartQA, DocVQA, InfoVQA, PlotQA, SlideVQA), utilizando modelos como MiniCPM-V 2.6 e GPT-4o.

• Desempenho de Geração: O MARA superou consistentemente o baseline VisRAG (o método SOTA atual) e se aproximou significativamente do desempenho do "Oráculo" (que usa os documentos corretos por definição).
  • Com o MiniCPM-V 2.6, o MARA alcançou 88,1% do desempenho do Oráculo em média.
  • Com o GPT-4o, alcançou 87,8%.
  • Em tarefas complexas como PlotQA, o MARA mostrou-se robusto, enquanto aumentar o k estático (ex: top-10) frequentemente degradou a performance devido ao ruído.
• Desempenho de Recuperação: O QRE superou todos os recuperadores baseados em VLM (VisRAG-Ret, SigLIP, ColPali, DSE) em métricas de MRR e Recall, com ganhos médios de 3,6 pontos no MRR sobre o baseline mais forte.
• Eficiência: O MARA atingiu a maior precisão com um tempo de execução significativamente menor do que a estratégia top-10. O SEC em média requer menos de 2 chamadas por consulta, evitando o processamento excessivo de documentos irrelevantes.
• Estudo de Ablação: A remoção de qualquer um dos módulos (QRE ou SEC) resultou em quedas notáveis de desempenho, confirmando que a sinergia entre a recuperação adaptativa e o controle de evidências dinâmico é essencial.

5. Significado e Impacto

O trabalho MARA representa um avanço significativo na área de QA multimodal ao demonstrar que a rigidez dos pipelines RAG tradicionais é um gargalo para documentos complexos.

• Adaptabilidade: O sistema imita o comportamento humano de focar seletivamente em informações relevantes e buscar mais evidências apenas quando necessário.
• Eficiência-Custo: Ao evitar a sobrecarga de contexto e o processamento de documentos irrelevantes, o MARA oferece um trade-off superior entre precisão e custo computacional.
• Generalização: A abordagem é robusta em diversos tipos de documentos (artigos científicos, manuais, infográficos, slides), sugerindo que a adaptação dinâmica é um caminho fundamental para o futuro da interação homem-máquina com documentos multimodais.

Em resumo, o MARA estabelece um novo paradigma para a recuperação e geração em documentos multimodais, movendo-se de estratégias estáticas para um fluxo de trabalho dinâmico, interpretável e altamente eficiente.