Resumo Técnico: VLD-RAG

Declaração do Problema

Documentos visualmente ricos (ex: relatórios, slides, manuais) frequentemente distribuem a evidência necessária para responder a uma pergunta através de múltiplas páginas, misturando texto com layouts complexos, tabelas, gráficos e figuras. Pipelines de Recuperação Aumentada por Geração (RAG) padrão, projetados primariamente para cenários centrados em texto, degradam-se nesses cenários. Converter páginas em texto puro frequentemente resulta em perda de informação, obscurecendo semânticas de layout, relações espaciais e pistas não textuais essenciais para a interpretação correta. Além disso, abordagens focadas primariamente em visão enfrentam desafios: a dependência de texto extraído ou OCR pode perder sinais estruturais; a fusão ingênua de sinais léxicos e semânticos pode ser frágil quando as modalidades divergem; e a recuperação de etapa única (single-shot) é frequentemente insuficiente para documentos longos que exigem a descoberta de evidências em múltiplas etapas espalhadas por páginas.

Metodologia: Framework VLD-RAG

Os autores propõem o VLD-RAG, um framework de RAG multimodal agêntico projetado para recuperação de evidências de múltiplas páginas e raciocínio entre páginas. O sistema opera em três estágios primários:

1. Representação de Documento em Espaço Duplo

O VLD-RAG emprega uma arquitetura de índice duplo para preservar sinais complementares:

• Índice Visual: Imagens de páginas são codificadas em embeddings densos de visão-linguagem ($v_i$) usando um codificador de visão (ColPali). Isso preserva o layout visual e a semântica textual em um espaço unificado, aderindo à filosofia de "recuperar por imagem de página".
• Índice de Texto: As páginas são analisadas em Markdown estruturado, preservando informações de layout (tabelas, figuras, cabeçalhos). Estes são serializados e indexados como embeddings de fragmentos ($t_{i,j}$). Isso permite a reconstrução fiel da evidência e o emparelhamento lexical preciso (IDs, números, entidades raras).

2. Formulação de Consulta Multimodal e Recuperação Híbrida

Ao receber uma consulta $q$, o sistema realiza a decomposição da consulta multimodal para gerar intenções de recuperação estruturadas, incluindo entidades salientes, âncoras visuais e tipos de evidência esperados. O processo de recuperação combina dois ramos:

• Recuperação Léxica Esparsa: Extrai palavras-chave ($k$) da consulta para realizar uma busca padrão baseada em frequência de termos.
• Recuperação Semântica Densa: Gera um "documento hipotético" ($h$) condicionado à consulta usando um modelo de linguagem (Gemma3n). Este documento sintético aproxima o conteúdo de uma página ideal que contenha a resposta, preenchendo a lacuna semântica entre a consulta e o documento. O documento hipotético é codificado em um embedding denso de visão-linguagem ($e_h$) e confrontado com os embeddings das páginas via busca ANN.

Fusão Consistente entre Modalidades:
Os candidatos de ambos os ramos são fundidos. Para lidar com a divergência cross-modal, uma pontuação de fusão com restrição de consistência é aplicada:
$$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$$
onde $\Delta(i)$ penaliza candidatos onde os sinais esparsos e densos divergem significativamente.

3. Fluxo de Trabalho Agêntico e Refinamento Iterativo

O VLD-RAG utiliza um fluxo de trabalho de agente guiado por verificador envolvendo um Agente de Recuperação, um Agente de Resposta e um Agente de Validação.

• Geração Baseada em Evidências: O gerador produz uma resposta fundamentada em regiões de páginas recuperadas, spans de Markdown analisados e metadados.
• Loop de Verificação: Um agente de validação verifica se a resposta gerada é suficientemente suportada pela evidência (limiar de confiança $\tau$). Se a validação falhar (ex: citações ausentes ou baixa confiança), o sistema aciona um passo de refinamento iterativo. A consulta é refinada ($q'$) com base na evidência ausente, e o processo de recuperação se repete com intenções atualizadas.

Principais Contribuições

1. Arquitetura de Índice Duplo: Um framework de RAG de documentos visão-linguagem que preserva tanto pistas de layout visual (via embeddings de nível de página) quanto sinais léxicos precisos (via serialização Markdown estruturada).
2. Recuperação Híbrida Consistente entre Modalidades: Uma estratégia de recuperação que modela explicitamente o acordo entre as modalidades esparsa e densa, usando restrições de consistência para melhorar a robustez contra incompatibilidades cross-modais.
3. Loop Agêntico Guiado por Verificador: Um mecanismo que permite a descoberta confiável de evidências de múltiplas páginas através do refinamento iterativo de consultas, abordando a insuficiência da recuperação de etapa única para questões complexas entre páginas.

Resultados Experimentais

O framework foi avaliado em dois benchmarks de documentos longos multimodais: LongDocURL e MMLongBench-Doc.

• Desempenho de Recuperação: O VLD-RAG demonstrou melhorias consistentes sobre os baselines (incluindo M3DocRAG, MDocAgent e MoLoRAG) em Recall@K, NDCG e MRR em todas as configurações de top-K ($K \in \{1, 3, 5\}$).
  • No MMLongBench-Doc, o VLD-RAG alcançou os maiores índices de Recall e qualidade de ranking.
  • No LongDocURL (que apresenta documentos mais longos e maiores porcentagens de perguntas de múltiplas páginas), o VLD-RAG mostrou ganhos particularmente fortes em Recall e NDCG, superando os baselines apenas de texto ou apenas de imagem.
• Análise: Os resultados indicam que a abordagem híbrida captura efetivamente a relevância consciente de posição, o que é crítico para a recuperação de múltiplas páginas. A integração da geração de documentos hipotéticos ajudou a preencher lacunas semânticas, especialmente quando a evidência estava inserida em layouts complexos. Embora alguns baselines tenham alcançado maior Precisão em valores intermediários de K, o superior Recall e métricas de ranking do VLD-RAG sugerem uma melhor eficácia geral para tarefas de geração aumentada por recuperação que exigem cobertura abrangente de evidências.

Significância

O artigo postula que a verificação agêntica coordenada e a recuperação híbrida multimodal são cruciais para o embasamento confiável quando as respostas corretas dependem de evidências espalhadas por várias páginas. Ao preservar a informação de layout visual enquanto mantém o emparelhamento léxico preciso, o VLD-RAG aborda as limitações dos sistemas de RAG existentes em contextos de documentos longos e visualmente ricos. Os achados destacam que um RAG multimodal eficaz requer não apenas melhores encoders, mas também estratégias estruturais para fundir modalidades e mecanismos iterativos para recuperar evidências ausentes.