LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

Resumo Técnico: LFRAG – Recuperação Aumentada por Geração Orientada a Layout e de Alta Granularidade para Compreensão de Documentos Multimodais

Declaração do Problema
A Recuperação Aumentada por Geração Multimodal (RAG) emergiu como um paradigma para aprimorar Modelos de Linguagem de Grande Porte (LLMs) com conhecimento externo proveniente de documentos visualmente ricos (por exemplo, artigos científicos, relatórios financeiros). No entanto, os sistemas de RAG multimodal existentes dependem predominantemente de recuperação em nível de página de baixa granularidade. Essa abordagem trata uma página inteira do documento como a unidade mínima de recuperação, o que introduz limitações significativas:

1. Perda de Estrutura de Alta Granularidade: Falha em capturar semânticas hierárquicas intra-página e estruturas de layout, como relações de linhas e colunas em tabelas ou associações entre figuras e texto.
2. Contexto Redundante: A recuperação de páginas inteiras introduz conteúdo substancialmente irrelevante, aumentando a sobrecarga computacional para a geração a jusante e elevando o risco de alucinação.
3. Perda de Resolução: O particionamento de imagens em patches de resolução fixa em Modelos Visão-Linguagem (VLMs) frequentemente reduz a amostragem de páginas de alta resolução, causando a perda de informações de alta granularidade.

As soluções atuais convertem documentos em texto puro via OCR (descartando dados visuais/estruturais) ou utilizam VLMs para codificar páginas inteiras (ignorando o layout intra-página). Há uma falta de frameworks que segmentem efetivamente documentos em blocos semanticamente coerentes, preservando informações de layout para recuperação precisa.

Metodologia: Framework LFRAG
Para abordar esses desafios, os autores propõem o LFRAG (Recuperação Aumentada por Geração Orientada a Layout e de Alta Granularidade), um framework que desloca o paradigma de recuperação de nível de página para nível de bloco. O sistema opera através de quatro etapas principais:

1. Segmentação de Layout e Agregação de Blocos Semânticos:

   • O sistema utiliza primeiro um modelo de detecção de layout (DocLayout-YOLO) para identificar regiões estruturais (por exemplo, títulos, figuras, tabelas, parágrafos).
   • Para prevenir fragmentação excessiva (por exemplo, separar uma figura de sua legenda), um algoritmo de agregação de blocos semânticos baseado em grafos é empregado. Este algoritmo funde regiões espacialmente adjacentes e semanticamente compatíveis (com base em sobreposição, distância vertical e consistência de tipo) em blocos coerentes.
   • Um bloco auxiliar de "página mascarada" também é criado para reter o contexto global de fundo não capturado em recortes individuais.

2. Codificação de Fusão de Recursos Semânticos e de Layout:

   • Uma estratégia de codificação hierárquica é projetada. Imagens de blocos são codificadas por um codificador visual, enquanto a página inteira é codificada para gerar um embedding global.
   • Um mecanismo de atenção cruzada integra o contexto global de layout nas representações locais de blocos.
   • Etiquetas de tipo de layout (por exemplo, <Figure>, <Table>) são codificadas e concatenadas com os embeddings visuais projetados para aprimorar a consciência estrutural.

3. Recuperação de Interação Tardia em Nível de Bloco:

   • A recuperação utiliza um mecanismo de interação tardia (inspirado no ColBert). Tokens de consulta e representações de blocos são codificados em embeddings de múltiplos vetores.
   • A relevância é computada usando uma pontuação MaxSim (máximo produto escalar entre tokens de consulta e tokens de bloco), permitindo alinhamento de alta granularidade sem fusão precoce.
   • Os blocos mais relevantes (top-$k$) são recuperados com base nessa pontuação.

4. Geração Aumentada:

   • Os blocos recuperados (top-$k$) e a consulta original são alimentados em um VLM para geração de respostas. Ao restringir a entrada a blocos precisos em vez de páginas inteiras, o modelo opera sobre evidências estruturalmente fundamentadas, reduzindo o ruído.

Construção de Benchmark: LFDocQA
Reconhecendo a falta de padrões de avaliação de alta granularidade, os autores construíram o LFDocQA, o primeiro benchmark de documentos multimodais com anotações de caixas delimitadoras em nível de bloco.

• Composição: Consiste em dois subconjuntos: LF-Docmatix (derivado de documentos gerais) e LF-PaperTab (derivado de artigos acadêmicos com layouts complexos).
• Anotação: Um pipeline semi-automático utiliza LLMs para identificar blocos relevantes de verdade fundamental para consultas específicas, garantindo que as consultas estejam explicitamente alinhadas com regiões de layout em vez de páginas inteiras.
• Escala: O conjunto de dados inclui 1.000 pares de perguntas e respostas com anotações detalhadas em nível de bloco, cobrindo diversos tipos de conteúdo como texto, tabelas e gráficos.

Resultados Experimentais
Extensos experimentos no LFDocQA e em benchmarks públicos (ViDoRe V1, VisDoMBench) demonstram o seguinte:

• Desempenho de Recuperação: O LFRAG alcança desempenho state-of-the-art. No LFDocQA (domínio interno), supera a melhor linha de base (ColQwen2.5-v0.2) em 4,95% em nDCG@3 e 3,85% em Recall@3 no nível de bloco.
• Desempenho de Geração: O LFRAG melhora a precisão das respostas em 7,20% em comparação com a melhor linha de base.
• Eficiência: Ao filtrar contexto irrelevante, o LFRAG reduz o consumo de tokens de entrada em 73,07% em tarefas de geração (caindo de ~8–10k tokens para ~1,7–2,9k tokens) enquanto mantém ou melhora a qualidade das respostas.
• Generalização: O framework demonstra forte generalização em benchmarks públicos de nível de página, alcançando a maior média de Recall@5 no ViDoRe V1 e a maior média de ANLCS no VisDoMBench.

Significado e Contribuições
O artigo afirma três contribuições principais:

1. Framework LFRAG: Um novo framework de RAG multimodal que integra segmentação de layout, codificação de fusão semântica-layout e interação tardia em nível de bloco para permitir recuperação precisa e geração eficiente.
2. Benchmark LFDocQA: O primeiro benchmark de recuperação e perguntas-respostas multimodais em nível de bloco, preenchendo a lacuna nas avaliações existentes em nível de página e permitindo avaliação rigorosa de alta granularidade.
3. Validação Empírica: Extensos experimentos confirmando que a mudança da recuperação em nível de página para a recuperação em nível de bloco melhora significativamente a precisão da recuperação, reduz a sobrecarga de geração e mitiga riscos de alucinação na compreensão de documentos visualmente ricos.

Os autores concluem que a recuperação eficaz de alta granularidade depende de segmentação semanticamente significativa em vez de divisão arbitrária, e que a integração de informações de layout é crucial para lidar com estruturas documentais complexas. Trabalhos futuros estão planejados para expandir o framework para lidar melhor com dados estruturados como tabelas e explorar estratégias de granularidade adaptativa.