PDF Retrieval Augmented Question Answering

1. Problema Identificado

O trabalho aborda as limitações dos sistemas atuais de Recuperação Aumentada por Geração (RAG) quando aplicados a documentos PDF. A maioria dos sistemas RAG existentes foca exclusivamente em conteúdo textual, ignorando ou tratando inadequadamente elementos não textuais ricos e diversificados presentes em PDFs, como:

• Imagens e diagramas vetoriais;
• Gráficos e tabelas complexas;
• Cabeçalhos e rodapés que introduzem ruído.

Essa lacuna impede que os sistemas respondam a perguntas complexas e multifacetadas que exigem a integração e interpretação simultânea de diferentes modalidades de dados (texto + imagem + tabela), resultando em alucinações ou respostas imprecisas.

2. Metodologia: Sistema PIER-QA

Os autores propõem o PIER-QA (PDF Integrated Enhanced Retrieval Question Answering), um sistema end-to-end composto por três etapas principais:

A. Pré-processamento de PDF

• Remoção de Ruído: Utiliza o algoritmo de agrupamento DBSCAN para identificar e remover automaticamente cabeçalhos e rodapés repetitivos, baseando-se na densidade espacial e coordenadas dos elementos na página.
• Conversão para Markdown: O documento limpo é convertido para o formato Markdown usando a ferramenta Marker, que extrai texto, imagens e tabelas.
• Processamento Multimodal:
  • Legendas de Imagem: O modelo LLaVA (Large Language and Vision Assistant) é utilizado para gerar legendas textuais para cada imagem/diagrama, transformando o conteúdo visual em texto recuperável.
  • Formatação de Tabelas: Tabelas em Markdown são comprimidas para um formato de dicionário para otimizar o armazenamento e a recuperação.

B. Indexação e Armazenamento

• Segmentação (Chunking): O documento processado é dividido em blocos de 1000 caracteres.
• Embedding: Os blocos (texto, legendas de imagem e dados de tabelas) são vetorizados usando o modelo GTE-large.
• Armazenamento e Recuperação: Os vetores são armazenados no ElasticSearch. O sistema emprega o RAPTOR (Recursive Abstractive Processing for Tree-Organized Retrieval) para criar um índice hierárquico baseado em semântica, melhorando a precisão da recuperação de contexto.

C. Perguntas e Respostas (QA) e Ajuste Fino (Fine-tuning)

• Recuperação: Ao receber uma consulta, o sistema busca os top-k blocos mais relevantes.
• Modelo RAG-Aware: Os autores realizaram o fine-tuning do modelo Llama3-70B utilizando a técnica LoRA (Low-Rank Adaptation). O conjunto de dados de treinamento foi gerado sinteticamente (usando GPT-4) para criar pares de pergunta-resposta que simulam o cenário de inferência (contexto fragmentado e misturado).
• Geração e Recuperação de Elementos: O modelo é instruído a incluir IDs de imagens ou tabelas na resposta se necessário. O sistema então recupera esses elementos do banco de dados e os exibe ao usuário, garantindo que a resposta final seja multimodal.

3. Contribuições Chave

1. Integração Multimodal em RAG: Desenvolvimento de um pipeline robusto que não apenas extrai texto, mas processa e integra ativamente imagens, gráficos e tabelas em um framework RAG.
2. Pré-processamento Inteligente: Uso de DBSCAN para limpeza automática de PDFs e conversão para Markdown com legendas geradas por IA, permitindo que modelos de linguagem "leiam" imagens.
3. Ajuste Fino Específico para Domínio: Criação de um modelo RAG-Llama3-70B ajustado especificamente para entender o formato de dados do sistema (Markdown, IDs de imagens, estrutura de tabelas), superando a barreira de modelos genéricos.
4. Recuperação de Elementos Não Textuais: Capacidade do sistema de identificar quando uma resposta requer uma imagem ou tabela específica e recuperá-la dinamicamente para exibição.

4. Resultados Experimentais

O sistema foi avaliado em um conjunto de dados interno de 100 perguntas e respostas cobrindo texto, imagens e tabelas.

• Comparação com Baseline: O PIER-QA superou consistentemente um sistema baseline (que usa apenas texto bruto sem pré-processamento ou recuperação multimodal) em todas as métricas.
  • Semelhança (Similarity): O PIER-QA com GPT-4o atingiu 0.8837 (vs. 0.8647 do baseline).
  • Precisão (Accuracy@0.95): O PIER-QA com GPT-4o atingiu 19.1% (vs. 11.11% do baseline), demonstrando maior robustez em respostas de alta precisão.
• Desempenho de Modelos: O modelo ajustado RAG-Llama3-70B (em 4-bit) superou o Llama3 padrão e competiu de perto com o GPT-4o, alcançando a melhor precisão no limiar mais alto (0.95), com 21.35% de acurácia.
• Recuperação Multimodal: O sistema alcançou 65.66% de precisão na recuperação correta de IDs de imagens e 48.38% na recuperação de IDs de tabelas, provando sua eficácia em lidar com dados não textuais sem depender de modelos multimodais massivos para a etapa final de geração.

5. Significância e Conclusão

Este trabalho avança significativamente o estado da arte em sistemas de QA baseados em RAG ao demonstrar que é possível criar um sistema eficiente e preciso para documentos PDF complexos, superando a dependência exclusiva de texto.

• Impacto Prático: Permite que organizações extraiam insights de documentos técnicos, relatórios financeiros e manuais que contêm dados visuais críticos, algo que sistemas anteriores falhavam em fazer.
• Eficiência: A abordagem de ajustar um modelo de linguagem aberto (Llama3) para ser "consciente do RAG" e do formato de dados reduz a dependência de modelos proprietários caros (como GPT-4) para tarefas complexas de extração.
• Futuro: O trabalho estabelece uma base para pesquisas futuras em integração de dados multimodais, embora reconheça limitações atuais na conversão perfeita de tabelas extremamente complexas e na variabilidade de formatos de PDF.

Em resumo, o PIER-QA demonstra que a combinação de pré-processamento avançado, recuperação semântica hierárquica e ajuste fino direcionado pode transformar a interação com documentos PDF, tornando-os verdadeiramente acessíveis para perguntas e respostas inteligentes.