Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

Este artigo apresenta uma avaliação empírica de diferentes analisadores de PDF e estratégias de fragmentação para sistemas de Resposta a Perguntas com RAG no domínio financeiro, introduzindo o novo benchmark TableQuest e oferecendo diretrizes práticas para construir pipelines robustos que lidem com a heterogeneidade de documentos PDF.

O essencial

Imagine que você tem uma biblioteca gigante de documentos financeiros (relatórios anuais, balanços, contratos) que são todos guardados em PDFs. O problema é que esses PDFs são feitos para olhos humanos, não para robôs. Eles são como caixas de ferramentas cheias de mistérios: têm texto, tabelas complexas, imagens e gráficos misturados de um jeito que os computadores odeiam.

Se você tentar pedir para um robô inteligente (uma Inteligência Artificial) ler esses PDFs e responder perguntas como "Qual foi o lucro da empresa em 2023?", o robô pode se perder, inventar fatos ou simplesmente não encontrar a resposta.

É aqui que entra o RAG (um sistema que ajuda a IA a buscar informações antes de responder). Mas, para o RAG funcionar, ele precisa de duas coisas essenciais:

1. Um "Desempacotador" (Parser): Alguém que abre o PDF e transforma aquele formato feio em texto legível.
2. Um "Cortador" (Chunking): Alguém que corta esse texto em pedaços menores para a IA conseguir processar.

Os autores deste estudo (da Universidade de Luxemburgo e do BGL BNP Paribas) decidiram fazer um "Test Drive" para ver qual combinação de desempacotador e cortador funciona melhor para finanças. Eles criaram até um novo jogo de perguntas chamado TableQuest para testar especificamente a capacidade de ler tabelas.

Aqui está o resumo da ópera, usando analogias do dia a dia:

1. O Problema: A Biblioteca Bagunçada

Imagine que você precisa encontrar uma receita específica em um livro de culinária antigo.

• O PDF é o livro antigo: a letra está meio borrada, as tabelas de ingredientes estão desenhadas à mão e o texto está em duas colunas.
• A IA é um cozinheiro genial, mas que só consegue ler um pedaço de papel de cada vez. Se você jogar o livro inteiro na cara dele, ele desmaia.
• O RAG é o ajudante que vai ao livro, corta as páginas em pedaços, organiza em caixas e entrega apenas a parte relevante para o cozinheiro.

2. O Experimento: Quem é o Melhor Ajudante?

Os pesquisadores testaram várias ferramentas para ver qual fazia o trabalho de melhor qualidade:

• Os Desempacotadores (Parsers): Eles testaram 6 ferramentas diferentes.

  • Analogia: Alguns são como tesouras simples (rápidas, mas cortam de qualquer jeito). Outros são como cirurgiões (lentos, mas cortam exatamente onde deve ser, preservando a tabela).
  • Resultado: Para textos normais, um cirurgião cuidadoso (chamado pdfminer) foi ótimo. Mas para tabelas (aquelas planilhas de números), o cirurgião que entende de layout (chamado pdfplumber) foi o campeão. Se você usar uma tesoura simples em uma tabela, o robô vai ler os números na ordem errada e a conta não fecha.

• Os Cortadores (Chunking): Como cortar o texto?

  • Analogia: Você pode cortar por palavras (muito fragmentado), por frases (bom equilíbrio) ou por significado (inteligente, mas complexo).
  • Resultado: Cortar por significado (usando uma IA para saber onde a ideia muda) funcionou muito bem, especialmente para tabelas. Mas, o segredo foi o sobreposição.
  • O Segredo da Sobreposição: Imagine que você está cortando uma fita adesiva. Se você cortar exatamente na borda, pode perder um pedacinho de cola. Os pesquisadores descobriram que deixar uma sobreposição de 25% (cortar um pouco do pedaço anterior no novo pedaço) foi o "ponto ideal". Isso garante que nenhuma informação importante seja perdida na "costura" entre os pedaços.

3. O Novo Jogo: TableQuest

A maioria dos testes anteriores focava apenas em ler parágrafos de texto. Mas no mundo financeiro, o dinheiro está nas tabelas.

• Eles criaram o TableQuest, um teste onde a IA precisa encontrar uma tabela específica, entender onde está o número "Lucro Líquido" e fazer uma conta (ex: somar dois números de tabelas diferentes).
• Descoberta: Sistemas que funcionavam bem em texto puro falharam miseravelmente nas tabelas. Foi necessário um desempacotador que soubesse "segurar" a estrutura da tabela.

4. O Cérebro (A IA)

Eles também testaram cérebros de tamanhos diferentes (modelos de IA pequenos vs. grandes).

• Analogia: Um cérebro pequeno é como um estagiário inteligente; um cérebro grande é como um sênior experiente.
• Resultado: Para perguntas complexas de finanças, cérebros maiores (modelos mais potentes) fizeram muito mais sentido. O estagiário às vezes inventava a resposta, enquanto o sênior lia os dados com precisão.

5. As Lições Práticas (O que você deve levar para casa)

Se você é um gerente ou engenheiro tentando montar um sistema assim, o estudo diz:

1. Não use qualquer tesoura: Para documentos financeiros, não use ferramentas básicas. Use ferramentas que entendem tabelas (como o pdfplumber).
2. Não corte muito fino: Cortar o texto em pedaços minúsculos aumenta o custo e o tempo, mas não melhora a resposta.
3. Use a "cola" (Sobreposição): Deixe sempre uma pequena parte do texto anterior se repetir no próximo pedaço (25%). Isso evita que a IA perca o contexto.
4. Invista no cérebro certo: Se o dinheiro está em jogo, use uma IA um pouco mais potente. O custo extra vale a pena para evitar erros caros.

Em resumo: Para fazer uma IA ler relatórios financeiros com precisão, você precisa de um "mestre de obras" que saiba ler tabelas, um "cortador" que não perca informações nas bordas e um "cérebro" experiente o suficiente para não inventar histórias. O estudo provou que a combinação certa dessas peças faz toda a diferença entre um sistema que funciona e um que dá prejuízo.

Resumo técnico

1. Problema e Motivação

Os arquivos PDF são o padrão para documentos financeiros (relatórios anuais, demonstrações de resultados, etc.), mas foram projetados para leitura humana, não para processamento automatizado. A heterogeneidade do conteúdo (texto, tabelas complexas, imagens) torna a extração de informações desafiadora.
Embora os sistemas de Geração Aumentada por Recuperação (RAG) sejam promissores para automatizar a compreensão de documentos, não há estudos abrangentes que avaliem como as escolhas de parsing (análise sintática do PDF) e chunking (divisão do texto em segmentos) afetam conjuntamente o desempenho final do sistema. A falta de diretrizes sobre como essas etapas interagem cria um gargalo crítico para aplicações de alto risco no setor financeiro, onde erros podem levar a perdas financeiras ou não conformidade regulatória.

2. Metodologia

Os autores conduziram um estudo empírico rigoroso utilizando um pipeline RAG modular, variando sistematicamente os componentes para avaliar seu impacto na recuperação e na geração de respostas.

• Datasets:
  • FinanceBench: Um benchmark existente focado em perguntas baseadas em texto narrativo de relatórios financeiros (150 pares Q&A).
  • TableQuest (Novo): Um benchmark criado pelos autores focado especificamente em perguntas baseadas em tabelas. Contém 116 pares Q&A derivados das mesmas fontes do FinanceBench, mas projetados para testar a capacidade do sistema de localizar, extrair e raciocinar sobre dados tabulares (níveis de dificuldade: fácil, médio e difícil).
• Componentes Avaliados:
  • Parsers (6): Ferramentas de extração de PDF (PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2, Unstructured), variando de bibliotecas leves baseadas em regras a sistemas complexos com OCR e detecção de layout.
  • Estratégias de Chunking (6): Token, sentença, semântico, recursivo, SDPM (Semantic Double-Pass Merging) e neural.
  • Modelos de Recuperação (4): BM25 (palavras-chave), SPLADE (esparso-híbrido), E5 (denso) e ColBERT (interação tardia).
  • LLMs (12): Modelos de linguagem abertos (de pequeno a médio porte) e proprietários (GPT-4.1, GPT-5), avaliados para geração de respostas.
• Métricas: Precisão@1 (P@1), Recall@3 (R@3) e Mean Reciprocal Rank (MRR) para recuperação; e precisão da resposta (avaliada por um LLM como juiz) para geração.

3. Principais Contribuições

1. Avaliação Empírica Abrangente: O primeiro estudo a combinar e comparar sistematicamente múltiplos parsers e estratégias de chunking dentro de um pipeline RAG unificado para documentos financeiros.
2. Dataset TableQuest: Introdução de um novo benchmark público e automaticamente verificado focado em QA baseada em tabelas, preenchendo uma lacuna crítica onde benchmarks anteriores ignoravam a estrutura tabular complexa.
3. Diretrizes Práticas: Fornecimento de recomendações baseadas em dados para engenheiros e pesquisadores sobre como configurar pipelines RAG para documentos financeiros.

4. Resultados Chave (Respostas às Perguntas de Pesquisa)

• RQ1 (Recuperadores):
  • Para texto narrativo, modelos densos (como E5) funcionam melhor.
  • Para tabelas, modelos de interação tardia (como ColBERT) superam os demais, pois conseguem alinhar tokens da consulta com elementos específicos da tabela.
  • Modelos híbridos esparsos (SPLADE) oferecem o melhor equilíbrio geral para misturas de texto e tabelas.
• RQ2 (Parsers):
  • Texto Narrativo: O pdfminer obteve o melhor desempenho, superando até mesmo parsers baseados em OCR.
  • Tabelas: O pdfplumber foi o superior, graças à sua detecção nativa e agrupamento de células de tabela.
  • Estabilidade: pdfminer e pdfplumber mostraram a maior robustez frente a diferentes estratégias de chunking.
  • Desempenho: O Unstructured (baseado em OCR/Modelo) foi extremamente lento (2 ordens de magnitude mais lento), tornando-o inviável para pipelines de baixa latência, apesar de ser robusto.
• RQ3 (Chunking e Overlap):
  • A estratégia Neural (baseada em modelos) obteve o melhor desempenho geral, seguida pela estratégia de Sentença.
  • Uma sobreposição (overlap) de 25% (128 tokens) foi identificada como o ponto ideal, melhorando significativamente a recuperação em comparação com 0% ou 50%, sem aumentar excessivamente o custo de armazenamento do índice.
• RQ4 (Sinergia Parser-Chunker):
  • Combinações simples funcionam bem. Por exemplo, pdfplumber + chunking por sentença liderou em tabelas.
  • Estratégias complexas de chunking (semântico/SDPM) só se aproximaram dos líderes quando combinadas com parsers que preservam o layout (como pdfplumber), mas ainda tendiam a ficar atrás de soluções mais simples e eficientes.
• RQ5 (Tamanho do LLM):
  • Modelos maiores (médios e proprietários) geraram respostas significativamente mais corretas.
  • Modelos proprietários (GPT-5) alcançaram a maior precisão (até 73% no TableQuest), mas modelos abertos de médio porte (ex: Gemma-3 27B) mostraram-se competitivos, reduzindo a lacuna.

5. Significado e Impacto

Este trabalho oferece um guia prático essencial para a implementação de RAG em ambientes industriais financeiros:

• Eficiência vs. Precisão: Não é necessário usar os parsers mais complexos e lentos (como OCR completo) para obter bons resultados; parsers baseados em regras bem ajustados (pdfplumber, pdfminer) são suficientes e mais rápidos.
• Otimização de Pipeline: A escolha do recuperador deve ser guiada pelo tipo de dado (denso para texto, interação tardia para tabelas) e uma sobreposição moderada de 25% é crucial.
• Viabilidade Industrial: Demonstra que é possível construir pipelines RAG robustos e escaláveis para análise financeira, equilibrando custo computacional, tempo de execução e precisão, o que é vital para a automação de workflows de análise e tomada de decisão.

Em suma, o estudo valida que a qualidade do RAG depende menos de "modelos mágicos" e mais de uma engenharia cuidadosa das etapas de pré-processamento (parsing e chunking) e da seleção adequada de componentes para o domínio específico (texto vs. tabela).