Resumo Técnico: ChunkNorris

Declaração do Problema

Em sistemas de Geração Aumentada por Recuperação (RAG), a qualidade da Recuperação de Informação (IR) depende fundamentalmente do pré-processamento dos documentos de origem. Especificamente, o parsing e o chunking (fragmentação) de documentos PDF apresentam desafios significativos. PDFs são projetados para legibilidade humana, não para processamento de máquina, frequentemente contendo layouts complexos, texto em múltiplas colunas, tabelas e figuras.

As abordagens atuais de ponta para o parsing e chunking de PDF dependem frequentemente de técnicas de Aprendizado de Máquina (ML) e Visão Computacional (ex: Unstructured, Docling, Marker). Embora esses métodos possam alcançar alta precisão na extração de dados estruturados, eles incorrem em um overhead computacional substancial, alto consumo de energia e tempos de execução longos. Esses requisitos intensivos em recursos muitas vezes os tornam impraticáveis para ambientes de produção com recursos computacionais limitados ou restrições estritas de latência. Além disso, os métodos heurísticos existentes frequentemente carecem de robustez no tratamento da hierarquia do documento e da coerência semântica sem assistência de ML.

Metodologia

Os autores introduzem o ChunkNorris, uma técnica inovadora baseada em heurísticas, projetada para otimizar o parsing e o chunking de PDF sem depender de Aprendizado de Máquina ou aceleração por GPU. A abordagem prioriza eficiência, baixo consumo de energia e a preservação da estrutura do documento.

1. O Parser

O ChunkNorris utiliza a biblioteca PyMuPDF para o processamento de baixo nível do documento. O pipeline de parsing converte o conteúdo bruto do PDF em um formato Markdown unificado e limpo (objeto MarkdownDoc) através de várias heurísticas específicas:

• Remoção de Cabeçalho/Rodapé: Spans que aparecem na mesma posição em >33% das páginas são identificados e removidos.
• Preservação de Links: Hiperlinks, frequentemente caixas invisíveis em PDFs, são extraídos e vinculados aos seus respectivos spans de texto.
• Extração de Tabelas: O sistema emprega um método de recombinação de linhas vetorizadas para processar tabelas, lidando tanto com limites de células visíveis quanto com alinhamentos inferidos, incluindo células mescladas.
• Agrupamento Estrutural: Spans de texto são agrupados em linhas e, em seguida, em blocos (parágrafos ou títulos) com base no espaçamento vertical.
• Inferência de Hierarquia:
  • Título Principal: Inferido a partir de blocos na primeira página com tamanhos de fonte maiores que o corpo do texto.
  • Cabeçalhos de Seção: Detectados via metadados de Tabela de Conteúdo (ToC), padrões de regex, níveis de indentação ou análise de tamanho de fonte.
• Saída: O resultado é um documento Markdown estruturado pronto para o chunking.

2. O Chunker

O MarkdownChunker opera sobre a saída Markdown estruturada utilizando três princípios orientadores:

• Homogeneidade: Os chunks são delimitados pelos cabeçalhos de seção do documento.
• Preservação de Contexto: Os cabeçalhos de seção pai são prefixados a cada chunk para manter o contexto quando as seções são lidas isoladamente.
• Uniformidade: Os tamanhos dos chunks são regulados para garantir consistência, já que modelos de embedding são sensíveis a variações de comprimento.

Algoritmo:

1. Uma árvore de ToC é construída a partir dos cabeçalhos detectados.
2. Os chunks são gerados recursivamente com base nesta árvore, contendo o conteúdo da seção atual e todos os cabeçalhos pais.
3. Refinamento:
   • Seções abaixo de uma contagem mínima de palavras são descartadas.
   • Chunks que excedem um limite rígido são divididos em caracteres de nova linha para preservar tabelas e blocos de código.
   • Títulos são preservados no início dos sub-chunks.

Principais Contribuições

1. Algoritmo ChunkNorris: Um pipeline de parsing e chunking totalmente não supervisionado e livre de ML que alcança alto desempenho com overhead computacional mínimo.
2. Dataset PIRE: Os autores construíram e lançaram o PDF dataset for Information Retrieval Evaluation (PIRE) no Hugging Face. Este dataset contém 100 PDFs diversos (incluindo relatórios financeiros, documentos jurídicos, artigos do arXiv e manuais) e inclui:
   • Um subconjunto de "single-chunk" com 300 pares pergunta-documento anotados.
   • Um subconjunto de "multi-chunk" com 32 perguntas complexas que requerem informações de múltiplas páginas.
3. Benchmarking Abrangente: Uma avaliação rigorosa comparando o ChunkNorris contra ferramentas existentes (Marker, Open-Parse, Docling, PyPDF) em termos de tempo de execução, consumo de energia e precisão de recuperação (Recall e NDCG).

Resultados

O benchmark foi conduzido em um dataset de 100 PDFs (5.286 páginas) usando um processador Intel Xeon Gold e uma GPU Tesla V100S.

• Tempo de Execução: O ChunkNorris demonstrou velocidade superior, com média de 105 ms por página, superando significativamente o Docling (533 ms), Marker (717 ms) e Open-Parse-U (2538 ms).
• Consumo de Energia:
  • CPU: O ChunkNorris consumiu 0,47 Wh para todo o dataset, comparado a 5,11 Wh para o Docling e 34,32 Wh para o Open-Parse-U.
  • GPU: O ChunkNorris exigiu 0,0 Wh de energia de GPU, enquanto outras ferramentas baseadas em ML (ex: Marker, Open-Parse-U) exigiram energia significativa de GPU (até 777,93 Wh).
• Desempenho de Recuperação: Quando avaliado usando vários modelos de embedding (variando de 23M a 335M de parâmetros), o ChunkNorris alcançou scores de Recall e NDCG competitivos ou superiores em comparação com as técnicas de baseline e avançadas. Os resultados sugerem que o estruturamento heurístico de alta qualidade pode compensar a falta de análise semântica baseada em ML em tarefas de IR.

Significância e Alegações

O artigo postula que métodos baseados em heurísticas permanecem altamente viáveis para aplicações de RAG no mundo real, particularmente em ambientes com recursos limitados. Os autores alegam que o ChunkNorris oferece uma alternativa prática e eficiente para pipelines pesados de ML, demonstrando que:

• Parsing e chunking de alta qualidade podem ser alcançados sem o custo computacional de treinamento ou inferência de grandes modelos.
• Heurísticas simples e eficazes podem preservar a coerência semântica e a hierarquia do documento suficientemente para uma recuperação de informação eficaz.
• Existe uma oportunidade significativa de reduzir a pegada ecológica dos sistemas de RAG ao adotar estratégias de parsing leves e eficientes em CPU.

O trabalho enfatiza que, para muitos casos de uso de produção, o equilíbrio entre os ganhos marginais do parsing complexo por ML e os custos substanciais de tempo e energia favorece a abordagem não supervisionada e eficiente proposta pelo ChunkNorris. O código e o dataset são disponibilizados em acesso aberto para facilitar mais pesquisas e adoção.