NovaLAD: A Fast, CPU-Optimized Document Extraction Pipeline for Generative AI and Data Intelligence

O artigo apresenta a NovaLAD, um pipeline de extração de documentos otimizado para CPU e projetado para IA generativa, que combina modelos YOLO concorrentes, classificação de imagens e OCR para alcançar desempenho superior em benchmarks como o DP-Bench sem depender de GPUs.

O essencial

Imagine que você tem uma pilha gigante de documentos antigos: alguns são PDFs, outros são fotos de papéis digitalizados, cheios de tabelas, gráficos, títulos e textos misturados. Para um computador (especificamente uma Inteligência Artificial) entender o que está escrito ali, ele precisa transformar esse "caos visual" em uma lista organizada e lógica. É aqui que entra o NovaLAD.

Pense no NovaLAD como um super-secretário robótico e super-rápido que trabalha apenas com o processador do seu computador (CPU), sem precisar de equipamentos caros e pesados (como placas de vídeo/GPU).

Aqui está como ele funciona, explicado de forma simples:

1. O Olhar Duplo (Detecção em Paralelo)

Quando o robô recebe uma página, ele não olha apenas uma vez. Ele usa dois "óculos" especiais ao mesmo tempo:

• O Óculo de Estrutura: Ele vê onde estão as colunas, os blocos de texto e as linhas. É como se ele visse a "arquitetura" da página.
• O Óculo de Conteúdo: Ele identifica o que é o que: "Isso é um título", "Isso é uma tabela", "Isso é uma foto", "Isso é um rodapé".

Esses dois olhares trabalham juntos, como dois cozinheiros preparando ingredientes ao mesmo tempo, o que torna o processo muito rápido.

2. O Guardião das Fotos (Classificador ViT)

Aqui está uma das partes mais inteligentes. Nem toda foto num documento é importante. Alguns documentos têm logotipos, desenhos decorativos ou espaços vazios que não dizem nada.

• O NovaLAD tem um porteiro (um modelo de IA chamado ViT) que olha para cada foto ou gráfico.
• Ele pergunta: "Isso é útil?" (Ex: Um gráfico de vendas? Sim. Um logotipo da empresa no canto? Não).
• Se for inútil, o porteiro joga fora. Se for útil, ele manda para o próximo passo.
• Por que isso é legal? Porque processar imagens custa dinheiro e tempo. Ao filtrar o que é lixo, o sistema economiza recursos e foca apenas no que importa.

3. O Tradutor e Organizador (OCR e Agrupamento)

Depois de separar o que é útil, o robô precisa ler o texto.

• Se o texto já estiver "dentro" do arquivo digital, ele copia direto.
• Se for uma foto de um papel (onde o texto é apenas pixels), ele usa um scanner de olhos (chamado EasyOCR) para ler o que está escrito.
• Em seguida, ele organiza tudo na ordem correta de leitura. Se o documento tem duas colunas, ele não lê da esquerda para a direita e pula para a próxima linha de forma errada; ele entende que deve ler a coluna 1 inteira e depois a coluna 2.

4. O "Cérebro" Extra (Opcional)

Se você quiser que a IA seja ainda mais esperta, você pode ligar um "cérebro" extra (uma IA generativa, como o GPT).

• Para as fotos e tabelas que o porteiro aprovou, esse cérebro olha a imagem e diz: "Ah, essa tabela mostra que as vendas subiram 20% em março" ou "Esse gráfico é um organograma".
• Isso transforma uma imagem estática em uma história ou dado útil para a sua empresa.

5. O Resultado Final (Muitos Formatos)

No final, o NovaLAD entrega o trabalho pronto em vários formatos, como se fosse uma fábrica que produz o mesmo produto em embalagens diferentes:

• JSON: Para outros computadores lerem.
• Markdown: Para você ler facilmente.
• Gráficos de Conhecimento: Para conectar ideias.
• Blocos de Texto: Prontos para serem usados em sistemas de busca (RAG) que respondem perguntas baseadas nos documentos.

Por que isso é um grande avanço?

Antes, para fazer isso, você precisava de servidores caros com placas de vídeo potentes ou pagar por cada página para empresas gigantes (como Google ou Microsoft).
O NovaLAD é como um canivete suíço:

• É rápido (faz tudo em paralelo).
• É barato (roda em computadores comuns, sem GPU).
• É preciso (testado e aprovado, batendo os recordes de precisão em benchmarks mundiais).

Em resumo, o NovaLAD pega documentos bagunçados, limpa a sujeira, organiza a sala, lê o que está escrito e entrega a informação pronta para que a Inteligência Artificial possa usá-la para criar novas ideias, tudo isso rodando no computador da sua mesa.

Resumo técnico

1. O Problema

A extração de documentos é uma etapa crítica para sistemas de Inteligência Artificial Generativa, especialmente para RAG (Retrieval-Augmented Generation) e bases de conhecimento. Documentos não estruturados (PDFs, scans, imagens) precisam ser convertidos em formatos estruturados (JSON, Markdown, grafos) mantendo a ordem de leitura, o layout e o significado semântico.

Os desafios identificados incluem:

• Qualidade da Extração: Erros na extração levam a chunks de texto desordenados, perda de estrutura (tabelas, cabeçalhos) e alucinações em modelos de IA.
• Dependência de GPU: Muitas soluções de ponta exigem GPUs caros, limitando a escalabilidade e o custo em ambientes corporativos ou restritos.
• Custo e Ruído: O processamento de todas as imagens e figuras por modelos de Visão-Linguagem (Vision LLMs) é caro e gera ruído, pois muitas imagens são meramente decorativas.
• Falta de Padronização: A necessidade de benchmarks padronizados (como DP-Bench) para comparar parsers comerciais e open-source.

2. Metodologia: A Pipeline NovaLAD

O NovaLAD é um pipeline de extração de documentos otimizado para CPU, que integra detecção de objetos, classificação de imagens e modelos de linguagem visual. O processo segue as seguintes etapas principais:

A. Detecção Paralela Dual (YOLOv10)

Assim que uma imagem da página é recebida, ela é processada simultaneamente por dois modelos YOLOv10 (executados em paralelo via ThreadPoolExecutor):

1. Modelo de Detecção de Elementos: Identifica conteúdo semântico (títulos, cabeçalhos, texto, listas, tabelas, imagens, legendas).
2. Modelo de Detecção de Layout: Identifica regiões estruturais (caixas de layout, grupos de colunas, texto em coluna única, grupos de linhas, layouts multicolumna).

B. Classificação e Filtragem de Imagens (ViT)

Um componente crucial é o uso de um classificador Vision Transformer (ViT) para filtrar imagens e figuras detectadas:

• Objetivo: Distinguir entre imagens "úteis" (gráficos, fluxogramas, visualizações de dados) e "inúteis" (logotipos, elementos decorativos, placeholders).
• Benefício: Apenas as imagens classificadas como "úteis" (e todas as tabelas) são enviadas para o Vision LLM (ex: GPT-4o-mini) para extração de títulos, resumos e dados estruturados. Imagens inúteis são descartadas, reduzindo custos de API e ruído.

C. Integração e Agrupamento

Os dados dos modelos YOLO e o filtro de imagens são combinados para criar uma representação unificada:

• Agrupamento Baseado em Layout: Elementos são agrupados em regiões de layout (multicolumna, linhas, grupos) usando algoritmos de clustering (DBSCAN) e ordenação geométrica.
• Ordem de Leitura: O pipeline reconstitui a ordem de leitura correta, mesmo em layouts complexos, garantindo que o texto não seja misturado entre colunas.
• Correção de Cabeçalhos/Rodapés: Uso de correspondência de strings (fuzzy matching) para identificar e rotular repetições de cabeçalhos e rodapés, permitindo sua remoção se necessário.

D. Extração de Conteúdo (OCR e Texto Nativo)

• Texto Nativo: Para elementos de texto, extrai diretamente da camada de texto do PDF (via PyMuPDF) para preservar a formatação.
• OCR: Para tabelas e imagens (ou quando o texto nativo falta), utiliza o EasyOCR nas regiões recortadas.
• Enriquecimento LLM (Opcional): Se configurado, o Vision LLM gera resumos e dados estruturados para imagens úteis e tabelas.

E. Exportação Multi-formato

O resultado é serializado em JSON e convertido em paralelo para:

1. Chunks para RAG: Documentos por página, blocos baseados em cabeçalhos ou por elemento.
2. Markdown: Com estrutura preservada (tabelas, listas, imagens com legendas).
3. Grafo de Conhecimento: Nós para páginas e elementos, com arestas definindo relações de parentesco e irmãos.
4. Classificação de Categoria: O documento é classificado automaticamente (ex: financeiro, jurídico).

3. Principais Contribuições

• Pipeline Otimizado para CPU: O sistema foi projetado para rodar eficientemente sem GPU, tornando-o acessível e de baixo custo.
• Arquitetura de Detecção Dual Paralela: Uso simultâneo de dois modelos YOLO para separar semântica e estrutura, acelerando a inferência.
• Portão de Filtragem ViT: Uma etapa de pré-processamento inteligente que reduz drasticamente o número de chamadas a LLMs de visão, economizando custos e tempo.
• Compatibilidade com DP-Bench: O sistema gera saídas compatíveis com o benchmark DP-Bench, permitindo comparação direta com o estado da arte.
• Versatilidade de Saída: Geração simultânea de JSON, Markdown, chunks para RAG e Grafos de Conhecimento.

4. Resultados

O NovaLAD foi avaliado no benchmark público DP-Bench (dataset upstage/dp-bench), superando parsers comerciais e open-source:

• TEDS (Similaridade baseada em Distância de Edição em Árvore - Tabelas): 96.49% (Melhor resultado, superando Upstage com 93.48% e AWS com 88.05%).
• NID (Distância Indel Normalizada - Layout/Ordem de Leitura): 98.51% (Melhor resultado, superando Upstage com 97.02%).
• Tempo de Processamento: Média de 8.50 segundos por documento. Embora ligeiramente mais lento que algumas APIs rápidas, oferece controle total e roda em CPU.
• Desempenho dos Modelos:
  • O classificador ViT alcançou 98.53% de precisão na distinção entre imagens úteis e inúteis.
  • O modelo de detecção de elementos atingiu mAP50 de 0.859.

5. Significado e Impacto

O NovaLAD demonstra que é possível construir um pipeline de extração de documentos de alta precisão sem depender de infraestrutura de GPU pesada.

• Para IA Generativa e RAG: Garante que os dados de entrada estejam estruturados, ordenados e livres de ruído, o que é fundamental para a qualidade das respostas dos modelos.
• Acessibilidade Econômica: Ao operar em CPU e filtrar chamadas de LLM desnecessárias, torna a extração de documentos de alta qualidade viável para empresas com orçamentos limitados ou em ambientes isolados (air-gapped).
• Padronização: O uso de métricas padronizadas (TEDS, NID) e a compatibilidade com benchmarks estabelecem um novo padrão para a avaliação de parsers de documentos.

Em resumo, o NovaLAD oferece uma solução robusta, rápida e econômica que equilibra precisão técnica com eficiência operacional, preenchendo uma lacuna importante entre parsers open-source básicos e soluções comerciais caras.