Resumo Técnico: ExtractBench

Definição do Problema

Os fluxos de trabalho empresariais estão migrando cada vez mais da entrada manual de dados para a extração de documentos guiada por esquemas e agentes. Neste paradigma, um agente deve receber um documento (frequentemente um PDF complexo) e um esquema JSON definido pelo usuário, e então produzir uma saída estruturada que siga fielmente o esquema, incluindo evidência de origem (fundamentação/grounding) para cada valor extraído.

Os benchmarks existentes para extração de documentos sofrem de limitações críticas quando aplicados a este caso de uso empresarial específico:

• Ontologias Fixas: Benchmarks clássicos (ex: SROIE, DocILE) testam a recuperação de um conjunto fixo de campos, falhando em avaliar a capacidade de um sistema de seguir esquemas arbitrários definidos pelo usuário.
• Escopo Estreito: Benchmarks recentes guiados por esquema costumam cobrir apenas uma dimensão do problema (ex: apenas listas longas, apenas dados sintéticos ou apenas tipos de documentos específicos) e carecem de ruídos do mundo real, como digitalizações e caligrafia.
• Métricas Ausentes: As avaliações existentes tipicamente ignoram a fundamentação visual (a capacidade de apontar para a origem de um valor) e o custo por página, ambos críticos para implantações em escala de produção.
• Falta de Etiquetagem de Desafios: Pontuações agregadas falham em distinguir se um sistema falhou devido a uma tarefa difícil (ex: listas longas) ou um problema de percepção (ex: baixa qualidade de digitalização).

Metodologia: O Framework ExtractBench

O ExtractBench é um benchmark abrangente projetado para avaliar a extração guiada por esquema em termos de precisão de valor, fundamentação e custo simultaneamente.

1. Corpus e Taxonomia

O benchmark consiste em 370 documentos abrangendo 4.869 páginas, cobrindo 8 domínios de negócios (Finanças, Energia, Governo, etc.) e 67 tipos de documentos.

• Fontes: O corpus inclui documentos nativos digitais reais, listas longas sintéticas baseadas em layouts reais e formulários regulatórios/fiscais reais.
• Etiquetagem de Desafios: Cada documento é etiquetado ao longo de cinco eixos independentes para permitir uma análise granular de falhas:
  • Desafio de Tarefa: Completude de lista longa (T1), agulha no palheiro (T2) e documentos densos (T3).
  • Desafio de Percepção: Rotacionado/apenas imagem (P1), digitalizado (P2) e caligrafia (P3).
  • Estrutura de Tabela: Cabeçalhos mesclados, tabelas entre páginas, tabelas enormes, etc.
  • Extensão: Curto (≤10 pp), Médio (11–50 pp), Longo (>50 pp).
  • Domínio: Verticais industriais específicas.

2. Pipeline de Curadoria de Verdade Fundamental (Ground-Truth)

Para gerar uma verdade fundamental de alta qualidade sem custos proibitivos de rotulagem manual, os autores empregaram um pipeline escalável e específico para a fonte:

• Documentos Reais: Os esquemas são elaborados a partir de amostras. Múltiplos sistemas de extração (modelos de fronteira) rodam contra o esquema. Valores onde todos os sistemas concordam tornam-se candidatos à verdade fundamental; divergências são adjudicadas por humanos ou refinamento de esquema.
• Listas Longas Sintéticas: Construídas "de trás para frente" (dados primeiro, documento depois). Os registros são gerados ou extraídos de registros reais, então renderizados em PDFs por agentes de codificação. A verdade fundamental é exata por construção, com caixas lidas diretamente da renderização.
• Formulários Digitalizados: Os esquemas são elaborados contra modelos em branco. Um ensemble de sistemas vota nos valores, com campos contestados sendo adjudicados por humanos que também verificam e redesenham as caixas delimitadoras (bounding boxes).

3. Métricas de Avaliação

• Precisão de Valor: Medida via F1 de Valor insensível à ordem. O JSON extraído é achatado em células. Arrays são alinhados usando o algoritmo húngaro para minimizar registros incompatíveis. Os valores são normalizados (ex: datas para ISO) antes da comparação.
• Fundamentação (Grounding):
  • F1 ao nível da palavra: Exige que o valor esteja correto e que a caixa delimitadora prevista sobreponha a caixa da verdade fundamental (IoU ≥ 0,5).
  • F1 ao nível da página: Exige o valor correto e a página de origem correta.
• Custo: Medido em centavos por página com base no consumo real de tokens/créditos.

4. Sistemas Avaliados

O benchmark avaliou 14 sistemas de fronteira em três categorias:

• VLMs Comerciais: (ex: Gemini 3.5 Flash, GPT-5.4 Nano).
• Agentes de Codificação: (ex: Claude Code Opus 4.8, Codex GPT-5.5) que utilizam loops de ferramentas iterativos para analisar documentos.
• APIs Especializadas: (ex: níveis LlamaExtract, Reducto, Extend, Datalab).

Principais Resultados

Fronteira Qualidade–Custo

A avaliação revela um cenário distinto de trade-off:

• VLMs Comerciais: Oferecem o menor custo (≤1,0 ¢/página), mas lutam com a precisão, particularmente em documentos longos (o F1 cai de ~88% em documentos curtos para ~28% em documentos longos para o Gemini 3.5 Flash). Eles frequentemente truncam listas longas de registros.
• Agentes de Codificação: Alcançam alta precisão (87–94% F1) e lidam bem com documentos longos, mas a um custo significativamente maior (>15 ¢/página).
• APIs Especializadas: Abrangem a maior gama. O LlamaExtract Agentic Plus emerge como o líder, alcançando 95,6% de F1 a 8,1 ¢/página. Ele supera os agentes de codificação em precisão, custando menos da metade do preço.

Desempenho por Dimensão

• Extensão do Documento: A maioria dos sistemas degrada significativamente em documentos com >50 páginas. O LlamaExtract Agentic Plus é o único sistema que mantém >90% de F1 em todos os buckets de extensão.
• Estrutura de Tabela: "Tabelas enormes" (>1.000 linhas) causam falhas catastróficas para a maioria dos VLMs (F1 < 10%). APIs especializadas e agentes de codificação performam significativamente melhor aqui.
• Percepção: Os sistemas apresentam pontos cegos específicos; por exemplo, o Codex GPT-5.5 tem dificuldades com imagens rotacionadas, enquanto algumas APIs têm dificuldades com páginas digitalizadas, mas lidam bem com caligrafia.

O Gap de Fundamentação (Grounding Gap)

Uma descoberta crítica é a falta de rastreabilidade de origem nos modelos gerais:

• VLMs padrão e agentes de codificação não retornam caixas ao nível da palavra por padrão, pontuando 0,0% em fundamentação ao nível da palavra.
• Mesmo sistemas especializados que retornam caixas enfrentam dificuldades de precisão: o melhor F1 de fundamentação ao nível da palavra é 46,4% (LlamaExtract Agentic Plus), enquanto a fundamentação ao nível da página é muito maior (84,9%). Isso indica que, embora os sistemas consigam encontrar a página correta, conectar confiavelmente um valor à sua localização exata na palavra continua sendo um desafio aberto.

Significância e Alegações

O artigo afirma fornecer a primeira avaliação que reporta conjuntamente precisão de valor, completude de registro, fundamentação e custo medido em escala para extração guiada por esquema.

• Poder Diagnóstico: Ao usar etiquetas de desafio, o ExtractBench vai além das pontuações agregadas para diagnosticar por que os sistemas falham (ex: distinguindo entre uma falha de percepção e um truncamento de lista longa).
• Relevância de Produção: A inclusão de métricas de custo e fundamentação aborda os requisitos específicos de implantação empresarial, onde viabilidade financeira e auditabilidade são tão importantes quanto a precisão bruta.
• Estado da Arte: Os resultados sugerem que, embora os VLMs de propósito geral sejam econômicos para tarefas simples, as APIs agênticas especializadas oferecem atualmente o melhor equilíbrio entre alta precisão, robustez à complexidade do documento e eficiência de custo para fluxos de trabalho empresariais.

Os autores concluem que a extração confiável em escala requer sistemas que possam produzir saídas completas, fornecer evidências rastreáveis e operar a um custo sustentável, uma combinação atualmente melhor alcançada por soluções agênticas especializadas como o LlamaExtract Agentic Plus.