VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents

1. O Problema

A extração de dados estruturados de documentos (como formulários governamentais, faturas e contratos) é crucial para a automação empresarial. Embora os modelos fundacionais multimodais tenham avançado, as avaliações atuais apresentam limitações significativas:

• Falta de Diversidade de Esquemas: Benchmarks existentes (como FUNSD, CORD) geralmente utilizam um número fixo de templates ou um único esquema de extração para todos os documentos, não testando a capacidade de generalização para estruturas não vistas.
• Dependência de Anotação Manual: A criação de ground truth (verdade absoluta) manual é cara, lenta e propensa a erros, dificultando a escala.
• Foco em Modelos Grandes: Pouco se sabe sobre o desempenho de modelos pequenos (≤4B parâmetros), que são essenciais para implantações com restrições de custo e latência (inferência no dispositivo).
• Avaliação Unimodal: A maioria dos benchmarks avalia apenas uma representação de entrada (geralmente imagem), ignorando como o formato de entrada (texto puro vs. texto com layout vs. imagem) afeta a precisão.

2. Metodologia: A Pipeline de "Anotação Reversa" (Reverse Annotation)

O VAREX introduz uma abordagem inovadora chamada Reverse Annotation, que inverte o processo tradicional de anotação. Em vez de ler documentos existentes para extrair dados, o processo gera documentos a partir de dados estruturados:

1. Coleta de Templates: Coleta de 3.300 formulários PDF preenchíveis de fontes governamentais dos EUA.
2. Preenchimento Determinístico (Stage 1): Os campos dos formulários são preenchidos programaticamente com placeholders determinísticos (ex: TXT_001, TXT_002). Isso garante que a verdade absoluta dos valores seja conhecida e verificável.
3. Descoberta de Esquema (Stage 2): Um LLM grande (24B) analisa o layout visual e os rótulos do formulário preenchido para gerar um JSON Schema semântico que mapeia os placeholders para nomes de campos (ex: applicant_name).
4. Reskinning de Dados (Stage 3): Os placeholders são substituídos por valores sintéticos realistas (gerados via biblioteca Faker e LLMs), mantendo o mapeamento para os widgets do PDF.
5. Exportação Multimodal (Stage 4): Cada documento preenchido é exportado em quatro modalidades controladas:
   • P (Plain Text): Texto bruto, sem informações espaciais.
   • S (Spatial Text): Texto preservando o layout (espaços em branco para alinhar colunas).
   • V (Vision): Imagem PNG do documento.
   • S+V: Combinação de texto espacial e imagem.

Garantia de Qualidade: Um processo de QA de três fases (verificação automatizada, auditoria por modelo de ponta e revisão humana) garante uma precisão de nível de campo de ~98,5%.

3. Principais Contribuições

• VAREX Benchmark: Um conjunto de dados com 1.777 documentos e 1.771 esquemas únicos (cobrindo categorias planas, aninhadas e tabelas), totalizando 21.084 campos avaliados.
• Pipeline de Anotação Reversa: Um método escalável para gerar ground truth determinístico e mapeamentos de esquema auditáveis, eliminando a necessidade de anotação manual massiva.
• Avaliação Multimodal Controlada: A capacidade de isolar o impacto do formato de entrada (texto vs. imagem) no desempenho do modelo, algo ausente em benchmarks anteriores.
• Protocolo de Avaliação Padronizado: Definição de métricas específicas para estruturas planas, aninhadas e tabelas, com correspondência invariante à ordem para arrays.

4. Resultados e Análise

O benchmark avaliou 20 modelos, desde APIs proprietárias de ponta até modelos open-source de 800M a 17B parâmetros.

• Desempenho Geral: O benchmark discrimina modelos na faixa de 60–95% de precisão. O modelo líder (Gemini 2.5 Pro) atingiu 98,0%, enquanto modelos menores variam amplamente.
• O "Gargalo" dos Modelos Pequenos (<4B):
  • Schema Echo: Abaixo de 4B parâmetros, o principal gargalo não é a extração, mas a conformidade de saída. Muitos modelos (especialmente <2B) falham ao "ecoar" o esquema de entrada em vez de preencher com valores extraídos (ex: retornar a estrutura JSON vazia ou com metadados). Isso reduz a pontuação em 45–65 pontos percentuais (pp).
  • Limiar de Instrução: Existe um limiar crítico entre 2B e 4B. Modelos como o NuExtract 2.0 (fine-tuned para extração) alcançam 90,8% de precisão, demonstrando que a conformidade estrutural é uma habilidade aprendível sem necessidade de escala massiva.
• Impacto da Modalidade:
  • O texto com preservação de layout (Spatial Text) oferece o maior ganho de precisão (+3 a +18 pp), superando as dicas visuais de nível de pixel.
  • Modelos puramente de texto com Spatial Text podem superar modelos multimodais (ex: Qwen 2.5 72B em texto superou o GPT-4o em imagem).
• Robustez à Resolução: Modelos de API (Gemini) degradam-se suavemente com baixa resolução (50 DPI), enquanto modelos open-source de médio porte (8–17B) sofrem quedas catastróficas (38–40 pp), exceto o InternVL3.5 2B, que é notavelmente robusto.

5. Significado e Conclusão

O VAREX preenche uma lacuna crítica na pesquisa de IA para documentos:

1. Para Desenvolvedores de Modelos Pequenos: Revela que falhas em modelos <4B são frequentemente devido a déficits de seguimento de instruções e conformidade de saída (schema echo), e não à incapacidade de entender o documento. Isso direciona esforços para fine-tuning específico em vez de apenas aumentar o tamanho do modelo.
2. Para a Indústria: Demonstra que a extração de dados pode ser realizada com eficiência de custo e latência baixa usando modelos pequenos e Spatial Text, reduzindo a dependência de APIs caras.
3. Avanço Científico: Estabelece um novo padrão para avaliação de extração estruturada, focando na variabilidade de esquemas e na análise de falhas específicas de conformidade, oferecendo um diagnóstico preciso para o desenvolvimento de modelos de extração eficientes e implantáveis.

O código e o conjunto de dados estão disponíveis publicamente para a comunidade de pesquisa.