ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images

Resumo Técnico: EXSTRUCTINY

1. O Problema

Documentos empresariais (formulários, relatórios, recibos) contêm informações críticas para fluxos de trabalho automatizados e análise de dados. Embora os Modelos de Linguagem Visuais (VLMs) de propósito geral tenham desempenho razoável em benchmarks existentes de compreensão de documentos, eles apresentam limitações significativas na Extração de Informação Estruturada (IE) holística e de alta granularidade.

Os desafios principais identificados pelos autores são:

• Limitação dos Benchmarks Atuais: Conjuntos de dados existentes de Extração de Entidades-Chave (KEE), Extração de Relações (RE) e Resposta Visual a Perguntas (VQA) são frequentemente restritos a ontologias de entidades fixas, consultas simples ou tipos de documentos homogêneos.
• Falta de Adaptação a Esquemas Variáveis: A maioria dos benchmarks não avalia a capacidade dos modelos de se adaptarem a esquemas definidos pelo usuário em tempo real (zero-shot ou few-shot) ou de lidar com consultas "sob demanda" (on-demand) onde a estrutura de saída não é pré-definida.
• Complexidade de Localização: A extração de texto muitas vezes não vem acompanhada de uma localização espacial precisa (página e coordenadas da caixa delimitadora), essencial para aplicações industriais.

2. Metodologia

Os autores introduzem o EXSTRUCTINY, um novo conjunto de dados e benchmark projetado para superar essas lacunas.

• Definição da Tarefa: O objetivo é extrair múltiplas informações de imagens de documentos e organizá-las em um formato estruturado (JSON) baseado em um esquema variável especificado pelo usuário. A saída deve incluir o texto extraído, o índice da página e a caixa delimitadora (bounding box) de cada "folha" de extração.
• Tipos de Consultas: O benchmark suporta três modalidades:
  1. IE Fechada com Texto: Consultas em texto plano pedindo entidades específicas.
  2. IE Fechada com Esquema: Consultas fornecendo um esquema JSON vazio para preenchimento.
  3. IE Sob Demanda (On-demand): Consultas vagas que pedem informações sobre entidades "pais", exigindo que o modelo infira e extraia os atributos "filhos" relevantes.
• Pipeline de Geração de Dados:
  • Anotação Manual: Inicialmente, foram criadas 102 pares de perguntas e respostas (QA) manualmente por especialistas, cobrindo formulários, relatórios financeiros, apresentações e capturas de tela da web.
  • Geração Sintética em Grande Escala: Para escalar o dataset, utilizou-se o modelo VLM Gemini-2.5-Flash-Thinking para gerar novas consultas e respostas baseadas nas anotações manuais.
  • Validação e Augmentation: O processo incluiu etapas de reformulação (para reduzir sobreposição léxica com o documento), introdução de entidades inexistentes (simulando dados faltantes) e validação humana rigorosa.
• Métricas de Avaliação: Foi proposto um novo framework de avaliação que inclui:
  • Mapeamento Semântico de Esquema: Uso de um LLM de texto para alinhar chaves de saída do modelo com as chaves do ground truth, permitindo variações na estrutura do JSON.
  • Métricas de Desempenho: ANLS (Similaridade de String Normalizada) para texto, precisão de página, IoU (Interseção sobre União) e proximidade normalizada para caixas delimitadoras, e distância de edição de árvore para a estrutura global.

3. Contribuições Principais

1. Novo Benchmark (EXSTRUCTINY): Um conjunto de dados com 304 pares de QA sobre 110 documentos de múltiplas páginas, unificando KEE, RE e VQA com foco em esquemas variáveis e consultas não especificadas.
2. Pipeline de Geração de Dados Híbrido: Uma metodologia inovadora que combina anotação humana de alta qualidade com geração sintética assistida por LLM e validação humana para criar dados realistas e desafiadores (incluindo casos não respondíveis).
3. Framework de Avaliação Robusto: Uma métrica que lida com a diversidade de estruturas de saída JSON, permitindo uma avaliação justa de modelos que podem organizar os dados de formas semanticamente equivalentes, mas sintaticamente diferentes.
4. Análise Abrangente de Modelos: A primeira avaliação detalhada de modelos VLMs de código aberto e fechado em tarefas de IE estruturada complexa.

4. Resultados Experimentais

O benchmark foi utilizado para testar diversos VLMs (incluindo famílias Qwen2.5-VL, Gemma-3, Mistral, Pixtral e modelos fechados da Google).

• Desempenho Geral: Modelos fechados (como Gemini-2.5-Pro) superaram consistentemente os modelos de código aberto, com uma vantagem de mais de 18 pontos na pontuação ANLS média.
• Impacto do Tamanho do Modelo: Existe uma correlação positiva clara entre o tamanho do modelo e o desempenho. Modelos maiores (ex: Qwen2.5-VL-72B) mostram melhor capacidade de seguir instruções complexas e extrair múltiplas entidades.
• Dificuldade das Consultas:
  • Consultas On-demand e com Esquema foram significativamente mais difíceis do que consultas fechadas em texto plano.
  • Modelos de código aberto sofrem mais com consultas que exigem a extração de muitos valores simultaneamente (mais de 50 valores), enquanto modelos fechados mantêm a estabilidade.
• Localização e Estrutura:
  • Todos os modelos lutaram com a localização espacial (precisão de página e IoU de caixas delimitadoras), com o melhor IoU sendo apenas 14,4%. Isso indica uma lacuna entre extrair o texto correto e saber onde ele está no documento.
  • Modelos maiores tendem a gerar saídas JSON mais válidas e estruturalmente corretas.
• Contexto: O desempenho cai drasticamente em contextos de gráficos e texto livre, onde a estrutura visual é menos previsível.
• Dados Manuais vs. Sintéticos: Os modelos tiveram um desempenho ligeiramente pior (cerca de 13,6% a menos) nos dados estritamente manuais em comparação com os sintéticos, sugerindo que os dados manuais são mais desafiadores, mas não há viés de "vazamento" para o modelo que gerou os dados sintéticos (Gemini).

5. Significância e Conclusão

O trabalho EXSTRUCTINY estabelece um novo padrão para a avaliação de modelos de IA na compreensão de documentos ricos visualmente. Ele demonstra que, embora os VLMs modernos tenham avançado, ainda há um "fosso" significativo em:

1. Adaptação a Esquemas: A capacidade de seguir instruções de estrutura complexa sem treinamento específico.
2. Localização Precisa: A habilidade de mapear a informação extraída de volta para sua localização física no documento.
3. Robustez em Cenários do Mundo Real: Lidar com dados faltantes, consultas vagas e layouts não estruturados.

Os autores concluem que este benchmark servirá como uma base fundamental para o desenvolvimento de modelos mais adaptáveis, robustos e semanticamente fundamentados para extração de informações em aplicações empresariais reais. As limitações atuais, como a dependência de métricas baseadas em texto para números/datas e a falta de suporte multilíngue, são apontadas como direções para trabalhos futuros.