MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios

1. O Problema

O campo de análise e parseamento de documentos (conversão de imagens de documentos em representações estruturadas e legíveis por máquinas) avançou significativamente, mas enfrenta limitações críticas:

• Viés de Idioma e Formato: A maioria dos benchmarks e modelos existentes foca quase exclusivamente em documentos digitais limpos ("digital-born"), bem formatados e em um punhado de idiomas dominantes (principalmente inglês e chinês simplificado).
• Falta de Avaliação em Cenários Reais: Existe uma lacuna na avaliação sistemática de como os modelos performam em documentos fotografados (que sofrem com deformações físicas, iluminação variada, sombras e ruído) e em idiomas de baixa recursos ou com scripts não latinos.
• Viés de Desempenho: Modelos atuais tendem a falhar drasticamente em cenários multilíngues complexos e em documentos capturados no mundo real, o que impede a criação de corpora de treinamento de alta qualidade para LLMs (Large Language Models) globais e inclusivos.

2. Metodologia: Construção do MDPBench

Os autores introduzem o MDPBench, o primeiro benchmark dedicado ao parseamento de documentos digitais e fotografados em múltiplos idiomas. A construção seguiu um pipeline rigoroso:

• Coleta de Dados:
  • Escopo: 3.400 imagens de documentos cobrindo 17 idiomas (incluindo Árabe, Chinês Tradicional, Hindi, Japonês, Coreano, Russo, Tailandês, etc.) e diversos tipos de documentos (artigos acadêmicos, recibos, livros, quadrinhos, notas manuscritas).
  • Geração de Dados Fotografados: Para simular condições reais, 850 documentos digitais foram impressos ou exibidos em telas e fotografados em ambientes internos e externos.
  • Condições de Captura: Foram introduzidas diversas degradações, incluindo deformações físicas (dobras, vincos, rugas), orientações de câmera variadas (inclinada, invertida), degradação de imagem (borrão, ruído), sombras e variações de fundo.
• Pipeline de Anotação (Qualidade Rigorosa):
  • Etapa 1 (Modelos Especialistas): Uso de múltiplos modelos de ponta (ex: dots.ocr, PaddleOCR-VL, Qwen3VL) para detecção de layout e reconhecimento de texto.
  • Etapa 2 (Votação por Consenso): Para cada elemento, a similaridade entre as previsões dos modelos é calculada. A previsão com maior consenso é selecionada. Se a similaridade média for baixa (< 0.7), o modelo Gemini-3-Pro é usado como referência.
  • Etapa 3 (Correção e Verificação Humana): Anotadores humanos corrigem os dados baseados em diretrizes padronizadas, seguidos por uma verificação independente para garantir a precisão final.
• Divisão de Dados: Para evitar vazamento de dados e treinamento direcionado, o conjunto foi dividido em:
  • Público (2.720 amostras): Para download e avaliação inicial.
  • Privado (680 amostras): Mantido oculto, com avaliação realizada apenas via submissão de modelos em um site oficial.
• Métricas de Avaliação: Adoção de uma estratégia de agregação ao nível de página (em vez de elemento) para mitigar desequilíbrios na distribuição de tipos de elementos entre idiomas. Métricas incluem NED (distância de edição normalizada) para texto, CDM para fórmulas e TEDS para tabelas.

3. Principais Contribuições

1. Primeiro Benchmark Multilíngue Realista: O MDPBench preenche a lacuna crítica de avaliação para documentos fotografados e em 17 idiomas, incluindo scripts não latinos.
2. Pipeline de Anotação de Alta Qualidade: Estabelece um novo padrão para anotação de documentos complexos, combinando inteligência artificial de múltiplos especialistas com verificação humana rigorosa.
3. Avaliação Abrangente de Modelos: Fornece uma análise detalhada comparando modelos de Visão-Linguagem (VLMs) gerais, VLMs especializados em OCR e sistemas baseados em pipeline.

4. Resultados Chave

A avaliação de modelos open-source e closed-source no MDPBench revelou descobertas alarmantes:

• Queda de Desempenho em Documentos Fotografados: Todos os modelos sofreram uma degradação significativa ao lidar com documentos fotografados, com uma queda média de 17,8% em comparação com documentos digitais.
• Viés em Scripts Não Latinos: O desempenho em idiomas com scripts não latinos (ex: Árabe, Hindi, Russo) foi consistentemente inferior, com uma queda média de 14,0% em relação aos idiomas latinos.
• Gap entre Open-Source e Closed-Source:
  • O modelo proprietário Gemini-3-Pro demonstrou ser o mais robusto (86,4% de precisão geral), superando o melhor modelo open-source (dots.mocr) em 7,9% em cenários fotografados.
  • Modelos open-source sofreram colapsos de desempenho drásticos em certos idiomas e condições (ex: alguns modelos caíram para menos de 10% de precisão em Árabe e Hindi).
• Tipos de Erros Específicos:
  • Ordem de Leitura: Falhas graves na ordem de leitura para scripts da direita para a esquerda (ex: Árabe).
  • Alucinações e Repetição: Modelos frequentemente geram conteúdo repetitivo ou "alucinam" palavras.
  • Viés Linguístico: Erros de segmentação em idiomas sem espaços (ex: Tailandês) e confusão visual entre caracteres cirílicos e latinos.

5. Significado e Impacto

O MDPBench destaca que, embora existam avanços em documentos digitais limpos, a tecnologia de parseamento de documentos ainda não está pronta para implantação em escala global e diversificada.

• Direção Futura: Os resultados apontam a necessidade urgente de treinar modelos com mais dados de baixa qualidade, fotografados e em idiomas não latinos.
• Acesso ao Conhecimento: Melhorar o parseamento multilíngue é crucial para democratizar o acesso ao conhecimento global, permitindo que LLMs aprendam com fontes de dados não ocidentais e históricos (arquivos físicos).
• Padrão de Avaliação: O benchmark serve como uma ferramenta essencial para pesquisadores desenvolverem sistemas de OCR e parseamento mais robustos, inclusivos e capazes de operar em condições do mundo real.

Em resumo, o MDPBench expõe as fragilidades atuais dos modelos de IA na compreensão de documentos reais e multilíngues, estabelecendo uma base sólida para o desenvolvimento de tecnologias de processamento de documentos verdadeiramente universais.