A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

Este estudo utiliza a estrutura PRISMA para analisar métodos de avaliação de OCR e compreensão de documentos, revelando que a predominância de dados modernos e ocidentais em benchmarks invisibiliza documentos históricos de comunidades marginalizadas, como jornais negros, levando a falhas estruturais e danos representacionais que exigem mudanças nas práticas institucionais e de governança de dados.

O essencial

Imagine que você tem uma máquina mágica capaz de ler qualquer papel antigo e transformá-lo em texto digital, como se fosse um tradutor instantâneo do passado para o presente. Essa é a promessa da OCR (Reconhecimento Óptico de Caracteres).

No entanto, este artigo de pesquisa revela um problema sério: essa "máquina mágica" está cega para uma parte muito importante da história humana, especialmente para os jornais e documentos históricos da comunidade negra americana.

Aqui está uma explicação simples do que os autores descobriram, usando algumas analogias:

1. O Problema do "Treinamento de Academia"

Pense nos sistemas de OCR modernos como atletas de ginástica. Para ganhar medalhas, eles treinam exaustivamente em academias modernas, com equipamentos novos, pisos lisos e regras claras. Eles são avaliados em competições que medem apenas se eles conseguem fazer um movimento perfeito em um tapete branco e novo.

• A Realidade: Os documentos históricos (especialmente os jornais negros do século XIX) não são como esses tapetes brancos. Eles são como ruas de terra cheias de buracos, poeira, luzes piscando e placas de madeira velhas e tortas.
• O Erro: Os cientistas treinam as máquinas apenas nos "tapetes brancos" (documentos corporativos modernos, artigos científicos e PDFs digitais). Quando essas máquinas são colocadas nas "ruas de terra" (jornais antigos), elas tropeçam, mas ninguém percebe porque a competição (a avaliação) só olha para o tapete branco.

2. A Ilusão da Precisão (O Contador de Letras)

Atualmente, para saber se a máquina está funcionando bem, os pesquisadores usam uma régua chamada Taxa de Erro de Caracteres. É como se você estivesse corrigindo um trabalho escolar contando apenas quantas letras foram escritas erradas.

• A Armadilha: Imagine que a máquina leu um jornal antigo com 4 colunas de texto. Ela consegue ler quase todas as letras corretamente (99% de precisão na régua). Mas, ela misturou a ordem das colunas! Ela leu a coluna da direita e depois a da esquerda, transformando uma história coerente em um texto sem sentido.
• O Resultado: Na régua antiga, a máquina tirou nota 10. Na vida real, ela destruiu o significado do texto. O artigo diz que focar apenas nas letras é como avaliar um tradutor apenas pela ortografia, ignorando se ele traduziu a frase inteira na ordem correta.

3. O "Fantasma" dos Documentos Negros

Os autores focaram em jornais históricos negros, como The Weekly Advocate e The North Star. Esses documentos têm características únicas:

• Tipografia estranha: Letras góticas ou muito pequenas que não existem nos livros modernos.
• Danos físicos: Manchas de microfilme, rasgos e sombras que parecem texto.
• Layout complexo: Várias colunas entrelaçadas que contavam uma história visual.

Quando as máquinas tentam ler esses documentos, elas cometem erros específicos que as avaliações atuais ignoram:

• Colapso de Coluna: A máquina "esquece" que existem colunas e lê tudo em linha reta, misturando poemas com notícias políticas.
• Alucinação: A máquina, tentando ser "inteligente", inventa palavras que não existem para preencher espaços em branco, criando uma história falsa que parece real.
• Invisibilidade: Como as máquinas não são boas nesses documentos, os historiadores e o público geral não conseguem acessar essa história. É como se esses documentos tivessem sido apagados da internet.

4. Por que isso acontece? (A Raiz do Problema)

Não é que a tecnologia seja incapaz de ler esses documentos. O artigo explica que o problema é político e organizacional, não técnico.

• Incentivos Errados: Os pesquisadores querem criar modelos que ganhem prêmios nas competições atuais. Como as competições usam apenas documentos modernos, ninguém tem incentivo para treinar a máquina nos documentos antigos.
• Falta de Diversidade: Os bancos de dados usados para treinar as IAs são cheios de documentos de empresas e universidades brancas modernas. Os arquivos comunitários e históricos são deixados de fora, como se não fossem importantes.

5. A Solução Proposta

Os autores pedem uma mudança de mentalidade:

• Novas Regras de Jogo: Precisamos criar novas "competições" (benchmarks) que incluam documentos históricos e comunitários.
• Novas Réguas: Em vez de contar apenas letras erradas, precisamos medir se a máquina entendeu a estrutura do jornal (se manteve as colunas, se não inventou texto).
• Reconhecimento Cultural: Tratar os arquivos negros não como "casos especiais" ou "problemas difíceis", mas como parte fundamental do treinamento de qualquer sistema que queira ser verdadeiramente inteligente e justo.

Em resumo:
Estamos construindo máquinas que são excelentes em ler o futuro e o presente corporativo, mas que estão falhando em ler a nossa própria história. Se não mudarmos como testamos e treinamos essas máquinas, corremos o risco de perder a voz de gerações inteiras de pessoas que já lutaram para ser ouvidas. A tecnologia precisa aprender a ver além das letras e entender a história por trás do papel.

Resumo técnico

1. Problema

O artigo identifica uma lacuna crítica nos sistemas de Reconhecimento Óptico de Caracteres (OCR) e compreensão de documentos: a avaliação atual é centrada em documentos modernos, ocidentais e institucionais, tornando-se "invisível" para arquivos históricos e marginalizados, especificamente jornais históricos negros (Black Press).

• Falha nas Métricas Atuais: As métricas dominantes, como Taxa de Erro de Caracteres (CER) e Taxa de Erro de Palavras (WER), baseiam-se na distância de edição (Levenshtein). Elas tratam o documento como uma sequência linear de texto, ignorando erros estruturais graves, como colapso de colunas, perda de ordem de leitura e alucinação de texto, que são comuns em documentos históricos com layouts complexos.
• Viés nos Dados de Treinamento e Benchmarks: Os conjuntos de dados de treinamento (ex: IIT-CDIP, composto por documentos de litígios de tabaco do século XX) e os benchmarks atuais (ex: OCRBench, DocVQA) não incluem tipografia histórica (como fontes góticas/blackletter), degradação física específica de microfilmes ou layouts multicolunas densos típicos da imprensa negra do século XIX.
• Consequência Epistemológica: Sistemas considerados "estado da arte" (SOTA) falham silenciosamente ao processar esses documentos, apagando a lógica editorial e a identidade política contida na estrutura visual do documento, resultando em danos representacionais e na inacessibilidade computacional desses acervos.

2. Metodologia

Os autores realizaram uma revisão sistemática seguindo os princípios PRISMA 2020, cobrindo o período de 2006 a 2025.

• Coleta de Dados: Foram revisados 78 registros únicos de artigos de conferências e repositórios (ACM, IEEE, arXiv, etc.) focados em avaliação de OCR e compreensão de documentos.
• Critérios de Inclusão: Artigos que apresentavam métricas quantitativas para sistemas OCR, analisavam benchmarks ou ofereciam uma visão geral dos processos de avaliação.
• Análise de Dados:
  • Extração de fontes de dados de treinamento, transparência de relatórios, cobertura de idiomas e, crucialmente, cobertura de documentos históricos.
  • Comparação de benchmarks existentes quanto à inclusão de arquivos comunitários e testes de degradação.
• Estudo de Caso: Para validar as lacunas encontradas na revisão, os autores aplicaram três modelos (Tesseract v5, Surya e olmOCR 2) em uma página do jornal The Weekly Advocate (1837), um dos primeiros jornais afro-americanos. A análise foi qualitativa, focada em padrões de falha estrutural e consequências arquivísticas, devido à falta de transcrições de "verdade fundamental" (ground truth) para esse material específico.

3. Principais Contribuições

O artigo oferece três contribuições fundamentais para o campo da justiça, responsabilidade e transparência na compreensão de documentos:

1. Análise Sistemática: Mapeamento detalhado de como os dados de treinamento, benchmarks e métricas são apresentados e implementados nos sistemas OCR modernos, revelando a exclusão sistemática de arquivos históricos comunitários.
2. Argumento sobre Falhas Estruturais: Demonstração de que os sistemas atuais, mesmo com alta precisão de nível de caractere, falham em detectar erros estruturais e de layout comuns em jornais históricos (colapso de colunas, erros tipográficos, alucinações), os quais são invisíveis às métricas padrão.
3. Estudo de Caso Empírico: Evidência concreta de como a "invisibilidade" nas avaliações leva a erros estruturais significativos em documentos da imprensa negra, onde a lógica editorial é perdida ou distorcida.

4. Resultados

• Disparidade nos Dados de Treinamento: A maioria dos modelos SOTA (como LayoutLM, Donut, Nougat) depende de corpora modernos ou sintéticos. Apenas o olmOCR 2 demonstrou um esforço significativo para incluir dados históricos, mas mesmo assim, a cobertura de jornais negros específicos é inexistente ou não reportada.
• Inadequação dos Benchmarks: Benchmarks populares (OCRBench, OmniDocBench) focam em documentos modernos, PDFs digitais ou notação científica. O KITAB-Bench é uma exceção notável para herança árabe, mas não há equivalentes robustos para a imprensa negra americana.
• Padrões de Falha no Estudo de Caso:
  • Tesseract v5: Interpretou regras verticais como texto e aplicou uma ordem de leitura "Z" (esquerda para direita), fundindo conteúdo editorial distinto (poesia) com relatórios cívicos.
  • Surya: Sofreu colapso de tokens devido a fontes de alto contraste do século XIX, introduzindo "tokens de lixo" e repetições.
  • olmOCR 2 (VLM SOTA): Apresentou "alucinação corretiva", substituindo evidências visais por texto fabricado baseado em probabilidades de conhecimento prévio, apagando entidades reais.
• Conclusão da Análise: A precisão do caractere (CER) é um indicador enganoso para documentos históricos; um modelo pode ter um CER baixo, mas destruir completamente a estrutura semântica e política do documento.

5. Significância e Implicações

O artigo argumenta que a avaliação de OCR não é apenas um problema técnico, mas uma questão de alocação de recursos, diversidade de conjuntos de dados e reconhecimento de significado cultural.

• Invisibilidade Estrutural: A exclusão de arquivos comunitários dos ciclos de treinamento e avaliação perpetua a invisibilidade computacional dessas histórias, impedindo que a sociedade contemporânea acesse e utilize esses acervos de forma crítica (ex: uso de documentos históricos em decisões judiciais).
• Necessidade de Novas Métricas: É urgente desenvolver métricas que avaliem a fidelidade do layout, a preservação da ordem de leitura e a integridade semântica, indo além da simples transcrição de texto.
• Reorientação Ética: O trabalho propõe que os arquivos digitais negros não devem ser tratados como "casos de borda" (edge cases), mas como parte central dos conjuntos de dados de teste para sistemas de OCR culturalmente responsáveis. A mudança na avaliação é um passo iterativo crucial para criar sistemas de IA que respeitem a história e a humanidade dos sujeitos representados nesses documentos.

Em suma, o paper alerta que sem uma reformulação das práticas de avaliação, a tecnologia de OCR continuará a apagar a lógica editorial e a identidade política dos documentos históricos marginalizados, transformando a "legibilidade" em uma ferramenta de apagamento cultural.