Error Patterns in Historical OCR: A Comparative Analysis of TrOCR and a Vision-Language Model

Título: Padrões de Erro em OCR Histórico: Uma Análise Comparativa entre TrOCR e um Modelo Visão-Linguagem

1. Problema e Motivação

A Reconhecimento Óptico de Caracteres (OCR) para textos impressos do século XVIII permanece um desafio significativo devido à qualidade degradada da impressão, glifos arcaicos (como o "s longo" e ligaduras) e ortografia não padronizada.

• Limitação das Métricas Atuais: Métricas agregadas tradicionais, como Taxa de Erro de Caracteres (CER) e Taxa de Erro de Palavras (WER), fornecem uma visão incompleta da confiabilidade para uso acadêmico. Elas não revelam a estrutura dos erros, que pode ser crítica para processos downstream como construção de corpus, análise linguística e interpretação histórica.
• Risco de Normalização Silenciosa: Modelos modernos podem "corrigir" silenciosamente formas históricas válidas para formas modernas, alterando o significado histórico sem que o erro seja detectado por filtros lexicais simples.
• Objetivo: O estudo visa comparar como diferentes arquiteturas (um OCR nativo baseado em transformadores vs. um Modelo Visão-Linguagem - VLM) moldam os padrões de erro sob condições históricas realistas, indo além da simples comparação de acurácia.

2. Metodologia

2.1. Dados e Treinamento

• Corpus de Treinamento: Um conjunto de dados personalizado de nível de linha (aproximadamente 195.000 imagens de linha) combinando:
  • Dados anotados manualmente (62k linhas) de livros do século XVIII.
  • Dados semi-automatizados (68k linhas) alinhados com o corpus ECCO-TCP.
  • Dados sintéticos (65k linhas) gerados com fontes e degradações históricas.
• Modelos Comparados:
  1. TrOCR (OCR Nativo): Um modelo transformador encoder-decoder (TrOCR-large) focado em alinhamento nível de caractere baseado em visão.
  2. Qwen (VLM): Um modelo Visão-Linguagem de grande escala (Qwen2.5-VL-7B) que trata a transcrição como geração de texto condicional, incorporando fortes priors linguísticos.
• Configuração Experimental: Ambos os modelos foram restringidos a entradas de nível de linha (pré-segmentadas) para isolar a dinâmica de reconhecimento e eliminar variáveis de segmentação de página. As saídas foram avaliadas contra transcrições diplomáticas que preservam a ortografia original (sem modernização).

2.2. Análise de Erros
Em vez de apenas calcular CER/WER, os autores desenvolveram uma análise baseada em proxies (indicadores) para classificar a natureza dos erros:

• Erros de Palavra Real vs. Não-Palavra: Distinção entre erros que resultam em palavras válidas no léxico histórico (difíceis de detectar) e erros que geram palavras inexistentes.
• Erros de Fronteira: Divisões ou fusões incorretas de palavras devido a espaços em branco.
• Confusão de Glifos: Substituições sistemáticas entre formas visuais distintas (ex: s longo vs. s moderno).
• Normalização Ortográfica: Substituição de formas históricas válidas por formas modernas.
• Propagação de Erro: Análise de como erros locais se espalham ao longo da linha de texto.

3. Resultados Principais

3.1. Desempenho Agregado

• O modelo Qwen (VLM) superou consistentemente o TrOCR em todas as métricas agregadas (CER e WER), especialmente em imagens em preto e branco degradadas e em linhas longas.
• O TrOCR mostrou maior sensibilidade à degradação da imagem e ao comprimento da sequência, com taxas de erro aumentando drasticamente em linhas longas.

3.2. Padrões de Erro e Hipóteses Arquiteturais
O estudo validou quatro hipóteses sobre como a arquitetura influencia o erro:

1. Hipótese de Fundamentação Visual (H1): O TrOCR tende a produzir erros mais "visualmente fundamentados". Ele substitui glifos ambíguos por outros visualmente similares, mesmo que o resultado seja uma palavra inválida (ex: confundir "s longo" com "f" ou "t").
2. Hipótese de Regularização Linguística (H2): O Qwen resolve ambiguidades visuais usando seus priors linguísticos. Ele tende a substituir formas históricas ambíguas por palavras semanticamente plausíveis, mesmo que isso altere o significado original (ex: trocar uma palavra arcaica por uma moderna que "faz sentido" no contexto).
3. Hipótese de Normalização Ortográfica (H3): O Qwen realiza uma normalização lexical mais agressiva, convertendo formas históricas válidas (ex: "Antient", "imploy") para formas modernas ("Ancient", "employ"). O TrOCR limita-se mais à decomposição de ligaduras, preservando melhor a ortografia original.
4. Hipótese de Propagação de Erro (H4): O TrOCR é propenso a erros em cascata. Uma falha inicial de alinhamento visual tende a corromper o restante da linha. O Qwen, por outro lado, tende a conter erros localmente, produzindo desvios mais curtos e delimitados.

4. Contribuições Chave

• Caracterização Arquitetural de Erros: Demonstrou que modelos com acurácia agregada similar podem ter perfis de erro qualitativamente distintos, com riscos diferentes para a pesquisa histórica.
• Framework de Análise: Propôs um método para analisar erros históricos focando em estrutura (localização, detectabilidade, impacto semântico) em vez de apenas frequência.
• Trade-off Arquitetural: Identificou um compromisso fundamental:
  • Modelos Nativos (TrOCR): Preservam a fidelidade visual, mas exigem mais esforço de correção manual devido a erros em cascata e palavras inválidas.
  • Modelos VLM (Qwen): Oferecem maior robustez e menor volume de erros, mas introduzem o risco de "normalização silenciosa", onde o texto histórico é alterado para parecer moderno, comprometendo a integridade diplomática.

5. Significado e Conclusão

O artigo conclui que a seleção de modelos para digitalização histórica não deve ser baseada apenas em métricas de precisão (CER/WER), mas sim em uma análise de risco arquitetural.

• Para projetos que exigem fidelidade diplomática estrita (preservação exata de glifos e ortografia), modelos nativos podem ser preferíveis, apesar de exigirem mais correção humana.
• Para projetos focados em legibilidade e análise de conteúdo, onde a normalização é aceitável, os VLMs oferecem melhor desempenho geral.
• Recomendação: Os fluxos de trabalho de Humanidades Digitais devem ser "conscientes da arquitetura", adaptando estratégias de pós-correção e validação humana com base nos padrões de erro específicos do modelo escolhido.

Em suma, o estudo alerta que métricas agregadas podem mascarar comportamentos de reconhecimento estruturalmente diferentes, e que a escolha do modelo impacta diretamente a confiabilidade e a interpretação dos textos históricos digitalizados.