Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

A palavra escrita é algo frágil. O papel amarela, a tinta desbota e as páginas físicas da história lentamente se desintegram. Para preservar esses registros, bibliotecas e arquivos passaram décadas digitalizando livros e convertendo as imagens de suas páginas em texto digital que computadores possam ler e pesquisar. Esse processo, conhecido como reconhecimento óptico de caracteres, funciona de forma admirável para livros modernos, onde as fontes são uniformes e o papel é limpo. No entanto, a tarefa torna-se muito mais difícil quando o material de origem é de um tempo anterior à padronização, como livros japoneses publicados entre o final do século XIX e o início do século XX. Esses textos apresentam uma variedade caótica de tipos de letra, impressão desgastada e caracteres que parecem surpreendentemente semelhantes entre si. Quando um computador tenta lê-los, ele frequentemente confunde um caractere com outro, criando um texto digital que parece correto à primeira vista, mas que está repleto de erros sutis e silenciosos que tornam o conteúdo inútil para pesquisas sérias.

Uma equipe de pesquisadores de universidades de Nara, Quioto e Shiga desenvolveu uma nova maneira de corrigir esses erros específicos. Eles criaram um sistema que atua como um editor de duas etapas para esses textos digitais danificados. Primeiro, o sistema varre o texto para encontrar onde os erros estão escondidos. Em vez de depender de um único método para fazer isso, eles combinaram duas abordagens diferentes: uma que verifica se uma palavra existe em uma lista conhecida e outra que utiliza um modelo de computador treinado para compreender o fluxo e o contexto de uma frase. Ao fazer com que esses dois métodos trabalhem juntos, o sistema pode detectar erros que um método poderia perder, enquanto ignora alarmes falsos que o outro poderia levantar. Uma vez encontrado um erro, o sistema sugere o caractere correto para substituí-lo, utilizando um poderoso modelo de linguagem para adivinhar a palavra mais provável com base no texto ao redor. Seus experimentos mostraram que essa abordagem combinada encontra erros com maior precisão do que métodos anteriores e corrige com sucesso uma parte significativa deles, tornando a história digitalizada do Japão moderno inicial muito mais confiável para estudiosos e para o público.

O desafio de ler esses livros antigos não é apenas sobre a idade do papel, mas sobre a natureza da própria impressão. Diferente dos livros de hoje, que utilizam fontes consistentes, as publicações da era Meiji até o início da era Showa eram impressas com uma grande variedade de tipos de letra que mudavam de editor para editor e até de ano para ano. O processo de impressão daquela época frequentemente resultava em caracteres borrados ou irregulares. Quando softwares modernos de reconhecimento óptico de caracteres, que são treinados em textos limpos e padronizados, tentam ler essas páginas, eles frequentemente confundem caracteres que se parecem. Por exemplo, um caractere com um traço extra leve pode ser lido como uma palavra completamente diferente. Embora softwares especializados tenham sido construídos para lidar com essas fontes antigas, eles ainda cometem erros em cerca de três por cento dos caracteres. Em uma frase longa, isso significa que quase metade de todas as frases contém pelo menos um erro, o que é muito para um computador pesquisar ou para um pesquisador confiar sem verificação.

Para resolver isso, os pesquisadores construíram um sistema que opera em duas etapas distintas: detecção e correção. A primeira etapa é a mais crítica, pois o sistema deve identificar exatamente quais caracteres estão errados sem sinalizar os corretos como erros. A equipe percebeu que usar apenas uma ferramenta para encontrar esses erros não era suficiente. Uma simples verificação de dicionário, que observa se uma palavra está em uma lista de palavras conhecidas, é muito boa em detectar absurdos, mas frequentemente falha quando encontra uma palavra rara ou desconhecida que é, na verdade, correta. Por outro lado, um modelo de computador que aprende com o contexto de uma frase é muito bom em entender como as palavras se encaixam, mas pode se confundir com nomes raros ou termos específicos que não viu com frequência.

Os pesquisadores decidiram combinar essas duas forças em um único método de conjunto (ensemble). Eles pegaram a saída de um verificador baseado em dicionário e a saída de um modelo de computador sensível ao contexto e os fizeram trabalhar juntos. Se o dicionário diz que uma palavra está faltando, o sistema verifica se o modelo de contexto também acha que ela está errada. Se ambos concordarem, o sistema a marca como um erro. Se apenas um achar que está errada, o sistema assume que pode ser uma palavra rara, mas correta, e não faz nada. Essa estratégia reduziu significamente o número de vezes que o sistema acusava falsamente uma palavra correta de ser um erro. Em seus testes, essa abordagem combinada identificou corretamente os erros cerca de 75 por cento das vezes, mantendo o número de alarmes falsos muito mais baixo do que qualquer um dos métodos conseguiria sozinho.

Uma vez que o sistema localiza os erros, ele passa para a segunda etapa: corrigi-los. Os pesquisadores substituíram o caractere suspeito de estar errado por um espaço em branco, ou uma "máscara", e pediram a um modelo de linguagem sofisticado para prever qual deveria ter sido o caract\original. Este modelo, treinado em vastas quantidades de texto da mesma época, observa as palavras antes e depois do espaço em branco para adivinhar o candidato mais provável. Para garantir que o palpite fosse adequado, o sistema também verificou o quão semelhante o novo caractere era ao antigo e errado, já que os erros de OCR geralmente ocorrem entre caracteres que se assemelham. O sistema então classificou seus melhores palpites e selecionou o melhor.

Os resultados deste novo método foram promissores. Quando os pesquisadores testaram seu sistema em milhares de frases de livros digitalizados, descobriram que ele corrigiu cerca de 65 por cento dos erros que detectou com sucesso. Isso foi uma melhoria perceptível em relação ao uso do modelo de contexto sozinho, que corrigiu cerca de 58 por cento dos erros. O sistema foi particularmente eficaz quando encontrou a localização exata do erro sem confusão; nesses casos, a taxa de sucesso de correção saltou para mais de 90 por cento. No entanto, os pesquisadores também notaram uma compensação (trade-off). Ao ser muito cuidadoso para evitar alarmes falsos, o sistema às vezes deixou passar alguns erros inteiramente, o que significa que não capturou todos os erros no texto. Eles descobriram que o sistema teve mais dificuldade com palavras muito raras ou nomes próprios que não eram comuns nos dados de treinamento, pois nem o dicionário nem o modelo de contexto tinham informações suficientes para ter certeza sobre eles.

Apesar dessas limitações, o estudo demonstra que combinar diferentes tipos de verificações é uma maneira poderosa de limpar textos históricos. Os pesquisadores mostraram que, ao permitir que um dicionário e um modelo sensível ao contexto fizessem a verificação cruzada entre si, eles poderiam criar uma ferramenta mais confiável para historiadores e bibliotecários. Este trabalho não afirma ter resolvido completamente o problema da leitura de livros japoneses antigos, mas representa um passo significativo para tornar as versões digitais desses textos precisas o suficiente para serem úteis. À medida que mais livros são digitalizados, métodos como este serão essenciais para garantir que o arquivo digital seja um reflexo fiel do original, preservando a verdadeira voz do passado para as gerações futuras.