Diacritic-Aware Post-OCR Correction for Vietnamese Scanned Documents: A Lightweight Baseline for Low-Quality Document Digitization

Resumo Técnico: Correção Pós-OCR Sensível a Diacríticos para Documentos Digitalizados em Vietnamita

Definição do Problema
O Reconhecimento Óptico de Caracteres (OCR) é fundamental para a digitalização de documentos digitalizados, mas enfrenta desafios significativos quando aplicado ao texto vietnamita, particularmente sob condições de baixa qualidade (ex: desfoque, baixa resolução, iluminação irregular e artefatos de compressão). Diferente das línguas de escrita latina não tonais, o vietnamita depende de um sistema complexo de diacríticos e marcas de tom para codificar o significado lexical. Um erro menor no reconhecimento dessas marcas — como confundir ban (dar), bán (vender), bàn (mesa), bản (cópia) ou bạn (amigo) — pode alterar completamente o significado semântico de uma palavra. Em digitalizações degradadas, esses pequenos diacríticos são frequentemente os primeiros elementos a serem perdidos ou mal reconhecidos, tornando as saídas padrão de OCR inutilizáveis para tarefas subsequentes como busca, mineração de texto e preservação arquivística. Embora existam modelos de aprendizado profundo, eles frequentemente exigem conjuntos de dados anotados extensos e treinamento caro, o que nem sempre é viável para cenários práticos de digitalização com poucos recursos.

Metodologia
O artigo propõe um pipeline de correção pós-OCR leve e sensível a diacríticos, projetado para operar como uma etapa modular após qualquer motor de OCR padrão (ex: Tesseract, VietOCR, PaddleOCR). A metodologia consiste em cinco estágios distintos:

1. Pré-processamento de Imagem: A imagem de entrada passa por conversão para tons de cinza, redução de ruído, realce de contraste, limiarização adaptativa (ou binarização de Otsu) e correção de inclinação (deskewing). Este estágio visa maximizar a visibilidade dos pequenos diacríticos sem uma binarização excessivamente agressiva que possa apagá-los.
2. Reconhecimento OCR: A imagem pré-processada é passada para um motor de OCR de "caixa-preta" para gerar tokens de texto brutos ($T_{raw}$).
3. Detecção de Candidatos de Erro: O sistema identifica tokens "suspeitos" que requerem correção. Um token é sinalizado se:
   • Está ausente do dicionário vietnamita.
   • Possui uma forma base (sem diacríticos) que corresponde a múltiplas palavras do dicionário.
   • Contém combinações de caracteres incomuns ou marcas de tom ausentes em contextos de alta probabilidade.
   • Exibe confusão de caracteres visualmente semelhantes (ex: o/ô/ơ, a/ă/â, u/ư, e/ê).
4. Correção Sensível a Diacríticos: Para cada candidato, o sistema remove os diacríticos para encontrar a forma base e recupera todas as palavras válidas do dicionário vietnamita que compartilham essa base.
   • Se o conjunto de candidatos estiver vazio, uma busca por distância de edição encontra palavras visualmente semelhantes.
   • Se existirem múltiplos candidatos, eles são classificados usando uma função de pontuação baseada em similaridade de caracteres, similaridade de diacríticos, frequência de palavras, contexto local, pontuações de dicionário de domínio e probabilidades de n-gramas.
   • O candidato com a maior pontuação é selecionado como o token corrigido ($\hat{w}_i$).
5. Reconstrução de Texto: Os tokens corrigidos são remontados no texto final ($T_{corr}$).

A abordagem evita explicitamente o retreinamento de grandes modelos de ponta a ponta, baseando-se, em vez disso, em buscas em dicionários, substituições baseadas em regras e classificação estatística.

Principais Contribuições
O artigo delineia quatro contribções primárias:

1. Um Pipeline Leve: Um framework prático e reproduzível de correção pós-OCR direcionado especificamente para erros de diacríticos e marcas de tom no vietnamita, projetado para cenários com dados e recursos computacionais limitados.
2. Taxonomia de Erros: Uma taxonomia definida de erros de OCR em vietnamita, categorizando problemas como diacríticos ausentes, marcas de tom incorretas, confusão de formato de vogal, substituição de caracteres, erros de segmentação de palavras e ruído relacionado ao layout.
3. Estratégia de Correção: Um mecanismo de correção baseado em dicionário e regras que funciona sem treinamento de modelos de larga escala, utilizando geração e classificação de candidatos para resolver ambiguidades.
4. Framework de Avaliação: Um conjunto abrangente de métricas e análises qualitativas, incluindo Taxa de Erro de Caractere (CER), Taxa de Erro de Palavra (WER), Taxa de Erro de Diacrítico (DER) e Precisão Exata de Palavra, juntamente com análises de amostras de documentos para apoiar pesquisas futuras.

Resultos Experimentais
Os autores avaliaram o pipeline em uma coleção de documentos digitalizados em vietnamita apresentando vários layouts, tamanhos de fonte e níveis de ruído. Embora os valores numéricos específicos no artigo sejam observados como ilustrativos para um rascunho de preprint, as tendências relatadas indicam:

• Ganhos de Desempenho: A combinação de pré-processamento e pós-correção rendeu os melhores resultados. Comparado ao OCR bruto, o pipeline completo reduziu a Taxa de Erro de Diacrítico (DER) de 18,95% para 6,91% e melhorou a Precisão Exata de Palavra de 78,33% para 87,15%.
• Sensibilidade à Qualidade: O módulo de correção mostrou melhoria significativa em todos os subconjuntos de qualidade de imagem. Por exemplo, em imagens de "Baixa resolução", a Taxa de Erro de Palavra (WER) melhorou em 6,75%, e em "Imagens borradas", melhorou em 8,88%.
• Distribuição de Erros: A análise confirmou que "Falta de tom" (38,6%) e "Falta de marca vocálica" (25,1%) são os tipos de erro dominantes, validando o foco do método proposto.

Significância e Alegações
O artigo posiciona este trabalho como um baseline simples e reproduzível para melhorar o OCR em vietnamita, particularmente para a digitalização de documentos de baixa qualidade, análise de documentos históricos e tecnologia de línguas com poucos recursos.

Os autores alegam que a melhoria significativa do OCR não requer necessariamente o retreinamento de modelos grandes e ávidos por dados. Em vez disso, um módulo de pós-processamento leve pode reparar efetivamente erros sistemáticos de diacríticos, que são a principal fonte de degradação semântica no OCR de vietnamita. O método é destacado como particularmente útil para documentos administrativos e educacionais onde frases repetitivas e específicas de um domínio permitem uma correção eficaz baseada em dicionário.

No entanto, o artigo mantém uma postura modesta quanto às limitações. Ele reconhece que o método depende fortemente da cobertura do dicionário (tendo dificuldades com nomes raros ou grafias não padronizadas), é projetado primariamente para texto impresso em vez de escrita manual, e não resolve problemas complexos de compreensão de layout (ex: ordenação de colunas de tabelas). Os autores enfatizam que, embora a abordagem atual seja um forte baseline, trabalhos futuros devem integrar modelos de linguagem neural (como o PhoBERT) e compreensão consciente de layout para abordar esses desafios remanescentes.