Digitizing Nepal's Written Heritage: A Comprehensive HTR Pipeline for Old Nepali Manuscripts

1. Declaração do Problema

O artigo aborda o desafio crítico do Reconhecimento de Texto Manuscrito (HTR) para o Nepali Antigo, uma língua historicamente significativa, mas de baixos recursos.

• Contexto: O estudo foca em manuscritos dos séculos XVIII e XIX (principalmente do Projeto de Preservação de Manuscritos Nepal-Alemanha), escritos na escrita Devanagari.
• Desafios:
  • Escassez de Dados: Apenas 155 imagens de manuscritos (aproximadamente 3.100 linhas de texto) estão disponíveis para treinamento, tornando as abordagens padrão de aprendizado profundo difíceis.
  • Complexidade da Escrita: O Nepali Antigo apresenta caracteres conjuntos intrincados, ortografia inconsistente (os escribas soletravam palavras de forma diferente) e falta de espaçamento padronizado entre palavras (scriptio continua).
  • Degradação de Documentos: Documentos históricos sofrem com o desbotamento da tinta, danos no papel e estilos de caligrafia diversos.
  • Lacuna de Domínio: Modelos OCR existentes (como Tesseract ou TrOCR padrão) são treinados em scripts latinos ou impressos modernos e falham em Devanagari manuscrito histórico.

2. Metodologia

Os autores propõem um pipeline de treinamento em três etapas combinado com estratégias centradas em dados para preencher a lacuna entre o pré-treinamento de alto recurso e os dados de destino de baixo recurso.

A. Pipeline de Treinamento em Três Etapas

Para superar a falta de dados manuscritos rotulados, o modelo passa por um processo de adaptação progressiva:

1. Etapa 1 (Pré-treinamento Sintético): O modelo é treinado em 100.000 imagens sintéticas geradas a partir de livros didáticos nepaleses históricos, usando várias fontes Devanagari e efeitos de ruído/distorção. Isso ensina ao modelo padrões gerais de Devanagari.
2. Etapa 2 (Aprendizado por Transferência): O modelo é ajustado finamente em 5.139 linhas de texto Devanagari impresso dos dados de pesquisa aberta de Heidelberg (heiDATA). Isso preenche a lacuna entre dados sintéticos e documentos digitalizados do mundo real.
3. Etapa 3 (Ajuste Fino Final): O modelo é finalmente ajustado finamente nas 3.100 linhas de manuscritos manuscritos reais em Nepali Antigo.

B. Arquitetura do Modelo

• Codificador: Utiliza principalmente TrOCR (OCR baseado em Transformer) com um backbone ViT (Vision Transformer) (trocr-base-handwritten e trocr-large-handwritten). Um Swin Transformer também foi testado, mas teve desempenho inferior devido às limitações de dados.
• Decodificador: Explora modelos de linguagem estilo BERT e GPT-2. A configuração de melhor desempenho acopla um decodificador BERT com um tokenizador Byte-Level BPE.
• Tokenização: Compara tokenização ao nível de caracteres versus ao nível de bytes. A tokenização Byte-Level BPE foi encontrada como ótima para lidar com os conjuntos complexos de Devanagari.

C. Melhorias Centradas em Dados

Dado o pequeno conjunto de dados, os autores priorizaram a qualidade e a diversidade dos dados em vez da complexidade arquitetônica:

• Normalização de Rótulos: Unificou representações Unicode inconsistentes (por exemplo, códigos diferentes para o chandrabindu) para reduzir o ruído no treinamento.
• Aumento de Dados: Aplicou 20 tipos de aumentações realistas (distorções geométricas, desfoque gaussiano, ruído sal-e-pimenta, deformação elástica) para simular artefatos de digitalização e variações de caligrafia. A intensidade de aumento de 8× produziu os melhores resultados.
• Pré-processamento: Utilizou Kraken para segmentação ao nível de linha. Notavelmente, a binarização foi encontrada como prejudicial ao desempenho, portanto, imagens em tons de cinza foram mantidas.

D. Estratégias de Decodificação

O estudo avaliou sistematicamente métodos de decodificação determinísticos (ganancioso, busca em feixe, busca contrastiva) e estocásticos (temperatura, top-k, top-p). Os resultados mostraram que as estratégias de decodificação tiveram impacto mínimo na Taxa de Erro de Caracteres (CER) final, comparadas à qualidade dos dados e à arquitetura do modelo.

3. Principais Contribuições

1. Primeiro Pipeline End-to-End: O primeiro sistema HTR abrangente projetado especificamente para manuscritos em Nepali Antigo.
2. Adaptação em Três Etapas: Um fluxo de trabalho inovador demonstrando como dados sintéticos e texto impresso podem pré-treinar efetivamente modelos para scripts históricos de baixos recursos.
3. Insights Centrados em Dados: Demonstrou que a normalização de rótulos e o aumento de dados contribuíram mais para os ganhos de desempenho do que mudanças arquitetônicas (por exemplo, trocar decodificadores BERT por GPT-2).
4. Lançamento de Código Aberto: Liberou código de treinamento, configurações de modelo e scripts de avaliação para fomentar pesquisas futuras (hospedado no GitHub).
5. Aplicação Web: Desenvolveu uma ferramenta web funcional (nepocr.streamlit.app) permitindo que pesquisadores carreguem e transcrevam manuscritos em Nepali Antigo.

4. Resultados

• Desempenho: O melhor modelo alcançou uma Taxa de Erro de Caracteres (CER) de 4,9% (CER ponderado de 4,8%).
• Melhoria: Isso representa uma redução de 49% no erro em comparação com um modelo TrOCR de ajuste fino de base (9,6% CER) e supera significativamente o OCR Google Cloud Vision, que falhou em reconhecer conjuntos e diacríticos.
• Estudos de Ablação:
  • Limpeza de Rótulos: Reduziu o CER de 8,9% para 8,4%.
  • Aumento de Dados: Reduziu o CER de 8,4% para 5,6% (na intensidade 8×).
  • Tamanho do Modelo: A atualização de trocr-base para trocr-large reduziu ainda mais o CER para 4,9%.
• Análise de Erros:
  • Os erros são estruturados, não aleatórios (por exemplo, ya confundido com pa devido à semelhança visual).
  • Degradação de Sequência Longa: O desempenho cai significativamente para linhas que excedem 120 caracteres devido à falta de exemplos de treinamento de sequência longa.
  • Confusão de Tokens: Um pequeno subconjunto de 10 caracteres responde por mais de 55% de todos os erros.

5. Significado

• Preservação Cultural: Fornece uma solução escalável para digitalizar o vasto patrimônio de manuscritos do Nepal, que atualmente corre risco de degradação e inacessibilidade.
• Framework HTR de Baixos Recursos: Estabelece uma metodologia robusta para outros scripts históricos de baixos recursos, provando que a qualidade dos dados e estratégias de aumento são frequentemente mais críticas do que o tamanho do modelo em ambientes com escassez de dados.
• Validação de Aprendizado por Transferência: Demonstra com sucesso que o pré-treinamento em dados sintéticos e impressos pode transferir-se efetivamente para scripts históricos manuscritos complexos.
• Direções Futuras: O artigo destaca a necessidade de conjuntos de dados expandidos (especificamente sequências longas) e o potencial para métodos de pós-correção alavancando os padrões de erro estruturados identificados.

Em conclusão, este trabalho estabelece uma nova linha de base de última geração para HTR em Nepali Antigo, deslocando o foco de arquiteturas de modelo complexas para preparação rigorosa de dados e estratégias de adaptação de domínio.