ViHistScriptBench: Benchmarking Vietnamese Historical Script and Document–Type Classification in Low–Resource Settings

Resumo Técnico: ViHistScriptBench

Definição do Problema
Os arquivos históricos vietnamitas contêm uma mistura complexa de escritas, incluindo chữ Hán (chinês clássico), chữ Nôm (uma escrita logográfica que adapta caracteres chineses para o vietnamita), quốc ngữ inicial (baseada no alfabeto latino) e quốc ngữ moderno. Embora a digitalização seja crucial para a preservação do patrimônio cultural, o Reconhecimento Óptico de Caracteres (OCR) e a análise de documentos para esses materiais enfrentam obstáculos significativos. Os sistemas existentes são predominantemente treinados em escritas latinas modernas e lutam contra os desafios específicos dos documentos históricos vietnamitas: caligrafia complexa, formas de glifos irregulares, layouts verticais, notas marginais e várias formas de degradação. Além disso, os recursos para OCR de Han–Nôm são escassos em comparação com conjuntos de dados de nível de caractere como o NomNaOCR, que se concentram na segmentação em vez da classificação ao nível da página. Há uma falta de benchmarks padronizados para avaliar a identificação de escritas e a classificação de tipos de documentos em contextos de baixos recursos.

Metodologia
O artigo apresenta o ViHistScriptBench, um benchmark leve projetado para facilitar a pesquisa reprodutível sobre a compreensão de documentos históricos vietnamitas.

• Construção do Conjunto de Dados: O corpus consiste em 500 páginas digitalizadas provenientes de arquivos públicos, incluindo a Biblioteca Nacional do Vietnã, a Fundação Nom e as Bibliotecas da Universidade de Columbia. O conjunto de dados abrange diversos gêneros (poesia épica, crônicas, narrativas folclóricas) e séculos. As imagens foram redimensionadas para 300 dpi e armazenadas em formato PNG.
• Esquema de Anotação: Cada página é rotulada com dois atributos:
  1. Classe de Escrita: Hán, Nôm, Mista (contendo ambos) ou Early Quốc Ngữ (Quốc Ngữ Inicial).
  2. Tipo de Documento: Impressão em Xilogravura (Woodblock Print), Manuscrito Manuscrito ou Impressão Moderna.
     As anotações foram realizadas por estudantes de pós-graduação com formação em paleografia e verificadas por um linguista sênior.
• Tarefas do Benchmark: O benchmark define três tarefas primárias de classificação:
  1. Identificação de Escrita: Predizer a classe de escrita de uma página completa.
  2. Classificação de Tipo de Documento: Classificar o material e o tipo de layout.
  3. Detecção de Escrita Mista: Uma tarefa binária para identificar páginas que contêm uma mistura de Hán e Nôm.
• Modelos de Base (Baselines): Os autores avaliaram três categorias de modelos adaptados para classificação de imagens:
  • CNNs Clássicas: ResNet-50 e EfficientNet-B0, ajustadas (fine-tuned) a partir de pré-treinamento no ImageNet.
  • Vision Transformers (ViT): Um modelo ViT base ajustado no conjunto de dados.
  • Modelos de Linguagem de Grande Escala Multimodais (MLLMs): O codificador de imagem CLIP, testado tanto com ajuste fino supervisionado quanto com prompting zero-shot.
• Pré-processamento: As imagens foram redimensionadas para 224×224. Um pré-processamento específico (estiramento de contraste, filtragem de mediana) foi aplicado às xilogravuras para reduzir o ruído, enquanto a informação de cor foi mantida para os manuscritos para preservar os traços do pincel.

Principais Contribuições

1. Corpus Curado: Uma coleção pequena, porém diversa, de 500 páginas de Han–Nôm anotadas com rótulos de escrita e tipo de documento.
2. Tarefas Definidas: Uma formalização da identificação de escrita ao nível da página, detecção de mistura de escritas e reconhecimento de tipo de documento específicos para contextos históricos vietnamitas.
3. Avaliações de Baseline: Métricas de desempenho abrangentes para CNNs clássicas, Transformers e MLLMs nessas tarefas, incluindo acurácia, pontuações macro-F1 e matrizes de confusão.
4. Análise de Erros: Identificação de modos de falha específicos, como a confusão entre Hán e Nôm devido à semelhança visual, má interpretação de layouts verticais e erros causados pela degradação de diacríticos.
5. Lançamento Público: Os dados e o código são liberados para apoiar a comparação justa e pesquisas futuras.

Resultados Experimentais
Os autores relatam resultados em um conjunto de teste reservado (20% dos dados). As principais descobertas incluem:

• Desempenho: O proposto "Nosso Pipeline" (combinando pré-processamento, características profundas e um classificador leve) alcançou o maior desempenho, com 90,1% de acurácia na Identificação de Escrita, 93,4% na Classificação de Tipo de Documento e 89,3% na Detecção de Escrita Mista.
• Comparação de Modelos:
  • O ViT-Base teve um bom desempenho entre as arquiteturas padrão (88,5% de acurácia de Identificação de Escrita), sugerindo uma vantagem em capturar dependências de longo alcance e layouts de colunas.
  • O EfficientNet-B0 ofereceu um forte equilíbrio entre acurácia e eficiência de parâmetros (86,7% de acurácia de Identificação de Escrita).
  • O CLIP mostrou um desempenho inferior em configurações zero-shot (68,0% de acurácia de Identificação de Escrita) em comparação ao ajuste fino supervisionado, embora tenha demonstrado alguma capacidade de generalização.
• Padrões de Erro: A matriz de confusão revelou que os erros mais frequentes ocorrem entre as classes Hán e Nôm devido à semelhança visual. Páginas Mistas são frequentemente classificadas incorretamente quando a escrita minoritária aparece apenas em espaços marginais. Páginas de Early Quốc Ngữ são por vezes confundidas devido à impressão degradada e semelhanças de diacríticos.

Significância e Alegações
O artigo posiciona o ViHistScriptBench como um primeiro passo em direção ao benchmarking sistemático para o reconhecimento de escritas históricas vietnamitas. Os autores mantêm um tom modesto, reconhecendo que o conjunto de dados é pequeno (500 páginas) e reflete a realidade prática da escassez de dados em patrimônio cultural. Eles alegam que mesmo resultados modestos fornecem bases úteis para um campo anteriormente carente de avaliação padronizada.

A significância do trabalho reside em:

• Abordar a Lacuna: Fornecer o primeiro benchmark dedicado para a classificação ao nível da página de documentos Han–Nôm, distinto das tarefas de segmentação ao nível de caractere.
• Destacar Desafios Específicos: Expor categorias de erro únicas ligadas a diacríticos, layouts verticais e degradação de materiais que são específicas deste domínio.
• Fundação para Trabalhos Futuros: Estabelecer um framework para pesquisas futuras em pré-treinamento auto-supervisionado, aprendizado semi-supervisionado e iniciativas de anotação impulsionadas pela comunidade (semelhantes ao Transkribus) para expandir o conjunto de dados e melhorar a robustez dos modelos.

Os autores não alegam ter resolvido o problema do OCR inteiramente, mas sim terem fornecido a infraestrutura necessária (dados, tarefas, baselines) para acelerar o progresso na preservação e desbloqueio do patrimônio textual do Vietnã.