Restoration-Guided Kuzushiji Character Recognition Framework under Seal Interference

Este artigo propõe a RG-KCR, uma estrutura de três etapas que combina detecção, restauração de imagem para remover interferências de selos e classificação para melhorar a precisão do reconhecimento de caracteres Kuzushiji em documentos históricos japoneses.

O essencial

Imagine que você encontrou um diário antigo escrito por um samurai no Japão do século 18. A caligrafia é linda, mas é uma versão "cursiva" e muito diferente do japonês que as pessoas usam hoje. Além disso, o papel está cheio de carimbos vermelhos (selos) que os donos anteriores colocaram para provar que o livro era deles.

O problema? Esses carimbos vermelhos cobrem as letras, tornando impossível para qualquer pessoa (ou até para computadores modernos) ler o que está escrito. É como tentar ler uma carta onde alguém jogou tinta vermelha por cima das palavras.

Este artigo apresenta uma solução inteligente chamada RG-KCR. Pense nela como um "tripé de mágicos" que trabalha em três etapas para limpar e ler esse documento antigo.

Aqui está como funciona, passo a passo:

1. O Detetive (Detecção)

Primeiro, o sistema precisa saber onde estão as letras, mesmo que estejam sujas ou cobertas.

• A Analogia: Imagine um detetive usando óculos de raio-X. Ele não tenta ler o texto ainda; ele apenas aponta o dedo e diz: "Olha, tem uma letra aqui, e outra ali".
• A Tecnologia: Eles usam um modelo de inteligência artificial chamado YOLOv12 (que é como um super-detetive rápido). Ele desenha caixas ao redor de cada caractere japonês antigo, mesmo que um carimbo vermelho esteja em cima dele.

2. O Restaurador (Limpeza)

Agora que sabemos onde estão as letras, precisamos tirar o carimbo vermelho de cima delas sem rasgar o papel.

• A Analogia: Pense em um pintor talentoso que sabe exatamente qual é a cor "vermelho carimbo". Ele pega uma escova mágica que remove apenas o vermelho, mas deixa o preto da tinta da escrita intacto. Depois, ele "pinta" o buraco que ficou com a textura do papel antigo, como se o carimbo nunca tivesse existido.
• O Truque: O sistema é muito esperto. Ele sabe que os carimbos são vermelhos e brilhantes. Ele usa uma regra simples: "Se o vermelho for muito forte e o verde/azul forem fracos, é um carimbo". Ele remove essa área e usa um algoritmo para preencher o espaço com o que provavelmente estava lá (o traço da letra), sem precisar "aprender" com milhares de exemplos (o que economiza tempo e computador).

3. O Leitor (Classificação)

Com a imagem limpa e as letras visíveis novamente, o sistema finalmente lê o texto.

• A Analogia: Agora que o papel está limpo, um especialista em caligrafia (uma IA chamada Metom) olha para cada letra individualmente e diz: "Ah, isso aqui é o caractere 'A', e aquilo é o 'B'".
• O Resultado: O sistema pega essas letras antigas e as substitui visualmente por letras japonesas modernas, sobrepondo-as na imagem original.

Por que isso é importante?

Antes desse método, os computadores ficavam confusos quando viam um carimbo vermelho. Eles tentavam ler o carimbo como se fosse uma letra, ou ficavam cegos na área manchada.

Os autores testaram seu sistema e descobriram que:

1. O Detetive acerta 98% das vezes onde estão as letras.
2. O Restaurador limpa a imagem tão bem que a qualidade visual é quase perfeita.
3. O Leitor, após a limpeza, acerta a leitura das letras em 95,33% dos casos (um aumento enorme comparado a tentar ler sem limpar primeiro).

O Resumo da Ópera

Imagine que você tem uma foto de família antiga onde alguém escreveu uma mensagem no verso, mas um carimbo de correio vermelho cobriu metade da mensagem.

• Sem o RG-KCR: Você tenta adivinhar o que está escrito, mas erra muito.
• Com o RG-KCR: Um robô encontra a mensagem, apaga digitalmente o carimbo vermelho, preenche o buraco com a tinta original e te mostra a mensagem escrita em letras claras e modernas.

O objetivo final é permitir que qualquer pessoa japonesa (ou interessada) possa ler documentos históricos que estavam trancados no passado, apenas porque estavam cobertos por carimbos de donos antigos. É como dar óculos novos para a história.

Resumo técnico

1. O Problema

O Kuzushiji é um estilo de escrita cursiva tradicional do Japão pré-moderno, amplamente utilizado em documentos históricos, cartas e obras literárias. Embora baseie-se no mesmo sistema de caracteres que o japonês moderno (kanji e kana), suas formas altamente simplificadas e variadas tornam a leitura impossível para a maioria dos leitores modernos, exigindo especialistas treinados.

Embora métodos automatizados de reconhecimento óptico de caracteres (OCR) tenham avançado, eles enfrentam um desafio crítico: a interferência de selos. Documentos japoneses históricos frequentemente contêm selos (carimbos) em tinta vermelha, usados para indicar propriedade ou autenticidade. Quando esses selos sobrepõem os caracteres Kuzushiji, eles degradam severamente a precisão do reconhecimento, pois os sistemas existentes não conseguem separar o texto do ruído do selo. Métodos atuais, como o Fuminoha, NDLkotenOCR-Lite e Metom, sofrem quedas significativas de desempenho nessas condições.

2. Metodologia (Framework RG-KCR)

Os autores propõem um framework de três estágios chamado RG-KCR (Restoration-Guided Kuzushiji Character Recognition), projetado especificamente para mitigar a interferência de selos sem depender de treinamento complexo para a etapa de restauração.

• Estágio 1: Detecção de Caracteres Kuzushiji

  • Utiliza um modelo de detecção de objetos de última geração (YOLOv12-medium) para identificar e delimitar cada caractere individualmente.
  • Diferente de sistemas que detectam linhas de texto (que podem gerar caixas duplicadas em layouts complexos), este estágio foca na detecção nível-caractere para garantir precisão nas coordenadas, mesmo na presença de selos.
  • O modelo alcança alta precisão (98,0%) e recall (93,3%) mesmo com selos sobrepostos, permitindo que a restauração seja aplicada após a detecção, mas antes da classificação.

• Estágio 2: Restauração do Documento (Remoção de Selos)

  • Apresenta um algoritmo de restauração livre de treinamento (training-free) e computacionalmente eficiente.
  • Mecanismo: Baseia-se na cor. Como os selos são tipicamente em tinta vermelha, o algoritmo identifica regiões onde a intensidade do canal vermelho (R) é significativamente maior que os canais verde (G) e azul (B), utilizando regras de limiarização ($R \ge \tau_r \land R \ge \tau_{rg} \cdot G \land R \ge \tau_{rb} \cdot B$).
  • Gera uma máscara binária das áreas do selo, que é refinada por dilatação morfológica para compensar o sangramento da tinta.
  • Aplica inpainting (reconstrução de imagem) usando métodos de Telea (fast marching) e Navier-Stokes para preencher as áreas removidas com texturas e estruturas vizinhas, restaurando visualmente os caracteres ocultos.

• Estágio 3: Classificação de Caracteres

  • Os recortes (crops) dos caracteres são extraídos da imagem restaurada.
  • Um classificador baseado em Vision Transformer (ViT), especificamente o modelo Metom, é utilizado para reconhecer cada caractere individualmente.
  • O resultado final mapeia o código Unicode do caractere reconhecido para o japonês moderno e sobrepõe o texto reconhecido na imagem original para visualização intuitiva.

3. Principais Contribuições

1. Framework RG-KCR: Uma arquitetura inovadora que integra detecção, restauração e classificação para lidar especificamente com a interferência de selos em documentos históricos.
2. Algoritmo de Restauração Eficiente: Um método de remoção de selos baseado em cor, sem necessidade de treinamento de rede neural, que é rápido e reduz artefatos em regiões ocluídas.
3. Novos Conjuntos de Dados (Datasets):
   • Um conjunto de dados para detecção com 1.000 imagens de documentos, criado sobrepondo sinteticamente selos reais a documentos do CODH, com anotações revisadas manualmente.
   • Um conjunto de dados para classificação contendo 17.982 instâncias de caracteres com selos sobrepostos para avaliação rigorosa.
4. Estudo de Ablação: Demonstração quantitativa de que a etapa de restauração melhora significativamente a precisão do classificador.

4. Resultados Experimentais

Os experimentos foram conduzidos em um ambiente com GPU NVIDIA RTX A6000 e CPU Intel Core i7.

• Detecção (Estágio 1): O modelo YOLOv12-medium superou outros detectores (como YOLOv9, v10, v11 e RT-DETR), alcançando:
  • Precisão: 98,0%
  • Recall: 93,9%
  • AP50: 97,0%
• Restauração (Estágio 2): A configuração ótima dos hiperparâmetros ($\tau_r=90$, $\tau_{rg}=\tau_{rb}=1.3$) resultou em:
  • PSNR (Peak Signal-to-Noise Ratio): 34,13 dB (no conjunto de teste).
  • SSIM (Structural Similarity Index): 0,9750.
• Classificação (Estágio 3): O estudo de ablação comparou o desempenho do classificador Metom com e sem a restauração prévia:
  • Sem restauração: 93,45% de precisão Top-1.
  • Com restauração (RG-KCR): 95,33% de precisão Top-1.
  • A melhoria de quase 2 pontos percentuais na precisão foi obtida com um custo computacional adicional de apenas 0,51 segundos por imagem.

5. Significado e Conclusão

Este trabalho aborda uma lacuna crítica na digitalização de patrimônio cultural japonês: a incapacidade dos sistemas atuais de lidar com a sobreposição de selos vermelhos. Ao introduzir uma etapa de restauração guiada por cor e eficiente, o framework RG-KCR permite que sistemas de OCR modernos recuperem textos que seriam ilegíveis de outra forma.

A solução é particularmente valiosa por ser computacionalmente leve (não requer redes neurais pesadas para a restauração) e por fornecer resultados visualmente interpretáveis, sobrepondo o texto moderno aos documentos originais. Embora o sistema atual não reconstitua a ordem de leitura contínua do texto (devido à complexidade dos layouts históricos), ele estabelece uma base sólida para a transcrição automática de documentos históricos degradados, facilitando o acesso ao conhecimento pré-moderno para pesquisadores e o público em geral. O código-fonte e os dados estão disponíveis publicamente para reprodução e avanço futuro.