MESA: A Training-Free Multi-Exemplar Deep Framework for Restoring Ancient Inscription Textures

Título: MESA: Uma Abordagem Profunda Multi-Exemplar e Livre de Treinamento para Restauração de Texturas de Inscrições Antigas

1. O Problema

As inscrições antigas frequentemente sofrem deterioração devido a fatores ambientais (erosão, intempéries) ou humanos (riscos, fragmentação), resultando em regiões faltantes ou corrompidas que tornam a leitura e a análise difícil ou impossível.

• Limitações das Métodos Atuais: Abordagens recentes focam principalmente na reconstrução ao nível do caractere (usando Modelos de Linguagem Grandes - LLMs) ou exigem grandes conjuntos de dados pareados (imagem danificada vs. imagem limpa) para treinamento supervisionado.
• Desafio Específico: Métodos existentes muitas vezes falham em preservar a estrutura visual global, o estilo da fonte e a textura do material da inscrição, ou dependem de dados de treinamento que são raros e caros de obter no contexto de patrimônio cultural.

2. Metodologia: A Abordagem MESA

O MESA (Multi-Exemplar, Style-Aware) é um framework de restauração de imagens que opera no nível da imagem, sem necessidade de treinamento prévio (training-free). Ele utiliza exemplares bem preservados (da mesma inscrição, monumento ou com formas de letras similares) para guiar a reconstrução.

Principais Componentes Técnicos:

• Arquitetura Base: Utiliza a rede neural convolucional pré-treinada VGG19 para extrair características.
• Síntese de Estilo via Matrizes de Gram:
  • Em vez de buscar correspondências espaciais exatas, o método calcula Matrizes de Gram a partir dos mapas de características das camadas da VGG19.
  • Isso captura estatísticas de segunda ordem invariantes à posição, permitindo a transferência de textura, estilo e estrutura de traço dos exemplares para a imagem danificada.
• Estratégia Multi-Exemplar:
  • Para cada camada da rede, o algoritmo seleciona o exemplar que minimiza o Deslocamento Quadrático Médio (MSD) em relação à entrada danificada.
  • A função de perda total é a soma ponderada das perdas mínimas encontradas em cada camada contribuinte.
• Mascaramento (Masking):
  • Uma máscara binária é aplicada para restringir a otimização apenas às regiões danificadas.
  • As regiões intactas são "clampadas" (fixadas) aos seus valores originais a cada passo, garantindo que a estrutura original seja preservada e que a síntese ocorra apenas onde é necessário.
• Ponderação de Camadas Baseada em Dados (Novidade):
  • Diferente de pesos fixos arbitrários, o MESA calcula os pesos de contribuição de cada camada dinamicamente.
  • Utiliza OCR (Tesseract) para analisar a distribuição estatística das larguras das letras nos exemplares e na imagem de entrada.
  • Os pesos das camadas são derivados da probabilidade de as larguras dos filtros da rede corresponderem à distribuição das larguras das letras (ajustando-se à geometria do texto).

3. Contribuições Chave

1. Método Livre de Treinamento: Elimina a necessidade de conjuntos de dados pareados (danificado/limpo) ou pré-treinamento supervisionado, tornando-o ideal para cenários de patrimônio cultural onde dados anotados são escassos.
2. Framework Multi-Exemplar Inteligente: Introduz uma lógica para selecionar automaticamente o melhor exemplar para cada camada da rede neural, lidando com exemplares de dimensões diferentes.
3. Ponderação de Camadas Orientada por Estrutura: Propõe uma nova forma de calcular pesos baseada na correspondência entre o tamanho dos filtros da rede e a distribuição estatística das larguras das letras (via OCR), alinhando a rede à geometria da inscrição.
4. Novas Métricas de Avaliação:
   • Text Recovery Score (TRS): Uma versão normalizada e limitada da Distância de Levenshtein (capped em 100 edições) para avaliar a recuperação do texto, evitando penalidades desproporcionais em textos longos.
   • Log-scaled Levenshtein Similarity: Uma métrica de similaridade baseada em logaritmo que enfatiza pequenas diferenças e comprime penalidades para grandes erros, fornecendo uma escala de 0 a 1 mais interpretável.

4. Resultados Experimentais

Os autores avaliaram o MESA em três conjuntos de dados de inscrições, comparando-o com métodos supervisionados (ESRGAN, DRUNET, DNCNN) e métodos livres de treinamento (Deep Image Prior - DIP).

• Qualidade Visual e Textual: O MESA superou consistentemente o Deep Image Prior (DIP) e competiu ou superou métodos supervisionados em métricas de recuperação de texto (TRS e Similaridade Log-Levenshtein).
• Eficiência de Dados: Enquanto métodos como ESRGAN e DRUNET exigiam treinamento com dados sintéticos ou reais pareados (difíceis de obter), o MESA alcançou resultados superiores usando apenas exemplares limpos disponíveis.
• Métricas de Imagem:
  • O MESA obteve desempenho competitivo em LPIPS (similaridade perceptual), superando o DIP e competindo com ESRGAN.
  • Em métricas de baixo nível como PSNR e SSIM, o MESA apresentou valores ligeiramente inferiores a alguns métodos supervisionados (que otimizam pixel a pixel), mas o foco do MESA é a recuperação da estrutura global e legibilidade, não a reconstrução exata de ruído de baixo nível.
• Robustez: O método funcionou bem tanto para danos causados por riscos (humanos) quanto por ruído ambiental.

5. Significado e Conclusão

O MESA representa um avanço significativo na restauração digital de patrimônio cultural. Sua principal vantagem é a independência de dados de treinamento, permitindo que curadores e arqueólogos restaurem inscrições danificadas utilizando apenas outras inscrições do mesmo estilo como referência, sem a necessidade de criar conjuntos de dados massivos e caros.

• Aplicabilidade: É particularmente eficaz quando há múltiplos fragmentos de um mesmo monumento ou coleções de inscrições com estética consistente.
• Limitações e Futuro: A dependência do OCR (Tesseract) para a ponderação das camadas pode limitar a eficácia em sistemas de escrita não alfabéticos (como hieróglifos ou cuneiforme). Trabalhos futuros visam tornar o método agnóstico ao script e integrar modelos de linguagem para melhorar a plausibilidade do texto recuperado.

Em resumo, o MESA oferece uma solução prática, eficiente e de alta qualidade para a recuperação de texturas e textos em inscrições antigas, preenchendo a lacuna entre a restauração puramente visual e a recuperação semântica do texto.