MESA: A Training-Free Multi-Exemplar Deep Framework for Restoring Ancient Inscription Textures

Resumen Técnico: MESA para la Restauración de Inscripciones Antiguas

1. El Problema

Las inscripciones antiguas sufren frecuentemente deterioro debido a la erosión, fragmentación, intemperie o daños humanos (como arañazos), lo que resulta en la pérdida de textura y la ocultación parcial o total del texto. Esto dificulta enormemente su lectura y análisis por parte de historiadores, arqueólogos y epigrafistas.

• Limitaciones de los métodos actuales: Las técnicas recientes a menudo se centran en la reconstrucción a nivel de carácter (usando modelos de lenguaje o LLMs) o en la restauración de imágenes genéricas. Sin embargo, muchos de estos enfoques fallan en preservar la estructura visual global, el estilo de la fuente y la textura del material, o requieren grandes conjuntos de datos de entrenamiento emparejados (imagen dañada vs. imagen limpia) que son extremadamente difíciles o costosos de obtener en el contexto del patrimonio cultural.

2. Metodología: MESA (Multi-Exemplar, Style-Aware)

El artículo presenta MESA, un marco de restauración de imágenes a nivel de píxel que es libre de entrenamiento (training-free) y basado en múltiples ejemplos.

• Enfoque General: En lugar de entrenar una red neuronal desde cero, MESA utiliza una red pre-entrenada (VGG19) para extraer características. El objetivo es sintetizar las partes dañadas de una inscripción utilizando "ejemplares" (inscripciones bien conservadas del mismo monumento, material o con letras similares) para guiar la reconstrucción.

• Mecanismo de Funcionamiento:

  1. Extracción de Características y Matrices de Gram: Se utilizan las activaciones de las capas convolucionales de VGG19. Para capturar la textura, el estilo y la estructura de los trazos, se calculan las Matrices de Gram (estadísticas de segundo orden de las características) tanto para la imagen dañada como para los ejemplares.
  2. Minimización de la Desviación Cuadrática Media (MSD): Para cada capa de la red, el algoritmo selecciona el ejemplar que minimiza la distancia (MSD) entre la matriz de Gram de la imagen dañada y la del ejemplar. Esto permite que el sistema elija dinámicamente el patrón de estilo más adecuado para cada capa de profundidad.
  3. Máscara de Entrenamiento: Se aplica una máscara espacial binaria que restringe la optimización únicamente a las áreas dañadas. Los píxeles intactos se mantienen fijos (clamped) en cada paso de optimización, preservando la información original y evitando artefactos en las zonas sanas.
  4. Optimización: El proceso utiliza el algoritmo L-BFGS para optimizar la imagen de salida, minimizando la función de pérdida total sin necesidad de retropropagación de gradientes sobre los pesos de la red (ya que la red es fija).

• Innovación en Ponderación de Capas (Character-Scale Weighting):

  • A diferencia de los métodos anteriores que usan pesos fijos, MESA introduce un esquema de ponderación basado en datos.
  • Utiliza OCR (Tesseract) para analizar la distribución estadística de los anchos de las letras en los ejemplares y la entrada dañada.
  • Se ajusta una distribución de probabilidad a estos anchos. El peso de cada capa de la red neuronal se calcula en función de qué tan bien el tamaño del filtro de esa capa coincide con la distribución de los anchos de las letras. Esto asegura que los campos receptivos de la red estén alineados con la geometría estructural de la inscripción.

3. Contribuciones Clave

1. Método Libre de Entrenamiento: Elimina la necesidad de conjuntos de datos emparejados (dañado/limpio) o entrenamiento supervisado costoso, lo cual es crucial para el patrimonio cultural donde los datos son escasos.
2. Marco Multi-Ejemplar: Permite utilizar inscripciones de diferentes tamaños y dimensiones como guías, seleccionando el mejor candidato de estilo para cada capa de la red.
3. Ponderación Adaptativa: Propone una nueva forma de calcular los pesos de las capas basada en la geometría de los caracteres (ancho de letras) en lugar de asignaciones arbitrarias.
4. Nuevas Métricas de Evaluación: Introduce dos métricas específicas para la recuperación de texto:
   • Text Recovery Score (TRS): Una versión normalizada de la Distancia de Levenshtein (con un denominador fijo de 100) que limita el rango a [0, 1], evitando que textos muy largos o corruptos dominen la evaluación.
   • Log-scaled Levenshtein Similarity: Una transformación logarítmica de la distancia de edición que enfatiza las pequeñas diferencias y comprime las penalizaciones por errores grandes, ofreciendo una escala de similitud en (0, 1].

4. Resultados Experimentales

Los autores evaluaron MESA en tres conjuntos de datos de inscripciones con dos tipos de degradación: ruido ambiental y arañazos humanos. Se comparó contra:

• Métodos libres de entrenamiento: Deep Image Prior (DIP).
• Métodos supervisados: DRUNET, DNCNN, ESRGAN (entrenados con datos sintéticos o reales).

Hallazgos principales:

• Calidad Visual y Textual: MESA superó consistentemente a los métodos libres de entrenamiento (DIP) y mostró un rendimiento comparable o superior a los métodos supervisados en términos de legibilidad y fidelidad estructural.
• Métricas de Texto: Según la Distancia de Levenshtein y las nuevas métricas (TRS y LLS), MESA requirió menos operaciones para transformar el texto recuperado en el texto original, indicando una mayor precisión en la reconstrucción de caracteres.
• Métricas de Imagen:
  • En LPIPS (similitud perceptual basada en CNN), MESA rindió a la par con ESRGAN y superó a los demás, demostrando una buena preservación de la estructura global.
  • En SSIM y PSNR, MESA obtuvo resultados ligeramente inferiores a los métodos supervisados (como ESRGAN), lo cual es esperado ya que estos métodos optimizan la similitud de píxeles exactos, mientras que MESA prioriza la estructura y el estilo del texto.
• Eficiencia: Al no requerir entrenamiento previo, MESA reduce drásticamente el costo computacional y de datos en comparación con las alternativas supervisadas.

5. Significado y Conclusión

El trabajo de MESA representa un avance significativo en la digitalización y conservación del patrimonio cultural.

• Viabilidad Práctica: Ofrece una solución realista para situaciones donde no existen datos de entrenamiento limpios, permitiendo a los curadores restaurar inscripciones utilizando solo fragmentos conservados del mismo sitio o estilo.
• Preservación de la Autenticidad: Al centrarse en la transferencia de estilo y estructura a través de ejemplares reales, evita la "alucinación" de contenido que a veces ocurre con los modelos generativos (GANs) o los LLMs, manteniendo la integridad visual del artefacto.
• Limitaciones y Futuro: El método depende de la disponibilidad de ejemplares estilísticamente relevantes. La ponderación basada en OCR puede tener dificultades con scripts no alfabéticos (como jeroglíficos o cuneiformes). El trabajo futuro apunta a hacer el método agnóstico al script y a integrar modelos de lenguaje para mejorar la plausibilidad semántica del texto restaurado.

En resumen, MESA demuestra que es posible lograr una restauración de alta calidad de inscripciones antiguas sin entrenamiento, utilizando un enfoque inteligente de transferencia de estilo basado en múltiples ejemplos y una optimización guiada por la estructura geométrica del texto.