Visual Context-Aware and Spatial Receptive Field-Based algorithm for mural inpainting

Resumen Técnico: Algoritmo de Inpainting de Murales Basado en el Contexto Visual y el Campo Receptivo Espacial (VCSR)

Planteamiento del Problema
La restauración de los murales de Dunhuang enfrenta desafíos significativos debido a los patrones de degradación únicos de estas reliquias culturales, que incluyen grietas, desprendimientos y pérdida de pigmentos. Si bien la restauración de imágenes digitales ofrece una alternativa no invasiva a la reparación física, los métodos actuales de aprendizaje profundo luchan con limitaciones específicas en este dominio. Las Redes Generativas Antagónicas (GAN) a menudo fallan al reproducir con precisión elementos históricos y pueden introducir ruido o distorsiones estructurales. Las Redes Neuronales Convolucionales (CNN) están limitadas por las restricciones del campo receptivo, lo que dificulta el modelado de dependencias de largo alcance necesarias para los complejos patrones de los murales. Por el contrario, los modelos basados en Transformers, aunque son efectivos en la correlación global, suelen sufrir de "artefactos de bloque" debido a un intercambio de información insuficiente entre ventanas y altos costos computacionales. Además, los Modelos de Espacio de Estados (SSM) como Mamba, aunque son eficientes para secuencias largas, dependen típicamente de estrategias de escaneo causal que aplanan las imágenes 2D en secuencias 1D. Este proceso causa el "olvido de píxeles locales", donde los píxeles espaciales adyacentes se separan en la secuencia, lo que conduce a la pérdida de información de vecindad y una percepción espacial insuficiente.

Metodología
Los autores proponen el algoritmo Visual Context-Aware and Spatial Receptive Field-Based (VCSR), construido sobre una arquitectura U-Net con una estructura de codificador-decodificador. El método aborda las limitaciones mencionadas anteriormente mediante tres innovaciones principales:

1. Bloque de Espacio de Estado Residual (RSSB):

   • Módulo de Espacio de Estado Atento (ASSM): Para superar las limitaciones causales de los SSM estándar, el ASSM integra Vectores de Prompt en las ecuaciones de espacio de estado. Estos vectores actúan como pistas semánticas, permitiendo que el modelo "consulte" píxeles globalmente similares en lugar de depender únicamente del orden secuencial de la imagen aplanada. Esto permite que el modelo se libere de los órdenes de escaneo tradicionales y logre una conciencia global.
   • Compensación Local: Reconociendo que el aplanamiento de características 2D en secuencias 1D interrumpe las relaciones espaciales locales, el RSSB incorpora convoluciones locales después del ASSM para restaurar la similitud de vecindad y refinar los detalles locales.
   • Atención de Canal: Se integra un mecanismo de atención de canal para identificar y mejorar las representaciones de canales clave, mitigando la redundancia de canales que se encuentra frecuentemente en los SSM.

2. Atención de Ventana Deslizante Deformable Multiescala (MSDA):

   • Ubicado en el decodificador, este módulo extiende la atención de ventana deslizante tradicional introduciendo desplazamientos deformables (offsets). Estos desplazamientos ajustan dinámicamente la posición y la forma de la ventana de atención, permitiendo que el modelo se enfoque en regiones clave más allá de las ventanas locales fijas.
   • El módulo opera a través de múltiples escalas con diferentes tamaños de núcleo para diferentes cabezales de atención, facilitando la captura de características jerárquicas desde lo grueso a lo fino. Esto mejora la representación de patrones espaciales irregulares comunes en los murales.

3. Red de Alimentación hacia Adelante de Percepción Espacial (SPFN):

   • Para fortalecer aún más la conciencia espacial, la SPFN extrae información espacial tanto de la entrada como de la salida del módulo MSDA.
   • Utiliza un mecanismo de compuerta (gating) para integrar esta información espacial en el flujo principal de características. Al generar un indicador de percepción espacial, la SPFN guía a la red para preservar mejor la información posicional y las dependencias de largo alcance, asegurando que la reconstrucción de los detalles locales se alinee con la consistencia estructural global.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. El diseño del RSSB, que combina un Módulo de Espacio de Estado Atento con vectores de prompt para lograr conciencia semántica global y convoluciones locales para compensar la pérdida de información espacial, abordando eficazmente el olvido de píxeles locales.
2. La propuesta del módulo MSDA, que utiliza desplazamientos deformables y procesamiento multiescala para expandir el campo receptivo de manera adaptativa, mejorando la extracción de características a través de diferentes rangos espaciales y reduciendo los artefactos de bloque.
3. La introducción de la SPFN, que mejora las dependencias espaciales y la conciencia posicional a través de un mecanismo de compuerta, mejorando la calidad de la reconstrucción de los detalles locales.

Resultados Experimentales
El algoritmo VCSR fue evaluado en el conjunto de datos del Desafío de Murales de Dunhuang (2,850 imágenes), que cubre diversas severidades de daño (enmascaramiento del 1% al 40%) y máscaras de polvo aleatorias. El método se comparó con modelos de vanguardia incluyendo MISF, PUT, HINT, ECDB, SEM y MXT.

• Desempeño Cuantitativo: VCSR logró resultados superiores en todas las proporciones de enmascaramiento. Las mejoras incluyeron:
  • PSNR: Aumentó entre un 0.18% y un 0.94% en comparación con la mejor línea base.
  • SSIM: Aumentó entre un 1.17% y un 2.98%.
  • Error L1: Se redujo entre un 16.5% y un 35.92%.
  • LPIPS: Disminuyó entre un 6.53% y un 14.31%, indicando ganancias significativas en la calidad perceptual.
• Análisis Cualitativo: Las comparaciones visuales demostraron que VCSR produce transiciones más suaves, preserva mejor los detalles de los bordes (por ejemplo, rasgos faciales, joyería y texturas de llamas) y evita los desalineamientos estructurales y el desenfoque observados en los métodos competidores.
• Estudios de Ablación: Los experimentos confirmaron que cada módulo (RSSB, MSosa, SPFN) contribuye positivamente al desempeño, siendo la integración total la que arroja los mejores resultados tanto en métricas como en fidelidad visual.

Significancia y Reivindicaciones
El artículo afirma que el algoritmo VCSR proporciona una solución robusta para la restauración digital del patrimonio cultural, abordando específicamente los desafíos duales del olvido de píxeles locales y la percepción espacial insuficiente. Al modelar eficazmente las dependencias globales mientras preserva la coherencia espacial local, el método ofrece una mejora significativa en el realismo y la integridad estructural de los murales restaurados. Los autores señalan que, si bien el algoritmo destaca en métricas técnicas de restauración, el trabajo futuro debería centrarse en la integración de estilos artísticos específicos y contextos histórico-culturales para mejorar aún más la fidelidad cultural y la autenticidad artística del proceso de restauración. El trabajo tiene como objetivo apoyar la preservación no contactante, repetible y rentable de los invaluables registros históricos de las Grutas de Mogao.