Resumen Técnico: CASPA para la Super-Resolución de Imágenes de Thangka

Planteamiento del Problema

La preservación digital de los Thangka, una forma de pintura budista tibetana, enfrenta desafíos críticos debido a la degradación irreversible de los artefactos físicos y la baja resolución de los archivos digitales existentes. Si bien la Super-Resolución de Imágenes (ISR) ofrece una solución, los modelos actuales de Vision Transformer (ViT) de vanguardia tienen dificultades para reconstruir imágenes de Thangka con alta fidelidad. El artículo identifica dos limitaciones mecánicas específicas en los enfoques basados en Transformer aplicados al Thangka:

1. Fragmentación del Contexto Espacial: Las imágenes de Thangka presentan estructuras simétricas complejas y pigmentos minerales que exhiben una fuerte autosimilitud no local (por ejemplo, patrones repetitivos como pétalos de loto que se extienden a grandes distancias). Los modelos ViT tradicionales, como SwinIR, dependen de mecanismos de ventana local. Estas rejillas físicas rígidas restringen las interacciones de características, impidiendo que el modelo aproveche las similitudes de largo alcance para reconstruir texturas densas y repetitivas, lo que conduce a detalles borrosos y dislocaciones estructurales.
2. Pérdida de Priores Geométricos Espaciales: El arte Thangka se caracteriza por abundantes líneas geométricas de alta frecuencia, esbeltas y coherentes (por ejemplo, trazos similares a hilos e intrincados pliegues). Los mecanismos de atención de canal existentes (como en DAT) suelen depender de operaciones de agrupación global para establecer dependencias de canal. Este proceso descarta información topológica espacial crucial, lo que provoca que el modelo se centre únicamente en las estadísticas de color globales mientras falla en mantener la coherencia estructural de las líneas direccionales, resultando en el desenfoque de bordes y la desconexión de trayectorias.

Metodología: Arquitectura CASPA

Para abordar estos desafíos, los autores proponen CASPA (Content-Aware Global Aggregation and Spatial prior Channel Attention), una novedosa red de super-resolución construida sobre la arquitectura Dual Aggregation Transformer (DAT). La red consta de tres etapas: extracción de características superficiales, extracción de características profundas (que comprende 12 grupos residuales en cascada) y reconstrucción de alta resolución. La innovación central reside en dos módulos especializados que alternan dentro de los grupos residuales:

1. Módulo de Agregación Global Consciente del Contenido (CGA)

El módulo CGA reemplaza la atención de ventana espacial tradicional para romper las restricciones de distancia física.

• Mecanismo: En lugar de particionar la imagen en rejillas fijas, el CGA realiza un agrupamiento de tokens globales basado en la similitud de características en toda la imagen.
• Proceso: Utiliza un conjunto de centros de agrupación globales aprendibles para calcular la similitud de coseno entre los tokens de entrada y estos centros. Los tokens se asignan adaptativamente a grupos semánticos independientemente de su ubicación espacial.
• Interacción: La auto-atención se ejecuta dentro de estos grupos semánticos. Esto permite al modelo cerrar las distancias físicas, agregando píxeles dispersos pero semánticamente similares (por ejemplo, pigmentos idénticos) para restaurar patrones repetitivos de largo alcance con una complejidad lineal $O(N)$.
• Eficiencia: Para asegurar la eficiencia en paralelo, los grupos grandes se particionan en subgrupos, y se permiten interacciones superpuestas en los límites semánticos.

2. Módulo de Atención de Canal de Prior Espacial (SCA)

El módulo SCA está diseñado para inyectar priores direccionales y espaciales en la rama de canal, abordando la pérdida de información topológica.

• Mecanismo: Emplea convoluciones de tiras transversales de forma de cruz descompuestas (por ejemplo, núcleos en cascada de $1 \times 21$ y $21 \times 1$) para crear un campo receptivo equivalente de gran tamaño (por ejemplo, $21 \times 21$).
• Proceso:
  1. Atención de Canal: Genera un vector de atención de canal utilizando agrupaciones (pooling) de promedio y máximo globales en paralelo seguidas de un MLP, actuando como un "clasificador de puerta suave" para resaltar los canales con estructuras geométricas críticas.
  2. Priores Espaciales: Las características refinadas por canal son procesadas por ramas de convolución de profundidad paralelas con diferentes tamaños de núcleo para capturar priores geométricos espaciales anisotrópicos.
  3. Fusión: Estas características espaciales se suman y mezclan mediante una convolución de $1 \times 1$ para generar un mapa de atención espacial dinámico, que luego se multiplica con las características refinadas por canal.
• Resultado: Este diseño preserva la integridad estructural de las líneas continuas de alta frecuencia sin introducir una carga computacional excesiva.

Componentes Auxiliares

• Cross-Gating Adaptativo (ACG): Un mecanismo que utiliza convoluciones de profundidad paralelas para lograr una recalibración de máscara bidireccional suave, asegurando la fusión fluida de la semántica de largo alcance macroscópica y las texturas locales microscópicas.
• Red de Alimentación hacia Adelante Dinámica (DFFN): Reemplaza las funciones de activación estándar con una Tangente Hiperbólica Dinámica (DynamicTanh) parametrizada para mejorar las capacidades de ajuste no lineal de los detalles complejos mientras se mitiga la saturación del gradiente.

Principales Contribuciones

El artículo describe tres contribuciones primarias:

1. Módulo CGA: Un mecanismo de interacción global que abandona la partición de rejilla física en favor del agrupamiento de tokens globales impulsado por la similitud de características. Esto activa con éxito los priores de autosimilitud no local, permitiendo la reconstrucción colaborativa eficiente de patrones repetitivos de largo alcance y pigmentos dispersos.
   2.ismo Módulo SCA: Un mecanismo de atención de canal que utiliza convoluciones de tiras transversales de forma de cruz descompuestas para inyectar robustos priores espaciales y direccionales multiescala. Esto supera la pérdida de información topológica causada por la agrupación global tradicional, asegurando la reconstrucción de alta fidelidad de líneas continuas complejas.
2. Validación Integral: La propuesta de un conjunto de datos de Thangka personalizado y la demostración de la efectividad del modelo en la restauración tanto de la semántica de largo alcance como de los detalles estructurales finos, superando a los modelos SOTA existentes tanto en pruebas específicas del dominio como en benchmarks generales.

Resultados Experimentales

Conjunto de Datos y Configuración

• Conjunto de Datos Personalizado: 5,000 imágenes de Thangka en alta resolución (512$\times$512) para entrenamiento, 680 para validación y 1,000 para pruebas.
• Benchmarks: Urban100 y Manga109 para la generalización entre dominios.
• Líneas Base (Baselines): EDSR, SwinIR, HAT, SRFormer y DAT.
• Métricas: PSNR, SSIM, LPIPS y FID.

Rendimiento Cuantitativo

• Conjunto de Datos Thangka ($\times$4 Escala): CASPA logró un PSNR de 32.9045 dB y un SSIM de 0.8817, superando a la línea base DAT (32.7774 dB) por 0.1271 dB. También alcanzó las mejores puntuaciones en LPIPS y FID, indicando una calidad perceptual y realismo superiores.
• Benchmarks Generales: En Urban100 y Manga109 ($\times$4), CASPA estableció un nuevo estado del arte en rendimiento, demostrando fuertes capacidades de generalización entre dominios.
• Eficiencia: A pesar del alto rendimiento, CASPA es altamente ligero con solo 5.02 M de parámetros y 21.97 G FLOPs (con una entrada de 64$\times$64), significativamente menor que competidores como HAT (20.77 M de parámetros) y EDSR (43.09 M de parámetros). También demostró tiempos de inferencia más rápidos (19.38 ms) en comparación con la mayoría de las líneas base.

Análisis Cualitativo

Las comparaciones visuales revelaron que los métodos tradicionales basados en ventanas a menudo producían artefactos de rejilla y dislocaciones estructurales en líneas paralelas densas. En contraste, CASPA reconstruyó con éxito líneas geométricas claras y coherentes y texturas de alta frecuencia, aproximándose estrechamente a la verdad de campo (ground truth).

Estudio de Ablación

La eliminación de cualquiera de los módulos resultó en una degradación del rendimiento:

• Sin SCA: La pérdida de los priores espaciales provocó trayectorias distorsionadas y bordes desenfocados en líneas finas.
• Sin CGA: La fragmentación del contexto espacial causó una fusión de detalles incorrecta y desenfoque en patrones repetitivos.
• Modelo Completo: La combinación de ambos módulos produjo el PSNR más alto, confirmando sus roles complementarios.

Significancia y Limitaciones

El artículo afirma que CASPA representa un avance significativo en la preservación digital del patrimonio cultural, específicamente para el arte Thangka. Al resolver el compromiso entre la conciencia del contexto global y la fidelidad geométrica local, el modelo ofrece una solución robusta para la restauración de estructuras complejas no locales y líneas direccionales que históricamente han sido difíciles de manejar para los modelos basados en Transformers.

Los autores también señalan el potencial de generalización del modelo, aplicándolo con éxito a frescos de Dunhuang y frescos de iglesias medievales europeas con resultados sólidos, lo que sugiere una amplia aplicabilidad en la restauración de murales antiguos.

Sin embargo, el artículo reconoce modestamente ciertas limitaciones:

• Microestructuras Únicas: El modelo presenta un suavizado excesivo en detalles únicos e aislados (por ejemplo, rasgos oculares específicos) que carecen de referencias globales para que el módulo CGA las aproveche.
• Intersecciones Complejas: Las líneas densas y entrelazadas no ortogonalmente (por ejemplo, las cejas) pueden sufrir desenfoque debido a las direcciones de muestreo horizontales y verticales fijas del módulo SCA.

Se propone como trabajo futuro explorar métodos de muestreo más flexibles y priores generativos externos para abordar estos casos específicos.