Synthetic Craquelure Generation for Unsupervised Painting Restoration

1. El Problema

La preservación del patrimonio cultural requiere métodos digitales no invasivos para restaurar pinturas antiguas que han desarrollado craquelado (una red de grietas finas e irregulares). Sin embargo, la detección y restauración automática de estos patrones enfrenta dos desafíos principales:

• Escasez de datos anotados: La falta de anotaciones a nivel de píxel (máscaras de grietas) hace difícil entrenar modelos de aprendizaje profundo supervisados.
• Complejidad visual: Las grietas son extremadamente finas, de bajo contraste y se confunden fácilmente con las pinceladas texturizadas de la pintura o capas de barniz envejecido. Los métodos clásicos requieren un ajuste de parámetros intensivo y fallan en superficies complejas, mientras que las arquitecturas modernas basadas en transformadores tienden a suavizar demasiado las estructuras finas o fragmentarlas.

2. Metodología Propuesta

Los autores proponen un marco de trabajo completamente libre de anotaciones (unsupervised) que combina detección clásica, aprendizaje profundo adaptado y restauración física. El pipeline consta de tres etapas principales:

A. Detección de Grietas (Fase Clásica)

Se utiliza un enfoque de filtrado morfológico para generar una máscara inicial de candidatos a grietas:

• Transformada Top-Hat: Se aplica la transformada "black top-hat" para resaltar elementos oscuros (las grietas) sobre un fondo más claro, calculando la diferencia entre el cierre morfológico y la imagen original.
• Filtrado por Tamaño: Se eliminan componentes conectados menores a 5 píxeles para reducir el ruido, conservando solo estructuras que podrían ser grietas reales.
• Resultado: Una máscara binaria "coarse" (gruesa) que incluye grietas reales pero también muchos falsos positivos (pinceladas y texturas).

B. Refinamiento Basado en Aprendizaje (Fase de Aprendizaje Profundo)

Para separar las grietas reales de las pinceladas, se introduce un módulo de refinamiento:

• Arquitectura: Se utiliza SegFormer (basado en transformadores) con Low-Rank Adaptation (LoRA). En lugar de ajustar todos los parámetros, solo se entrenan matrices de bajo rango en las capas de atención y feed-forward, lo que permite un entrenamiento estable con datos sintéticos limitados.
• Entrada Guiada por Detector: El modelo recibe una entrada de 4 canales: la imagen RGB original + el mapa de detección morfológica inicial. Esto actúa como un "prior espacial" para guiar la atención del modelo hacia las regiones candidatas.
• Estrategia de Entrenamiento (Datos Sintéticos):
  • Se genera un dataset sintético utilizando curvas de Bézier con geometrías cónicas (más anchas en el centro, más finas en los extremos) y patrones ramificados para simular el craquelado real.
  • Pérdida Híbrida enmascarada: Se utiliza una función de pérdida que combina Entropía Cruzada y Dice, ponderada por el mapa del detector para enfocarse en las regiones de grietas.
  • Ajuste de Logits: Se inyecta el mapa del detector directamente en los logits del modelo durante el entrenamiento para sesgar suavemente las predicciones hacia las zonas detectadas, permitiendo al modelo corregir falsos positivos mediante la supervisión de los datos sintéticos.

C. Restauración (Inpainting)

Una vez obtenida la máscara de grietas refinada, se rellenan los píxeles dañados utilizando dos métodos complementarios aplicados solo a las áreas de grieta:

1. Filtro de Media Recortada Modificada (MTM): Relleno iterativo de adentro hacia afuera basado en estadísticas locales de los vecinos no dañados. Es rápido y efectivo para grietas finas.
2. Difusión Anisotrópica (AD): Un método basado en ecuaciones diferenciales que difunde la intensidad a lo largo de las isofotas (direcciones homogéneas) preservando los bordes. Es superior para grietas más anchas y áreas texturizadas, evitando el desenfoque.

3. Contribuciones Clave

1. Detección y Restauración No Supervisada: Primer marco que realiza la detección de grietas en pinturas sin necesidad de anotaciones manuales, combinando detectores morfológicos clásicos con refinamiento por aprendizaje profundo.
2. Generador de Craquelado Sintético: Creación de un dataset sintético de alta fidelidad utilizando trayectorias Bézier y geometrías cónicas, permitiendo que los modelos entrenados exclusivamente en datos sintéticos generalicen a obras de arte reales.
3. Flujo de Trabajo Híbrido Integrado: Una metodología unificada que integra detectores clásicos interpretables, refinamiento condicionado por el detector y relleno consciente de las grietas, logrando un equilibrio entre precisión local y coherencia visual global.

4. Resultados

• Rendimiento Cuantitativo: El método propuesto supera significativamente a los modelos de restauración fotográfica de última generación (como Wan et al. y Pik-Fix) en configuraciones zero-shot.
  • Logró un SSIM (Índice de Similitud Estructural) de 64.87, comparado con 55.71 del mejor modelo competidor (Pik-Fix).
  • Mejoró la precisión de detección (Acc) y la puntuación F1 en comparación con el algoritmo clásico "Grassfire" y métodos basados solo en aprendizaje sin guía.
• Análisis de Ablación: Se demostró que la combinación de LoRA, el ajuste de logits guiado y la pérdida enmascarada es crucial. El uso de LoRA permitió un entrenamiento estable, mientras que la pérdida enmascarada redujo drásticamente los falsos positivos.
• Calidad Visual: La restauración mediante Difusión Anisotrópica (AD) demostró ser superior a MTM, preservando mejor las pinceladas originales y las estructuras finas, evitando el desenfoque típico de otros métodos.

5. Significancia e Impacto

Este trabajo representa un avance significativo en la conservación digital del patrimonio cultural al ofrecer una solución no invasiva, automatizada y accesible.

• Solvencia del problema de datos: Demuestra que es posible entrenar modelos de alta precisión para tareas de restauración artística sin depender de costosas anotaciones manuales, utilizando en su lugar datos sintéticos generados con conocimiento de dominio.
• Preservación de la autenticidad: Al evitar el suavizado excesivo de las pinceladas, el método permite una recuperación fiel de la obra original, algo crítico para la integridad histórica de las piezas.
• Aplicabilidad: Proporciona una herramienta robusta para conservadores y museos, permitiendo la visualización virtual de obras deterioradas sin riesgo de daño físico adicional.