Resumen Técnico: Reconstrucción Digital de Superficies de Arte de Laca mediante Visión Artificial y Modelos Generativos

1. Planteamiento del Problema

La preservación digital del arte de la laca china enfrenta un desafío crítico: los métodos de restauración existentes a menudo no logran capturar la materialidad única de las piezas de laca. Las simulaciones tradicionales basadas en la física son computacionalmente costosas y carecen de la flexibilidad para modelar las respuestas orgánicas e intuitivas de los maestros artesanos. Por el contrario, los métodos generativos basados en aprendizaje profundo (por ejemplo, GANs, modelos de difusión estándar) tienden a priorizar la transferencia de estilo estadístico global, lo que resulta en texturas suaves que pierden microdetalles cruciales como los patrones de grietas agudas (duanwen), el grosor de las capas de material y el brillo variable.

Los enfoques actuales luchan por satisfacer simultáneamente tres requisitos fundamentales para una restauración cultural de alta fidelidad:

1. Consistencia Estructural: Retención precisa de las redes de grietas, bordes de contorno y disposición geométrica.
2. Autenticidad de la Textura: Reproducción de texturas complejas de múltiples escalas y las características de envejecimiento estocástico inherentes a la laca.
3. Coherencia Estilística: Adhesión a la esencia estética y cultural específica del arte de la laca sin introducir artefactos "alucinados".

Además, existe una falta de un sistema de evaluación cuantificable para la "autenticidad cultural", lo que conduce a resultados que pueden parecer visualmente plausibles pero que carecen de precisión histórica o artesanal.

2. Metodología: Marco Generativo Colaborativo Consciente de la Estructura (SACGF)

El artículo propone el Marco Generativo Colaborativo Consciente de la Estructura (SACGF), un flujo de trabajo orientado a tareas construido sobre Stable Diffusion (SD) que integra tres módulos distintos para inyectar priors (conocimientos previos) explícitos en el proceso generativo. El marco trata la reconstrucción de la superficie de la laca como un problema de optimización multiobjetivo que equilibra la consistencia estructural, la fidelidad de la textura y la coherencia de estilo.

2.1 Construcción de Datos

Se construyó un conjunto de datos especializado de 2,194 imágenes de alta resolución de arte de la laca, que cubre 8 categorías principales y 32 subcategorías (por ejemplo, laca tallada, incrustación de oro, patrones de grietas). Para abordar la escasez de datos emparejados de estado dañado-intacto, los autores generaron muestras emparejadas mediante simulación de degradación, creando pares de entrenamiento sintéticos que imitan el daño estructural (desprendimientos, grietas) y la degradación de la superficie (desvanecimiento, pérdida de brillo).

2.2 Arquitectura del Marco

El flujo de trabajo SACGF opera a través de un proceso de seis etapas:

1. Extracción de Características Consciente de la Estructura:

   • Priors de Bordes/Grietas: La detección de bordes Canny multiescala y la estimación de la densidad de grietas extraen contornos geométricos y redes de grietas.
   • Priors de Textura: Se extraen descriptores de textura multiescala utilizando VGG-19 y estadísticas de la Matriz de Coocurrencia de Niveles de Gris (GLCM).
   • Priors Semánticos: El Segment Anything Model (SAM) genera máscaras semánticas de grano fino (por ejemplo, separando la incrustación de oro de las regiones de grietas). Estas máscaras se someten a un refinamiento manual por parte de un experto para asegurar la precisión en los límites de los materiales.

2. Codificación de Condiciones y Transformación Espacial:

   • Los priors extraídos se codifican en tensores de condición.
   • Un ControlNet multi-condición auto-entrenado (entrenado específicamente en el conjunto de datos de laca) procesa mapas de bordes, mapas de profundidad y mapas de color.
   • Las máscaras de SAM se transforman en restricciones espaciales en el espacio latente.

3. Restauración Guiada (Núcleo Generativo):

   • LoRA (Low-Rank Adaptation): Un adaptador LoRA se ha ajustado finamente en el conjunto de datos de laca para inyectar parámetros de estilo específicos del dominio en el backbone de Stable Diffusion, asegurando que la textura generada coincida con la estética de la "laca".
   • Guía de ControlNet: El ControlNet entrenado proporciona restricciones estructurales (borde, profundidad, color) para guiar el proceso de eliminación de ruido, evitando la distorsión estructural.
   • Restricciones Semánticas de SAM: Las máscaras semánticas actúan como "vallas", confinando estrictamente las actualizaciones de restauración a las regiones dañadas y evitando la filtración de textura/color entre diferentes límites de materiales (por ejemplo, evitando que la textura del oro se filtre hacia la laca negra).

4. Objetivo de Optimización:
   El marco minimiza una función de pérdida compuesta:

   • Pérdida de Estructura: Combina SSIM y fidelidad de bordes (Canny) para preservar los contornos.
   • Pérdida de Textura: Combina LPIPS y estadísticas de GLCM para asegurar una textura de material realista.
   • Pérdida de Estilo: Utiliza el emparejamiento de la matriz de Gram para alinear la distribución de color y las características estilísticas.

2.3 Métrica de Evaluación: Puntuación de Fidelidad de la Laca Digital (DLFS)

Para ir más allá de la evaluación subjetiva, el artículo introduce la Puntuación de Fidelidad de la Laca Digital (DLFS). Esta métrica compuesta agrega:

• Conformidad de la Textura: LPIPS y estadísticas de GLCM (contraste, correlación, energía, homogeneidad).
• Fidelidad de Color: Diferencia de color CIEDE2000 y consistencia del espacio de color Lab.
• Similitud Estructural: SSIM, SSIM multiescala y fidelidad de bordes.
  Estas métricas se normalizan y agregan en una sola puntuación para proporcionar un estándar objetivo y reproducible de fidelidad cultural.

3. Contribuciones Clave

1. Marco SACGF: Un novedoso sistema colaborativo que integra LoRA, ControlNet y SAM para lograr una restauración de alta fidelidad que equilibra los requisitos estructurales, texturales y estilísticos.
2. Conjunto de Datos Especializado y Mecanismo: La construcción de un conjunto de datos de 2,194 imágenes con pares sintéticos de daño-intacto y un proceso de refinamiento de máscara con intervención humana para las máscaras semánticas, diseñado específicamente para la restauración de laca.
3. Fidelidad Cultural Cuantificable: La propuesta del sistema de evaluación DLFS, que operacionaliza la "autenticidad cultural" en estadísticas físicas medibles, ofreciendo una vía para evaluar la restauración por IA más allá de la mera semejanza visual.

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de prueba de 220 imágenes (que incluye 47 artefactos reales degradados).

• Rendimiento Cuantitativo: El SACGF alcanzó una DLFS de 0.87, superando significativamente a las líneas base:
  • CycleGAN: DLFS 0.31
  • SD+LoRA: DLFS 0.52
  • SD+LoRA+Canny+Depth: DLFS 0.76
  • El SACGF también logró los valores más altos de PSNR (27.42), SSIM (0.905) y los más bajos de LPIPS (0.062) y CIEDE2000 (4.18).
• Estudios de Ablación:
  • Condiciones de Borde (Canny): Fortalecieron principalmente la preservación estructural (SSIM +0.037, EdgeF +0.088).
  • Mapas de Profundidad: Mejoraron la consistencia de las capas y la jerarquía espacial, particularmente para la laca tallada.
  • Máscaras de SAM: Redujeron crucialmente la filtración de textura entre regiones y la fuga de color, mejorando significamente el LPIPS y la fidelidad del color.
• Análisis Visual: El marco reconstruyó con éxito redes de grietas complejas (por ejemplo, grietas de piel de serpiente o de pelo de buey) y restauró detalles de incrustación de oro sin distorsionar las áreas intactas circundantes, mientras que las líneas base a menudo producían bordes difusos o patrones decorativos "alucinados".

5. Significado y Reivindicaciones

El artículo sostiene que la reconstrucción cultural de alta fidelidad no puede depender de un único modelo de "caja negra". En su lugar, requiere un sistema colaborativo donde la estructura, la textura y la semántica se inyecten como priors explícitos.

• Cambio de Paradigma: El estudio aboga por un cambio de la "semejanza visual" (generar una imagen que parezca laca) hacia la "fidelidad cultural" (reconstruir una superficie que se sienta como un objeto de laca, respetando la lógica del material y la historia del oficio).
• Utilidad Práctica: El marco ofrece una herramienta de restauración virtual reversible para que los conservadores evalúen las estrategias de intervención antes del trabajo físico, y proporciona una vía cuantificable para evaluar la autenticidad del contenido del patrimonio generado por IA.
• Limitaciones Reconocidas: Los autores señalan modestamente que el sistema tiene dificultades con:
  • Decoraciones Superpuestas: Dificultad para distinguir el orden de apilamiento 3D (por ejemplo, pan de oro frente a grietas) en imágenes 2D.
  • Degradación Severa: Riesgo de "alucinar" patrones históricamente inexactos cuando el daño supera el 40% y las pistas estructurales son escasas.
  • Brecha de Dominio: El rendimiento disminuye ligeramente al pasar de los datos de entrenamiento sintéticos a las imágenes de artefactos del mundo real, lo que indica la necesidad de una futura adaptación de dominio.

En conclusión, el artículo presenta el SACGF como un enfoque reproducible y consciente de la estructura que cierra la brecha entre la IA generativa y las rigurosas exigencias de la preservación del patrimonio cultural, proporcionando tanto un marco técnico como un estándar de evaluación para investigaciones futuras.