Resumen Técnico: InkDiffuser

Enunciado del Problema

Los métodos actuales para generar caligrafía china, particularmente en configuraciones de pocos ejemplos y de un solo ejemplo, sufren limitaciones significativas en fidelidad visual y autenticidad artística. Si bien los enfoques existentes (tanto basados en GAN como basados en difusión) pueden sintetizar glifos estructuralmente plausibles, a menudo fallan en reproducir la compleja morfología de la tinta característica de la escritura real con pincel. Específicamente, estos métodos tienden a producir resultados que parecen excesivamente digitales, planos o borrosos, careciendo de la intrincada difusión de la tinta, las variaciones en los bordes de los trazos y la interacción natural entre tinta y papel que se encuentran en la caligrafía genuina. Además, los codificadores de contenido estándar en los modelos de difusión a menudo priorizan características de baja frecuencia, lo que conduce a la pérdida de detalles estructurales de alta frecuencia como esquinas afiladas y bordes de trazos, lo cual es particularmente perjudicial para los caracteres chinos complejos.

Metodología

Los autores proponen InkDiffuser, un marco de imagen a imagen basado en difusión diseñado para la síntesis de caligrafía china de un solo ejemplo. El marco se basa en el Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM) e introduce dos mecanismos centrales para abordar las limitaciones mencionadas anteriormente:

1. Módulo de Fusión Adaptativa Espacio-Temporal (STAF)

Para contrarrestar la pérdida de detalles estructurales de alta frecuencia, InkDiffuser emplea una arquitectura de doble codificador para la corriente de contenido:

• Doble Codificación: Un codificador principal ($E_c$) procesa la imagen de contenido estándar, mientras que un codificador dedicado de alta frecuencia ($E_{hf}$) procesa una versión de la imagen de contenido filtrada en alta frecuencia (borde de Sobel).
• Fusión Residual: El módulo STAF fusiona estas características mediante un marco residual. Aprende a añadir un incremento de detalles modulado jerárquicamente al esqueleto del contenido.
• Control Adaptativo: La fusión está gobernada por un mecanismo de control tridimensional:
  • Espacial: Un mapa de atención píxel a píxel asegura que los detalles de alta frecuencia se inyecten solo en regiones salientes (por ejemplo, bordes de trazos) mientras se suprime el ruido en áreas suaves.
  • Por Capas: Se asignan pesos para favorecer capas de alta resolución y poco profundas para la inyección de detalles finos, preservando al mismo tiempo la integridad semántica en capas más profundas.
  • Temporal: La intensidad de la fusión se modula por el paso de tiempo de difusión, proporcionando una guía estructural fuerte durante las etapas tempranas de alto ruido y disminuyendo a medida que la imagen se aclara para prevenir artefactos.

2. Pérdida de Estructura de Tinta Diferenciable (DIS)

Para regular explícitamente la morfología de la tinta y permitir la optimización de extremo a extremo de características similares a las del pincel, los autores proponen la pérdida DIS. Esta pérdida descompone el problema de generación de tinta en tres objetivos utilizando operaciones morfológicas suaves y diferenciables:

• Morfología Diferenciable: Las operaciones morfológicas tradicionales (erosión/dilatación) dependen de funciones mínimas/máximas no diferenciables. InkDiffuser aproxima estas utilizando funciones sigmoide escaladas por un parámetro de temperatura $\tau$, permitiendo que los gradientes fluyan a través del análisis morfológico.
• Pérdida de Tres Componentes:
  1. Consistencia Estructural Central ($L_c$): Utiliza erosión suave para aislar los núcleos de los trazos, asegurando que la estructura esquelética permanezca precisa incluso bajo efectos de difusión.
  2. Consistencia de la Frontera de Difusión ($L_b$): Utiliza la diferencia entre dilatación suave y erosión para crear una máscara de frontera, enfocando la supervisión en las regiones de expansión de la tinta para controlar la extensión de la difusión.
  3. Suavidad de Difusión ($L_{lap}$): Emplea un operador Laplaciano para minimizar la diferencia en las respuestas de borde entre las imágenes generadas y las objetivo, fomentando las transiciones suaves y redondeadas típicas de la tinta real.
• Elementos Estructurantes Circulares: Para preservar la suavidad natural de las curvas caligráficas, se utilizan kernels circulares en lugar de los cuadrados tradicionales.

El objetivo de entrenamiento total combina la pérdida MSE estándar de difusión, una pérdida perceptual (basada en VGG) y la pérdida DIS ponderada.

Contribuciones Clave

1. Marco InkDiffuser: Un marco de generación de un solo ejemplo novedoso que equilibra efectivamente la preservación de la integridad estructural intrincada con el renderizado de dinámicas de difusión de tinta realistas.
2. Fusión Adaptativa Espacio-Temporal (STAF): Un módulo que extrae y fusiona componentes de alta frecuencia de imágenes de contenido para fortalecer la representación de trazos, mejorando significativamente la síntesis de caracteres complejos.
3. Pérdida de Estructura de Tinta Diferenciable (DIS): Una función de pérdida diseñada específicamente que incorpora operadores morfológicos suaves para proporcionar supervisión explícita sobre la descomposición de la traza de tinta (núcleo vs. frontera), permitiendo que el modelo aprenda la propagación realista de la tinta y el control de fronteras de manera de extremo a extremo.

Resultados Experimentales

Los autores evaluaron InkDiffuser en un conjunto de datos de 293 fuentes chinas, dividido en conjuntos vistos y no vistos, utilizando dos puntos de referencia de evaluación: UFUC (Fuentes no Vistas, Caracteres no Vistos) y UFSC (Fuentes no Vistas, Caracteres Vistos).

• Rendimiento Cuantitativo: InkDiffuser logró un rendimiento de vanguardia en las cinco métricas (LPIPS, SSIM, L1, RMSE, PSNR) en ambos puntos de referencia. Cabe destacar que, en el desafiante escenario UFUC, mejoró el SSIM en 0.0242 y redujo el error L1 en 0.0072 en comparación con la línea base más fuerte (FontDiffuser).
• Rendimiento Cualitativo: Las comparaciones visuales demostraron que InkDiffuser genera caracteres con una consistencia estructural superior y un renderizado de trazos más claro en comparación con métodos basados en GAN (por ejemplo, CF-Font, IF-Font) y otros métodos basados en difusión (por ejemplo, FontDiffuser, MXFont++). Los resultados generados exhibieron una difusión de tinta más auténtica y menos artefactos como trazos faltantes o borrosidad.
• Estudios de Ablación:
  • Se demostró que el módulo STAF mejora significativamente las métricas estructurales (SSIM, L1) al restaurar detalles topológicos faltantes.
  • La pérdida DIS fue crítica para mejorar la calidad perceptual (LPIPS) y la autenticidad visual, específicamente en la síntesis de filtraciones realistas de tinta.
  • La combinación de ambos módulos produjo los mejores resultados, con STAF proporcionando nitidez estructural y DIS suavizando estos bordes para igualar el flujo natural de la tinta.
• Sensibilidad a Hiperparámetros: Los experimentos indicaron que un peso de pérdida DIS ($\lambda_{dis}$) de 0.02 proporcionó el equilibrio óptimo entre fidelidad estructural y realismo de la tinta. Pesos más altos hicieron que el modelo priorizara el estilo sobre el contenido, lo que llevó a una degradación estructural.

Significado y Afirmaciones

El artículo afirma que InkDiffuser representa un avance significativo en la síntesis de caligrafía china al abordar directamente la brecha entre la generación digital y la realidad física de la escritura con pincel. Al modelar explícitamente señales estructurales de alta frecuencia y morfología de tinta diferenciable, el método supera la apariencia "plana" o "digital" de trabajos anteriores. Los autores afirman que su enfoque logra un rendimiento de vanguardia tanto en precisión estructural como en realismo visual de la tinta, particularmente para caracteres complejos donde las interacciones de trazos son densas. El trabajo establece que incorporar priores morfológicos explícitos en los modelos de difusión es una estrategia viable y efectiva para generar estilos artísticos de alta fidelidad que requieren un control fino sobre la textura y la dinámica de las fronteras.