Resumen Técnico: A través de los ojos de Van Gogh: Transferencia de Estilo Global con Modelos de Difusión

Declaración del Problema

La síntesis de imágenes artísticas busca recrear la identidad visual expresiva de un artista objetivo. Los enfoques existentes generalmente caen en dos paradigmas, ambos de los cuales sufren limitaciones significativas:

1. Transferencia de Estilo Convencional (Uno-a-Uno): Estos métodos extraen el estilo de una única obra de referencia o de unas pocas y lo transfieren a una imagen de contenido. Aunque son efectivos para la estilización de obras específicas, no logran capturar la distribución estilística global y coherente que define la identidad visual general de un artista. A menudo conducen al sobreajuste a nivel de instancia.
2. Síntesis de Difusión de Texto-a-Imagen (T2I): Los métodos condicionados por nombres de artistas (por ejemplo, "al estilo de Van Gogh") ofrecen flexibilidad, pero sufren de sesgo inducido por el texto. Estos modelos tienden a reproducir texturas y composiciones de un puñado de obras icónicas (por ejemplo, La noche estrellada), colapsando el espectro estilístico diverso del artista en una distribución estrecha y sesgada por el modo.

Ningún paradigma captura de manera fiable el estilo global de un artista, lo cual requiere agregar estadísticas visuales a través de un corpus extenso de obras en lugar de depender de instancias individuales o prompts lingüísticos.

Metodología

Los autores proponen la Transferencia de Estilo Global (GST), un paradigma "Muchos-a-Uno" que agrega múltiples obras de un artista objetivo para transferir su estilo global compartido a una única imagen de contenido. El marco consta de dos componentes complementarios que operan dentro de un Modelo de Difusión Latente (LDM):

1. Guía de Estilo Global (GSG)

La GSG opera en el espacio de características intermedio (espacio-h) del cuello de botella de la U-Net de difusión. Su objetivo es aprender un desfase de estilo global residual ($\Delta h_t$) que modula la representación del modelo sin depender de prompts de texto.

• Proceso de Entrenamiento: Una Función de Extracción de Estilo (SEF) ligera, $f_t$, se entrena con cientos de obras de un solo artista. Crucialmente, todas las obras se asocian con un prompt de texto fijo y unificado (por ejemplo, "Una pintura").
• Mecanismo: Al fijar el prompt, la varianza de la condición de texto se reduce a casi cero. La SEF aprende a predecir el desfase residual $\Delta h_t$ puramente a partir de estadísticas visuales mediante una pérdida de reconstrucción de ruido. Esto asegura que la semántica del estilo aprendida sea independiente del texto y esté fundamentada en el corpus visual del artista.
• Inferencia: Durante el proceso de difusión inversa, el $\Delta h_t$ aprendido se añade como un residual a las características del cuello de botella de la U-Net, dirigiendo la trayectoria de eliminación de ruido hacia la distribución del estilo global del artista.

2. Guía de Alineación de Contenido (CAG)

Para preservar la estructura semántica de la imagen de contenido de entrada permitiendo, al mismo tiempo, deformaciones geométricas específicas del artista, los autores introducen un mecanismo libre de entrenamiento llamado CAG.

• Proceso: La imagen de contenido se mapea primero a un vector latente ruidoso mediante inversión DDIM.
• Guía Perceptual: En cada paso de tiempo de la difusión, el método calcula una pérdida perceptual utilizando el codificador de imagen CLIP. Compara las características semánticas de alto nivel de la imagen limpia aproximada ($\tilde{x}_0$), derivada del latente actual, contra las características de la imagen generada ($x_t$).
• Optimización: La trayectoria latente se ajusta mediante descenso de gradiente para minimizar esta pérdida perceptual. Esto preserva la estructura abstracta y la composición semántica del contenido mientras permite las deformaciones estilísticas características del artista objetivo.

Principales Contribuciones

1. Paradigma de Transferencia de Estilo Global (GST): Los autores introducen una novedosa formulación de Muchos-a-Uno para la síntesis artística que aprende una distribución de estilo global unificada a partir de múltiples obras, superando el sesgo de nivel de instancia de la transferencia de estilo tradicional y el sesgo dependiente del texto de los modelos T2I.
2. Guía de Estilo Global (GSG): Un mecanismo de guía que opera en el espacio-h y que aprende la semántica del estilo a nivel de artista puramente a partir de estadísticas visuales. Al utilizar un prompt fijo durante el entrenamiento, mitiga la dependencia lingüística y evita que el modelo colapse en patrones visuales icónicos.
3. Guía de Alineación de Contenido (CAG): Un mecanismo de guía perceptual libre de entrenamiento que mantiene la integridad semántica de la imagen de contenido mientras permite deformaciones geométricas expresivas basadas en el estilo durante el proceso de difusión.

Resultados Experimentales

El marco fue evaluado con el conjunto de datos WikiArt (para referencias de estilo) y el conjunto de datos VanGogh2Photo (para contenido).

• Rendimiento Cuantitativo: Comparado con métodos de transferencia de estilo de vanguardia (por ejemplo, StyleInjection, StyTR2) y técnicas de personalización (por ejemplo, Textual Inversion, Custom Diffusion, LoRA fine-tuning), GST logró un rendimiento superior en:

  • Fidelidad Estilística: Puntuaciones ArtFID más bajas indican un mejor alineamiento con el estilo global del artista.
  • Preservación de Contenido: Puntuaciones CFSD competitivas demuestran que la estructura del contenido se mantiene.
  • Diversidad: GST logró las puntuaciones de CLIP-Diversity más altas, lo que indica que captura una distribución estilística más amplia en lugar de memorizar patrones específicos. Los valores de diversidad coinciden estrechamente con los del corpus real del artista.
  • Evitación de Memorización: Puntuaciones de 1-Precision elevadas sugieren que GST evita el sobreajuste a los motivos visuales dominantes encontrados en las bases de personalización.

• Análisis Cualitativo:

  • Comparación Visual: GST produce una estilización global coherente que refleja todo el corpus del artista, mientras que los modelos de base que dependen de una sola imagen o del promedio de múltiples salidas resultan en estilos borrosos o inconsistentes.
  • Independencia de Texto: Los estudios de ablación mostraron que cambiar el prompt de entrenamiento (por ejemplo, de "Una pintura" a "Una obra de arte") resultó en imágenes generadas casi idénticas, confirmando la independencia de texto del estilo aprendido.
  • Mitigación de Sesgo: A diferencia de las bases de T2I (por ejemplo, Nano Banana 2, ChatGPT) que generan repetidamente composiciones icónicas (por ejemplo, patrones de remolinos para Van Gogh), GST produce salidas diversas que reflejan el verdadero espectro de estilo global.
  • Análisis de Componentes: Eliminar la CAG provocó una degradación significativa del contenido (mayor ArtFID), confirmando su necesidad para preservar la estructura. Además, se encontró que aplicar la CAG en capas de CLIP más altas (Capa 11) era crítico para preservar la composición global en comparación con las capas inferiores.

Significancia y Reivindicaciones

El artículo afirma que la Transferencia de Estilo Global proporciona un método más fiel e imparcial para modelar la identidad visual coherente de un artista. Al pasar de la transferencia a nivel de instancia y la síntesis dependiente del texto a un enfoque de Muchos-a-Uno basado en estadísticas visuales, la GST captura con éxito la distribución estilística global de un artista. Los autores enfatizan que su método permite una renderización de contenido diversa y expresiva que refleja toda la amplitud de la obra de un artista, en lugar de limitarse a unos pocos ejemplares icónicos o descripciones textuales específicas.