Resumen Técnico: Redes de Dos Flujos con Desacoplamiento de Estilo y Color para la Transferencia de Estilo Universal sin Ajuste (Tuning-Free)

Planteamiento del Problema

La transferencia de estilo, aunque es un problema clásico de la visión computacional, sigue estando mal definida, ya que involucra la compleja transferencia de atributos como el trazo, la textura, el material, el color, la luz y la estructura. Las soluciones existentes enfrentan tres limitaciones principales:

1. Similitud de Estilo Inadecuada: Los modelos actuales a menudo fallan al reconstruir atributos de estilo específicos como trazos o materiales.
2. Capacidad de Edición Limitada: Los modelos que sobresalen en la reconstrucción de estilo suelen tener dificultades para seguir instrucciones de texto (prompts) o permitir la edición de contenido.
3. Invasión de Color: En escenarios que involucran tanto referencias de contenido como de estilo, los modelos frecuentemente sobre-transfieren el color de la referencia de estilo al contenido, alterando las características inherentes de este último.

Además, los métodos de ajuste en tiempo de prueba (como StyleDrop) son computacionalmente costosos e impracticables para aplicaciones del mundo real que requieren referencias de estilo personalizadas. Si bien existen modelos sin ajuste (tuning-free), estos aún no han resuelto el desafío de la transferencia de estilo con preservación de características: transferir atributos de estilo mientras se preservan estrictamente la distribución y las características de color de la imagen de contenido.

Metodología

Los autores proponen Transferencia de Estilo con Desacoplamiento de Color (CDST), un nuevo paradigma de entrenamiento de dos flujos diseñado para aislar completamente el color de otros atributos de estilo. El marco opera sobre un único modelo entrenado capaz de realizar inferencia zero-shot para diversas tareas de transferencia de estilo.

1. Paradigma de Entrenamiento: Desacoplamiento de Dos Flujos

CDST formula la transferencia de estilo como una tarea de construcción de imagen de referencia condicional utilizando una arquitectura de flujo dual:

• Flujo de Estilo: Para prevenir la contaminación del color, la imagen de referencia de estilo se convierte a escala de grises. Las características se extraen mediante DinoV2, utilizando una estrategia de compresión de incrustaciones (embeddings) de múltiples características. Esto implica:
  • Extraer las características de rejilla profunda y el token CLS del bloque final.
  • Comprimir las incrustaciones de la rejilla en 4 tokens mediante un Transformer de Estilo.
  • Extraer representaciones superficiales de los Bloques 5, 11 y 17 para capturar pistas de bajo nivel, las cuales son procesadas por MLPs y promediadas (average-pooling).
  • Concatenar estos 7 tokens para formar la incrustación de estilo ($e_s$).
• Flujo de Color: El color se representa de forma independiente mediante un histograma de color cuantizado. El histograma se extrae mediante el paquete Rayleigh (convirtiendo de HSV a espacio LAB y cuantizando distancias euclidianas), lo que resulta en un vector de 180 dimensiones. Este se infla mediante un MLP en 4 tokens para formar la incrustación de color ($e_c$).

Ambos flujos se inyectan en el Denoising UNet mediante matrices lineales aprendibles ($W^K, W^V$) y mecanismos de atención cruzada (cross-attention). El objetivo de entrenamiento es reconstruir la imagen de referencia utilizando la pérdida MSE estándar.

2. Inferencia: Desacoplamiento de UNet y Calibración Global

Durante la inferencia, CDST emplea estrategias específicas para equilibrar la fidelidad del estilo y la capacidad de edición:

• Nueva Definición de Estilo (Mecanismo de Olvido): A diferencia del entrenamiento donde los tokens de estilo mapean a los 70 bloques de atención cruzada de la SDXL UNet, en la inferencia los tokens de estilo se mapean solo a rangos específicos: cross_attention_list[0:14] (Encoder) y cross_attention_list[44:70] (Decoder).
  • Los pesos se establecen en $\lambda_s = 0.2$ para el Encoder (preservando el espacio/estructura) y $\lambda_s = 0.9$ para el Decoder (preservando la apariencia/textura).
  • Este "mecanismo de olvido" evita el sobreajuste y la invasión de contenido, mejorando significativamente las capacidades de edición.
• Calibración Global de Color: Para corregir errores menores de aproximación del histograma de color cuantizado, un paso de post-procesamiento convierte la imagen generada y la referencia de color al espacio YUV. Realiza un alineamiento estadístico (emparejando media y varianza) y mezcla el resultado de vuelta al espacio RGB usando un hiperparámetro $\alpha$ (por defecto 0.8).

3. Flujos de Trabajo de CDST

El modelo entrenado único soporta múltiples flujos de trabajo ajustando las entradas y los pesos:

• Transferencia de Estilo con Preservación de Características: Transfiere el estilo (excluyendo el color) de una referencia de estilo mientras preserva las características a nivel de píxel del contenido. Esto se logra inyectando un Latente Prior de Contenido (versión ruidosa de la imagen de contenido) y utilizando ControlNet (borde Canny) para mantener la estructura espacial. El flujo de color se omite efectivamente o se establece su peso en cero, ya que el Latente Prior de Contenido domina el color a nivel de píxel.
• Estilo + Color + Contenido: Combina referencias de estilo, color y contenido utilizando ControlNet.
• Estilo + Color + Prompt: Genera imágenes basadas en un prompt de texto, una referencia de estilo y una referencia de color separada.

Contribuciones Clave

1. Marco CDST: Un paradigma de entrenamiento de dos flujos que desacopla completamente el color del estilo, permitiendo una transferencia de estilo universal sin ajuste. Es el primero en resolver la transferencia de estilo con preservación de características con referencias de estilo y contenido de manera sin ajuste (tuning-free).
2. Mejora en Similitud y Edición: A través de la compresión de incrustaciones de imagen de múltiples características (DinoV2 superficial+profundo) y una nueva definición de estilo basada en las leyes de desacoplamiento de la UNet, CDST logra un equilibrio superior entre similitud de estilo y capacidad de edición en comparación con modelos previos de código abierto y comerciales.
3. Rendimiento de Vanguardia (SOTA): Evaluaciones cuantitativas extensas y evaluaciones humanas demuestran la superioridad de CDST en similitud de estilo, alineación con el prompt, consistencia de color y preservación de características en diversas tareas.

Resultados y Evaluación

Los autores realizaron experimentos exhaustivos utilizando un benchmark de 25 referencias de estilo y diversas tareas.

• Métricas Cuantitativas: En la tarea "Ref. de Estilo/Color + Prompt", CDST alcanzó las mejores puntuaciones en alineación de prompt (CLIP Score: 0.291), similitud de estilo (CSD Score: 0.587) y distancia de color (0.116), superando a InstantStyle, CSGO y Adobe Firefly. Solo fue superado por Midjourney v6.1 en puntuaciones estéticas.
• Evaluación Humana:
  • Estilo + Contenido: CDST ganó contra el modelo de vanguardia CSGO en similitud de estilo (78.0%), consistencia de color (81.6%) y preferencia general (84.4%).
  • Transferencia con Preservación de Características: Comparado con GPT-4O, CDST mostró mayor similitud de estilo (63.2%) y consistencia de color (94.8%), aunque GPT-4O funcionó mejor en consistencia de características y estética. La preferencia general del usuario fue casi igual (52.8% para CDST).
• Estudios de Ablación:
  • Incrustaciones (Embeddings): Las incrustaciones superficiales+profundas de DinoV2 superaron significativamente a las incrustaciones de CLIP y a las de solo profundidad.
  • Definición de Estilo: El mapeo de tokens de estilo a bloques específicos de la UNet (Encoder+Decoder) con mecanismos de olvido produjo mejores resultados que usar todos los bloques o solo el decoder.
  • Desacoplamiento: El uso de referencias de estilo en escala de grises fue crítico; el uso de referencias coloridas causó confusión y distorsión de color cuando las referencias de estilo y color diferían.

Significado y Reivindicaciones

El artículo afirma que CDST representa un avance significativo al resolver el problema de la "invasión de color" que afecta a los modelos anteriores sin ajuste. Al aislar el color mediante un flujo dedicado y forzar un flujo de estilo ciego al color, CDST desbloquea la capacidad de realizar una transferencia de estilo con preservación de características, una tarea que anteriormente era inestable o imposible sin ajuste fino.

Los autores enfatizan que CDST es un modelo universal y sin ajuste (tuning-free). A pesar de haber sido entrenado en una configuración específica, puede manejar diversos escenarios (Estilo+Prompt, Estilo+Contenido, Transferencia con Preservación de Características) con un único modelo. El documento señala que, aunque el modelo fue entrenado en 2025, sigue siendo útil en 2026, habiendo sido utilizado para la síntesis de datos de entrenamiento en modelos TeleStyle posteriores, demostando su robustez incluso a medida que los modelos base evolucionan hacia arquitecturas DiT.