Resumen Técnico: EmoStyle

Declaración del Problema

El artículo aborda el desafío de la generación de imágenes artísticas conscientes de la emoción, una tarea que requiere que un modelo satisfaga simultáneamente tres restricciones: fidelidad semántica a un prompt de texto de entrada, adherencia a un estilo artístico especificado y la expresión de un estado emocional objetivo.

La dificultad central radica en la brecha de control entre las entradas disponibles en tiempo de prueba y las condiciones finamente detalladas requeridas para la generación. Aunque los conjuntos de datos de entrenamiento (como EmoArt) contienen anotaciones estructuradas ricas —que incluyen atributos visuales, puntuaciones de valencia-activación, etiquetas de emociones dominantes y etiquetas de efecto terapéutico—, estas señales estructuradas están ausentes en el tiempo de prueba. El modelo recibe únicamente un prompt compacto y un grupo de estilo (style bucket) objetivo. En consecuencia, el generador debe inferir implícitamente cómo traducir la emoción objetivo en parámetros visuales específicos (color, iluminación, pincelada, composición, línea y disposición) sin guía explícita, una tarea que los modelos de difusión condicionados por prompts estándar tienen dificultades para realizar con alta fidelidad.

Metodología

Los autores proponen EmoStyle, un marco construido sobre el modelo de difusión Z-Image. El sistema opera a través de un pipeline de cuatro etapas diseñado para cerrar la brecha entre los prompts compactos y los estados de generación estructurados:

1. Planificación de Afecto a partir de Prompts (Razonador LLM)

En lugar de reescribir el prompt o generar atributos visuales de forma libre, el sistema emplea un razonador LLM para inferir las variables afectivas y de diseño (layout) faltantes. Dado el caption de entrada ($x_i$) y el grupo de estilo objetivo ($y_i$), el razonador predice un plan afectivo estructurado ($P_i$) que consiste en:

• Resumen Afectivo ($F_i$): Puntuaciones continuas de valencia ($v$) y activación ($\eta$), una etiqueta de emoción dominante ($e$) y etiquetas de efecto terapéutico ($H$).
• Decisión de Relación de Aspecto ($\rho$): Una orientación de lienzo predicha para guiar la resolución.

Estas predicciones se derivan de vocabularios predefinidos y rangos continuos normalizados, asegurando que las señales de control permanezcan compactas y estables.

2. Expertos LoRA Específicos por Grupo de Estilo

Para manejar la diversidad de estilos artísticos, el marco adopta un enfoque de Mezcla de Expertos (MoE) adaptado a los grupos de estilo disponibles (por ejemplo, tinta china, ukiyo-e, gongbi, renacimiento, abstracto, etc.).

• Para cada grupo de estilo, se entrena un adaptador LoRA (Low-Rank Adaptation) dedicado en el subconjunto correspondiente del conjunto de datos EmoArt, manteniendo el backbone de Z-Image congelado.
• Durante la inferencia, el sistema selecciona de manera determinista el experto LoRA correspondiente al grupo de estilo objetivo. Esto proporciona priors específicos por grupo para el color, la textura, la pincelada y la composición, asegurando la consistencia del estilo sin mecanismos de enrutamiento complejos.

3. Modulación de Condición Afectiva

El plan afectivo inferido se codifica en un vector de condición afectiva compacto ($c_{i,aff}$) y se inyecta en la red de eliminación de ruido (denoising network).

• Codificación: Las coordenadas continuas de valencia-activación se codifican mediante codificación posicional sinusoidal, mientras que las etiquetas de emoción y terapéuticas discretas se mapean a embeddings aprendibles. Estos se combinan con un término de interacción para capturar la relación entre la intensidad continua y los tipos de emoción discretos.
• Modulación: El vector afectivo se inyecta mediante modulación residual de estilo AdaLN. En lugar de añadir una nueva capa, la cabeza afectiva predice offsets residuales ($\Delta s, \Delta g$) para los parámetros nativos de escala y puerta (gate) de los bloques de Z-Image. Esto permite que las pistas emocales inferidas guíen directamente las características intermedias (capas de Atención y MLP), mientras que el LoRA de estilo gestiona la apariencia artística.

4. Refinamiento de Candidatos Guiado por VLM

Reconociendo que una única generación estocástica puede fallar en satisfacer todas las restricciones simultáneamente, el marco emplea una estrategia de refinamiento en tiempo de prueba.

• Se generan múltiples imágenes candidatas utilizando diferentes semillas aleatorias.
• Un juez de Modelo de Lenguaje-Visión (VLM) (Qwen3.5-397B-A17B) evalúa cada candidato basándose en cuatro criterios: alineación con el prompt, consistencia de estilo, consistencia con el plan afectivo y calidad visual sin referencia.
• El candidato con la puntuación agregada más alta se selecciona como el resultado final, lo que no requiere entrenamiento adicional.

Principales Contribuciones

El artículo describe tres contribuciones primarias:

1. Planificador Afectivo Basado en LLM: Un mecanismo que infiere las pistas afectivas (valencia-activación, etiquetas de emoción) y de diseño (relación de aspecto) faltantes a partir de prompts compactos, convirtiéndolas en variables de generación accionables.
2. Marco de Estilo-Afecto Desacoplado: Una arquitectura novedosa sobre Z-Image que separa la selección de estilo (mediante expertos LoRA específicos por grupo) de la modulación afectiva (mediante inyección residual de estilo AdaLN). Esto permite que las mismas pistas afectivas se rendericen con distintos priors específicos de estilo.
3. Refinamiento Guiado por VLM: Una estrategia de tiempo de prueba sin entrenamiento que clasifica los candidatos generados basándose en criterios multidimensionales (contenido, estilo, afecto, calidad) para mitigar fallos de generación.

Resultados Experimentales

El marco fue evaluado en la Track 1 del AffectiveArt Challenge 2026 (Generación de Imágenes Artísticas Conscientes de la Emoción) utilizando el conjunto de datos EmoArt.

• Desempeño en el Desafío: La propuesta de USTC_PI_LAB_TEAM logró el 1er lugar con una puntuación general de 0.80, superando al segundo lugar (EmoForge, 0.78).
• Métricas Cuantitativas: En el conjunto de validación local, el marco completo EmoStyle redujo el FID (Distancia de Inception de Frechet) de 75.84 (Base Z-Image) a 58.64, indicando una mejora significativa en el realismo visual. El AAS (Puntuación de Alineación de Atributos) aumentó de 0.73 a 0.79, demostrando una mejor alineación con los atributos objetivo.
• Estudios de Ablación:
  • Eliminar la predicción de la relación de aspecto causó la degradación más significativa del FID (a 72.59), resaltando la importancia de la planificación del diseño.
  • Eliminar el LoRA específico de estilo resultó en una caída notable en la alineación de estilo (de 0.75 a 0.71), confirmando la necesidad de adaptadores especializados.
  • Eliminar el refinamiento de candidatos degradó tanto el FID como el AAS, validando la utilidad de la selección guiada por VLM.
• Comparación de Cross-Backbone: Al aplicarse a otros backbones (Flux2, GPT Image 2, Nano Banana 2) utilizando solo los componentes agnósticos al modelo (planificación y refinamiento), EmoStyle aún mejoró el rendimiento, aunque la arquitectura completa en Z-Image produjo los mejores resultados generales.

Significado y Reivindicaciones

El artículo afirma que EmoStyle cierra eficazmente la brecha entre los prompts no estructurados y el control detallado requerido para la generación artística emocional. Al modelar explícitamente la inferencia de estados afectivos y desacoplar la especialización de estilo de la modulación emocional, el marco permite al generador "decidir no solo qué representar, sino también cómo debe expresarse la emoción objetivo".

Los autores posicionan este trabajo como una solución a la "brecha de control" en la generación en tiempo de prueba, demostrando que el razonamiento estructurado (planificación por LLM) combinado con la adaptación eficiente de parámetros (LoRA) y el escalado en tiempo de prueba (refinamiento por VLM) puede lograr resultados de vanguardia en el diseño creativo consciente de la emoción sin necesidad de reentrenar el backbone de difusión base. El éxito en el AffectiveArt Challenge 2026 sirve como validación empírica de este enfoque de condicionamiento afectivo estructurado.