Resumo Técnico: EmoStyle

Declaração do Problema

O artigo aborda o desafio da geração de imagens artísticas conscientes de emoções, uma tarefa que exige que um modelo satisfaça simultaneamente três restrições: fidelidade semântica a um prompt de texto de entrada, adesão a um estilo artístico especificado e a expressão de um estado emocional alvo.

A dificuldade central reside no hiato de controle entre os inputs disponíveis no momento do teste e as condições detalhadas necessárias para a geração. Embora os conjuntos de dados de treinamento (como o EmoArt) contenham anotações estruturadas ricas — incluindo atributos visuais, pontuações de valência-excitação, emoções dominantes e rótulos de efeito terapêutico — esses sinais estruturados estão ausentes no momento do teste. O modelo recebe apenas um prompt compacto e um balde de estilo alvo. Consequentemente, o gerador deve inferir implicitamente como traduzir a emoção alvo em parâmetros visuais específicos (cor, iluminação, pinceladas, composição, linha e layout) sem orientação explícita, uma tarefa que os modelos de difusão padrão condicionados por prompt têm dificuldade em realizar com alta fidelidade.

Metodologia

Os autores propõem o EmoStyle, um framework construído sobre o modelo de difusão Z-Image. O sistema opera através de um pipeline de quatro estágios projetado para preencher a lacuna entre prompts compactos e estados de geração estruturados:

1. Planejamento de Afeto via Prompt (Raciocinador LLM)

Em vez de reescrever o prompt ou gerar atributos visuais de forma livre, o sistema emprega um raciocinador LLM para inferir variáveis afetivas e de layout ausentes. Dado o caption de entrada ($x_i$) e o balde de estilo alvo ($y_i$), o raciocinador prevê um plano afetivo estruturado ($P_i$) consistindo em:

• Resumo Afetivo ($F_i$): Pontuações contínuas de valência ($v$) e excitação ($\eta$), um rótulo de emoção dominante ($e$) e rótulos de efeito terapêutico ($H$).
• Decisão de Proporção de Aspecto ($\rho$): Uma orientação de tela prevista para guiar a resolução.

Essas previsões são derivadas de vocabulários predefinidos e intervalos contínuos normalizados, garantindo que os sinais de controle permaneçam compactos e estáveis.

2. Especialistas LoRA Específicos por Balde

Para lidar com a diversidade de estilos artísticos, o framework adota uma abordagem de Mistura de Especialistas (MoE) adaptada aos baldes de estilo disponíveis (ex: tinta chinesa, ukiyo-e, gongbi, renascença, abstrato, etc.).

• Para cada balde de estilo, um adaptador LoRA (Low-Rank Adaptation) dedicado é treinado no subconjunto correspondente do dataset EmoArt, mantendo o backbone Z-Image congelado.
• Durante a inferência, o sistema seleciona deterministicamente o especialista LoRA correspondente ao balde de estilo alvo. Isso fornece priores específicos por balde para cor, textura, pincelada e composição, garantindo consistência de estilo sem mecanismos complexos de roteamento.

3. Modulação de Condição Afetiva

O plano afetivo inferido é codificado em um vetor de condição afetiva compacto ($c_{i,aff}$) e injetado na rede de denoising.

• Codificação: Coordenadas contínuas de valência-excitação são codificadas usando codificação posicional senoidal, enquanto rótulos de emoção discreta e terapêutica são mapeados para embeddings aprendíveis. Estes são combinados com um termo de interação para capturar a relação entre a intensidade contínua e os tipos de emoção discretos.
• Modulação: O vetor afetivo é injetado via modulação residual do tipo AdaLN. Em vez de adicionar uma nova camada, a cabeça afetiva prevê offsets residuais ($\Delta s, \Delta g$) para os parâmetros nativos de escala e gate dos blocos do Z-Image. Isso permite que as pistas emocais inferidas guiem diretamente as características intermediárias (camadas de Atenção e MLP), enquanto o LoRA de estilo lida com a aparência artística.

4. Refinamento de Candidatos Guiado por VLM

Reconhecendo que uma única geração estocástica pode falhar em satisfazer todas as restrições simultaneamente, o framework emprega uma estratégia de refinamento em tempo de teste.

• Múltiplas imagens candidatas são geradas usando diferentes sementes aleatórias.
• Um juiz de Modelo de Linguagem e Visão (VLM) (Qwen3.5-397B-A17B) avalia cada candidato com base em quatro critérios: alinhamento com o prompt, consistência de estilo, consistência do plano afetivo e qualidade visual sem referência.
• O candidato com a maior pontuação agregada é selecionado como o output final, não exigindo treinamento adicional.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Planejador Afetivo Baseado em LLM: Um mecanismo que infere pistas afetivas (valência-excitação, rótulos de emoção) e de layout (proporção de aspecto) estruturadas a partir de prompts compactos, convertendo-as em variáveis de geração acionáveis.
2. Framework de Estilo-Afeto Desacoplado: Uma arquitetura inovadora sobre o Z-Image que separa a seleção de estilo (via especialistas LoRA por balde) da modulação afetiva (via injeção residual do tipo AdaLN). Isso permite que as mesmas pistas afetivas sejam renderizadas com distintos priores específicos de estilo.
3. Refinamento Guiado por VLM: Uma estratégia de tempo de teste sem necessidade de treinamento que classifica candidatos gerados com base em critérios multidimensionais (conteúdo, estilo, afeto, qualidade) para mitigar falhas de geração.

Resultados Experimentais

O framework foi avaliado na Track 1 do AffectiveArt Challenge 2026 (Geração de Imagens Artísticas Conscientes de Emoção) utilizando o dataset EmoArt.

• Desempenho no Desafio: A submissão da USTC_PI_LAB_TEAM alcançou o 1º lugar com uma pontuação geral de 0,80, superando a segunda colocada (EmoForge, 0,78).
• Métricas Quantitativas: No conjunto de validação local, o framework completo EmoStyle reduziu o FID (Frechet Inception Distance) de 75,84 (Base Z-Image) para 58,64, indicando melhoria significativa no realismo visual. O AAS (Attribute Alignment Score) aumentou de 0,73 para 0,79, demonstrando melhor alinhamento com os atributos alvo.
• Estudos de Ablação:
  • A remoção da previsão de proporção de aspecto causou a degradação mais significativa no FID (para 72,59), destacando a importância do planejamento de layout.
  • A remoção do LoRA específico de estilo resultou em uma queda notável no alinhamento de estilo (de 0,75 para 0,71), confirmando a necessidade de adaptadores especializados.
  • A remoção do refinamento de candidatos degradou tanto o FID quanto o AAS, validando a utilidade da seleção guiada por VLM.
• Comparação de Cross-Backbone: Quando aplicado a outros backbones (Flux2, GPT Image 2, Nano Banana 2) usando apenas os componentes agnósticos ao modelo (planejamento e refinamento), o EmoStyle ainda melhorou o desempenho, embora a arquitetura completa no Z-Image tenha gerado os melhores resultados globais.

Significância e Alegações

O artigo afirma que o EmoStyle preenche efetivamente a lacuna entre prompts não estruturados e o controle detalhado necessário para a geração artística emocional. Ao modelar explicitamente a inferência de estados afetivos e desacoplar a especialização de estilo da modulação emocional, o framework permite que o gerador "decida não apenas o que retratar, mas também como a emoção alvo deve ser expressa".

Os autores posicionam o trabalho como uma solução para o "hiato de controle" na geração em tempo de teste, demonstrando que o raciocínio estruturado (planejamento por LLM) combinado com adaptação eficiente de parâmetros (LoRA) e escalonamento em tempo de teste (refinamento por VLM) pode alcançar resultados de estado da arte em design criativo consciente de emoções sem retreinar o backbone de difusão base. O sucesso no AffectiveArt Challenge 2026 serve como validação empírica desta abordagem de condicionamento afetivo estruturado.