EmoCtrl: Controllable Emotional Image Content Generation

O artigo apresenta o EmoCtrl, um modelo inovador que gera imagens com conteúdo fiel e controle emocional preciso, superando as limitações dos métodos existentes ao integrar módulos de aprimoramento emocional e otimização baseada em preferências humanas.

O essencial

Imagine que você é um diretor de cinema e precisa fazer um filme sobre um cachorro.

Até agora, os "atores" de inteligência artificial (os geradores de imagem) eram ótimos em seguir o roteiro literal: se você pedisse "um cachorro no chão", eles faziam exatamente isso. Mas havia um problema: o cachorro parecia um boneco de plástico, sem vida, sem alma. Não importava se você queria que a cena fosse alegre, triste ou assustadora, o cachorro continuava com a mesma cara de tédio.

Por outro lado, existiam outros "atores" que eram mestres em emoção, mas péssimos em seguir o roteiro. Se você pedisse "um cachorro" com a emoção "alegria", eles podiam fazer um cachorro sorrindo, mas acabavam mudando o cachorro para um gato, ou mudando o chão para um céu, porque focavam tanto na emoção que esqueciam o que você pediu.

A solução: O "EmoCtrl"

Os pesquisadores criaram o EmoCtrl, que é como contratar um diretor de arte superinteligente que sabe fazer duas coisas ao mesmo tempo:

1. Manter o personagem exatamente como você pediu (o cachorro no chão).
2. Dar a esse personagem a "alma" e o clima emocional que você deseja (alegria, medo, tristeza).

Como funciona a mágica? (As Analogias)

O EmoCtrl usa três truques principais para conseguir isso:

1. O "Tradutor de Sentimentos" (Melhoria Textual)
Imagine que você pede para um robô: "Faça algo triste". O robô pode não entender o que é "tristeza" visualmente.
O EmoCtrl tem um tradutor especial. Quando você diz "tristeza", ele não apenas escreve a palavra, ele transforma isso em uma descrição rica: "Um cachorro cinza, sentado sozinho sob uma chuva fina, com cores apagadas e luzes fracas".
Ele usa uma pequena "etiqueta mágica" (um token) que ensina o robô a associar a palavra "tristeza" a essas descrições visuais concretas, sem mudar o fato de que é um cachorro.

2. O "Pintor de Atmosfera" (Melhoria Visual)
Às vezes, as palavras não são suficientes. A tristeza também está na cor, na luz e na textura.
O EmoCtrl tem um segundo ajudante, um pintor invisível. Ele pega a mesma "etiqueta mágica" da tristeza e a injeta diretamente na tela de pintura. Ele diz para o sistema: "Não mude o cachorro, mas pinte o fundo de cinza, deixe a luz fraca e adicione gotas de chuva".
Isso garante que a emoção seja sentida na pele, não apenas lida no texto.

3. O "Crítico de Cinema" (Otimização de Preferência)
Depois que o robô cria a imagem, o EmoCtrl não apenas entrega o trabalho. Ele tem um "crítico de cinema" interno que olha para a imagem e pergunta:

• "Isso parece triste de verdade?"
• "Isso ainda parece um cachorro?"
• "As pessoas gostariam de ver isso?"

Se a resposta for "não", o crítico dá dicas para o robô tentar de novo, ajustando os detalhes até que a imagem seja perfeita. É como um professor que corrige o aluno até que ele tire nota máxima.

Por que isso é importante?

Antes do EmoCtrl, você tinha que escolher entre ter a imagem correta (mas sem emoção) ou ter a emoção certa (mas com a imagem errada).

Com o EmoCtrl, você pode pedir:

• "Um cachorro (conteúdo) que pareça alegre (emoção)." -> Resultado: Um cachorro feliz, correndo em um parque ensolarado.
• "Um cachorro (conteúdo) que pareça assustado (emoção)." -> Resultado: O mesmo cachorro, mas com os pelos em pé, em uma noite escura e chuvosa.

O conteúdo (o cachorro) permanece fiel, mas a "alma" da imagem muda completamente de acordo com o seu desejo.

Resumo em uma frase

O EmoCtrl é como um maestro de orquestra que garante que os instrumentos (o conteúdo da imagem) toquem a música certa (a emoção), sem que ninguém se esqueça da melodia original.

Resumo técnico

1. O Problema

O artigo aborda a lacuna existente na geração de imagens por inteligência artificial entre a fidelidade semântica (o conteúdo da imagem corresponder ao que foi descrito) e a expressividade emocional (a imagem evocar a emoção desejada).

• Modelos Texto-para-Imagem (T2I) atuais: Como o Stable Diffusion, preservam bem o conteúdo semântico, mas carecem de "consciência emocional", gerando imagens que são semanticamente corretas, mas emocionalmente neutras ou imprecisas.
• Modelos Orientados a Emoção: Têm dificuldade em manter o conteúdo original, distorcendo a semântica para forçar a emoção.
• Limitação de Dados: Conjuntos de dados existentes focam apenas em rótulos de emoção ou apenas em descrições de conteúdo, sem fornecer o par "conteúdo + emoção + prompt afetivo" necessário para um controle fino.
• Tarefa Proposta (C-EICG): O artigo define a tarefa de Geração de Conteúdo de Imagem Emocional Controlável (C-EICG), que visa gerar imagens que sejam fiéis a uma descrição de conteúdo específica (ex: "um cachorro no chão") enquanto expressam uma emoção-alvo específica (ex: "alegria", "tristeza", "medo").

2. Metodologia

Os autores propõem o EmoCtrl, um framework que integra três componentes principais para resolver o problema:

A. Construção de Dados (EmoSet+ e EmoEditSet+)

Para treinar o modelo, foi criado um novo conjunto de dados anotado com triplas/quadruplas:

• EmoSet+ e EmoEditSet+: Derivados de conjuntos existentes, mas enriquecidos com LLMs (Large Language Models) e MLLMs (Multimodal LLMs).
• Anotação: Cada imagem possui um rótulo de emoção, um rótulo de conteúdo (conceitos neutros extraídos para evitar viés emocional prévio), e um "prompt afetivo" detalhado que descreve como a emoção deve ser visualmente representada (cores, iluminação, atmosfera).
• Total: 158.222 quadruplas {emoção, conceito, legenda, imagem}.

B. Arquitetura do Modelo (EmoCtrl)

O modelo baseia-se no Stable Diffusion e introduz dois módulos de aprimoramento complementares:

1. Aprimoramento Emocional Textual (Textual Emotion Enhancement):

   • Utiliza um LLM (ajustado via LoRA) para enriquecer a descrição do conteúdo.
   • Introduz tokens de emoção aprendíveis ($v_t$) que atuam como âncoras para as 8 categorias de emoção (baseadas no modelo de Mikels: amusement, awe, contentment, excitement, anger, disgust, fear, sadness).
   • O LLM funde o token de emoção com o conteúdo para gerar um prompt textual rico em semântica afetiva.

2. Aprimoramento Emocional Visual (Visual Emotion Enhancement):

   • Projeta o mesmo conjunto de tokens de emoção no espaço de condicionamento do modelo de difusão.
   • Utiliza um token de emoção visual ($v_v$) injetado via cross-attention.
   • Este token codifica características perceptuais (cor, brilho, estilo) associadas à emoção, garantindo que a imagem gerada tenha a "atmosfera" correta sem distorcer o objeto principal.

3. Otimização de Preferência Orientada à Emoção (Emotion-driven Preference Optimization - EDPO):

   • Para alinhar o modelo com a preferência humana, utiliza-se o algoritmo GRPO (Group Relative Policy Optimization).
   • Define uma função de recompensa composta por três partes:
     • Recompensa de Emoção ($R_{emo}$): Probabilidade do classificador identificar a emoção correta.
     • Recompensa de Polaridade ($R_{pol}$): Garante que a polaridade (positiva/negativa) esteja correta.
     • Recompensa Geral ($R_{pick}$): Usa o PickScore para manter a qualidade visual e alinhamento texto-imagem geral.
   • Isso permite que o modelo aprenda a gerar imagens que não apenas sigam o prompt, mas que sejam preferidas por humanos como emocionalmente expressivas.

3. Principais Contribuições

1. Definição da Tarefa C-EICG: Formalização do problema de gerar imagens que controlam simultaneamente conteúdo e emoção.
2. Novo Conjunto de Dados: Criação de EmoSet+ e EmoEditSet+ com anotações ricas de conteúdo e prompts afetivos.
3. Framework EmoCtrl: Proposta de uma arquitetura com aprimoramento duplo (textual e visual) e tokens aprendíveis para cada emoção.
4. Otimização Específica: Introdução de uma estratégia de otimização de preferência (EDPO) com recompensas específicas para emoção, superando métodos genéricos de alinhamento.

4. Resultados

O EmoCtrl foi avaliado contra modelos State-of-the-Art (SOTA), incluindo Stable Diffusion, SDXL, PixArt, métodos personalizados (Textual Inversion, DreamBooth) e outros métodos afetivos (EmoGen, EmotiCrafter).

• Métricas Quantitativas:
  • Emo-A (Precisão Emocional): EmoCtrl alcançou 64,64%, superando amplamente o segundo melhor (EmoGen com 45,23%).
  • CLIP-A (Fidelidade de Conteúdo): 83,06%, mantendo-se competitivo com modelos T2I puros, demonstrando que a emoção não destrói o conteúdo.
  • EC-A (Precisão Conjunta): 50,99%, o dobro do segundo melhor método, indicando o melhor equilíbrio entre os dois objetivos.
• Estudo com Usuários:
  • Em uma votação com 48 participantes, o EmoCtrl recebeu 88,75% das preferências para "evocação de emoção" e 86,77% para "fidelidade de conteúdo", superando significativamente todos os concorrentes.
• Estudo de Ablação:
  • A remoção dos tokens visuais ($v_v$) causou a maior queda de desempenho, indicando que as pistas perceptuais visuais são cruciais.
  • A remoção da otimização de preferência (EDPO) também reduziu a precisão emocional, confirmando a importância do alinhamento humano.

5. Significado e Impacto

O trabalho é significativo porque:

• Ponte entre Semântica e Afeto: Resolve o dilema de que modelos de IA geralmente escolhem entre "ser fiel ao texto" ou "ser emocional", conseguindo fazer ambos.
• Aplicações Criativas: O modelo demonstra robustez em tarefas criativas, como geração de imagens em estilos artísticos específicos (ex: Picasso, aquarela) com controle emocional, e até a mistura de múltiplas emoções (ex: "Alegria + Medo") em uma única cena.
• Generalização: Os tokens de emoção aprendidos generalizam bem para novos conteúdos não vistos durante o treinamento, provando que o modelo aprendeu conceitos abstratos de emoção visual e não apenas memorizou pares imagem-texto.
• Futuro: Abre caminho para aplicações em design, entretenimento, terapia e interação humano-computador onde o controle fino do tom emocional é essencial.

Em resumo, o EmoCtrl representa um avanço substancial na geração de imagens, transformando a emoção de um subproduto aleatório em uma variável de controle precisa e confiável.