Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Resumo Técnico: Geração Avançada de Imagens via Otimização de Prompt Negativo e Orientação por Classificador Latente

Definição do Problema
Embora os modelos de difusão como o Stable Diffusion tenham revolucionado a geração de texto para imagem, eles frequentemente sofrem com artefatos visuais, deriva semântica e uma falha em aderir estritamente à intenção do usuário. As soluções existentes costumam abordar a engenharia de prompt negativo e a orientação por classificador como desafios separados. Este artigo propõe um framework unificado para otimizar simultaneamente os prompts negativos e orientar o processo de difusão através da avaliação no espaço latente para mitigar esses problemas.

Metodologia
O sistema proposto integra três módulos principais em um pipeline modular, implementado via uma aplicação Streamlit:

1. Otimização de Prompt Negativo: Os autores modelam a geração de prompt negativo como uma tarefa de linguagem condicional. Eles realizam o ajuste fino (fine-tuning) de um modelo Seq2Seq pré-treinado (T5-base) em pares de prompt–prompt negativo utilizando uma abordagem de Ajuste Fino Supervisionado (SFT) com um objetivo de entropia cruzada. Durante a inferência, um algoritmo de busca em feixe (beam search) gera prompts negativos otimizados ($p^-$) dinamicamente para suprimir características indesejadas.

2. Mecanismo de Difusão: O sistema utiliza um pipeline de Stable Diffusion com um agendador DDIM para amostragem determinística. A UNet prevê o ruído com base nos embeddings de texto de entrada (derivados do prompt positivo $p^+$ e do prompt negativo gerado $p^-$) para atualizar a representação latente $z_t$.

3. Orientação por Classificador Latente: Um "Classificador ImprovedLatentCNN RNN" avalia os estados latentes intermediários durante as etapas de difusão. Esta arquitetura híbrida consiste em:

   • Um codificador CNN que extrai características espaciais de vetores latentes de 4 canais.
   • Um GRU bidirecional que agrega essas características ao longo de uma sequência de etapas.
   • Um MLP que produz um logit para determinar uma probabilidade de aceitação ($s_t$).

   O sistema emprega um mecanismo de "rollback" (reversão): se o escore de confiança do classificador para uma atualização latente cair abaixo de um limiar ($\tau = 0.5$) e o limite de rollback ($R=5$) não tiver sido atingido, o sistema reverte para o último estado latente aceito, descartando efetivamente atualizações de baixa qualidade.

Principais Contribuições

• Geração Automatizada de Prompt Negativo: A introdução de um LLM Seq2Seq ajustado para gerar automaticamente prompts negativos eficazes, substituindo a elaboração manual trabalhosa.
• Framework de Dupla Orientação: Uma integração inovadora de otimização de prompt negativo com um classificador híbrido CNN–RNN que orienta dinamicamente as etapas de difusão através do rollback de atualizações latentes indesejáveis.
• Implementação Open-Source: O lançamento do sistema como um projeto de código aberto com uma interface Streamlit amigável para demonstração e experimentação.

Resultados Experimentais
O artigo apresenta avaliações empíricas em um conjunto de dados de sequência latente sintética (200 amostras rotuladas representando sequências de 10 etapas):

• Desempenho do Classificador: O "ImprovedLatentCNN RNN Classifier" demonstrou um desempenho insatisfatório no conjunto de teste não utilizado (held-out). Ele alcançou uma acurácia de 0.400 e um ROC AUC de 0.4261, o que está abaixo do limiar de 0.5 para o acaso (random guessing). Testes estatísticos (testes t pareados) confirmaram que este modelo teve um desempenho significativamente inferior a uma linha de base Vanilla CNN (AUC 0.4511) e outros benchmarks como Regressão Logística e SVM.
• Alegações Qualitativas: Apesar das limitações quantitativas do classificador, os autores afirmam que o framework de dupla orientação, quando aplicado, reduz artefatos visuais e melhora a fidelidade semântica em comparação com técnicas de difusão de linha de base. Exemplos visuais (Figuras 1–3) ilustram a capacidade do sistema de gerar prompts negativos otimizados (ex: "deformado, borrado, anatomia ruim") para um prompt descrevendo um cervo em uma floresta nebulosa.

Significância e Limitações
O artigo posiciona este trabalho como uma direção promissora para uma geração de texto para imagem mais controlável e semanticamente alinhada. Os autores enfatizam que a arquitetura modular permite o treinamento independente e estudos de ablação fáceis.

No entanto, os autores são notavelmente modestos quanto à eficácia do classificador. Eles reconhecem explicitamente que as métricas do classificador (AUC < 0.5) indicam que ele performa pior do que o acaso no conjunto de dados atual, sugerindo que há muito espaço para refinamento. A conclusão afirma que o trabalho futuro deve focar na melhoria do módulo do classificador através de redesenho arquitetural, regularização avançada ou dados rotulados de maior qualidade. O artigo não reivindica que o sistema atual seja o estado da arte em todas as métricas, mas sim estabelece um framework para integrar esses dois mecanismos de orientação, com o entendimento de que o componente de orientação latente requer maior desenvolvimento.