Advanced Image Generation: Negative Prompt Optimization and Latent Classifier Guidance

Resumen Técnico: Generación de Imágenes Avanzada mediante la Optimización de Prompts Negativos y Guía de Clasificador Latente

Planteamiento del Problema
Si bien los modelos de difusión como Stable Diffusion han revolucionado la generación de texto a imagen, frecuentemente sufren de artefactos visuales, deriva semántica y una falta de adherencia estricta a la intención del usuario. Las soluciones existentes suelen abordar la ingeniería de prompts negativos y la guía de clasificador como desafíos separados. Este artículo propone un marco unificado para optimizar simultáneamente los prompts negativos y guiar el proceso de difusión mediante la evaluación en el espacio latente para mitigar estos problemas.

Metodología
El sistema propuesto integra tres módulos principales en un flujo de trabajo modular, implementado a través de una aplicación Streamlit:

1. Optimización de Prompts Negativos: Los autores modelan la generación de prompts negativos como una tarea de lenguaje condicional. Ajustan un modelo Seq2Seq preentrenado (T5-base) utilizando pares de prompt–prompt negativo mediante un enfoque de Ajuste Fino Supervisado (SFT) con un objetivo de entropía cruzada. Durante la inferencia, un algoritmo de búsqueda de haz (beam search) genera prompts negativos optimizados ($p^-$) dinámicamente para suprimir características no deseadas.

2. Motor de Difusión: El sistema utiliza un pipeline de Stable Diffusion con un programador DDIM para un muestreo determinista. La UNet predice el ruido basándose en las incrustaciones de texto de entrada (derivadas del prompt positivo $p^+$ y del prompt negativo generado $p^-$) para actualizar la representación latente $z_t$.

3. Guía de Clasificador Latente: Un "Clasificador CNN RNN de Latente Mejorado" evalúa los estados latentes intermedios durante los pasos de difusión. Esta arquitectura híbrida consiste en:

   • Un codificador CNN que extrae características espaciales de vectores latentes de 4 canales.
   • Un GRU bidireccional que agrega estas características a lo largo de una secuencia de pasos.
   • Un MLP que emite un logit para determinar una probabilidad de aceptación ($s_t$).

   El sistema emplea un mecanismo de "retroceso" (rollback): si la puntuación de confianza del clasificador para una actualización latente cae por debajo de un umbral ($\tau = 0.5$) y no se ha alcanzado el límite de retroceso ($R=5$), el sistema revierte al último estado latente aceptado, descartando efectivamente las actualizaciones de baja calidad.

Contribuciones Clave

• Generación Automática de Prompts Negativos: La introducción de un LLM Seq2Seq ajustado para generar automáticamente prompts negativos efectivos, reemplazando la creación manual laboriosa.
• Marco de Doble Guía: Una integración novedosa de la optimización de prompts negativos con un clasificador híbrido CNN–RNN que guía dinámicamente los pasos de difusión mediante el retroceso de actualizaciones latentes indeseables.
• Implementación de Código Abierto: El lanzamiento del sistema como un proyecto de código abierto con una interfaz Streamlit amigable para el usuario para demostración y experimentación.

Resultados Experimentales
El artículo presenta evaluaciones empíricas en un conjunto de datos de secuencia latente sintética (200 muestras etiquetadas representando secuencias de 10 pasos):

• Desempeño del Clasificador: El "Clasificador CNN RNN de Latente Mejorado" demostró un desempeño deficiente en el conjunto de prueba no utilizado. Alcanzó una precisión de 0.400 y un AUC ROC de 0.4261, lo cual está por debajo del umbral de 0.5 para el azar. Las pruebas estadísticas (pruebas t de muestras pareadas) confirmaron que este modelo funcionó significativamente peor que una línea base de CNN Vanilla (AUC 0.4511) y otros referentes como la Regresión Logística y SVM.
• Afirmaciones Cualitativas: A pesar de las limitaciones cuantitativas del clasificador, los autores afirman que el marco de doble guía, al aplicarse, reduce los artefactos visuales y mejora la fidelidad semántica en comparación con las técnicas de difusión base. Los ejemplos visuales (Figuras 1–3) ilustran la capacidad del sistema para generar prompts negativos optimizados (por ejemplo, "deformado, borroso, mala anatomía") para un prompt que describe un ciervo en un bosque neblinoso.

Significancia y Limitaciones
El artículo posiciona este trabajo como una dirección prometedora para una generación de texto a imagen más controlable y semánticamente alineada. Los autores enfatizan que la arquitectura modular permite un entrenamiento independiente y estudios de ablación fáciles.

Sin embargo, los autores son notablemente modestos respecto a la eficacia del clasificador. Reconocen explícitamente que las métricas del clasificador (AUC < 0.5) indican que funciona peor que el azar en el conjunto de datos actual, lo que sugiere un margen significativo para el refinamiento. La conclusión establece que el trabajo futuro debe centrarse en mejorar el módulo del clasificador mediante el rediseño arquitectónico, la regularización avanzada o datos etiquetados de mayor calidad. El artículo no pretende que el sistema actual sea el estado del arte en todas las métricas, sino que establece un marco para integrar estos dos mecanismos de guía, con el entendimiento de que el componente de guía latente requiere mayor desarrollo.