Resumen Técnico: Guía Negativa Ortogonal en el Espacio de Características de Atención para la Generación de Imágenes a partir de Texto

Enunciado del Problema

Aunque los modelos de Generación de Imágenes a partir de Texto (T2I) han avanzado significativamente en la generación de imágenes de alta calidad, imponer explícitamente la ausencia de objetos o atributos específicos sigue siendo un desafío fundamental. Las estrategias existentes sufren limitaciones notables:

• Negación de Prompts: Simplemente insertar palabras como "no" o "sin" a menudo falla, provocando en ocasiones que el modelo genere el concepto negado incluso con más frecuencia que sin la negación.
• Tuberías de Generación y Edición: Estos métodos primero generan una imagen y luego utilizan modelos de edición para eliminar conceptos no deseados. Sin embargo, dado que los modelos de edición están entrenados para preservar la integridad espacial y estructural, les cuesta eliminar conceptos que requieren una reorganización estructural significativa de la escena.
• Guía Negativa Estándar: Técnicas como la Guía Libre de Clasificador (CFG) y sus variantes (por ejemplo, NAG, NASA) dirigen la generación lejos de los prompts negativos mediante una resta lineal. No obstante, a menudo restan toda la señal negativa, lo que puede degradar la alineación con el prompt positivo y la calidad general de la imagen antes de que el concepto no deseado sea suprimido suficientemente.

Metodología

Los autores proponen la Guía Negativa Ortogonal, un método sin entrenamiento diseñado para modelos T2I de flujo rectificado basados en arquitecturas de Transformador de Difusión Multimodal (MM-DiT) (por ejemplo, FLUX-dev, FLUX-schnell). El método opera dentro del espacio de características de atención para suprimir conceptos no deseados preservando al mismo tiempo las semánticas deseadas.

Mecanismo Central

El método interviene en las salidas de atención de imagen a texto ($Z_{I2T}$) dentro de los bloques MM-DiT, que median las interacciones entre modalidades. El proceso implica dos ramas paralelas:

1. Rama Positiva: Calcula las salidas de atención basadas en el prompt de generación original ($P^+$).
2. Rama Negativa: Calcula las salidas de atención basadas en un prompt negativo auxiliar ($P^-$) que especifica el concepto a suprimir. Crucialmente, esta rama reutiliza las características del lado de la imagen ($Q_I, K_I, V_I$) de la rama positiva para garantizar la alineación espacial, mientras utiliza sus propias características del lado del texto.

Resta Ortogonal

En lugar de restar directamente la salida de atención negativa ($Z_{I2T}^-$) de la salida positiva ($Z_{I2T}^+$), el método aísla y elimina únicamente el componente de la señal negativa que es ortogonal a la señal positiva. La salida de atención modificada $\widehat{Z}_{I2T}^+$ se calcula como:

$$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$$

Donde:

• $\alpha$ es la escala de guía.
• $\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ denota la proyección del vector negativo sobre el vector positivo a lo largo de la dimensión oculta.

Al restar solo el componente ortogonal, el método suprime la información específica del concepto no deseado sin interferir con las direcciones semánticas alineadas con el prompt positivo. Este procedimiento se aplica a todos los bloques MM-DiT a partir de un timestep específico $\tau$.

Contribuciones Clave

1. Guía Negativa Ortogonal: Una intervención novedosa y sin entrenamiento en el espacio de características de atención que suprime eficazmente conceptos no deseados eliminando únicamente el componente ortogonal de las señales de guía negativa, preservando así la alineación del prompt y la calidad de la imagen.
2. DCS-Bench (Bench de Supresión de Conceptos Diversos): Los autores introducen un nuevo benchmark que comprende 200 escenarios de supresión en seis categorías semánticas (por ejemplo, Lugar/Escena, Evento/Acción, Objetos Co-ocurrentes). A diferencia de benchmarks anteriores centrados en la calidad perceptual (por ejemplo, "borroso"), DCS-Bench evalúa la capacidad de suprimir conceptos específicos y de ocurrencia natural que los modelos tienden a alucinar.
3. Evaluación Exhaustiva: Experimentos extensos en FLUX-dev, FLUX-schnell y Stable Diffusion 3.5 Large demuestran que el método supera a las líneas base existentes de guía negativa (CFG, NASA, NAG, VSF) y a las tuberías de generación y edición (Kontext, Qwen-Image-Edit, OmniGen2).

Resultados Experimentales

Rendimiento Cuantitativo

Utilizando métricas basadas en VLM (Supresión de Concepto Negativo, Alineación del Prompt, Calidad de Imagen), el método propuesto logra compensaciones superiores:

• Supresión: En FLUX-dev, el método mejora la Supresión de Concepto Negativo en al menos un 15% sobre todos los métodos de guía negativa anteriores.
• Alineación y Calidad: A diferencia de los métodos de resta lineal que degradan la calidad de la imagen o la alineación del prompt, la Guía Negativa Ortogonal mantiene puntuaciones altas en ambas métricas, comparables al modelo original.
• Evaluación Humana: En un estudio con 111 participantes, el método obtuvo una puntuación de preferencia del 70.81%, superando a la segunda mejor línea base (NAG con 46.22%) en un 18.78%.

Observaciones Cualitativas

• Supresión de Múltiples Conceptos: El método puede suprimir múltiples conceptos simultáneamente listándolos en un único prompt negativo.
• Supresión Ajustable: Variando la escala de guía $\alpha$, los usuarios pueden controlar continuamente la intensidad de la supresión, eliminando gradualmente conceptos sin destruir la escena.
• Casos de Fallo: El método ocasionalmente tiene dificultades con las categorías de Lugar/Escena y Evento/Acción donde el concepto está profundamente integrado en la estructura de la escena (por ejemplo, fallar en eliminar completamente "luces softbox" de un "estudio de fotografía profesional").

Significado y Afirmaciones

El artículo afirma que la Guía Negativa Ortogonal representa un paso significativo hacia adelante en la generación T2I controlable al abordar el compromiso entre la supresión de conceptos y la fidelidad semántica. Los autores enfatizan que su método:

• No requiere reentrenamiento ni parámetros adicionales.
• Se integra perfectamente en arquitecturas modernas de transformadores de flujo rectificado.
• Proporciona un mecanismo más explícito para la eliminación de conceptos en comparación con la negación de prompts o la edición post-hoc.
• Establece un nuevo estándar para la evaluación mediante DCS-Bench, destacando que los métodos actuales son insuficientes para diversos escenarios de supresión del mundo real.

Los autores concluyen que, aunque el método no es una panacea para todas las tareas de edición estructural (donde las tuberías de generación y edición pueden seguir siendo preferidas para la edición secuencial), mejora sustancialmente la capacidad de generar imágenes que se adhieren estrictamente a las restricciones del usuario respecto a la ausencia de conceptos específicos.