ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

Resumen Técnico: ISAC (Control de Atención de Instancia a Semántica)

Planteamiento del Problema
Los modelos de difusión de texto a imagen (T2I) de pesos abiertos recientes presentan dificultades con prompts de múltiples instancias, exhibiendo frecuentemente dos modos de falla primarios: fallas de conteo (omitir o fusionar los objetos solicitados) y mezcla semántica (filtración de atributos entre objetos similares). Los autores atribuyen estos fallos a las etapas tempranas de la denoisación del proceso de difusión. Aunque los métodos de guía existentes sin entrenamiento (por ejemplo, Attend-and-Excite, Self-Cross) dependen de la atención cruzada (CA) para separar conceptos a nivel de token, asumen que las regiones de las instancias ya han emergido de forma distinta. En las etapas tempranas de denoisación, la semántica condicionada por tokens es a menudo tosca y entrelazada, lo que causa que la guía basada en CA falle al intentar esculpir límites de instancia fiables, particularmente para objetos semánticamente similares (por ejemplo, "un perro y una oveja" o "dos caballos").

Metodología
El artículo propone ISAC (Control de Atención de Instancia a Semántica), un objetivo agnóstico al modelo y sin necesidad de entrenamiento que impone una estrategia de generación jerárquica de "instancia primero". ISAC opera mediante el desacoplamiento de la formación estructural de la vinculación semántica a lo largo de la trayectoria de denoisación, utilizando un enfoque de dos fases:

1. Fase 1: Formación de Instancias ($L_{ins}$)

   • Observación: Los mapas de atención propia (SA) exponen distribuciones de instancias agnósticas a la clase en las etapas tempranas de denoisación, incluso cuando la semántica de los tokens aún no se ha desarrollado.
   • Mecanismo: El método agrupa los mapas de SA en $N$ grupos (donde $N$ es el conteo total de instancias solicitadas) para derivar distribuciones de instancias agnósticas a la clase. Para asegurar la separación, aplica una penalización de Máximo Solapamiento Píxel a Píxel (MPO) entre las máscaras de instancia resultantes, repeliendo las regiones que se solapan.
   • Refinamiento: Se construye una puerta de primer plano (foreground gate) a partir de los mapas de atención cruzada (CA) para restringir el agrupamiento a las regiones relevantes, y se concatenan coordenadas espaciales normalizadas con las características de SA para mejorar la coherencia espacial durante el agrupamiento (por ejemplo, usando K-means).

2. Fase 2: Separación Semántica Consciente de la Instancia ($L_{sem}$)

   • Mecanismo: Una vez establecidos los límites de instancia estables en la Fase 1, ISAC inyecta estas señales estructurales en los mapas de atención cruzada.
   • Objetivo: Se aplica una pérdida de "repeler y vincular" (repel-and-bind). Los tokens que se refieren a diferentes instancias son empujados para alejarse (repel), mientras que los tokens que describen la misma instancia (por ejemplo, un objeto y su atributo) son atraídos para unirse (bind). Esto asegura que los atributos se vinculen dentro de regiones de instancia específicas sin filtrarse a otras.

3. Programación de Pérdida (Loss Schedule)

   • ISAC combina estas fases utilizando un esquema dependiente del tiempo: $\lambda_{ins}(t) = t/T$ y $\lambda_{sem}(t) = 1 - t/T$. Esto asegura que las etapas tempranas se centren en establecer las estructuras de las instancias, mientras que las etapas posteriores refinen las asignaciones semánticas.

Contribuciones Clave

• Diagnóstico Cuantitativo: Los autores proporcionan un análisis cuantitativo que muestra que la mezcla semántica es significativamente mayor para pares de objetos dentro de la misma supercategoría (por ejemplo, animales, vehículos) en comparación con categorías diferentes, validando la necesidad de una separación de "instancia primero".
• Marco ISAC: Un nuevo objetivo novedoso y sin entrenamiento que separa la formación de instancias de la vinculación semántica, sin requerir ajuste fino (fine-tuning), modelos de visión externos o datos de entrenamiento adicionales.
• IntraCompBench: Un nuevo benchmark diseñado para poner a prueba las composiciones de intra-supercategoría (2–5 instancias), dirigido específicamente a los regímenes donde las fallas de conteo y la mezcla semántica son más prevalentes.
• Amplia Aplicabilidad: Se demuestra que el método funciona a través de varios backbones de difusión (SD1.5, SD3.5-M, Flux, Qwen-Image) y tanto en tareas de generación de texto a imagen como de layout a imagen.

Resultos

• Desempeño: En IntraCompBench, ISAC (específicamente la variante de optimización latente, ISACLO) supera significativamente a los métodos previos sin entrenamiento. Por ejemplo, en SD1.5, la precisión de multi-clase para prompts de intra-categoría mejoró de ~20% (el baseline más fuerte) a 36%, y los puntajes espaciales en HRS-Bench casi se duplicaron (0.135 a 0.263).
• Precisión de Conteo: ISACLO logra una mayor precisión en el conteo de instancias que los métodos supervisados por conteo (por ejemplo, CountGen, Counting Guidance) sin requerir modelos auxiliares ni ajuste fino. En SD1.4, alcanzó un 70% de precisión en el conteo de instancias frente al 49% de Counting Guidance.
• Layout-to-Image: Cuando se aplica a controladores de layout (por ejemplo, GLIGEN), ISAC refina cajas delimitadoras (bounding boxes) gruesas y solapadas en máscaras de instancia densas, evitando la fusión de objetos adyacentes.
• Eficiencia: Aunque ISACLO introduce latencia debido a la retropropagación (backpropagation), la variante de selección latente (ISACLS) ofrece una alternativa libre de gradientes adecuada para modelos más grandes (por ejemplo, Flux.2, Qwen-Image) mediante la selección de la mejor muestra de un lote basada en el puntaje ISAC.

Significancia y Reivindicaciones
El artículo afirma que ISAC proporciona un camino práctico y reproducible para cerrar la brecha de fiabilidad entre los modelos de difusión de pesos abiertos y los sistemas comerciales (que a menudo utilizan procesos de razonamiento y datos propietarios). Al estabilizar explícitamente los límites de las instancias antes de asignar la semántica, ISAC aborda la causa raíz de las fallas de múltiples instancias en los pasos tempranos de la difusión. Los autores enfatizan que esta jerarquía de "instancia primero" es una dirección prometedora para el control desacoplado de estructura-semántica, no solo en T2I, sino potencialmente en video y otros entornos generativos estructurados. El trabajo demuestra que se puede lograr una generación de múltiples instancias de alta fidelidad mediante la manipulación de la atención en tiempo de inferencia sin el costo computacional de reentrenar o utilizar modelos perceptuales externos.