Resumen Técnico: ELDiff

Planteamiento del Problema

En la difusión de texto a imagen (T2I) de múltiples objetos, asegurar la consistencia semántica entre los prompts textuales y el contenido visual generado es crítico. Si bien los modelos de difusión supervisados por tokens (por ejemplo, TokenCompose) han mejorado esto mediante el aprendizaje de la consistencia objeto-por-objeto entre el contenido de la imagen y los mapas de segmentación, enfrentan dos limitaciones primarias:

1. Sesgo del Mapa de Segmentación: Los mapas de segmentación obtenidos mediante herramientas como SAM no siempre son fiables. Forzar directamente la consistencia con estos mapas provoca que los modelos se sobreajusten a regiones espurias o incorrectas.
2. Conflicto de Solapamiento Semántico: Cuando múltiples objetos en un prompt corresponden a regiones espaciales que se solapan (por ejemplo, un "gato sobre una silla"), la optimización de la consistencia para cada token sustantivo de forma independiente crea gradientes contradictorios. Esto conduce a una competencia semántica y a la degradación de la calidad de la imagen.

Los métodos existentes carecen a menudo de mecanismos para manejar la incertidumbre de las etiquetas de segmentación o para cuantificar y resolver explícitamente los conflictos entre conceptos semánticos que se solapan.

Metodología

Los autores proponen ELDiff, una estrategia de ajuste fino (fine-tuning) de extremo a extremo que integra el Aprendizaje Profundo Evidencial (EDL) y la Teoría de Dempster-Shafer (DST) en el flujo de trabajo de difusión T2I. El enfoque introduce dos nuevas funciones de pérdida para abordar los problemas identificados sin requerir manipulaciones adicionales durante la inferencia.

1. Pérdida de Evidencia de Píxel ($L_{PixEvi}$)

Para mitigar el sesgo del mapa de segmentación, ELDiff trata los mapas de atención cruzada de los tokens sustantivos como distribuciones de evidencia en lugar de predicciones deterministas.

• Mecanismo: El mapa de atención cruzada se introduce en una red evidencial para producir valores de evidencia ($e$), que parametrizan una distribución de Dirichlet.
• Métrica de Incertidumbre: Utilizando la Lógica Subjetiva, el modelo deriva una masa de creencia ($b$) y un valor de incertidumbre ($u$) para cada píxel. Una alta incertidumbre indica etiquetas poco fiables (por ejemplo, segmentación sesgada).
• Función de Pérdida: La pérdida combina un término de entropía cruzada ($L_{ce}$), una entropía cruzada evidencial ($L_{ice}$) y una divergencia de Kullback-Leibler ($L_{KL}$). Al optimizar la predicción esperada bajo la distribución de Dirichlet, el modelo aprende a mantener la cautela cuando la incertidumbre es alta, evitando el sobreajuste a máscaras de segmentación incorrectas.

2. Pérdida de Conflicto de Tokens ($L_{TokCon}$)

Para resolver los conflictos de solapamiento semántico, ELDiff agrega la evidencia de diferentes tokens sustantivos utilizando la Teoría de la Evidencia de Dempster-Shafer.

• Mecanismo: Los mapas de atención cruzada de diferentes sustantivos se tratan como piezas distintas de evidencia. El modelo calcula un coeficiente de conflicto ($K$) en las regiones de solapamiento utilizando la regla de combinación de la DST.
• Función de Pérdida: La pérdida total consta de:
  • Consistencia intra-objeto ($L_{intra}$): Fomenta que los mapas de atención se centren en sus regiones objetivo.
  • Conflicto inter-objeto ($L_{inter}$): Penaliza las activaciones conflictivas en áreas de solapamiento basadas en el coeficiente de conflicto calculado.
• Objetivo: Esto permite al modelo ajustar adaptativamente la distribución espacial de los mapas de atención, desacoplando eficazmente los conceptos semánticamente solapados.

El objetivo de entrenamiento final combina la pérdida de difusión estándar ($L_{LDM}$) con las pérdidas propuestas:
$$L_{ELDiff} = L_{LDM} + L_{PixEvi} + L_{TokCon}$$

Contribuciones Clave

• Formulación del Problema: El artículo identifica y formula explícitamente los problemas del sesgo del mapa de segmentación y el conflicto de solapamiento semántico en las restricciones de consistencia objeto-por-objeto para la difusión T2I.
• Marco de Trabajo ELDiff: Un nuevo flujo de trabajo de ajuste fino que se integra perfectamente en los modelos de difusión T2I existentes (por ejemplo, Stable Diffusion v1.4, v2.1, v3.5, SDXL y Qwen-Image).
• Pérdida de Evidencia de Píxel: Una nueva pérdida que restringe la sobreconfianza en etiquetas no fiables mediante el modelado de los mapas de atención cruzada como distribuciones de Dirichlet y el uso de la estimación de incertidumbre a nivel de píxel.
• Pérdida de Conflicto de Tokens: Un mecanismo para debilitar los conflictos de solapamiento semántico tratando los tokens sustantivos como evidencias y utilizando la DST para medir y optimizar un factor de conflicto.
• Eficiencia: El método mejora la composición de múltiples objetos sin incurrir en costos adicionales de tiempo de inferencia ni requerir manipulaciones extra durante la generación.

Resultados Experimentales

Experimentos extensos demuestran que ELDiff supera a los modelos de difusión T2I existentes, tanto de entrenamiento como libres de entrenamiento, a través de múltiples backbones y benchmarks:

• Composición de Instancias de Múltiples Categorías: En Stable Diffusion v1.4, ELDiff logra una Precisión de Objeto (OA) de vanguardia de 0.5563, superando a TokenCompose (0.5215). También muestra mejoras significativas en las métricas MG2-MG5.
• Fotorrealismo y Consistencia: ELDiff logra puntuaciones FID más bajas (19.25 en COCO, 55.13 en Flickr) y puntuaciones CLIP más altas en comparación con los modelos base, lo que indica una mejor calidad de imagen y alineación texto-imagen.
• Generalización: El método demuestra una fuerte generalización cuando se aplica a SD v2.1, SD v3.5 y el backbone más fuerte Qwen-Image, superando consistentemente a otras estrategias de ajuste fino (por ejemplo, CoMat, IterComp, TokenCompose) en los benchmarks T2I-CompBench y GenEval.
• Eficiencia: El método mantiene una latencia de inferencia comparable a los modelos base (por ejemplo, ~7.5s para 50 pasos de DDIM), a diferencia de otros métodos que requieren tiempos de inferencia más largos.
• Estudio de Usuarios: En evaluaciones sobre SD v2.1 y v3.5, ELDiff recibió las tasas de preferencia más altas para realismo de imagen, composición y calidad general por parte de evaluadores humanos.

Significado y Reivindicaciones

El artículo afirma que ELDiff proporciona una solución robusta para la composición de múltiples objetos aprovechando las métricas de incertidumbre y la detección de conflictos. Al abordar la falta de fiabilidad inherente de los mapas de segmentación y las contradicciones derivadas de los solapamientos semánticos, ELDiff mejora la tolerancia a fallos del proceso de difusión. Los autores enfatizan que su enfoque ofrece una integración fluida en los flujos de trabajo de entrenamiento existentes, mejorando la calidad de la generación para escenas complejas sin la carga computacional de pasos de inferencia adicionales. Aunque el método muestra un rendimiento superior en la composición de objetos, los autores reconocen modestamente que la vinculación de atributos (por ejemplo, colores o texturas específicas) sigue siendo un área de mejora futura.