Resumen Técnico: Guía Desacoplada (DeGu)

1. Planteamiento del Problema

La personalización de texto a imagen busca generar imágenes de un sujeto específico proporcionado por el usuario (por ejemplo, una mascota o producto específico) en escenas novedosas descritas mediante texto. Sin embargo, los métodos existentes sufren una limitación estructural fundamental denominada entrelazamiento de condicionamiento (conditioning entanglement). En los paradigmas actuales —ya sea mediante optimización de embeddings (ej. Textual Inversion), ajuste fino (ej. DreamBooth) o enfoques basados en codificadores— la identidad del sujeto y el contexto de la escena se canalizan a través de una única vía de condicionamiento.

Esta estructura unificada obliga al token del sujeto y a los tokens de contexto a competir por los mismos recursos de atención cruzada. Los autores identifican un fenómeno llamado colapso de atención (attention collapse), donde el token del sujeto aprendido absorbe la mayor parte del presupuesto de atención, suprimiendo sistemáticamente los tokens de contexto (por ejemplo, "bosque", "alfombra púrpura"). Esto crea un compromiso entre fidelidad y editabilidad (fidelity–editability trade-off) rígido: aumentar la fidelidad del sujeto degrada inevitablemente la capacidad del modelo para adherirse a las instrucciones compositivas del prompt de texto, y viceversa.

2. Metodología: Guía Desacoplada (DeGu)

Para resolver este entrelazamiento, los autores proponen la Guía Desacoplada (DeGu), un marco de trabajo plug-and-play que canaliza la identidad del sujeto y el contexto de la escena a través de dos flujos de guía independientes. El marco opera en tres niveles:

A. Embeddings Acontextuales (CAE)

Los métodos estándar entrenan los tokens del sujeto dentro de prompts con carga de contexto (por ejemplo, "un sks en la nieve"), lo que provoca que el embedding codifique coocurrencias lingüísticas. DeGu introduce el CAE, que entrena el token aprendible $[S^*]$ en completo aislamiento utilizando una secuencia que contiene únicamente el token y el relleno (padding) (ej. [SOT] [S*] [EOT]...).

• Mecanismo: El codificador de texto mapea esta secuencia aislada a una condición de fidelidad ($c_f$) que captura únicamente la identidad visual del sujeto, libre de contexto lingüístico.
• Contraste: La condición de contexto ($c_e$) se deriva de prompts de texto estándar que no contienen tokens aprendibles.

B. Mezclador de Guía Desacoplado (DGM)

DeGu reformula la Guía de Clasificador Libre (Classifier-Free Guidance - CFG) para combinar las predicciones de los dos flujos independientes. En lugar de una única predicción condicional, la predicción de ruido $\tilde{\epsilon}(z_t)$ se calcula como:
$$\tilde{\epsilon}(z_t) = \epsilon(z_t) + \gamma_e(\epsilon(z_t, t, c_e) - \epsilon(z_t)) + \gamma_f(\epsilon(z_t, t, c_f) - \epsilon(z_t))$$

• Mecanismo: $c_f$ y $c_e$ se procesan en pasadas hacia adelante separadas, generando pares clave-valor disjuntos para el mecanismo de atención cruzada. Esto elimina la interferencia a nivel de vía.
• Base Teórica: Esta formulación corresponde al score de una distribución de Producto de Expertos (PoE), asumiendo independencia condicional entre las condiciones de fidelidad y editabilidad dado el estado latente.

C. Enmascaramiento de Atención Cruzada en Tiempo de Prueba (TCAM)

Incluso con flujos separados, el flujo de fidelidad ($c_f$) puede filtrar información de fondo de referencia hacia la escena generada. TCAM aborda esto mediante la partición espacial de la guía en cada paso de eliminación de ruido sin necesidad de modelos de segmentación externos.

• M සිදු: TCAM deriva una máscara de sujeto $M_t$ mediante la inversión y binarización del mapa de atención de un token designado no sujeto (por ejemplo, [SOT] o [EOT]) dentro del flujo de fidelidad.
• Aplicación: La guía final está espacialmente restringida: $c_f$ se aplica solo a la región del sujeto ($M_t$), mientras que $c_e$ se aplica al fondo ($1 - M_t$). Esto aprovecha los mapas de atención en el espacio latente, evitando la inestabilidad de decodificar latentes ruidosos para segmentación externa.

3. Contribuciones Clave

1. Diagnóstico del Entrelazamiento de Condicionamiento: El artículo proporciona evidencia causal de que el compromiso entre fidelidad y editabilidad es una consecuencia estructural de los prompts unificados, caracterizada por un "colapso de atención" donde los tokens del sujeto suprimen los tokens de contexto.
2. Marco Desacoplado: DeGu es el primer marco que canaliza explícitamente el sujeto y el contexto a través de flujos de guía independientes, permitiendo el ajuste independiente de la fidelidad ($\gamma_f$) y la editabilidad ($\gamma_e$) durante la inferencia.
3. Integración Plug-and-Play: El método no requiere modificar los pesos del backbone subyacente. Puede aplicarse a métodos de personalización existentes (optimización de embeddings, ajuste fino, métodos basados en codificadores) y diversos backbones (U-Net, Diffusion Transformers) con una sobrecarga de almacenamiento mínima (cientos de kilobytes para los tokens CAE).
4. Partición Espacial: La introducción de TCAM permite un control espacial preciso utilizando mapas de atención internos, eliminando la necesidad de modelos de segmentación externos y la sobrecarga computacional asociada.

4. Resultados Experimentales

Los autores evaluaron DeGu a través de tres backbones (SD v2.1, SDXL, SD v3.5) y múltiples paradigmas:

• Rendimiento Cuantitativo: DeGu empuja consistentemente la frontera de Pareto de la personalización. En SD v2.1, mejoró la puntuación general de Textual Inversion (TI) de 0.4953 a 0.5236 y de DreamBooth de 0.5127 a 0.5254. Mejoró significativamente las métricas de fidelidad enmascarada (MDINO) hasta en +0.0786 manteniendo una editabilidad competitiva.
• Generalización: El método mejoró el rendimiento en la optimización de embeddings, el ajuste fino y los métodos basados en codificadores. También fue efectivo en SD v3.5, que utiliza una arquitectura de Diffusion Transformer (DiT).
• Estudios de Ablación:
  • CAE solo: Recrea el colapso de atención si se coloca en un flujo unificado.
  • DGM solo: Desacopla la guía pero permite la filtración del fondo.
  • DeGu completo: La combinación de todos los componentes logra alta fidelidad y control compositivo.
• Control de Inferencia: El marco permite el control dinámico del equilibrio fidelidad–editabilidad durante la inferencia mediante el ajuste de $\gamma_f$ y $\gamma_e$, una capacidad ausente en los métodos entrelazados.

5. Significación y Reivindicaciones

El artículo afirma que el entrelazamiento de condicionamiento es un cuello de botella estructural en la personalización de texto a imagen que limita la controlabilidad compositiva. Al desacoplar las vías de guía, DeGu traslada el equilibrio fidelidad–editabilidad de una decisión fija en el tiempo de entrenamiento a una elección flexible en el tiempo de inferencia.

Los autores enfatizan que su enfoque:

• No depende de aumentar la capacidad del modelo (ej. añadir más tokens) para resolver el compromiso, sino que reestructura cómo se aplican las condiciones.
• Es agnóstico a la arquitectura, funcionando eficazmente tanto con backbones U-Net como Diffusion Transformer.
• Proporciona un mecanismo con principios para ajustar independientemente la identidad del sujeto y la adherencia a la escena, resolviendo el "colapso de atención" observado en los métodos existentes.

El trabajo se presenta como una mejora modular que mejora los métodos de personalización existentes sin requerir el reentrenamiento de los modelos base, ofreciendo una solución escalable para la generación de imágenes de alta fidelidad y editables.