Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

Resumen Técnico: Olvido de Conceptos mediante Proyección de Activación de Atención Cruzada para Modelos de Difusión

Enunciado del Problema

El olvido de conceptos tiene como objetivo eliminar conceptos específicos objetivo (por ejemplo, estilos con derechos de autor, semblantes de celebridades o imágenes inseguras) de modelos de difusión texto-a-imagen preentrenados, sin el costo computacional de reentrenar desde cero. Un olvido efectivo debe satisfacer dos requisitos simultáneos: olvidar el concepto objetivo incluso bajo prompts parafraseados o adversarios, y retener la capacidad del modelo para generar todos los demás conceptos no relacionados.

Los métodos de forma cerrada existentes, que aplican una única edición determinista a los pesos del modelo sin ajuste fino basado en gradientes, enfrentan una limitación crítica. Estos métodos (por ejemplo, UCE, CURE) construyen la "base de olvido" utilizando incrustaciones del codificador de texto derivadas de prompts ancla cortos (por ejemplo, "Van Gogh"). Los autores argumentan que las incrustaciones de texto describen el prompt del usuario, pero no capturan cómo el modelo utiliza realmente ese prompt durante el proceso de eliminación de ruido. En consecuencia, los prompts parafraseados que evocan el concepto objetivo sin coincidir con las plantillas de ancla a menudo eluden la edición de olvido, lo que conduce a una "fuga del objetivo".

Metodología: PURE

El artículo propone PURE (Proyección en el Renderizado de U-Net para la Borrado), un método de olvido de forma cerrada que desplaza la construcción de la base desde el espacio de incrustaciones del codificador de texto hacia el espacio de activación de atención cruzada dentro de la U-Net.

Hipótesis Central:
Las activaciones de atención cruzada ($h^\ell$) en la capa $\ell$ reflejan cómo el eliminador de ruido utiliza la condición de texto bajo el estado latente actual y el paso de tiempo. A diferencia de las incrustaciones de texto estáticas, estas activaciones capturan la evidencia específica del concepto utilizada realmente durante la generación de la imagen, ofreciendo una mejor generalización a diversas formulaciones de prompts.

Procedimiento Algorítmico:

1. Captura de Activación: Para un conjunto de anclas de olvido ($\mathcal{A}_f$) y anclas de retención ($\mathcal{A}_r$), el modelo ejecuta una trayectoria corta de eliminación de ruido. En cada capa $\ell$ y paso de tiempo, se extraen las activaciones posteriores a la atención, se promedian espacialmente y se agregan en matrices $H^\ell_F$ y $H^\ell_R$.
2. Construcción del Subespacio: Se realiza una Descomposición en Valores Singulares (SVD) sobre $H^\ell_F$ y $H^\ell_R$ para cada capa. Los vectores singulares superiores, hasta un umbral de varianza acumulada ($\tau_F, \tau_R$), forman la base de olvido ($V^\ell_F$) y la base de retención ($V^\ell_R$).
3. Edición Lineal: El método aplica una única actualización lineal a las matrices de proyección de clave ($W^\ell_K$) y valor ($W^\ell_V$) de la atención cruzada. El operador de actualización $E^\ell$ se define como:
   $$E^\ell = I - P^\ell_F (I - P^\ell_R)$$
   donde $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ y $P^\ell_R = V^\ell_R (V^\ell_R)^\top$.
   Los pesos se actualizan mediante multiplicación por la izquierda: $W^\ell \leftarrow E^\ell W^\ell$.
   • Mecanismo: El término $(I - P^\ell_R)$ elimina los componentes alineados con los conceptos de retención, asegurando que $P^\ell_F$ actúe solo sobre el subespacio ortogonal. Restar esto de la identidad asegura que las entradas alineadas con los conceptos de retención pasen sin cambios.
   • Cambio Estructural: A diferencia de los métodos anteriores que multiplican por la derecha en el espacio de texto, PURE multiplica por la izquierda en el espacio de activación ($d_\ell \times d_\ell$), lo que requiere una edición por capa.

Contribuciones Clave

1. Base Basada en Activación: El artículo identifica que construir la base de olvido a partir de activaciones de atención cruzada en lugar de incrustaciones de texto mejora significativamente la detección de conceptos objetivo en prompts naturales y adversarios diversos.
2. Experimento de Sondeo: Un experimento de clasificación binaria demuestra que una base basada en activación logra aproximadamente cinco veces mayor recuperación en prompts parafraseados naturales en comparación con una base basada en texto, confirmando que las características de activación capturan mejor la evidencia del concepto relevante para la generación.
3. Eficiencia de Forma Cerrada: PURE mantiene las ventajas de la edición de forma cerrada: no requiere entrenamiento con gradientes, no necesita funciones de pérdida auxiliares, no requiere ajuste de hiperparámetros de tasas de aprendizaje y no añade costo en tiempo de inferencia después de aplicar la edición.
4. Edición Específica por Capa: El método realiza una SVD y una edición por capa, reconociendo que la representación del concepto varía a lo largo de la profundidad de la U-Net.

Resultados Experimentales

Los autores evaluaron PURE en el Benchmarck de Olvido Holístico (HUB), que cubre diez conceptos en cuatro categorías: Estilo Artístico, Propiedad Intelectual (PI), Celebridad y NSFW.

• Compensación Olvido-Retención: PURE logra la mejor puntuación de media armónica en todas las categorías en comparación con cinco líneas base (ESD, MACE, RECELER, UCE, CURE).
• Supresión del Objetivo: PURE reduce significativamente la fuga del objetivo bajo prompts parafraseados y adversarios en comparación con CURE, que a menudo falla en suprimir las paráfrasis.
• Retención: PURE preserva los conceptos de "retención" (conceptos vecinos en la misma categoría) mejor que los métodos agresivos basados en entrenamiento (que dañan la retención) y mejor que los métodos de forma cerrada en el espacio de texto (que a menudo sacrifican la retención por supresión en las categorías de Estilo).
• Estudios de Ablación:
  • Tamaño del Ancla: Aumentar el número de anclas de olvido naturales mejora la supresión de la base de texto pero degrada la retención. La base de activación mantiene una supresión fuerte con una pérdida mínima de retención incluso a medida que crecen los conjuntos de anclas.
  • Pasos de Eliminación de Ruido: Utilizar un solo paso de eliminación de ruido ($T=1$) degrada severamente el rendimiento, lo que indica que capturar la señal del concepto a lo largo de la trayectoria es esencial.
  • Promedio Latente: Promediar sobre múltiples latentes aleatorios ($n_{lat}$) estabiliza la base hacia direcciones a nivel de concepto en lugar de artefactos específicos del ruido.

Significado y Afirmaciones

El artículo afirma que PURE representa un cambio fundamental en el enfoque del olvido de conceptos de forma cerrada. Al desplazar la construcción de la base desde el espacio estático del codificador de texto hacia el espacio dinámico de activación de atención cruzada, el método supera el modo de fallo principal de las técnicas de forma cerrada existentes: la incapacidad de manejar variaciones de prompts que caen fuera de las plantillas de ancla.

Los autores afirman que PURE proporciona una solución robusta, eficiente y de vanguardia para el olvido de conceptos, ofreciendo un equilibrio superior entre la eliminación de conceptos no deseados y la preservación de la utilidad general del modelo, sin la sobrecarga computacional del reentrenamiento. El trabajo sugiere que la "dirección de olvido" está definida con mayor precisión por el proceso de renderizado interno del modelo que por el texto de entrada por sí solo.