Resumen Técnico: Espacio Vacío (SPACE)

Enunciado del Problema

Los modelos de difusión de texto a imagen (T2I) (DM) entrenados en conjuntos de datos masivos y sin filtrar a menudo generan contenido no deseado, incluido material con derechos de autor e imágenes No Seguras para el Trabajo (NSFW). Si bien el reentrenamiento de modelos es computacionalmente prohibitivo y la filtración posterior a la generación puede ser eludida, la eliminación de conceptos mediante modificación de pesos ofrece una intervención robusta.

Los métodos existentes de eliminación de conceptos en forma cerrada (por ejemplo, UCE, RECE, SPEED) actualizan los pesos de la atención cruzada sin retropropagación, ofreciendo ventajas de velocidad sobre el ajuste fino basado en divergencia. Sin embargo, estos métodos exhiben una degradación significativa del rendimiento al escalar desde arquitecturas más pequeñas (por ejemplo, Stable Diffusion 1.5) hasta arquitecturas más grandes (por ejemplo, Stable Diffusion XL). Los autores atribuyen este fracaso al aumento masivo de los parámetros de atención cruzada (de 19 M a 340 M para claves/valores), donde la redundancia inherente del espacio paramétrico de alta dimensión permite que la información específica del concepto se distribuya a través de grandes matrices de pesos, haciendo ineficaces las actualizaciones densas de norma mínima.

Metodología: Eliminación de Conceptos basada en Atención Cruzada Esparsa (SPACE)

SPACE propone un enfoque novedoso que induce esparsidad de parámetros dentro de las capas de atención cruzada para lograr una eliminación efectiva de conceptos en modelos a gran escala. A diferencia de las técnicas previas de olvido basadas en esparsidad que dependen de la retropropagación, SPACE opera mediante una actualización iterativa en forma cerrada.

Formulación Central

El método se basa en el marco de Edición Unificada de Conceptos (UCE), pero modifica el objetivo de optimización para incluir un término de regularización $L_1$. El objetivo es encontrar una matriz de pesos $W$ que minimice la pérdida de eliminación y preservación mientras satisface una restricción de esparsidad:

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

Donde:

• $\mathcal{L}(W)$ es la pérdida estándar de UCE que comprende términos para eliminar conceptos objetivo ($E$), preservar conceptos no objetivo ($P$) y mantener la proximidad a los pesos originales ($W^o$).
• $\|W\|_{1,1}$ es la norma $L_1$ elemento a elemento, que promueve la esparsidad.
• $\lambda$ controla la fuerza de la esparsidad.

Optimización mediante FISTA

Debido a la no suavidad de la norma $L_1$, una solución en forma cerrada de un solo disparo es imposible. SPACE emplea el Algoritmo de Umbralización de Encogimiento Rápido Iterativo (FISTA) para resolver este problema de optimización convexa.

1. Paso de Gradiente: Calcular el gradiente de la parte suave de la pérdida ($\nabla \mathcal{L}$). La constante de Lipschitz $L$ se deriva analíticamente basándose en los valores singulares de las matrices de incrustación de conceptos, asegurando tamaños de paso adaptativos.
2. Paso de Encogimiento: Aplicar el operador de encogimiento $T_{\alpha}$ al paso de gradiente para imponer esparsidad:
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. Momento: Actualizar la variable auxiliar $\theta$ utilizando momento para acelerar la convergencia ($O(1/k^2)$).

Este proceso modifica iterativamente los parámetros de atención cruzada, concentrando la mapeo del concepto en un subespacio de baja dimensión de parámetros de alto impacto mientras pone a cero los pesos redundantes.

Contribuciones Clave

1. Inducción de Esparsidad para Eliminación: El artículo demuestra que inducir esparsidad en los parámetros de atención cruzada es crítico para una eliminación efectiva de conceptos en modelos grandes (SDXL), donde los métodos densos en forma cerrada fallan.
2. Esparsidad en Forma Cerrada: SPACE es el primer marco que integra la esparsidad de parámetros en un procedimiento de actualización en forma cerrada, evitando el costo computacional de la retropropagación requerido por otros métodos de olvido basados en esparsidad.
3. Eficiencia de Almacenamiento: Al lograr una esparsidad del 80%-90% en los pesos de atención cruzada, SPACE reduce la huella de almacenamiento de los parámetros modificados en aproximadamente un 70% (utilizando el formato de Fila Esparsa Comprimida), facilitando la personalización escalable de modelos y el despliegue en el borde.
4. Robustez: El método mejora significativamente la robustez frente a prompts adversarios diseñados para reevocar conceptos eliminados.

Resultados Experimentales

Los autores evaluaron SPACE en Stable Diffusion XL (SDXL), Stable Diffusion 1.5 (SD1.5) y Juggernaut-XL a través de dos tareas principales: eliminación de estilo artístico y eliminación de desnudez.

• Eliminación de Estilo Artístico (SDXL): SPACE superó a las líneas base más avanzadas (CAbl, SAFREE, UCE, RECE, SPEED) en la eliminación de artistas individuales y múltiples (por ejemplo, Van Gogh, Monet, Picasso). Logró el mejor equilibrio entre la efectividad de la eliminación (menor puntuación/precisión de CLIP para objetivos) y la preservación de estilos no objetivo. Cabe destacar que, mientras UCE falló en eliminar estilos efectivamente en escenarios de múltiples artistas, SPACE mantuvo una alta eficacia.
• Eliminación de Desnudez:
  • SD1.5: SPACE (con esparsidad fuerte) redujo las tasas de generación de desnudez a 0.028 en la referencia I2P, superando a UCE (0.394) y otros métodos sin entrenamiento.
  • SDXL y Juggernaut-XL: SPACE redujo significativamente la generación de desnudez en comparación con UCE y SPEED. Por ejemplo, en SDXL, SPACE redujo el conteo total de regiones corporales desnudas a 16 (frente a 37 para UCE).
• Robustez: SPACE demostró una resistencia superior a prompts adversarios (Ring-A-Bell, MMA-Diffusion) en comparación con las líneas base densas.
• Eficiencia:
  • Memoria: SPACE requiere menos VRAM (8 GB) que otros métodos de modificación de pesos (por ejemplo, CAbl con 19 GB).
  • Almacenamiento: Los pesos modificados para SDXL se redujeron de ~630 MB (denso) a ~188 MB (esparso), una reducción de ~70%.
  • Tiempo: La eliminación toma aproximadamente 2 minutos para 1000 iteraciones, unas 10 veces más rápido que los métodos basados en retropropagación (por ejemplo, CAbl con 17 minutos).

Significado y Afirmaciones

El artículo afirma que SPACE cierra la brecha entre la eficiencia sin entrenamiento y la eficacia de modelos a gran escala. Los autores afirman que:

• Inducir esparsidad en la atención cruzada no es meramente una técnica de optimización, sino un mecanismo crítico para un olvido exitoso en regímenes de alta dimensión donde las actualizaciones densas tradicionales fallan.
• El método proporciona una ventaja estructural al reducir significativamente los requisitos de almacenamiento, haciéndolo adecuado para entornos que requieren el intercambio rápido de módulos ligeros (por ejemplo, implementaciones en el borde para múltiples usuarios).
• El enfoque mejora la robustez frente a ataques adversarios, abordando una limitación clave de las técnicas de eliminación anteriores.

Los autores mantienen un tono modesto respecto al alcance, señalando que, si bien la esparsidad es crucial para conceptos complejos como estilos artísticos y desnudez, conceptos más simples (objetos, celebridades específicas) pueden no requerir estrictamente esparsidad para una eliminación efectiva, aunque SPACE aún ofrece beneficios de almacenamiento en esos casos. El trabajo se presenta como un paso hacia un despliegue de modelos de difusión más seguro, eficiente y escalable.