SAEmnesia: Erasing Concepts in Diffusion Models with Supervised Sparse Autoencoders

Resumen Técnico: SAEmnesia: Borrando Conceptos en Modelos de Difusión con Autoencoders Dispersos Supervisados

Declaración del Problema
El desaprendizaje de conceptos en modelos de difusión de texto a imagen se ve actualmente obstaculizado por el "desdoblamiento de características" (feature splitting), un fenómeno donde un único concepto se distribuye a través de muchas características latentes (neuronas) en lugar de estar localizado en una sola unidad. Esta representación distribuida, conocida como polisemanticidad, dificulta la identificación y eliminación de conceptos específicos. Los métodos existentes a menudo requieren búsquedas exhaustivas entre numerosas combinaciones latentes para encontrar el subconjunto correcto para la modificación, lo que hace que el proceso sea computacionalmente costoso. Además, los latentes superpuestos desdibujan los límites de los conceptos, aumentando el riesgo de efectos secundarios no deseados en conceptos relacionados durante la intervención.

Metodología
Los autores presentan SAEmnesia, un marco que utiliza un autoencoder disperso supervisado (SAE) para imponer mapeos de uno a uno entre conceptos y neuronas latentes. A diferencia de los enfoques de SAE no supervisados que descubren las características post-hoc, SAEmnesia integra el etiquetado supervisado directamente en el proceso de entrenamiento utilizando los prompts de texto utilizados para generar las imágenes.

Los componentes técnicos principales incluyen:

1. Centralización de Características: Mediante el etiquetado sistemático de conceptos durante el entrenamiento, el método logra una "centralización de características", vinculando cada concepto a una neurona única e interpretable. Esto evita la división de conceptos en múltiples neuronas.
2. Función de Pérdida Supervisada: El objetivo de entrenamiento combina la pérdida de reconstrucción no supervisada estándar con un componente supervisado ($L_{supSAE}$). Esta pérdida supervisada consiste en:
   • Pérdida de Asignación de Conceptos (CA): Fomenta que los latentes asignados específicos se activen fuertamente cuando sus conceptos correspondientes están presentes en la entrada.
   • Pérdida de Descorrelación (DC): Penaliza las correlaciones entre los patrones de activación de los latentes asignados a diferentes macrogrupos de conceptos (por ejemplo, objetos frente a estilos) para promover el desentrelazamiento.
   • Regularización de Dispersión: Un término $L_1$ para asegurar que la mayoría de los latentes permanezcan inactivos para cualquier entrada dada.
3. Inferencia y Borrado: Para borrar un concepto objetivo, el método requiere dirigir únicamente un latente. La activación de este latente específico se multiplica por un valor negativo (normalizado por la activación promedio) para suprimir la influencia del concepto. Este proceso es reversible; desconectar el SAE restaura el modelo original exactamente.

Contribuciones Clave
El artículo describe tres contribuciones primarias:

1. Marco de SAE Supervisado: La introducción de un SAE supervisado que impone explícitamente mapeos de uno a uno entre concepto y latente, eliminando el desdoblamiento de características y permitiendo un control transparente sobre las representaciones de los conceptos.
2. Eficiencia en el Borrado: Demostrar que esta estructura permite el borrado de conceptos mediante la dirección de un solo latente, lo que reduce sustancialmente la necesidad de búsqueda de hiperparámetros durante la inferencia.
3. Mejoras de Rendimiento: Lograr resultados superiores en el benchmark UnlearnCanvas en comparación con los métodos de enfoque mecanicista de vanguardia, un mayor escalabilidad en el desaprendizaje secuencial, una mayor robustez ante ataques adversarios y una supresión efectiva de contenido NSFW.

Resultados Experimentales
Evaluado en el benchmark UnlearnCanvas utilizando Stable Diffusion v1.5, SAEmnesia demuestra mejoras significativas sobre el método basado en SAE actual (SAeUron) y otros enfoques de desaprendizaje:

• Rendimiento del Benchmark: SAEmnesia logra una puntuación media del 91.51% en el desaprendizaje de objetos, una mejora absoluta del 9.22% sobre SAeUron (82.29%). Muestra ganancias consistentes en Precisión de Desaprendizaje (UA), Precisión de Retención Intra-dominio (IRA) y Precisión de Retención Inter-dominio (CRA).
• Eficiencia Computacional: Al reducir el espacio de búsqueda de la exploración de múltiples combinaciones de latentes al ajuste de un solo multiplicador por concepto, el método reduce los requisitos de búsqueda de hiperparámetros en un 96.67% (de 210 evaluaciones a 7).
• Desaprendizaje Secuencial: En tareas que implican la eliminación secuencial de nueve objetos, SAEmnesia mejora la precisión del desaprendizaje en un 28.4% en comparación con la línea base, demostrando una escalabilidad superior.
• Robustez: Bajo ataques adversarios de caja blanca (UnlearnDiffAtk), SAEmnesia retiene un 57.50% de precisión de desaprendizaje frente al 34.20% de SAeUron. También muestra resiliencia en ataques de caja negra (Ring-A-Bell).
• Supresión de NSFW: En el benchmark I2P para la eliminación de desnudez, el método logra resultados de vanguardia (9 detecciones frente a 18 para SAeUron) preservando la calidad de generación.

Significancia y Reivindicaciones
El artículo posiciona a SAEmnesia como un paso adelante hacia un "borrado de conceptos preciso y controlable" en modelos generativos. Al transformar las representaciones distribuidas en características monosemánticas concentradas, el método aborda los desafíos fundamentales de interpretabilidad que han obstaculizado las técnicas de desaprendizaje previas. Los autores afirman que este enfoque permite un control detallado sobre el comportamiento generativo sin modificar los pesos del modelo base, ofreciendo un mecanismo totalmente reversible y transparente para eliminar contenido dañino, inapropiado o protegido por derechos de autor. El trabajo enfatiza que, si bien sirve como una herramienta de investigación para un despliegue más seguro, debe aplicarse junto con mecanismos de evaluación y gobernanza rigurosos para garantizar la fiabilidad.