Resumen Técnico: Look But Don't Touch con Autoencoders Dispersos para el Desaprendizaje en Modelos de Difusión

Declaración del Problema

El artículo aborda el desafío del desaprendizaje de máquinas (machine unlearning) en modelos de difusión (DM), específicamente la eliminación selectiva de conceptos no deseados (por ejemplo, objetos o estilos específicos) sin reentrenar el modelo. Aunque los Autoencoders Dispersos (SAE) han surgido como herramientas prometedoras para la manipulación a nivel de concepto debido a su capacidad para descomponer activaciones neuronales densas en características dispersas y monosemánticas, su aplicación en los DM enfrenta un modo de falla crítico.

Los métodos de desaprendizaje basados en SAE existentes suelen seguir un flujo de trabajo donde se identifican los latentes del SAE que representan un concepto objetivo y luego se dirigen (steered) (manipulándolos mediante multiplicadores negativos) para suprimir el concepto. Los autores observan que esta intervención directa induce frecuentemente activaciones fuera de la distribución (OOD). Debido a que los vectores latentes manipulados no se encuentran en el manifold aprendido por el modelo de difusión, el proceso de reconstrucción genera artefactos visuales severos, degradando la calidad de la imagen y socavando el objetivo de desaprendizaje. El problema central es la brecha entre la detección de conceptos (que los SAE realizan bien) y la intervención de conceptos (donde los SAE fallan en los DM).

Metodología

Los autores proponen un marco llamado Reemplazo de Incrustación de Parches (PER) para desacoplar la detección de la intervención. En lugar de manipular el espacio latente directamente, PER utiliza los SAE únicamente como detectores semánticos.

1. Entrenamiento de SAE e Identificación de Conceptos

• Arquitectura de SAE: Los autores aplican SAEs al flujo residual de las capas de atención cruzada en la red de eliminación de ruido de los DM (por ejemplo, Stable Diffusion v1.5, SDXL Turbo). Utilizan TopK SAEs, que imponen la dispersión reteniendo solo los $k$ latentes más activados, asegurando un nivel de dispersión fijo.
• Mapeo Concepto-Latente: Un análisis basado en puntuación identifica qué latentes del SAE corresponden a conceptos específicos. Los latentes se clasifican según su frecuencia de activación en conjuntos de datos que contienen el concepto objetivo frente a aquellos que no lo contienen.
• Máscara de Detección: Durante la inferencia, se genera una máscara de detección binaria $M^c$ para un concepto $c$. Una ubicación espacial $(h, w)$ se marca como contenedora del concepto si al menos un latente asociado excede su umbral de activación media en un conjunto de validación.

2. Reemplazo de Incrustación de Parches (PER)

En lugar de aplicar un multiplicador negativo a los latentes del SAE (lo que causa desplazamientos OOD), PER reemplaza los datos problemáticos directamente en el mapa de características:

• Estrategia de Reemplazo: Para cada incrustación de parche $\mathbf{X}_{h,w}$ donde la máscara de detección $M^c_{h,w} = 1$, la incrustación es reemplazada por una incrustación $\mathbf{X}_{h',w'}$ muestreada uniformemente de ubicaciones donde el concepto no es detectado ($M^c_{h',w'} = 0$).
• Formulación Matemática:
  $$\tilde{\mathbf{X}}_{h,w} = (1 - \mathbf{M}^c_{h,w})\mathbf{X}_{h,w} + \mathbf{M}^c_{h,w}\mathbf{X}_{h',w'}$$
  donde $(h', w') \sim \mathcal{U}(\{(i, j) \mid \mathbf{M}^c_{i,j} = 0\})$.
• Dilatación: Para tener en cuenta las correlaciones espaciales donde la información del concepto se filtra hacia los parches vecinos, la máscara de detección puede ser dilatada mediante un factor de relleno $p$. Los autores encuentran que $p=1$ es el equilibrio óptimo entre cobertura y preservación del contenido no relacionado.
• Garantía de Distribución Interna (In-Distribution): Dado que todas las activaciones de reemplazo se originan de la misma pasada hacia adelante (forward pass) de la red de eliminación de ruido, las activaciones resultantes $\tilde{\mathbf{X}}$ permanecen estrictamente dentro de la distribución (ID), preservando las estadísticas de activación del modelo y evitando los artefactos causados por la dirección OOD.

Principales Contribuciones

1. Identificación de Modos de Falla: El artículo caracteriza sistemáticamente un modo de falla concreto en el desaprendizaje basado en SAE para los DM: la dirección directa de latentes mediante multiplicadores negativos empuja las activaciones fuera del manifold de entrenamiento del DM, resultando en artefactos visuales sistemáticos.
2. Marco Basado en Detección (PER): Los autores introducen PER, un método que aprovecha los SAE exclusivamente para la localización de conceptos. Al reemplazar las incrustaciones de parches detectadas con incrustaciones libres de conceptos de la misma pasada de características, PER elimina los conceptos no deseados mientras mantiene la coherencia visual y la integridad de la distribución.
3. Mejoras de Rendimiento: El método elimina la necesidad de búsquedas costosas de cuadrícula para la fuerza de intervención ($\gamma$) y logra resultados de vanguardia en el benchmark UnlearnCanvas.

Resultados Experimentales

Los autores evaluaron PER en cuatro pipelines existentes basados en SAE (SAeUron, SAEmnesia, G-SAE y SAE en SDXL Turbo) a través del benchmark UnlearnCanvas (20 clases de objetos, 5 estilos artísticos).

• Reducción de Artefactos: Los métodos de dirección por multiplicador produjeron altas Tasas de Artefactos (AR) (por ejemplo, 57.0% para SAeUron, 61.0% para SAE en SDXL Turbo). La aplicación de PER redujo drásticamente estas tasas (por ejemplo, hasta el 16.3% para SAeUron y el 8.0% para SDXL Turbo).
• Precisión de Desaprendizaje: PER mantuvo o mejoró la Precisión de Desaprendizaje (UA) mientras aumentó significativamente la Precisión de Retención de Dominio Cruzado (CRA). Por ejemplo, en SAEmnesia, PER mejoró la puntuación de Promedio Global (GA) de 81.18% a 91.44%, impulsada en gran medida por un aumento en la CRA de 88.48% a 97.97%.
• Evaluación Humana: En un estudio de usuario comparando SAEmnesia y SAEmnesia+PER, los anotadores humanos prefirieron el resultado de PER en el 95.5% de los casos sin empate.
• Robustez Adversaria: PER demostró una robustez competitiva contra ataques adversarios (UnlearnDiffAtk), mostrando una menor degradación en la efectividad del desaprendizaje en ciertas configuraciones.
• Eficiencia: PER no requiere ajuste fino del modelo, no requiere entrenamiento adicional de SAE y no requiere búsqueda de hiperparámetros para la fuerza de intervención, ofreciendo una alternativa computacionalmente eficiente a los métodos existentes.

Significado y Afirmaciones

El artículo posiciona a los SAE como potentes herramientas de interpretabilidad para analizar modelos generativos, pero destaca una limitación fundamental: las características monosemánticas o dispersas no son inherentemente adecuadas como controles directos para la dirección en modelos de difusión.

Los autores afirman que su trabajo revela una "brecha fundamental entre la detección de conceptos y la intervención de conceptos". Al desacoplar estas tareas —usando los SAE solo para encontrar el concepto y datos de la misma distribución para reemplazarlo— el método logra resultados de eliminación más limpios. El artículo concluye que, para el desaprendizaje en modelos de difusión, preservar el manifold de activación es más crítico que la interpretabilidad del vector de intervención, y que "Look But Don't Touch" (detectar pero no tocar) es una estrategia más efectiva que la manipulación directa.