Projected Gradient Unlearning for Text-to-Image Diffusion Models: Defending Against Concept Revival Attacks

Resumen Técnico: Desaprendizaje de Gradiente Proyectado (PGU) para Modelos de Difusión

1. El Problema: La Vulnerabilidad al "Revival" de Conceptos

Los modelos de difusión de texto a imagen (como Stable Diffusion, DALL·E) enfrentan un desafío crítico de seguridad y cumplimiento legal (GDPR, CCPA): la necesidad de eliminar conceptos indeseables (copyright, contenido explícito, estilos de artistas específicos) sin reentrenar el modelo desde cero.

• Limitación actual: Los métodos de desaprendizaje (machine unlearning) existentes (como ESD, UCE, Receler) logran eliminar el concepto inicialmente, pero sufren de una debilidad fundamental: el concepto eliminado "revive" cuando el modelo se ajusta finamente (fine-tuning) en datos posteriores, incluso si esos datos no tienen relación semántica con el concepto borrado.
• Causa: Los conceptos retenidos en el modelo siguen vinculados semánticamente a los eliminados, creando "caminos" en el espacio de parámetros que permiten restaurar el contenido borrado durante el ajuste fino.

2. Metodología: Adaptación de PGU al Dominio de Difusión

Los autores proponen adaptar el Desaprendizaje de Gradiente Proyectado (Projected Gradient Unlearning - PGU), originalmente diseñado para clasificación, como un paso de endurecimiento post-hoc (después del desaprendizaje inicial) para modelos de difusión.

Conceptos Clave de la Metodología:

• Espacio de Gradiente Central (CGS - Core Gradient Space): Se construye un subespacio basado en las activaciones de la red U-Net de un conjunto pequeño de "conceptos de retención" (retain concepts). Estos no son el conjunto de datos completo, sino prompts seleccionados por su similitud visual con el concepto eliminado.
• Proyección Ortogonal: Durante el ajuste fino posterior, los gradientes de actualización se proyectan sobre el complemento ortogonal del CGS. Esto asegura que las actualizaciones de los parámetros no afecten las direcciones del espacio de características relevantes para la generación del concepto eliminado.
• Adaptaciones Técnicas para Difusión:
  1. Función de Pérdida: Se adapta para objetivos de eliminación de ruido (denoising) en lugar de clasificación.
  2. SVD sobre Activaciones: En lugar de usar salidas de capas, se calcula la Descomposición en Valores Singulares (SVD) sobre las activaciones de la U-Net capturadas mediante hooks durante la inferencia.
  3. Recalibración de $\gamma$: El parámetro que controla la fracción de varianza retenida se ajusta. Mientras que en CNNs se usa $\gamma \in [0.9, 0.95]$, para difusión se encuentra óptimo en $\gamma \in [0.5, 0.7]$ para estilos y $\gamma \in [0.7, 0.9]$ para objetos.

Algoritmo:
El proceso consta de dos fases:

1. Fase 1 (Construcción): Se registran activaciones de prompts de retención para construir las matrices de proyección $P^l$ por capa.
2. Fase 2 (Endurecimiento): Se aplica el desaprendizaje o ajuste fino, pero antes de cada paso del optimizador, el gradiente se proyecta: $\nabla w \leftarrow \nabla w - \nabla w \cdot P^l$.

3. Contribuciones Principales

1. Primera adaptación de PGU a modelos de difusión: Implementación como defensa post-hoc con diseño de pérdida novedoso y recalibración de hiperparámetros.
2. Defensa Modular y Eficiente: Compatible con cualquier método base de desaprendizaje (ESD, UCE, Receler). Es extremadamente rápido (6 minutos en hardware de consumo) comparado con métodos anticipatorios como Meta-Unlearning (2 horas).
3. Validación Exhaustiva: Evaluación en tres escenarios: modelos vulnerables, robustos y con desaprendizaje fallido.
4. Hallazgo Crítico sobre Selección de Conceptos: Se demuestra que la similitud visual (forma, textura, color) es mucho más efectiva para seleccionar conceptos de retención que la similitud semántica (categoría).

4. Resultados y Análisis

Los experimentos se realizaron sobre Stable Diffusion v1.4 con dos conceptos: Estilo Van Gogh (codificación distribuida) y Pelota de Golf (codificación compacta).

• Protección contra Revival:
  • Estilos (Van Gogh): PGU elimina completamente el revival. En modelos ESD-U, reduce la precisión del clasificador de 71.4% a 28.6% (umbral de seguridad), manteniendo el concepto borrado incluso tras 10 etapas de ajuste fino.
  • Objetos (Pelota de Golf): PGU retrasa significativamente el revival (de la etapa C1 a C4, un factor de 4x), aunque no lo elimina totalmente debido a limitaciones arquitectónicas en la codificación de objetos.
• Comparación con Meta-Unlearning:
  • Los métodos son complementarios. PGU es superior para estilos distribuidos (bloquea múltiples direcciones de ataque), mientras que Meta-Unlearning es superior para objetos compactos (simula ataques específicos).
  • Eficiencia: PGU requiere ~12 GB de VRAM y 6 minutos; Meta-Unlearning requiere >40 GB y 2 horas.
• Selección de Conceptos de Retención:
  • Usar conceptos visualmente similares (ej. para "Pelota de Golf": ping-pong, perla, huevo) mejora la protección en un 2x frente a conceptos semánticamente similares (ej. tenis, fútbol). Esto se debe a que las activaciones de la U-Net se superponen más en el espacio de características visuales que en el semántico.
• Caso de Fallo: Si el desaprendizaje inicial falla (ej. UCE con Pelota de Golf), PGU no puede corregirlo, confirmando que es una capa de defensa, no un método de desaprendizaje en sí mismo.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la seguridad de la IA generativa: la fragilidad de los modelos "borrados" ante la adaptación posterior.

• Viabilidad Legal: Ofrece una solución práctica para cumplir con el "derecho al olvido" en modelos desplegados que requieren ajustes finos continuos, sin el costo prohibitivo del reentrenamiento.
• Eficiencia Computacional: Demuestra que es posible endurecer modelos contra ataques de revival con un costo computacional mínimo (minutos vs. horas) y bajo consumo de memoria.
• Dirección Futura: Sugiere que las estrategias de defensa deben elegirse según la naturaleza de la codificación del concepto (distribuida vs. compacta) y propone el uso híbrido de PGU y Meta-Unlearning para una cobertura completa.

En resumen, PGU transforma el desaprendizaje en difusión de un proceso frágil a uno robusto, garantizando que la eliminación de conceptos sea permanente incluso frente a la evolución del modelo mediante ajuste fino.