Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

Resumen Técnico: No todo el tiempo y la frecuencia deben olvidarse en el desaprendizaje de difusión

Declaración del Problema
El desaprendizaje de datos en modelos de difusión tiene como objetivo eliminar la influencia de muestras de entrenamiento específicas (el "conjunto de olvido") de un modelo preentrenado, preservando al mismo tiempo la utilidad de los datos restantes (el "conjunto de retención"). Los enfoques actuales de ajuste fino, como el Ascenso de Gradiente (GA) o la Optimización de Preferencias Negativas (NPO), suelen depender de la maximización de la pérdida sobre el conjunto de olvido. Sin embargo, estos métodos suelen sufrir dos problemas críticos:

1. Olvido incompleto: El modelo puede fallar al intentar borrar completamente la instancia específica.
2. Degradación de la calidad: El desaprendizaje agresivo a menudo conduce a generaciones ruidosas, estéticamente pobres o distorsionadas para el conjunto de retención.

Los métodos existentes generalmente tratan todos los pasos de tiempo y componentes de frecuencia de forma uniforme durante el proceso de desaprendizaje. Este artículo sostiene que dicho tratamiento uniforme ignora la dinámica inherente de los modelos de difusión, donde diferentes etapas del proceso inverso (del ruido a los datos) y diferentes componentes de frecuencia contribuyen de manera desigual a la identidad semántica, la memorización a nivel de instancia y el detalle fino.

Metodología
Los autores proponen un marco de Desaprendizaje Selectivo de Tiempo y Frecuencia que apunta a regiones específicas del proceso de difusión en lugar de aplicar actualizaciones uniformes.

1. Olvido Selectivo de Tiempo:

   • Análisis: El artículo aprovecha la comprensión teórica de la dinámica de difusión, identificando dos puntos de transición críticos: el Tiempo de Especiación ($t_S$) y el Tiempo de Colapso ($t_C$).
     • Fase I ($t > t_S$): Captura la semántica gruesa y la identidad de la clase.
     • Fase II ($t_C < t < t_S$): Involucra la atracción a nivel de instancia y la formación de detalles específicos.
     • Fase III ($t < t_C$): Refina los detalles finos y la textura.
   • Estrategia:
     • Para el Desaprendizaje Incondicional, el método se centra en la Fase II (pasos de tiempo intermedios), donde la atracción a nivel de instancia es más fuerte, evitando la degradación de los detalles finos en la Fase III.
     • Para el Desaprendizaje Condicional (texto-a-imagen), el método apunta a la Fase I ($t > t_S$), donde la guía condicional domina la trayectoria antes de que ocurra la especiación.
   • Implementación: Se aplica una función de ponderación temporal $P(t)$ a la función de pérdida, asignando una mayor probabilidad a intervalos específicos (por ejemplo, $[t_C, t_S]$ o $[t_S, T]$) mientras se suprimen las actualizaciones en otros. También se propone un método adaptativo para buscar el punto de transición óptimo $\tau$ (análogo a $t_S$) basado en la magnitud de la guía.

2. Olvido Selectivo de Frecuencia:

   • Análisis: El análisis espectral empírico revela que el desaprendizaje suele introducir ruido de alta frecuencia no deseado, degradando la calidad de la muestra. La distribución de alta frecuencia del conjunto de retención debe permanecer prácticamente sin cambios.
   • Estrategia: Se aplica un filtro de paso bajo al residuo de la pérdida durante el desaprendizaje. La señal del gradiente se proyecta para eliminar los componentes de alta frecuencia del conjunto de olvido, mientras que la entrada al denoiser sigue siendo la muestra ruidosa natural.
   • Implementación: Utilizando la Transformada Rápida de Fourier (FFT), el residuo de la pérdida se enmascara para excluir las frecuencias por encima de un radio de corte $r_t$. Esto asegura que el proceso de desaprendizaje no perturbe los detalles de alta frecuencia esenciales para la calidad de la imagen.

3. Justificación Teórica:

   • Los autores formulan una función de utilidad de olvido-preservación $J_\beta(m)$ basada en la divergencia de Kullback-Leibler (KL) entre las medidas de trayectoria originales y desaprendidas.
   • Demuestran que el desaprendizaje selectivo (actualizando solo en la región $S$) produce una brecha de utilidad estrictamente positiva en comparación con el desaprendizaje total, siempre que las actualizaciones selectivas amplifiquen los cambios en la región objetivo ($\mu \ge 1$) y supriman los cambios en las regiones no objetivo ($\eta \le 1$).

4. Métrica de Evaluación:

   • El artículo introduce $SSCD_{norm}$, una métrica mejorada que normaliza la distancia de perturbación. A diferencia del SSCD estándar, que puede ser artificialmente bajo para imágenes borrosas o degradadas, $SSCD_{norm}$ tiene en cuenta la calidad de la imagen generada, asegurando que una baja disimilitud no se logre a costa de la degradación estética.

Resultados Clave
El método propuesto fue evaluado en CelebA-HQ (incondicional) y Stable Diffusion v1.4 (condicional texto-a-imagen) a través de varios modelos de referencia (GA, SISS, DPO, KTO).

• Desaprendizaje Incondicional: Aplicar la selección de tiempo (centrándose en $t \in [250, 750]$) y la selección de frecuencia (filtro de paso bajo con $r_t=0.15$) mejoró significativamente la $SSCD_{norm}$ y los Puntajes Estéticos en comparación con los modelos de referencia. Por ejemplo, con SISS, el puntaje estético mejoró aproximadamente un 34.8% en $t=250$ y un 25.8% en $t=500$, manteniendo o mejorando las métricas de olvido.
• Desaprendizaje Condicional: En Stable Diffusion, el enfoque selectivo logró una mayor tasa de éxito de desaprendizaje y una convergencia más rápida que la línea base de SISS. Logró eliminar los prompts memorizados mientras mantenía puntajes de calidad CLIP-IQA más altos.
• Ataques de Inferencia de Membresía (MIA): Los métodos existentes mostraron una vulnerabilidad extrema a MIA (errores relativos de hasta $\times 10^7$), lo que indica un exceso de olvido. El método propuesto mitigó sustancialmente esta distorsión colateral (reduciendo los errores a $\times 5.76$ y $\times 53.20$), lo que sugiere una mejor preservación de la variedad de datos (data manifold).
• Generalización: El método demostró efectividad en diferentes arquitecturas (U-Net y Diffusion Transformer) y escenarios de desaprendizaje de conceptos (por ejemplo, detección de desnudez).

Significancia y Reivindicaciones
El artículo afirma proporcionar perspectivas prácticas para comprender y mejorar el desaprendizaje de datos en modelos de difusión al demostrar que el olvido no es un proceso uniforme. Las principales contribuciones son:

1. Estudio Sistemático: Un análisis detallado de cómo los pasos de tiempo y los dominios espectrales contribuyen de manera diferente a la memorización y la utilidad.
2. Marco Simple: Un enfoque de desaprendizaje selectivo que es compatible con objetivos existentes (GA, SISS, DPO, KTO) y requiere cambios arquitectónicos mínimos.
3. Preservación de la Calidad: La capacidad de lograr altas tasas de éxito de desaprendizaje sin la severa degradación de calidad que suele asociarse con el desaprendizaje basado en gradientes.
4. Evaluación Mejorada: La introducción de $SSCD_{norm}$ para evitar la evaluación de métodos de desaprendizaje que dependen de la degradación de la imagen como un sustituto del olvido.

Los autores señalan modestamente que, si bien su método identifica eficazmente las regiones óptimas basándose en límites teóricos existentes, aún no proporciona un método totalmente automatizado para descubrir estas regiones óptimas para cada conjunto de datos específico sin conocimiento previo o sobrecarga de búsqueda adaptativa. No obstante, el trabajo destaca que el desaprendizaje dirigido en ventanas específicas de tiempo y frecuencia es crucial para equilibrar la compensación entre privacidad (desaprendizaje) y utilidad (calidad de generación).