Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

Resumen Técnico: El desruido cíclico revela memorias ultraestables en modelos de difusión

Planteamiento del problema
Los grandes modelos generativos, particularmente los modelos de difusión, se entrenan con conjuntos de datos masivos a escala web, lo que crea riesgos donde los modelos pueden retener y reproducir ejemplos específicos del entrenamiento, incluyendo obras de arte protegidas por derechos de autor, medios propietarios y datos personales sensibles. Los ataques de extracción existentes (por ejemplo, "generar y filtrar") dependen fuertemente de señales externas como pies de foto conocidos, el acceso al conjunto de entrenamiento o clasificadores auxiliares para identificar el contenido memorizado. Estos métodos suelen requerir una generación a gran escala seguida de un filtrado post-hoc o inferencia de membresía. Existe la necesidad de un método de extracción que dependa únicamente de la dinámica de muestreo interna del modelo, que no requiera conocimiento previo de los datos de entrenamiento ni de los prompts, y que pueda operar sin inspección de pesos o acceso a gradientes.

Metodología: Desruido Cíclico
Los autores introducen el desruido cíclico (cyclic denoising), un protocolo inspirado en la física de sistemas desordenados impulsados (específicamente la organización aleatoria y el recocido mecánico). El método trata al modelo de difusión como un sistema dinámico en lugar de solo un muestreador.

1. Protocolo: Partiendo de un estado inicial (imagen o latente), el modelo se somete a ciclos repetidos de:

   • Ruido hacia adelante (Forward Noising): Añadir ruido al estado hasta una amplitud intermedia controlada $\gamma$ (donde $\gamma \in [0, 1]$ representa la fracción de la trayectoria de inferencia recorrida).
   • Desruido inverso (Reverse Denoising): Desruir completamente el estado de vuelta a una imagen limpia ($\gamma=0$).
   • Iteración: El resultado de un ciclo inicializa el siguiente, creando una trayectoria estroboscópica observada al final de cada ciclo.

2. Parámetro de control: La amplitud de ciclado $\gamma$ actúa como una amplitud de impulso. Un $\gamma$ bajo aplica perturbaciones débiles, mientras que un $\gamma$ alto aplica perturbaciones fuertes. El proceso utiliza muestreadores estándar (DDPM) con ruido gaussiano fresco en cada paso, lo que lo convierte en un proceso de impulso estocástico cíclico.

3. Mecanismo de detección: Los autores monitorean la similitud de coseno entre estados estroboscópicos consecutivos ($z_n$ y $z_{n-1}$).

   • Episodios de absorción: Mesetas prolongadas de similitud cercana a la unidad indican que la trayectoria se ha bloqueado en un pozo de atracción estable.
   • Salto entre pozos (Basin Hopping): Caídas bruscas en la similitud indican transiciones entre pozos.
   • Ultraestabilidad: Los atractores que persisten durante cientos o miles de ciclos, incluso después de una corrupción severa (alto $\gamma$), se identifican como "ultraestables".

Contribuciones clave

1. Sonda dinámica de paisajes generativos: El artículo establece el desruido cíclico como una herramienta inspirada en la física para atravesar el paisaje generativo aprendido. A diferencia del muestreo estándar que extrae puntos independientes, este método convierte el muestreo en un sistema dinámico controlado por $\gamma$, revelando la estructura de estabilidad del modelo.
2. Caracterización de la dinámica de largo tiempo: Los autores identifican un rico espectro de comportamientos dinámicos:
   • Estados absorbentes triviales: Con amplitudes bajas, las trayectorias colapsan en puntos fijos sin rasgos distintivos o ciclos límite (patrones oscilantes).
   • Salto entre pozos (Basin Hopping): A amplitudes intermedias, el sistema explora el paisaje, saltando entre pozos.
   • Atractores ultraestables: A amplitudes más altas, el sistema se asienta en atractores profundos y de larga duración que resisten el cambio.
3. Transición tipo Yielding (Fluencia): El estudio demuestra una transición análoga al yielding en sólidos desordenados. A medida que $\gamma$ aumenta, el sistema pasa de una fase de "atascamiento" (estados absorbentes) a una fase exploratoria (salto entre pozos), aislando finalmente los atractores más profundos.
4. Ataque de extracción sin prompts: Los autores demuestran que muchos de estos atractores profundos y ultraestables corresponden a imágenes de entrenamiento memorizadas (por ejemplo, fotos de stock, marcas de agua de marcas o artefactos de rastreo web). Esto constituye un ataque de extracción que requiere solo control a nivel de muestreador, sin acceso a datos de entrenamiento, sin captions y sin gradientes.
5. La estabilidad como diagnóstico de memorización: En entornos condicionados por prompts, los autores muestran que eliminar el prompt y continuar el ciclado revela la estabilidad intrínseca de la imagen recuperada. Las imágenes genuinamente memorizadas permanecen bloqueadas (ultraestables) incluso sin condicionamiento, mientras que los pozos basados en conceptos se decorrelacionan rápidamente.

Resultados

• Stable Diffusion v1.4 (Espacio Latente): El método recuperó con éxito imágenes memorizadas, incluyendo plantillas específicas de fotografía de stock (por ejemplo, habitaciones con sillas amarillas, sofás blancos) y logotipos de marcas. La búsqueda inversa de imágenes confirmó que estos eran artefactos duplicados de rastreo web presentes en el conjunto de entrenamiento. Los atractores recuperados formaron una "huella dactilar dinámica" del modelo, que reaparecía a través de diferentes semillas aleatorias e condiciones iniciales.
• CIFAR-10 DDPM (Espacio de Píxeles): El fenómeno se replicó en un modelo más pequeño en el espacio de píxeles. El desruido cíclico llevó al sistema hacia imágenes de entrenamiento memorizadas de CIFAR-10 (por ejemplo, un coche específico), las cuales fueron verificadas contra benchmarks conocidos de memorización. La dinámica exhibió un comportamiento de "sistemas de dos niveles", saltando entre una imagen memorizada y su variante con el giro horizontal (probablemente debido a las aumentaciones de entrenamiento).
• Dependencia de la amplitud:
  • $\gamma$ bajo: Puntos fijos triviales o ciclos límite.
  • $\gamma$ intermedio: Artefactos simples y repetitivos (logotipos, plantillas web).
  • $\gamma$ alto: Imágenes memorizadas ricas y complejas (fotos de productos, escenas detalladas).
• Experimentos de eliminación de prompts: Al ciclar con prompts de memorización conocidos, el sistema convergió a la imagen memorizada. Al eliminar el prompt, estas imágenes permanecieron ultraestables (persistiendo durante miles de ciclos), mientras que los prompts para conceptos no memorizados (por ejemplo, "Abbey Road") resultaron en atractores de conceptos fluctuantes que se decorrelacionaron inmediatamente tras la eliminación del prompt.

Significado y afirmaciones
El artículo afirma que el desruido cíclico proporciona una nueva ruta dinámica para sondear la memorización. Postula que los ejemplos memorizados no son meramente salidas raras de un muestreo estándar, sino atractores profundos y ultraestables en el paisaje generativo que rara vez se visitan a menos que el modelo sea impulsado por perturbaciones cíclicas.

• Privacidad y auditoría: El método sirve como una herramienta práctica para la auditoría de memorización, capaz de identificar contenido de entrenamiento protegido por derechos de autor o sensible sin requerir conocimiento del conjunto de datos de entrenamiento o de prompts específicos.
• Modelo de amenaza: Los autores argumentan que el muestreo estándar puede subestimar significativamente los riesgos de memorización. Un adversario con acceso a nivel de muestreador podría usar el impulso cíclico para extraer contenido sensible que permanece oculto durante la operación normal.
• Conexión con la física: El trabajo une la IA generativa con la física estadística, mostrando que la estabilidad de las representaciones aprendidas en los modelos de difusión refleja las transiciones de fluencia (yielding) observadas en los sólidos desordenados impulsados.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el ataque requiere control a nivel de muestreador (no aplicable a los endpoints de API estándar que solo devuelven muestras finales) y que la caracterización sistemática de la distribución de atractores (por ejemplo, la fracción de los datos totales memorizados recuperables) requiere una investigación cuantitativa adicional.