Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

Resumen Técnico: Elusión de la Protección de Derechos de Autor en la Personalización basada en Difusión mediante la Optimización de Características Latentes en Dos Etapas

Declaración del Problema
El rápido avance de los modelos generativos basados en difusión, particularmente a través de técnicas de personalización como DreamBooth y Textual Inversion, ha introducido riesgos significativos para la propiedad intelectual. Actores malintencionados pueden realizar el ajuste fino (fine-tuning) de estos modelos con imágenes protegidas por derechos de autor para falsificar contenido visual o contrahechizar identidades. En respuesta, los investigadores han desarrollado mecanismos de defensa adversarial (p. ej., AdvDM, SimAC, DisDiff) que inyectan perturbaciones dirigidas en las imágenes de entrada. Estas perturbaciones tienen como objetivo interrumpir la capacidad del modelo para aprender conceptos personalizados, suprimiendo así la generación no autorizada. Sin embargo, los autores observan que estas defensas dependen de una vulnerabilidad específica: interrumpen el mapeo semántico estable entre las imágenes de entrada y sus representaciones en el espacio latente dentro de los Modelos de Difusión Latente (LDM). Si bien son efectivas contra ataques ingenuos, estas defensas introducen ruido de alta frecuencia y corrompen las características latentes, creando una oportunidad para un bypass dirigido.

Metodología: Optimización de Características Latentes en Dos Etapas (TS-LFO)
El artículo propone TS-LFO, un marco de ataque diseñado para restaurar el mapeo imagen-latente interrumpido y eludir las defensas de derechos de autor de vanguardia (SOTA). El método opera bajo un modelo de amenaza de caja blanca donde el atacante tiene acceso a la imagen protegida ($x_{adv}$) y a la arquitectura del LDM (VAE y Unet), pero no a la imagen limpia original ($x$) ni a los parámetros específicos de la defensa.

El marco consiste en dos etapas de optimización secuenciales:

1. Etapa de Denoising Latente:
   El objetivo principal es eliminar las perturbaciones adversariales de alta frecuencia y restaurar la consistencia semántica entre el código latente y la imagen de entrada. Los autores introducen un objetivo de optimización conjunta:

• Pérdida de Alineación Latente-Imagen ($\mathcal{L}_{align}$): Esta pérdida minimiza la discrepancia entre la imagen protegida ($x_{adv}$) y la reconstrucción de la característica latente optimizada ($z$) a través del decodificador VAE. Sorprendentemente, los autores encuentran que el Error Cuadrático Medio (MSE) tradicional supera a las métricas perceptuales como LPIPS o SSIM en este contexto, ya que las métricas avanzadas pueden malinterpretar las perturbaciones adversariales como características legítimas.
• Pérdida de Difusión Latente ($\mathcal{L}_{DM}$): Esta pérdida simula la dinámica de entrenamiento del Unet descendente. Minimiza el error de predicción de ruido de un Unet congelado y preentrenado al procesar la versión ruidosa de la característica latente optimizada. Al reducir este error de entrenamiento de aproximación, el ataque asegura que la característica latente sea "fácil de aprender" para el modelo de difusión.
• Ponderación Variable según el Timestep: Para equilibrar estas dos pérdidas, los autores emplean un factor de peso que varía linealmente ($\lambda_t$) dependiendo del paso de tiempo (timestep) de la difusión. Esto evita que la optimización priorice un término de pérdida sobre el otro en diferentes etapas de la trayectoria de denoising.

2. Etapa de Reconstrucción Latente:
   Tras la etapa de denoising, la característica latente optimizada aún puede carecer de detalles estructurales de alta fidelidad o contener perturbaciones residuales. Esta etapa aplica restricciones a nivel de píxel para refinar la representación latente:

• La característica latente se decodifica al espacio de la imagen, se limita dentro de un rango pequeño ($\epsilon_{rec}$) alrededor de la imagen protegida original para preservar la fidelidad semántica, y luego se vuelve a codificar. Este paso recupera la información semántica de baja frecuencia y asegura que la característica latente final sea adecuada para una generación de alta calidad sin desviarse significativamente del contenido de origen.

Contribuciones Clave

• Marco de Ataque Novedoso: El artículo presenta TS-LFO, un ataque de dos etapas que apunta específicamente al mecanismo por el cual las defensas de derechos de autor interrumpen los mapeos imagen-latente. Utiliza una combinación de pérdidas de alineación y de difusión con ponderación dinámica para restaurar estos mapeos.
• Análisis Mecanicista: Los autores proporcionan un análisis teórico y empírico demostrando que las defensas existentes funcionan corrompiendo la representación latente del codificador y aumentando la pérdida de entrenamiento del Unet. TS-LFO está diseñado para revertir estos efectos específicos.
• Evaluación Exhaustiva: El estudio evalúa TS-LLFO frente a múltiples defensas SOTA (Anti-DreamBooth, AdvDM, SimAC, DisDiff, PhotoGuard) y compara su rendimiento con bases de ataque avanzadas (DiffPure, GrIDPure, IMPRESS) a través de diversos conjuntos de datos (CelebA-HQ, LSUN-Cat, LSUN-Sheep).

Resultados Experimentales
Experimentos extensos demuestran que TS-LFO supera consistentemente a los métodos de ataque de derechos de autor existentes:

• Elusión de Defensas: TS-LFO reduce significativamente la efectividad de las defensas SOTA. Por ejemplo, en experimentos de Textual Inversion, el método recupera las puntuaciones FID (una medida de la calidad de generación) a niveles cercanos al baseline, mientras que los modelos defendidos sin ataque muestran una degradación significativa.
• Superioridad sobre Baselines: Comparado con DiffPure, GrIDPure e IMPRESS, TS-LFO logra un FID más bajo (mejor calidad), una mayor similitud de imagen CLIP y una mejor consistencia de identidad (medida por ISM) en conjuntos de datos de rostros.
• Generalización: El método demuestra ser efectivo a través de diferentes distribuciones de imágenes (rostros, gatos, ovejas) y diferentes técnicas de personalización (DreamBooth y Textual Inversion).
• Estudios de Ablación: Los autores validan la necesidad de cada componente, mostrando que los pesos variables según el timestep y la elección específica de MSE para la pérdida de alineación son críticos para un rendimiento óptimo. También señalan que, aunque TS-LFO requiere aproximadamente 6 minutos por imagen, esto es aceptable comparado con los 15 a 30 minutos requeridos para el entrenamiento de la personalización real.

Significado y Reivindicaciones
El artículo afirma que TS-LFO representa un desafío significativo para la robustez de las estrategias actuales de protección de derechos de autor adversariales. Al explotar la vulnerabilidad específica de la interrupción del espacio latente, los autores demuestran que las defensas actuales pueden eludirse sistemáticamente para lograr una generación de alta fidelidad no autorizada.

Los autores posicionan este trabajo no como un respaldo a la infracción de derechos de autor, sino como una prueba de estrés necesaria para el campo. Argumentan que los investigadores de defensa suelen centrarse en ataques tradicionales y pasan por alto la robustez frente a ataques avanzados y dirigidos como TS-LFO. En consecuencia, el artículo hace un llamado al desarrollo de mecanismos de defensa más sofisticados que tengan en cuenta las vulnerabilidades de las características en los espacios latentes y enfatiza la necesidad de marcos éticos que equilibren la protección de derechos de autor con la innovación abierta en la IA generativa. Los autores ponen su código fuente a disposición pública para facilitar la investigación adicional sobre defensas robustas.