Filtering Memorization from Parameter-Space in Diffusion Models

Resumen Técnico: Filtrado de la Memorización en el Espacio de Parámetros de Modelos de Difusión

Planteamiento del Problema

La Adaptación de Bajo Rango (LoRA, por sus siglas en inglés) se ha convertido en el mecanismo estándar para personalizar modelos de difusión, permitiendo a los usuarios inyectar nuevos estilos o conceptos mediante actualizaciones ligeras de parámetros. Sin embargo, existe un riesgo significativo de que los LoRA memoricen las imágenes de entrenamiento, lo que conduce a la reproducción de contenido protegido por derechos de autor o sensible. Este problema es particularmente agudo en ecosistemas abiertos (por ejemplo, Hugle Face, CivitAI) donde los usuarios distribuyen pesos de LoRA entrenados sin liberar los datos de entrenamiento subyacentes.

Las estrategias de mitigación existentes son en gran medida inaplicables en este escenario de "caja negra":

• Intervenciones en el tiempo de entrenamiento (por ejemplo, deduplicación de datos, privacidad diferencial) requieren acceso al flujo de trabajo y a los datos de entrenamiento, lo cual no está disponible para los usuarios finales o las plataformas de alojamiento.
• Defensas en el tiempo de inferencia (por ejemplo, optimización de prompts, guía anti-memorización) a menudo requieren conocimiento del contenido memorizado o control sobre el proceso de muestreo, lo cual no puede imponerse a nivel de plataforma.
• Enfoques en el espacio de parámetros (por ejemplo, erradicación de conceptos) típicamente requieren conocimiento previo de los conceptos o prompts específicos que se desean erradicar.

El desafío central abordado por este artículo es: ¿Cómo se puede identificar y filtrar la memorización cuando solo se dispone de los pesos del LoRA liberados y el modelo base preentrenado, sin acceso a los datos de entrenamiento, al procedimiento de entrenamiento ni al contenido específico memorizado?

Metodología: Filtrado Anclado a la Base (BAF)

Los autores proponen el Filtrado Anclado a la Base (BAF), un marco de trabajo libre de entrenamiento y libre de datos que opera directamente en el espacio de parámetros. El método se basa en una visión geométrica respecto a la estructura espectral de los pesos del modelo.

1. Visión Geométrica
Los autores hipotetizan que las adaptaciones generalizables (por ejemplo, un nuevo estilo artístico) se alinean con las direcciones espectrales dominantes (subespacio principal) del modelo preentrenado, mientras que la memorización introduce direcciones específicas de instancias débilmente alineadas.

• Adaptación Generalizable: Reside en subespacios de baja dimensión alineados con las direcciones principales del modelo preentrenado.
• Memorización: Se manifiesta como canales espectrales que están débilmente alineados con el backbone preentrenado.

2. Puntuación de Anclaje
Para cuantificar esta alineación, el método descompone la matriz de actualización de LoRA $\Delta W$ mediante la Descomposición en Valores Singulares (SVD) en canales espectrales. Para cada canal $i$ con vectores singulares $u_i$ y $v_i$, se calcula una puntuación de anclaje $a_i$:
$$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$$
donde $P_L$ y $P_R$ son proyecciones ortogonales sobre los top-$K$ subespacios principales izquierdo y derecho de la matriz de peso preentrenada $W^*$.

• Una puntuación alta ($a_i \approx 1$) indica que el canal se encuentra dentro del subespacio preentrenado (generalizable).
• Una puntuación baja ($a_i \approx 0$) indica que el canal es ortogonal a la estructura preentrenada (potencial memorización).
• Una línea de base de proyección aleatoria ($a_{null} = K^2/mn$) sirve como umbral para distinguir la alineación estructurada del ruido.

3. Algoritmo de Filtrado
BAF aplica una función de puerta a los canales espectrales de la actualización de LoRA:

• BAF-Hard: Una puerta binaria que elimina los canales donde $a_i < a_{null}$.
• BAF-Soft: Una puerta continua $g(a_i) = a_i^\alpha$ que suprime los canales de baja alineación en lugar de eliminarlos por completo, permitiendo un equilibrio entre la fuerza de supresión y la calidad de generación.

4. Selección de Subespacio Adaptativo
Para manejar la decadencia espectral heterogénea a través de diferentes capas y arquitecturas, la dimensión $K$ del subespacio principal se selecciona de forma adaptativa basándose en una regla de energía adaptativa. $K$ se elige de tal manera que la energía acumulada de los top-$K$ valores singulares de los pesos preentrenados supere un umbral $\tau_{energy}$.

Contribuciones Clave

1. Formulación del Problema: Los autores formulan la mitigación de la memorización post-hoc para LoRAs de difusión bajo restricciones estrictas de inaccesibilidad de datos, un escenario relevante para los ecosistemas actuales de intercambio de modelos.
2. Visión Geométrica: Validan la hipótesis de que la memorización se concentra en las direcciones espectrales débilmente alineadas con el subespacio principal preentrenado, mientras que las adaptaciones generalizables están fuertemente alineadas.
3. Marco BAF: Introducen un método libre de entrenamiento y libre de datos que suprime selectivamente las direcciones espectrales relacionadas con la memorización utilizando únicamente la estructura del espacio de parámetros.
4. Validación Empírica: Experimentos extensos demuestran que BAF reduce la memorización preservando o mejorando la calidad de generación, superando las estrategias existentes que dependen de información no disponible.

Resultados Experimentales

Los autores evaluaron BAF en Stable Diffusion v1.5 y SDXL utilizando LoRAs entrenados en los conjuntos de datos Pokémon, CelebA-HQ y LAION-Art. La memorización fue simulada duplicando imágenes "canario" durante el entrenamiento.

• Reducción de la Memorización: Las variantes de BAF (Hard y Soft) lograron consistentemente los puntajes SSCD (Similitud con la Detección Autoconsistente) más bajos entre métodos comparables, reduciendo significativamente la reproducción de imágenes de entrenamiento.
• Calidad de Generación: A diferencia de muchas estrategias de mitigación que degradan la calidad de salida, BAF a menudo mejoró los puntajes estéticos (AES) y de CLIP. Los autores sugieren que eliminar los canales débilmente anclados elimina las direcciones de parámetros ruidosas.
• Comparación: BAF superó a las líneas de base de tiempo de inferencia (RTA, Optimización de Prompts, CFG-Reverse) y a las líneas de base de tiempo de entrenamiento (Deduplicación, DP-LoRA) en el escenario de inaccesibilidad de datos. Se acercó al rendimiento de AMG (Guía Anti-Memorización), que requiere acceso a las imágenes de entrenamiento, pero sin esa dependencia de datos.
• Simulación del Mundo Real: En 20 LoRAs de la vida real descargados de CivitAI (que cubren personajes de anime, celebridades y estilos), BAF fue calificado por evaluadores humanos como el método más efectivo para suprimir la reproducción de personajes manteniendo la calidad visual, superando a todas las líneas de base de tiempo de inferencia.

Significancia y Reivindicaciones

El artículo afirma que la estructura del espacio de parámetros por sí sola proporciona señales fuertes para distinguir la memorización de la adaptación útil. Al aprovechar la relación geométrica entre las actualizaciones de LoRA y el backbone preentrenado, BAF ofrece una solución práctica para mitigar los riesgos de derechos de autor y privacidad en ecosistemas de modelos abiertos donde los datos de entrenamiento no están disponibles.

Los autores posicionan este trabajo como un paso hacia mecanismos de seguridad libres de datos para ecosistemas abiertos. Enfatizan que su enfoque no requiere reentrenamiento, acceso a los datos originales, ni conocimiento del contenido específico memorizado, lo que lo hace directamente aplicable tanto a plataformas de alojamiento como a usuarios finales que deseen desplegar LoRAs de forma segura.