Prototype-Guided Concept Erasure in Diffusion Models

Este trabajo propone un método de borrado de conceptos en modelos de difusión que utiliza prototipos derivados de la geometría de las incrustaciones latentes para eliminar de forma fiable conceptos amplios y complejos, como la violencia o la sexualidad, sin comprometer la calidad de las imágenes generadas.

Lo esencial

Imagina que tienes un chef de cocina digital (un modelo de Inteligencia Artificial) que es increíblemente talentoso. Puede cocinar cualquier plato que le pidas: desde un pastel de cumpleaños hasta un paisaje de Montaña. Pero, como este chef aprendió a cocinar mirando millones de recetas de internet, también aprendió a hacer cosas que no deberíamos ver o que son peligrosas: violencia, contenido sexual explícito, o imitaciones de personajes protegidos por derechos de autor.

El problema es que los métodos actuales para "desaprender" estas cosas son como intentar tapar un agujero en un muro con un solo ladrillo. Funcionan bien si quieres eliminar algo muy específico (como "no dibujes a Pikachu"), pero fallan estrepitosamente con conceptos amplios y complejos (como "no dibujes violencia" o "no dibujes contenido sexual"), porque la violencia o el contenido sexual pueden parecer de mil formas diferentes.

Aquí es donde entra la propuesta de este paper: "Borrado de Conceptos Guiado por Prototipos".

La Analogía: El Equipo de Detectives vs. Un Solo Agente

El problema de los métodos antiguos:
Imagina que quieres que el chef deje de cocinar "comida picante". Los métodos antiguos le dicen: "Oye, no uses chiles". Pero el chef es listo: si no usas chiles, usa pimienta negra, o mostaza, o un pimiento rojo. El concepto "picante" es amplio y tiene muchas caras. Si solo bloqueas una cara, el chef sigue cocinando picante de otras formas.

La solución de este paper (Los Prototipos):
En lugar de enviar un solo agente a vigilar al chef, envías a un equipo de detectives (los prototipos).

1. La Investigación (Crear los Prototipos):
   Los investigadores le piden al chef que cocine muchas versiones de "violencia" o "contenido sexual". Luego, comparan esas imágenes con otras que no tienen violencia.

   • Detective 1: Se fija en la sangre y las heridas.
   • Detective 2: Se fija en las armas y las peleas.
   • Detective 3: Se fija en las multitudes enfadadas y los disturbios.
   • Detective 4: Se fija en los gritos y la tensión.

   Cada detective aprende una "cara" diferente de la violencia. Juntos, forman un equipo completo que entiende que la violencia no es solo sangre, sino también gritos, armas o caos.

2. La Misión (El Borrado):
   Cuando un usuario le pide al chef: "Hazme una imagen de una batalla épica", el sistema no solo bloquea la palabra "violencia".

   • Primero, mira qué detective se parece más a lo que el usuario pidió.
   • Si la petición suena a "disturbio", activa al Detective de Disturbios.
   • Si suena a "sangre", activa al Detective de Sangre.
   • Le dice al chef: "Cocina la batalla, pero evita específicamente lo que este detective está vigilando".

¿Por qué es genial esto?

• No necesita reentrenar al chef: A diferencia de otros métodos que requieren volver a entrenar al modelo desde cero (lo cual es lento y costoso), este método es como darle un "manual de instrucciones" rápido antes de que empiece a cocinar. Es sin entrenamiento (training-free).
• Cubre todas las caras: Como tiene varios "detectives" (prototipos), no se le escapa ninguna forma de violencia o contenido inapropiado. Si intentas disfrazar la violencia de otra manera, otro detective la atrapará.
• Mantiene la calidad: No le dice al chef "no hagas nada". Le dice "haz tu arte, pero quita esto". Así, la imagen sigue siendo hermosa y detallada, solo que sin los elementos peligrosos.

En resumen

Este paper propone dejar de tratar a conceptos complejos como si fueran una sola cosa. En su lugar, desglosa esos conceptos en sus partes más pequeñas y representativas (los prototipos) y usa esos pedazos para guiar a la IA y que elimine lo malo sin arruinar lo bueno.

Es como si, en lugar de prohibir "el ruido", tuvieras un sistema que sabe exactamente cómo suena un grito, un golpe o un vidrio rompiéndose, y silencia solo esos sonidos específicos, dejando que la música siga sonando perfectamente.

Resumen técnico

Resumen Técnico: Borrado de Conceptos Guiado por Prototipos

1. El Problema

Los modelos de generación de imágenes de texto a imagen (T2I) han demostrado una capacidad notable para sintetizar imágenes de alta fidelidad, pero también aprenden conceptos indeseables presentes en sus datos de entrenamiento (como contenido NSFW, violencia, infracciones de derechos de autor o estereotipos dañinos).

• Limitación de los métodos existentes: Las técnicas actuales de "borrado de conceptos" (concept erasure) funcionan bien para conceptos estrechos (ej. una marca específica como "Pikachu" o una persona famosa como "Elon Musk"), que tienen representaciones visuales y textuales uniformes.
• El desafío de los conceptos amplios: Sin embargo, estos métodos fallan al tratar conceptos amplios y abstractos (ej. "sexual", "violencia", "odio"). Estos conceptos son multifacéticos y se manifiestan a través de una gran variedad de formas visuales, poses, entornos y expresiones textuales.
• La causa raíz: Los métodos anteriores asumen implícitamente que un concepto puede representarse mediante una única dirección vectorial en el espacio de incrustaciones (embedding). Esta suposición es válida para conceptos de baja varianza, pero falla catastróficamente con conceptos de alta varianza, donde una sola dirección no puede cubrir toda la diversidad semántica, resultando en un borrado incompleto.

2. Metodología: Borrado Guiado por Prototipos

El artículo propone un método libre de entrenamiento (training-free) que explota la geometría intrínseca del espacio de incrustaciones del modelo para identificar y suprimir múltiples modos semánticos de un concepto.

A. Construcción de Prototipos de Concepto
En lugar de buscar una única dirección, el método modela el concepto como un conjunto de prototipos que resumen sus diversos modos semánticos:

1. Recolección de Datos: Se generan pares de imágenes: una con el concepto objetivo ($\kappa$) y otra sin él (contraparte), manteniendo el resto del contexto idéntico.
2. Diferencias de Incrustación: Se calculan las diferencias entre las incrustaciones de las imágenes generadas con y sin el concepto utilizando el codificador de imágenes de CLIP.
3. Agrupación (Clustering): Estas diferencias se agrupan (usando K-means) para identificar direcciones semánticas representativas. El centroide de cada grupo se convierte en un prototipo de imagen ($p_I$).
4. Transferencia al Espacio de Texto: Dado que los modelos de difusión latente se condicionan mediante texto, los prototipos de imagen se transfieren al espacio de texto. Se optimizan prompts suaves (soft prompts) aprendibles ($p_T$) para maximizar la similitud coseno con sus contrapartes de imagen en el espacio de incrustaciones compartido de CLIP.

B. Borrado durante la Inferencia
Durante la generación de imágenes:

1. Selección del Prototipo: Dado un prompt de usuario, el sistema calcula la similitud coseno entre el prompt y todos los prototipos de texto aprendidos. Se selecciona el prototipo más relevante (que supere un umbral $\tau$).
2. Guía Negativa: Se integra el prototipo seleccionado como una señal de condicionamiento negativo dentro del mecanismo de Classifier-Free Guidance (CFG).
   • La predicción de ruido se modifica restando la influencia del prototipo negativo:
     $$\tilde{\epsilon}_\theta(z_t, c) = \epsilon_\theta(z_t) + \alpha(\epsilon_\theta(z_t, c) - \epsilon_\theta(z_t)) - \beta(\epsilon_\theta(z_t, p^*_T) - \epsilon_\theta(z_t))$$
   • Donde $\beta$ es la escala de la guía negativa. Esto permite al modelo "despesar" selectivamente los semánticos del concepto objetivo sin afectar la fidelidad del resto del prompt.

3. Contribuciones Clave

1. Identificación de una debilidad crítica: Demostraron que tratar conceptos amplios como una única dirección vectorial es insuficiente y que la diversidad semántica debe modelarse explícitamente.
2. Marco libre de entrenamiento: Propusieron un pipeline que no requiere ajustar los pesos del modelo base (fine-tuning), lo que garantiza una implementación eficiente y adaptable.
3. Modelado multimodal de conceptos: Introdujeron el uso de prototipos derivados tanto del espacio de imágenes como del de texto para capturar la distribución multimodal de conceptos complejos.
4. Rendimiento superior: Validaron empíricamente que su enfoque logra un borrado más completo de conceptos amplios (como violencia o contenido sexual) mientras preserva la calidad de la imagen y la alineación con el texto, superando a métodos basados en entrenamiento y otros métodos libres de entrenamiento.

4. Resultados Experimentales

Los autores evaluaron su método en múltiples benchmarks, incluyendo el conjunto de datos I2P (para conceptos amplios) y tareas de eliminación de estilos artísticos e Propiedad Intelectual (IP).

• Conceptos Amplios (Seguridad):
  • En el conjunto I2P, el método alcanzó las tasas de detección más bajas (o cercanas a las más bajas) en todas las categorías de seguridad (odio, acoso, ilegalidad, autolesión, sexual, impactante, violencia).
  • Logró un Overall de imágenes marcadas como inapropiadas del 5.2%, superando a métodos de vanguardia como TRCE (5.7%), Safree (8.8%) y RECE (8.5%).
  • Mostró una consistencia notable en conceptos semánticamente diversos como "violencia", donde otros métodos fallaban en cubrir sub-categorías (ej. tiroteos vs. derramamiento de sangre).
• Conceptos Estrechos (Estilo e IP):
  • Al eliminar estilos (Van Gogh, Monet) o IPs (Mickey Mouse, Snoopy), el método mantuvo un equilibrio superior entre la eliminación del concepto y la preservación de la calidad general (medido por CLIP Score, FID y Aesthetic Score).
  • Preservó mejor la fidelidad visual en conceptos no relacionados (ej. al borrar "Van Gogh", no se degradó la capacidad de generar "perros" genéricos).
• Robustez y Compatibilidad:
  • Funcionó eficazmente en arquitecturas más nuevas como SDXL y SD 3.5.
  • Mantiene una velocidad de inferencia casi idéntica a la del modelo original, con un costo computacional marginal.

5. Significado e Impacto

Este trabajo representa un paso significativo hacia la creación de modelos generativos más seguros y controlables.

• Paradigma de Seguridad: Cambia el enfoque de tratar los conceptos de seguridad como entidades monolíticas a entenderlos como distribuciones complejas y multifacéticas.
• Viabilidad Práctica: Al ser un método libre de entrenamiento, es fácilmente desplegable en modelos existentes sin necesidad de costosos reentrenamientos o ajustes de hiperparámetros complejos.
• Interpretabilidad: El análisis de los prototipos revela que el modelo puede descomponer conceptos abstractos en sub-conceptos interpretables (ej. para "sexualidad", identifica prototipos para "desnudez explícita", "ropa sugerente", "estilos artísticos", etc.), lo que ofrece una nueva ventana a la comprensión de cómo los modelos de difusión organizan el conocimiento.

En conclusión, la Guía por Prototipos ofrece una solución robusta y eficiente para mitigar la generación de contenido dañino en modelos de difusión, abordando la complejidad semántica que los métodos anteriores no podían resolver.