Neighbor-Aware Localized Concept Erasure in Text-to-Image Diffusion Models

Resumen Técnico: NLCE (Neighbor-Aware Localized Concept Erasure)

1. El Problema

Los modelos de difusión texto-a-imagen (T2I) entrenados en grandes conjuntos de datos no curados presentan riesgos de generar contenido dañino, violar derechos de autor o imitar estilos artísticos específicos. Para mitigar esto, se ha desarrollado el borrado de conceptos (concept erasure), que busca eliminar la capacidad del modelo para generar ciertos conceptos visuales sin afectar su capacidad generativa general.

Sin embargo, los métodos existentes, incluso los enfoques de "borrado localizado" (como GLoCE), sufren de un problema crítico denominado "brecha de vecinos" (neighbor gap):

• Al suprimir un concepto objetivo (ej. una raza de perro específica), los métodos actuales a menudo debilitan o degradan la generación de conceptos semánticamente relacionados o vecinos (ej. otras razas de perros similares).
• Esto reduce la fidelidad en dominios de granularidad fina (como especies de flores o razas de perros) y causa una deriva semántica no deseada.
• La mayoría de los métodos actuales son o bien globales (afectan toda la imagen) o bien requieren reentrenamiento costoso (fine-tuning).

2. Metodología: NLCE

Los autores proponen NLCE, un marco sin reentrenamiento (training-free) diseñado para eliminar conceptos objetivo de manera precisa y localizada, mientras se preservan activamente los conceptos vecinos semánticamente relacionados. El método opera en tres etapas coordinadas:

Etapa 1: Modulación del Espacio de Representación (Spectral-Weighted Embedding Modulation)

• Objetivo: Atenuar las direcciones del subespacio del concepto objetivo y estabilizar las representaciones de los conceptos vecinos.
• Mecanismo:
  1. Se identifica el subespacio del concepto objetivo mediante Descomposición en Valores Singulares (SVD) de sus embeddings de texto.
  2. Se aplica una proyección espectralmente ponderada para atenuar las direcciones del objetivo.
  3. Se recuperan conceptos vecinos semánticamente relacionados (mediante búsqueda en una base de datos externa como Wikipedia y filtrado por concreción y popularidad).
  4. Se inyecta un subespacio controlado de estos vecinos para compensar la pérdida de información y evitar el olvido de categorías adyacentes.
  5. Se modifican las matrices de proyección de Key y Value en las capas de atención cruzada del modelo.

Etapa 2: Puerta Espacial Guiada por Atención (Attention-Guided Spatial Gating)

• Objetivo: Localizar y suprimir la influencia residual del concepto objetivo que persiste en el flujo de atención.
• Mecanismo:
  1. Se realiza un paso de "revisión" (dry run) para extraer mapas de atención.
  2. Se detectan los tokens "vivos" (activos) del concepto objetivo.
  3. Se construye un mapa de puerta espacial (gate map) sumando la atención sobre estos tokens en las regiones de la imagen.
  4. En un segundo paso de generación, se suprime selectivamente la atención hacia los tokens objetivo solo en las regiones espaciales donde se detectó actividad residual.

Etapa 3: Limpieza de Características con Puerta (Gated Feature Clean-up)

• Objetivo: Eliminación irreversible de cualquier rastro residual del concepto.
• Mecanismo:
  1. Se convierte el mapa de puerta en una máscara binaria.
  2. Se aplica un borrado duro (hard erasure): se ponen a cero las representaciones latentes en las regiones de la imagen identificadas por la máscara.
  3. Esto garantiza que no queden huellas del concepto objetivo en las zonas críticas, sin afectar las regiones no relacionadas.

3. Contribuciones Clave

1. Identificación de la Brecha de Vecinos: Formalizan el problema donde los métodos de borrado localizado actuales degradan inadvertidamente conceptos semánticamente adyacentes.
2. Marco NLCE: Proponen una tubería principista y sin reentrenamiento que combina modulación espectral, localización espacial y limpieza de características para lograr un borrado completo pero selectivo.
3. Preservación de Vecinos: A diferencia de métodos anteriores, NLCE utiliza explícitamente la información de los vecinos para mantener la estructura semántica de las categorías relacionadas.
4. Eficiencia: Al ser un método de inferencia (sin fine-tuning), es computacionalmente más eficiente que las soluciones basadas en entrenamiento, aunque introduce un ligero sobrecosto por la búsqueda de vecinos y la ejecución de doble paso en la U-Net.

4. Resultados Experimentales

Los autores evaluaron NLCE en múltiples conjuntos de datos y escenarios:

• Dominios de Granularidad Fina (Oxford Flowers, Stanford Dogs):

  • NLCE superó a los baselines (MACE, GLoCE, RECE, etc.) en la métrica de Harmonic Mean (Ho), logrando una eliminación efectiva del objetivo (baja Target Accuracy) mientras mantenía una alta precisión en la retención de conceptos vecinos (alta Retain Accuracy).
  • En pruebas cualitativas, mientras otros métodos generaban imágenes borrosas o cambiaban la raza de perro incorrectamente, NLCE preservaba la apariencia de las razas vecinas.

• Identidad de Celebridades:

  • En el borrado de identidades en imágenes con múltiples personas, NLCE eliminó al objetivo sin distorsionar a las otras personas en la escena, superando a GLoCE y SLD en la preservación del contexto no objetivo (medido por LPIPS en regiones no objetivo).

• Contenido Explícito (I2P Benchmark):

  • Logró una supresión superior de contenido sensible (nudidad, violencia) detectado por NudeNet, manteniendo una alta alineación texto-imagen (CLIP Score) en prompts no relacionados, demostrando que el borrado no degrada la utilidad general del modelo.

• Estilos Artísticos:

  • Eliminó estilos específicos (ej. Van Gogh) sin afectar la capacidad del modelo para generar obras de otros artistas (ej. Picasso, Warhol).

• Borrado Multi-Concepto:

  • El enfoque modular de NLCE permite eliminar múltiples conceptos simultáneamente sin interferencia cruzada, manteniendo alta calidad generativa.

5. Significado e Impacto

Este trabajo es significativo porque aborda una limitación fundamental en la seguridad y el control de los modelos generativos: la especificidad semántica.

• Seguridad y Cumplimiento: Ofrece una solución práctica para eliminar contenido peligroso o protegido por derechos de autor sin "destruir" la capacidad del modelo para generar variaciones legítimas y relacionadas.
• Eficiencia: Al evitar el reentrenamiento, hace que el borrado de conceptos sea escalable y accesible para despliegues en tiempo real.
• Futuro de la IA Ética: Establece un nuevo estándar para el borrado de conceptos que no solo elimina lo indeseado, sino que protege activamente la riqueza semántica del espacio latente del modelo, evitando el "olvido catastrófico" de conceptos vecinos.

En conclusión, NLCE representa un avance hacia modelos de difusión más seguros, controlables y semánticamente robustos, capaces de realizar intervenciones quirúrgicas en su conocimiento sin dañar la estructura global de su capacidad creativa.