Modular Energy Steering for Safe Text-to-Image Generation with Foundation Models

1. Planteamiento del Problema

Los modelos generativos de texto a imagen (T2I) han avanzado rápidamente, pero su despliegue seguro sigue siendo un desafío crítico. Los enfoques de seguridad existentes presentan limitaciones significativas:

• Filtros de entrada/salida: Sufren de altas tasas de falsos positivos y son vulnerables a prompts adversarios.
• Ajuste fino (Fine-tuning) o "Olvido" (Unlearning): Requieren conjuntos de datos curados y modifican los pesos del modelo, lo que a menudo degrada la calidad de generación o la capacidad general del modelo.
• Dirección en tiempo de inferencia (Inference-time steering): Métodos anteriores a menudo se limitan a refinamientos a nivel de embeddings o dependen de conjuntos de datos de imágenes específicos.

El objetivo es lograr un control de seguridad modular, sin entrenamiento (training-free) y libre de datos, que no degrade la calidad de la generación y sea compatible con diversas arquitecturas (difusión y flujo de coincidencia).

2. Metodología Propuesta

Los autores proponen un marco de Dirección Modular basada en Energía (Modular Energy Steering) que utiliza modelos fundacionales de visión-idioma (VLM) congelados como estimadores de energía semántica durante el proceso de generación.

Concepto Central: Energía Semántica

El método formula el control de seguridad como un problema de muestreo basado en energía. En lugar de modificar el generador, se introduce una guía de seguridad que penaliza la presencia de conceptos no deseados ($y^*$) mediante un término de energía:
$$p_{safe}(x) \propto p(x | c) \exp(-\lambda E_{safety}(x))$$
Donde $E_{safety}(x) = \log p(y^* | x)$ actúa como una penalización si el concepto indeseado está presente.

Componentes Clave:

1. Estimadores de Energía "Off-the-Shelf":

   • CLIP: Se utiliza como un clasificador binario. Se define un conjunto de hipótesis positivas ($Y^+$, conceptos prohibidos) y negativas ($Y^-$, conceptos benignos). Se calcula una puntuación de energía basada en la diferencia de log-probabilidades (usando la función Log-Mean-Exponential) entre estos conjuntos.
   • VLM (Modelos de Lenguaje-Visión): Se utilizan modelos autoregresivos (como InternVL) formulando la detección como una tarea de predicción del siguiente token. Se hace una pregunta binaria (ej. "¿Esta imagen contiene desnudez?") y se extraen los logits de las respuestas "Sí" y "No" para calcular la energía.

2. Mecanismo de Dirección en Tiempo de Inferencia:

   • En cada paso de muestreo del modelo generativo (Difusión o Flujo de Coincidencia), se estima una versión limpia del latente ($\hat{z}_{0|t}$).
   • Este estimado se pasa al modelo fundacional (CLIP o VLM) para obtener un gradiente de seguridad.
   • Si la probabilidad de detectar un concepto no deseado supera un umbral, se aplica un gradiente de dirección (similar a la guía de clasificador) para desviar la trayectoria de generación hacia regiones seguras del espacio de imágenes.
   • Ventaja: No se actualizan los pesos del modelo generador ni se requieren datos de entrenamiento adicionales, solo una lista negra textual de conceptos prohibidos.

3. Escalabilidad Multi-objetivo:

   • El marco permite añadir nuevos conceptos restringidos simplemente expandiendo el conjunto de hipótesis positivas ($Y^+$) o la consulta del VLM, sin necesidad de reentrenamiento.

3. Contribuciones Clave

• Formulación basada en energía: Transforman el control de seguridad en un problema de muestreo basado en energía, modificando el campo de puntuación generativo de manera principista.
• Modelos Fundacionales como Estimadores: Demuestran que modelos preentrenados como CLIP y VLM pueden servir como estimadores de energía semántica efectivos sin entrenamiento específico para la tarea.
• Libre de Datos y Escalable: El método requiere únicamente una lista negra textual definida por el usuario, evitando la necesidad de conjuntos de datos curados o reentrenamiento. Es compatible tanto con modelos de difusión como de flujo de coincidencia (Flow Matching).

4. Resultados Experimentales

Los autores evaluaron su método en Stable Diffusion v1.4 y Stable Diffusion v3 (basado en flujo de coincidencia), comparándolo con métodos estatales del arte (SAFREE, CURE, SafeDenoiser, SGF).

• Supresión de Contenido NSFW (No Seguro para el Trabajo):
  • Lograron una tasa de éxito de ataque (ASR) muy baja en conjuntos de datos de "red-teaming" (P4D, Ring-A-Bell, MMA-Diffusion), superando o igualando a los métodos más avanzados.
  • Mantuvieron una alta calidad de generación en prompts benignos (evaluado mediante FID y CLIP Score en COCO-30K), demostrando que la seguridad no degrada la utilidad del modelo.
• Restricción de Identidades:
  • El método suprimió eficazmente la generación de identidades específicas (ej. Elon Musk, Taylor Swift) y objetos, mientras preservaba la capacidad de generar otras identidades no objetivo.
  • Mostró robustez en la dirección conjunta de múltiples identidades (hasta 18 simultáneamente) sin interferencia cruzada significativa.
• Compatibilidad Arquitectónica:
  • El enfoque funcionó exitosamente en modelos avanzados como SD-v3 y SD-v3.5, demostrando su generalización más allá de las arquitecturas UNet tradicionales.
• Costo Computacional:
  • Se añade una latencia moderada (aprox. 2.7 segundos por imagen en SD-v1.4 debido a la inferencia del modelo fundacional), lo cual se considera un compromiso aceptable frente a la eliminación de la necesidad de reentrenamiento y curación de datos.

5. Significado e Impacto

Este trabajo ofrece un enfoque práctico y escalable para la seguridad en la generación de imágenes. Al utilizar modelos fundacionales existentes como "jueces" en tiempo de inferencia, elimina la barrera de entrada de la necesidad de grandes conjuntos de datos etiquetados o costosos procesos de fine-tuning.

Su capacidad para generalizar a diferentes arquitecturas (difusión y flujo) y manejar múltiples conceptos restringidos simultáneamente lo posiciona como una solución robusta para el despliegue seguro de modelos generativos en entornos reales, equilibrando la protección contra contenido dañino con la preservación de la calidad creativa y la capacidad del modelo.