Resumen Técnico: Dirección Semántica para la Generación Controlable

Planteamiento del Problema

Los Transformadores de Difusión Multimodales (MM-DiTs), como las series Stable Diffusion 3 y FLUX, han establecido nuevos hitos en la generación de texto a imagen, superando a los modelos tradicionales basados en U-Net en calidad y resolución. Sin embargo, sus poderosas capacidades generativas introducen riesgos de seguridad significativos, incluyendo el potencial de sintetizar contenido no apto para el trabajo (NSFW), obras protegidas por derechos de autor e imágenes de personas reales.

Los métodos existentes de eliminación de conceptos enfrentan limitaciones críticas cuando se aplican a MM-DiTs:

1. Modificación de Parámetros: La mayoría de los métodos requieren el ajuste fino (fine-tuning) o la modificación de los pesos del modelo. Estos suelen ser específicos de la arquitectura, computacionalmente costosos e impracticables para modelos desplegados a gran escala.
2. Limitaciones de los Métodos Libres de Ajuste (Tuning-Free): Los enfoques actuales sin ajuste, que dependen de intervenciones basadas en prompts (por ejemplo, prompts negativos), tienen dificultades con los MM-DiTs. Debido al extenso preentrenamiento, los MM-DiTs integran los conceptos profundamente en sus representaciones internas, lo que los hace resistentes a la ingeniería de prompts superficial. Además, el espacio semántico expandido y los codificadores de texto dependientes del contexto (por ejemplo, T5-XXL) en los MM-DiTs hacen que los prompts negativos sean ineficaces para capturar asociaciones implícitas y variaciones de conceptos.
3. Desajuste Arquitectónico: Los métodos diseñados para Modelos de Lenguaje Extensos (LLMs) o arquitecturas U-Net de pequeña escala no se traducen bien al proceso de eliminación iterativo y continuo y a la arquitectura de dualidad de modalidades de los MM-DiTs.

Metodología

Los autores proponen un método de dirección semántica libre de ajuste (tuning-free) que manipula directamente las representaciones internas del modelo durante la inferencia. El enfoque se fundamenta en un análisis profundo de la arquitectura MM-DiT y sus mecanismos generativos.

1. Análisis de los Roles por Bloques y Pasos de Tiempo (Timesteps)

A través de un análisis empírico (inyección de ruido y visualización de mapas de atención), los autores identificaron una estructura jerárquica en los MM-DiTs:

• Bloques Tempranos (Early Blocks): Codifican las estructuras globales de la imagen.
• Bloques Tardíos (Late Blocks): Refinan los detalles finos.
• Bloques Medios (Middle Blocks): Codifican primordialmente las representaciones semánticas centrales de los conceptos objetivo.
• Pasos de Tiempo Intermedios (Intermediate Timesteps): Proporcionan la representación más fiel de la semántica objetivo, equilibrando la coherencia estructural y los detalles visuales.

2. Construcción del Vector de Dirección (Steering Vector)

En lugar de operar sobre los tokens de imagen redundantes (por ejemplo, 4096 tokens), el método aprovecha la dispersión de la rama de texto (154–333 tokens).

• Preparación de Datos: Se crea un conjunto de datos de prompts emparejados, donde un prompt contiene el concepto no deseado ($C^-$) y el otro contiene un concepto seguro deseable ($C^+$) con un contexto idéntico.
• Extracción: El modelo procesa estos pares a través de un bloque intermedio ($b$). Los vectores de salida para los tokens textuales específicos que difieren se extraen de la rama de texto.
• Derivación del Vector: Un vector de dirección ($v_{steer}$) se construye computando la diferencia promedio entre las representaciones del concepto seguro y el no deseado:
  $$v_{steer} = l \cdot \frac{v_b}{||v_b||}, \quad \text{donde } v_b = \frac{1}{n} \sum_{i=1}^{n} (x^+_{b,i} - x^-_{b,i})$$
  Aquí, $l$ es un parámetro de fuerza de dirección determinado empíricamente.

3. Inyección del Vector de Dirección

Para asegurar una guía coherente sin distorsionar la imagen, el vector se inyecta estratégicamente:

• Estrategia Espacial: El vector se inyecta en bloques tempranos y medios consecutivos. Inyectar solo en bloques medios/tardíos es ineficaz debido a las estructuras establecidas, mientras que inyectar solo en bloques tempranos causa distorsión estructural. El efecto acumulativo a través de múltiples bloques asegura un cambio unificado en la semántica.
• Estrategia Temporal: Aprovechando la trayectoria de muestreo de flujo rectificado (rectified flow) de los MM-DiTs (que sigue caminos rectos y deterministas), el mismo vector de dirección calculado en un paso de tiempo intermedio se aplica consistentemente en todos los pasos de eliminación de ruido. Esto asegura la coherencia temporal y evita la necesidad de construir un vector por cada paso de tiempo.

Contribuciones Clave

1. Dirección Semántica Ligera: Un marco libre de ajuste diseñado para arquitecturas MM-DiT a gran escala que logra la eliminación controlable de conceptos en el tiempo de inferencia sin modificar los parámetros del modelo.
2. Perspectiva Arquitectónica: El diseño explota propiedades específicas de los MM-DiTs, incluyendo la división por bloques de los roles generativos (concentración semántica en bloques medios), la disparidad de información entre modalidades (uso de tokens de texto dispersos) y la trayectoria de muestreo recta del flujo rectificado.
3. Eficiencia de Vector Único: El método logra una eliminación efectiva utilizando un único vector de dirección inyectado en bloques clave, lo que resulta en una carga computacional insignificante.
4. Evaluación Exhaustiva: Experimentos extensos demuestran un rendimiento de vanguardia en la eliminación de diversos conceptos (celebridades, estilos artísticos, desnudez) manteniendo la calidad de la imagen y la robustez.

Resultados Experimentales

El método fue evaluado en Stable Diffusion-v3.5-medium y FLUX.1 en tres categorías: Celebridad, Estilo Artístico y Desnudez.

• Efectividad de la Eliminación: El método superó a las líneas base (incluyendo Safe Latent Diffusion, TraSCE, Prompt Negativo y métodos de modificación de modelo como UCE y ESD) en métricas de eliminación (GIPHY, LLaVA, matriz de Gram, NudeNet). Por ejemplo, en FLUX.1, logró una puntuación GIPHY de 0.014 para la eliminación de celebridades frente a 0.117 para UCE y 0.433 para SLD.
• Calidad de Imagen: El método preservó la calidad estética y la fidelidad general de la imagen, logrando puntuaciones FID bajas (lo que indica un impacto mínimo en la generación de imágenes no relacionadas) y puntuaciones CLIP competitivas.
• Robustez: El método demostró una robustez superior contra cuatro tipos de ataques adversarios (Ring-A-Bell, MMA-Diffusion, I2P, P4D) dirigidos a la desnudez, logrando las puntuaciones NudeNet más bajas entre todos los métodos probados.
• Controlabilidad: A diferencia de los métodos que simplemente suprimen conceptos, este enfoque permite la dirección multiestilo, permitiendo la transformación de un concepto eliminado en un estilo seguro específico definido por el usuario (por ejemplo, transformar el "estilo Van Gogh" en "Dibujo Animado" o "Acuarela").

Significado y Reivindicaciones

El artículo afirma que este trabajo llena un vacío crítico en la seguridad y controlabilidad de los modelos de texto a imagen de próxima generación. Al cambiar el paradigma de la ingeniería de prompts externa a la intervención directa de la representación interna, el método aborda las limitaciones de los enfoques actuales libres de ajuste en los MM-DiTs.

Los autores enfatizan que su enfoque:

• Evita el costo computacional y las barreras de despliegue asociadas con el ajuste fino de grandes modelos.
• Proporciona una defensa robusta contra ataques adversarios que eluden los filtros basados en prompts.
• Ofrece una base para la investigación futura en generación controlable, demostrando que se puede lograr un control semántico preciso con una intervención mínima (un solo vector) mediante la comprensión de la mecánica generativa intrínseca del modelo.

El trabajo concluye que la dirección semántica es una estrategia viable y efectiva para asegurar el despliegue seguro de los potentes MM-DiTs sin comprometer sus capacidades generativas.