Resumen Técnico: Modulación de Atención Introspectiva para la Generación de Texto a Imagen Segura

1. Planteamiento del Problema

Los modelos de vanguardia de texto a imagen (T2I) basados en flujo, como aquellos basados en Transformadores de Difusión (DiT) y flujos rectificados (por ejemplo, FLUX.1-dev), exhiben capacidades generativas notables pero siguen siendo vulnerables a la producción de contenido inseguro (violencia, imágenes explícitas, contenido sexual). Estas vulnerabilidades se ven exacerbadas cuando los modelos son ajustados mediante técnicas de adaptación eficientes en parámetros como LoRA o DreamBooth, que pueden eludir fácilmente las salvaguardas de seguridad previas al despliegue.

Los mecanismos de seguridad existentes se dividen en tres categorías, cada una con limitaciones significativas:

• Filtrado Externo: Depende de listas negras de prompts o clasificadores basados en CLIP. Estos son frágiles ante el prompting adversarial, el parafraseo y los ataques de jailbreak.
• Supresión basada en Entrenamiento: Involucra el borrado de conceptos o el ajuste fino seguro. Estos métodos son computacionalmente costosos, a menudo limitados a arquitecturas de difusión tempranas específicas, y pueden causar un "borrado semántico colateral" (degradación de la generación de conceptos benignos).
• Guía en tiempo de Inferencia: Métodos como Safe Latent Diffusion (SLD) o Latent Guard requieren reentrenamiento o inducen borrado semántico. Además, las ediciones de pesos pueden ser anuladas por nuevos adaptadores.

El problema central es la falta de un enfoque mecanístico, que no requiera entrenamiento, que pueda intervenir durante el proceso de generación para suprimir conceptos inseguros sin comprometer la coherencia semántica o la calidad perceptual del resultado, particularmente en las arquitecturas modernas basadas en transformadores.

2. Metodología: Modulación de Atención Introspectiva

Los autores proponen una intervención de principios, en tiempo de inferencia, que regula la dinámica de atención de un modelo mediante la "introspección". El método opera sin modificar los pesos del modelo base ni requiere reentrenamiento.

Concepto Central

El método aprovecha la observación de que los mecanismos de atención en los transformadores de difusión codifican estructuras internas ricas. La formación de conceptos inseguros se refleja en patrones de atención específicos (por ejemplo, una alta atención cruzada desde tokens inseguros hacia tokens de regiones corporales de la imagen). El enfoque consiste en analizar estas activaciones de atención en tiempo real y reequilibrarlas para dirigir la generación lejos de conceptos inseguros, preservando la coherencia semántica.

Flujo de Trabajo Técnico

1. Extracción de Atención de Doble Vía: En cada paso de eliminación de ruido $t$, el método extrae estados de atención ($\Phi_t$) tanto de los bloques de transformador de flujo dual como de los de flujo simple. Estos estados incluyen auto-atención (coherencia espacial) y atención cruzada (correspondencia texto-imagen).
2. Optimización con Restricción de Seguridad: El método formula la seguridad como un problema de optimización con restricciones para encontrar un conjunto de atención modulada $\varphi^*_t$. La función objetivo $\mathcal{L}_{int}$ equilibra tres términos:
   • Energía de Coherencia ($E_{coh}$): Penaliza la desviación de una referencia de atención segura ($\Phi^{safe}_t$) para mantener la alineación texto-imagen.
   • Regularizador de Seguridad ($R_{safe}$): Cuantifica la masa de atención insegura utilizando regresores logísticos dispersos precomputados ($W_{unsafe}$) entrenados en ejemplos etiquetados. Este término penaliza los patrones de atención correlacionados con contenido dañino.
   • Divergencia de Proximidad ($D$): Utiliza la divergencia KL para restringir la atención modulada cerca de la $\Phi_t$ original, evitando perturbaciones fuera de la distribución.
3. Proceso de Optimización: El $\varphi^*_t$ óptimo se resuelve mediante descenso de gradiente proyectado (PGD) inicializado en la atención original. Esto permite una supresión fina por cabeza, donde las cabezas con altos patrones inseguros son corregidas, mientras que las cabeceras benignas permanecen mínimamente perturbadas.
4. Control de la Razón de Introspección: Un parámetro $\alpha_{intro}$ controla el equilibrio entre la intervención de seguridad y la fidelidad del resultado, permitiendo una fuerza de seguridad ajustable en tiempo de ejecución.
5. Velocidad Corregida y Muestreo: La atención modulada $\varphi^*_t$ se inyecta de nuevo en el transformador para reevaluar el campo de velocidad ($\hat{v}_\theta$). El paso de generación procede utilizando esta velocidad con restricción de seguridad, dirigiendo la muestra latente hacia resultados seguros.

3. Contribuciones Clave

• Mecanismo Único en su Clase: Introduce un mecanismo de seguridad introspectivo basado en la atención diseñado específicamente para la seguridad en tiempo de inferencia en modelos de transformadores de difusión de alta calidad y modernos.
• Intervención Libre de Entrenamiento: El método no requiere reentrenar el modelo base ni los adaptadores. Opera puramente durante el proceso de inferencia regulando la dinámica de la atención.
  la identificación y extracción de patrones de atención inseguros mediante representaciones de conceptos aprendidas, permitiendo una supresión dirigida.
• Control de Equilibrio Principial: Implementa un proceso de optimización con control de la razón de introspección, proporcionando un control sobre el equilibrio entre seguridad y calidad.
• Evaluación Exhaustiva: Evalúa extensamente la técnica en benchmarks estándar (I2P, SneakyPrompts, MMA-Diffusion, UnlearnDiffAtk) y demuestra la superioridad sobre los métodos de borrado de conceptos existentes (UCE, ESD, EraseAnything, FlowEdit, MCE).

4. Resultados Experimentales

El método fue evaluado en FLUX.1-dev adaptado con LoRA para generación insegura, así como en SDXL.

• Desempeño de Seguridad:
  • En el benchmark I2P, el método logró una Tasa de Nudez (NR) del 39.6%, una mejora relativa del 30% sobre el baseline (56.3%).
  • En SneakyPrompts (jailbreaks adversariales), mantuvo una NR robusta de 70.5% comparado con el 81.5% del baseline.
  • Validación mediante Modelo de Lenguaje-Visión (VLM): Usando Qwen-VL, el método marcó solo el 1.7% de las imágenes como inseguras (16 imágenes), una reducción del 79% respecto al baseline. Notablemente, los baselines de borrado de conceptos (UCE, ESD) a menudo aumentaron las violaciones detectadas por VLM debido a la incoherencia semántica.
• Calidad y Alineación:
  • A diferencia de los métodos existentes que degradan la calidad, el enfoque propuesto mejoró los puntajes CLIP (alineación texto-imagen) en todos los benchmarks. Por ejemplo, en I2P, el puntaje CLIP subió de 30.52 (baseline) a 30.82.
  • El método logró la dominancia de Pareto, mejorando simultáneamente la seguridad y la calidad, mientras que otros métodos enfrentaron un compromiso donde las ganancias de seguridad degradaban la calidad.
• Generalización:
  • El método es agnóstico al modelo, aplicado con éxito a múltiples variantes de FLUX (Dev, Kontext, Schnell, Krea) y SDXL sin reentrenamiento.
  • Suprime eficazmente varias categorías inseguras incluyendo desnudez, violencia, actividades ilegales y autolesiones.

5. Significado y Reivindicaciones

El artículo afirma que la regulación del espacio de atención ofrece un camino considerablemente más prometedor para la generación de imágenes segura en transformadores de difusión que los mecanismos existentes de borrado de conceptos.

Reivindicaciones clave incluyen:

• Robustez Intrínseca: Al regular directamente la dinámica de la atención, el método exhibe una robustez intrínseca contra las adaptaciones de eficiencia de parámetros (como LoRA) que típicamente eluden los filtros de seguridad estáticos.
• Comprensión Mecanística: El enfoque va más allá de los parches post-hoc al intervenir en el propio proceso generativo, abordando la causa raíz de la emergencia de contenido inseguro (patrones de atención) en lugar de solo el resultado.
• Superioridad sobre el Borrado: Los resultados revelan que el borrado de conceptos tradicional puede ser ineficaz o incluso contraproducente en arquitecturas modernas, a veces empeorando la seguridad o causando artefactos visuales severos. En contraste, la modulación de atención introspectiva preserva la coherencia visual y la fidelidad semántica.
• Despliegue Práctico: El método permite desplegar un único modelo con fuerza de seguridad ajustable en tiempo de ejecución, eliminando la necesidad de mantener múltiples versiones del modelo para diferentes niveles de seguridad.

Los autores reconocen limitaciones, señalando que el método depende de representaciones de conceptos de seguridad aprendidas que pueden tener brechas de cobertura frente a prompts altamente adversariales (por ejemplo, SneakyPrompts), y que asume un contexto de operación de seguridad confiable. Sin embargo, posicionan su trabajo como un paso fundacional hacia mecanismos de cumplimiento de políticas que permitan la creatividad sin cruzar los límites éticos.