🤖 AI

Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

Este artículo presenta SPOT, un marco de tiempo de inferencia que proyecta selectivamente las indicaciones inseguras hacia un "conjunto seguro tau" utilizando un LLM y un VLM de salvaguarda para reducir significativamente la generación de imágenes inapropiadas, preservando al mismo tiempo el comportamiento de las indicaciones benignas sin reentrenar el modelo de difusión.

Autores originales: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Publicado 2026-05-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una máquina de arte mágica y congelada (una IA de Texto a Imagen) que puede dibujar cualquier cosa que describas. Es increíblemente talentosa, pero a veces, si le das una instrucción complicada o peligrosa, podría dibujar accidentalmente algo inapropiado.

El problema es: si intentas "arreglar" la propia máquina para que deje de dibujar cosas malas, a menudo rompes accidentalmente su capacidad para dibujar cosas buenas también. Es como intentar evitar que un chef cocine comida picante quitándole el cuchillo; de repente, tampoco puede picar verduras para una ensalada.

Este artículo presenta un nuevo método llamado SPOT (Proyección Selectiva de Instrucciones) que actúa como un editor inteligente situado antes de la máquina, en lugar de intentar reconstruir la propia máquina.

Así es como funciona, usando analogías simples:

1. La regla de la "Máquina Congelada"

Los autores decidieron no tocar la máquina de arte en absoluto. La mantuvieron exactamente como estaba (congelada). ¿Por qué? Porque si cambias la máquina, cambias su personalidad. Querían mantener el comportamiento "bueno" de la máquina exactamente igual, deteniendo solo el comportamiento "malo".

2. El "Mapa de Seguridad" (El Conjunto Seguro τ)

Imagina un mapa donde algunas áreas son "Zonas Verdes" (seguras para dibujar) y otras son "Zonas Rojas" (inseguras).

El Objetivo: Si pides algo en una Zona Verde, el editor deja tu solicitud tal cual. La máquina dibuja exactamente lo que pediste.
El Problema: Si pides algo en una Zona Roja, el editor debe intervenir. Pero en lugar de simplemente decir "No", intenta encontrar la Zona Verde más cercana que aún se parezca a tu solicitud original.

3. El Equipo de Detectives de Dos Etapas

SPOT utiliza un proceso de dos pasos para manejar solicitudes riesgosas, actuando como un equipo de seguridad con un escáner rápido y un inspector estricto.

Etapa 1: El Escáner Rápido (El LLM)
Cuando llega una instrucción riesgosa, una IA rápida y solo de texto (el LLM) actúa como explorador. Genera rápidamente algunas versiones "reescritas" de tu instrucción. Se pregunta: "Si cambio esta palabra por aquella, ¿se ve más segura?"
- Elige la versión que está más cerca de tu idea original pero la saca de la Zona Roja y la mueve a la Zona Verde.
- Esto es rápido y barato porque solo mira palabras, no imágenes.
Etapa 2: El Inspector Estricto (El VLM)
Una vez que el editor selecciona la mejor instrucción reescrita, la máquina de arte real dibuja la imagen. Luego, una segunda IA (un Modelo de Visión-Lenguaje) mira la imagen real que se creó.
- Se pregunta: "¿Es esta imagen realmente segura?"
- Si la imagen es segura, recibe luz verde.
- Si la imagen sigue siendo insegura (quizás la máquina malinterpretó la nueva instrucción), el sistema vuelve a la Etapa 1, intenta una reescritura diferente y dibuja de nuevo.

4. El Compromiso entre "Seguridad y Creatividad"

El artículo hace un punto matemático muy importante: No puedes hacer que una IA sea más segura sin cambiar ligeramente su salida.
Piénsalo como un río. Si quieres desviar una inundación peligrosa (imágenes inseguras) lejos de un pueblo, tienes que construir un nuevo canal. Ese nuevo canal cambia el camino del agua.

El truco de SPOT: Solo construye un nuevo canal para la inundación peligrosa. Si el agua ya está fluyendo de forma segura (instrucciones benignas), deja el río exactamente donde está. Esto asegura que cuando pidas un "gato lindo", sigas obteniendo un "gato lindo", no un "gato de dibujos animados" ni una "pantalla negra".

5. Los Resultados

Los autores probaron esto en cuatro conjuntos de datos diferentes y en tres máquinas de arte diferentes.

Seguridad: Redujo con éxito la cantidad de imágenes inapropiadas en gran medida (entre un 14% y un 44% mejor que otros métodos).
Creatividad: Mantuvo que las imágenes "buenas" se vieran casi exactamente igual a como se verían sin ningún filtro de seguridad.
Velocidad: Como la primera etapa (el escáner de texto) es tan rápida, todo el proceso es mucho más rápido que los métodos que verifican cada idea de imagen antes de dibujarla.

Resumen

SPOT es como un portero en un club que no cambia la música ni al DJ (el modelo de IA). En su lugar, si alguien intenta decir algo grosero en la puerta, el portero sugiere amablemente que lo reformulen a algo educado. Si la frase reformulada les permite entrar, entran. Si siguen intentando ser groseros, no entran. Pero si ya eran educados desde el principio, entran directamente sin ser tocados.

Esto asegura que el club permanezca seguro sin arruinar la experiencia para los buenos invitados.

Resumen Técnico: SPOT – Proyección Selectiva de Prompts mediante Variación Total

Enunciado del Problema
Los modelos de difusión Texto-a-Imagen (T2I) permiten una síntesis abierta de alta calidad, pero plantean riesgos de seguridad significativos, ya que los usuarios pueden elicitar imágenes dañinas o que violan políticas. Los métodos existentes de alineación de seguridad a menudo sufren una compensación crítica: las intervenciones globales (como modificar los pesos del generador o aplicar prompts suaves universales) pueden perturbar el comportamiento del modelo incluso en prompts benignos, degradando la calidad de la imagen y la fidelidad semántica. Por el contrario, los métodos que verifican las imágenes generadas a menudo incurren en altos costos computacionales o no logran localizar las intervenciones de seguridad únicamente en las entradas de riesgo. El artículo identifica una tensión fundamental: reducir la inseguridad esperada por debajo de un nivel de referencia requiere inherentemente una desviación en la distribución de imágenes condicionada al prompt. El desafío consiste en lograr seguridad sin distorsionar globalmente el comportamiento del generador congelado en entradas benignas.

Metodología
Los autores proponen SPOT (Proyección Selectiva de Prompts), un marco de tiempo de inferencia que aproxima una "proyección segura" sin reentrenar el generador ni aprender reescritores específicos por categoría. La metodología se basa en un análisis teórico utilizando la distancia de Variación Total (TV).

Fundamento Teórico (SPAT): El artículo formaliza la Compensación de Alineación entre Seguridad y Prompt (SPAT). Demuestra que si la inseguridad se mide como una expectativa acotada sobre las imágenes generadas, reducir esta expectativa por debajo de un nivel de referencia (el comportamiento del generador congelado) requiere una desviación distribucional de dicha referencia. En consecuencia, el objetivo no es evitar la desviación por completo, sino localizarla estrictamente en los prompts que requieren intervención.
Conjunto $\tau$ -Seguro y Proyección: Los autores definen un conjunto $\tau$ -seguro de prompts, $C_{safe,\tau}$ , donde el riesgo de referencia es como máximo un umbral $\tau$ . La intervención se formula como proyectar los prompts de riesgo (aquellos fuera de $C_{safe,\tau}$ ) hacia los prompts más cercanos dentro de este conjunto, dejando sin cambios los prompts ya seguros.
Protocolo de Cascada de Dos Etapas: Dado que la proyección exacta es intratable (ya que la pertenencia depende del riesgo esperado a nivel de imagen), SPOT aproxima esto mediante una cascada de dos etapas:
- Etapa 1 (Búsqueda solo de Prompt): Un Modelo de Lenguaje Grande (LLM) genera reescrituras candidatas para un prompt dado. Estos candidatos se clasifican utilizando un objetivo suave que equilibra la proximidad semántica con el prompt original (medida mediante la distancia de incrustación de oraciones) frente a una puntuación de seguridad solo de prompt. Esta etapa actúa como un enrutador económico para identificar candidatos prometedores.
- Etapa 2 (Verificación a Nivel de Imagen): El generador de difusión (mantenido congelado) muestrea una imagen del mejor prompt candidato encontrado en la Etapa 1. Un Modelo de Visión-Lenguaje (VLM) de salvaguardia verifica la imagen generada contra el mismo umbral de seguridad $\tau$ .
- Mecanismo de Reintento: Si la imagen falla la verificación, el proceso se repite con nuevos candidatos hasta agotar un presupuesto de reintento $R$ . Si se agota el presupuesto, se devuelve el intento final.

Contribuciones Clave

Compensación de Seguridad Basada en Referencia: El artículo formaliza SPAT, demostrando que reducir la inseguridad poblacional por debajo de un nivel de referencia requiere una desviación distribucional condicionada al prompt. Esto proporciona una justificación teórica para la intervención selectiva en lugar de la modificación global del modelo.
Proyección Selectiva de Prompts: Los autores definen el conjunto $\tau$ -seguro y formulan la intervención de seguridad como la proyección de prompts de riesgo hacia este conjunto, preservando al mismo tiempo los prompts seguros, minimizando efectivamente la deriva semántica en entradas benignas.
Cascada LLM/VLM en Tiempo de Inferencia: SPOT implementa esta proyección utilizando un LLM para la clasificación de candidatos y un VLM para la verificación final de la imagen. Este diseño separa la búsqueda económica de la verificación autoritativa, evitando el costo computacional de la generación exhaustiva de imágenes durante la fase de búsqueda.
Seguridad Fuerte y Preservación de lo Benigno: El marco logra reducciones significativas en contenido inapropiado mientras mantiene el comportamiento del generador congelado en prompts benignos.

Resultados Experimentales
Los autores evaluaron SPOT en cuatro conjuntos de datos (CoProV2, I2P, Unsafe Diffusion y COCO) y tres backbones de difusión (SD1.5, SD2.1, SDXL).

Rendimiento de Seguridad: SPOT logró reducciones relativas en la puntuación de inapropiado (IP) que oscilaron entre 14.2% y 44.4% en comparación con bases de referencia fuertes de alineación de seguridad (por ejemplo, AlignGuard, LatentGuard, SLD). En SD1.5, SPOT redujo la IP a 0.04 en CoProV2, 0.06 en I2P y 0.04 en UD, superando a las bases de referencia que a menudo mostraron una IP más alta en conjuntos de datos fuera de distribución.
Preservación de Prompts Benignos: En el conjunto de datos COCO, SPOT preservó la calidad de la imagen (FID) y la alineación texto-imagen (CLIPScore) cercanas a la referencia no alineada. Por ejemplo, en SD1.5, SPOT logró un FID de 32.46 y un CLIPScore de 33.36, casi idénticos a la base de referencia no alineada (32.34/33.42), mientras que bases de referencia agresivas como UCE y PNO mostraron una degradación significativa.
Selectividad: SPOT dejó 97.70% de los prompts benignos de COCO sin cambios, sustancialmente más alto que bases de referencia como VALOR (92.4%) e IPR (54.9%), demostrando su capacidad para evitar ediciones innecesarias.
Eficiencia: La cascada de dos etapas proporcionó una aceleración de 4.3× a 5.1× en comparación con los métodos de búsqueda solo con VLM. SPOT fue un 22.4% más rápido que VALOR y un 61.1% más rápido que IPR, al tiempo que logró puntuaciones IP más bajas.
Robustez: El método demostró robustez frente a cuatro ataques de prompts adversarios basados en texto (MMA, Ring-A-Bell, SneakyPrompt, P4D), con puntuaciones IP totales que aumentaron solo marginalmente (de 0.04 a 0.06) bajo ataque.

Significado y Afirmaciones
El artículo afirma que SPOT ofrece un enfoque principiado para la alineación de seguridad aprovechando la idea teórica de que las ganancias en seguridad requieren desviación distribucional, pero que esta desviación debe confinarse a prompts de riesgo. Al mantener el generador congelado y utilizar un mecanismo de proyección selectiva, SPOT evita la "deriva semántica" y la degradación del rendimiento a menudo asociadas con la edición global del modelo o la supresión agresiva. Los autores posicionan a SPOT como una solución práctica en tiempo de inferencia que permite ajustar los niveles de seguridad mediante un umbral ( $\tau$ ) sin reentrenar, haciéndolo adaptable a diferentes políticas de seguridad y conjuntos de datos. El trabajo enfatiza que la seguridad no requiere comprometer la utilidad de los prompts benignos, siempre que la intervención sea selectiva y verificada a nivel de imagen.