Resumen Técnico: ICER – Red Team de Modelos de Texto a Imagen mediante Replay de Experiencia en Contexto y Reescritura de Prompts que Preserva la Semántica

Declaración del Problema

El despliegue rápido de modelos de Texto a Imagen (T2I) ha introducido desafíos de seguridad significativos, incluida la generación de contenido No Seguro para el Trabajo (NSFW) e imágenes que infringen derechos de autor. Aunque los desarrolladores han implementado diversos mecanismos de seguridad (por ejemplo, componentes seguros ajustados, guía de inferencia y filtrado multinivel), evaluar la robustez de estas defensas sigue siendo difícil. Los métodos existentes de red teaming adolecen de limitaciones críticas:

• Métodos de caja blanca (por ejemplo, P4D, UnlearnDiffAtk) requieren acceso interno al modelo, lo cual no está disponible para sistemas comerciales basados en API, y a menudo producen secuencias de tokens no interpretables y poco fluidas que son fácilmente filtradas por detectores basados en fluidez.
• Enfoques de agente de caja negra (por ejemplo, APGP, JailFuzzer) generan prompts fluidos pero tratan cada ataque de forma independiente, sin aprender de los intentos anteriores. Esto conduce a altos costos computacionales, consultas repetidas y una mala escalabilidad.
• Brecha de preservación semántica: Muchos métodos existentes no logran generar prompts que preserven la intención dañina original mientras evaden los filtros de seguridad. Los escenarios reales de mal uso generalmente implican que los atacantes buscan salidas inseguras específicas en lugar de fallos arbitrarios del modelo, pero las herramientas actuales luchan por equilibrar la fluidez, la alineación semántica y el jailbreak exitoso.

Metodología: El Marco ICER

Los autores proponen ICER (Replay de Experiencia en Contexto), un marco de red teaming de caja negra diseñado para generar prompts adversarios fluidos en lenguaje natural que preserven la intención dañina original. ICER opera bajo un modelo de amenazas donde el adversario no tiene acceso a los parámetros internos ni a los gradientes del modelo objetivo.

El marco integra tres componentes principales dentro de un entorno de Optimización Bayesiana (BO), utilizando un LLM como modelo sustituto:

1. Formulación del Problema

El objetivo es encontrar un prompt adversario $P^*_q$ que maximice una función $f(P^*_q)$ sujeto a dos restricciones:

1. Violación de Seguridad: La imagen generada $I^*_q$ debe desencadenar una violación de seguridad (puntuación $E(I^*_q) \geq \tau'$).
2. Preservación Semántica: La imagen generada debe mantener una alta similitud coseno con la imagen generada por el prompt original ($sim(M(I_q), M(I^*_q)) \geq \rho$).

Esta formulación asegura un "jailbreak dirigido", donde el ataque busca contenido dañino específico en lugar de ruido aleatorio.

2. Replay de Experiencia en Contexto (ICR)

A diferencia de los métodos tradicionales que descartan los intentos fallidos o exitosos, ICER mantiene una base de datos previa compartida $\mathcal{D}$ de experiencias pasadas de red teaming. Cada entrada almacena:

• El prompt original $P_i$.
• La variante adversaria exitosa $P^*_i$.
• Parámetros de efectividad $\theta_i = (\alpha_i, \beta_i)$ modelados como una distribución Beta.

Al generar un nuevo prompt adversario para una consulta $P_q$, el sistema muestrea $k$ ejemplos de $\mathcal{D}$ para formar un conjunto de guía $S_t$. El LLM luego se condiciona sobre estos ejemplos y una instrucción del sistema para generar $P^*_q$. Esto aprovecha las capacidades de aprendizaje en contexto del LLM para codificar patrones de ataque pasados como un "manual de instrucciones" reutilizable.

3. Muestreo Adaptativo mediante Muestreo de Thompson (TS)

Para equilibrar la explotación (uso de patrones probados exitosos) y la exploración (descubrimiento de nuevos vectores de ataque), ICER emplea el Muestreo de Thompson.

• Cada ejemplo en $\mathcal{D}$ está asociado con una distribución Beta $Beta(\alpha_i, \beta_i)$, donde $\alpha_i$ acumula recompensas (guía exitosa) y $\beta_i$ acumula penalizaciones (guía fallida).
• En cada iteración, el sistema muestrea una probabilidad $\pi_i$ de cada distribución y selecciona los $k$ mejores ejemplos con los valores más altos para guiar al LLM.
• Mecanismo de Recompensa:
  • Fallo Semántico: Si la imagen generada falla la verificación semántica, los ejemplos seleccionados son penalizados ($\beta$ aumenta).
  • Éxito Parcial: Si la verificación semántica pasa pero el jailbreak falla, se asigna una recompensa parcial basada en la puntuación de inseguridad.
  • Éxito Total: Si el jailbreak tiene éxito, los ejemplos reciben una recompensa completa ($\alpha$ aumenta) y el nuevo par $(P_q, P^*_q)$ se añade a $\mathcal{D}$.

Este ciclo de aprendizaje continuo permite que el marco se adapte a mecanismos de seguridad específicos con el tiempo sin requerir el reentrenamiento del modelo.

Contribuciones Clave

1. Marco ICER: Introducción de un marco de caja negra que genera prompts adversarios fluidos en lenguaje natural aprovechando la reescritura basada en LLM y el replay de experiencia en contexto.
2. Evaluación de Preservación Semántica: Demostración de un rendimiento superior en el "jailbreak dirigido", un paradigma estricto que requiere que el contenido generado se alinee con la intención específica del atacante, no solo que produzca contenido inseguro arbitrario.
3. Transferencia de Conocimiento: Revelación de que las instancias pasadas de jailbreak pueden facilitar el descubrimiento de nuevas vulnerabilidades. El artículo destaca que el conocimiento de ataque se acumula, permitiendo que una sola campaña de red teaming construya un manual de instrucciones que se transfiere a nuevas defensas e incluso a sistemas comerciales.

Resultados Experimentales

Los autores evaluaron ICER frente a siete líneas base (incluyendo métodos de caja blanca como P4D y métodos de caja negra como PEZ y Ring-A-Bell) en seis modelos T2I seguros (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) y dos conceptos dañinos (nudidad y violencia).

• Rendimiento: ICER superó consistentemente a todas las líneas base. Por ejemplo, en el modelo ESD para nudidad, ICER logró una Tasa de Fallo (FR) del 48.71%, en comparación con el 34.55% de la siguiente mejor línea base (FLIRT-Scoring). En el modelo robusto AdvUnlearn, ICER identificó el doble de vulnerabilidades que la línea base más fuerte.
• Preservación Semántica: A diferencia de los métodos de optimización a nivel de token que sufren caídas significativas en la FR cuando se aplican restricciones semánticas (por ejemplo, PEZ bajó del 72.75% al 9.87% en ESD), ICER mantuvo un rendimiento sólido (del 80.19% al 57.37%), demostrando su capacidad para generar prompts semánticamente coherentes.
• Fluidez: El análisis cuantitativo utilizando la perplejidad de n-gramas mostró que ICER generó prompts significativamente más naturales (perplejidad promedio 0.82 $\times 10^3$) en comparación con líneas base como Ring-A-Bell (69.88 $\times 10^3$) y P4D-N (175.45 $\times 10^3$).
• Transferibilidad: Más del 30% de los prompts generados por ICER se transfirieron con éxito a sistemas comerciales fuertemente moderados como DALL·E 3 (35.58%) y Midjourney (41.35%), superando a todas las líneas base. Esto valida que las vulnerabilidades descubiertas no están limitadas a arquitecturas de código abierto específicas.

Significado y Afirmaciones

El artículo postula que el red teaming debe considerarse no como una colección de intentos independientes, sino como un problema de aprendizaje. La lección central es que los jailbreaks exitosos contienen estructuras reutilizables; una vez capturadas mediante el replay de experiencia en contexto, estos patrones hacen que los ataques subsiguientes sean sustancialmente más efectivos a través de diferentes conceptos y modelos objetivo.

Los autores enmarcan esto como un "arma de doble filo":

• Para los Defensores: Ofrece un plano eficiente para la evaluación de seguridad, avanzando más allá de auditorías humanas costosas e inconsistentes o sondas automatizadas aisladas. Una sola campaña puede construir un manual de instrucciones transferible.
• Para la Comunidad de Seguridad: Sirve como una advertencia de que las defensas evaluadas únicamente contra adversarios independientes y sin memoria pueden sobreestimar drásticamente su robustez. Si el conocimiento de ataque se acumula fácilmente, los actores maliciosos podrían aprovechar el conocimiento acumulado para un mal uso más barato y dirigido.

El trabajo concluye abogando por un cambio en la forma en que la comunidad aborda el red teaming: de una lista de verificación estática hacia un proceso continuo y adaptativo donde cada intento informa al siguiente.