One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

1. Declaración del Problema

Los Modelos Visuales-Lingüísticos (VLM) se utilizan cada vez más para impulsar agentes autónomos, creando una vulnerabilidad de seguridad conocida como Inyección de Prompts Tipográfica (TPI). En los ataques TPI, las instrucciones maliciosas se representan como texto dentro de imágenes. Dado que la instrucción llega a través de la modalidad visual, puede eludir los filtros de seguridad basados en texto tradicionales.

Mientras que la investigación anterior se ha centrado en maximizar la Tasa de Éxito del Ataque (ASR) mediante diseños de ataque novedosos, existe una falta de comprensión sobre por qué ciertas representaciones visuales (por ejemplo, tamaños de fuente específicos, rotaciones o desenfoques) eluden la alineación de seguridad mientras que otras fallan. Los autores pretenden cerrar esta brecha caracterizando la relación entre la degradación visual, las incrustaciones del modelo y los fallos de seguridad.

2. Metodología

El artículo propone un enfoque de dos frentes: un estudio empírico para identificar predictores del éxito del ataque y un marco de optimización para explotar estos predictores.

A. Estudio Empírico: La Distancia de Incrustación como Predictor

Los autores realizaron un estudio controlado en cuatro VLM (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 y Qwen3-VL) utilizando 1.000 prompts de SALAD-Bench.

• Variables: Probaron 12 tamaños de fuente (6–28px) y 10 transformaciones visuales (rotación, desenfoque, ruido, etc.).
• Métrica: Calcularon la distancia L2 entre la incrustación multimodal de la imagen renderizada y la incrustación del prompt de texto original utilizando modelos disponibles (JinaCLIP y Qwen3-VL-Embedding).
• Hipótesis: Una menor distancia en el espacio de incrustaciones (lo que significa que la imagen "parece" más el texto para el codificador) se correlaciona con un mayor éxito del ataque.

B. Marco de Optimización: Red Team Guiado por Incrustaciones

Basándose en los hallazgos empíricos, los autores desarrollaron una herramienta de red team para poner a prueba la seguridad de los VLM sin acceso a los pesos internos del modelo objetivo ni a sus clasificadores de seguridad.

• Objetivo: Maximizar la similitud del coseno entre una imagen tipográfica degradada y la incrustación del texto original bajo perturbaciones acotadas $\ell_\infty$.
• Algoritmo: Adaptaron CWA-SSA (Ataque de Debilidad Común con Aumento de Simulación Espectral).
  • Ensemble: La optimización utiliza un ensemble de 4 modelos de incrustación sustitutos (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) para garantizar que las perturbaciones sean robustas y transferibles.
  • Proceso: El algoritmo ajusta iterativamente los valores de los píxeles para minimizar la distancia de incrustación, empujando efectivamente la imagen degradada hacia una región del espacio de incrustaciones donde es más probable que el VLM cumpla.

3. Contribuciones Clave

1. Descubrimiento de una Fuerte Correlación: El artículo establece que la distancia de incrustación multimodal es un predictor fuerte, interpretable y agnóstico al modelo del éxito de la TPI.
   • Los coeficientes de correlación ($r$) oscilan entre -0.71 y -0.93 (correlación negativa: menor distancia = mayor ASR).
   • Esto proporciona una métrica proxy para el éxito del ataque sin necesidad de consultar repetidamente al VLM objetivo.
2. Identificación de Dos Modos de Fallo Co-ocurrentes: La optimización revela que reducir la distancia de incrustación mejora la ASR a través de dos mecanismos distintos:
   • Recuperación de la Legibilidad Perceptiva: La perturbación hace que el texto sea semánticamente analizable para el modelo cuando antes era ilegible debido a la degradación (por ejemplo, desenfoque pesado o fuente pequeña).
   • Evasión de la Alineación de Seguridad: La perturbación altera la representación holística de la imagen lo suficiente como para eludir el razonamiento de seguridad del modelo, incluso si el texto ya era legible.
3. Una Herramienta de Red Team Agnóstica al Modelo: El método propuesto permite a los investigadores de seguridad sondear la robustez de la seguridad de los VLM utilizando solo modelos de incrustación sustitutos, sin requerir acceso a los gradientes del modelo objetivo ni a sus filtros de seguridad.

4. Resultados Experimentales

Los autores probaron su optimización en cinco configuraciones de degradación (fuente de 6px, fuente de 8px, rotación de 90°, degradación triple y desenfoque pesado) en los cuatro VLM objetivo.

• Ganancias Cuantitativas:

  • Claude Sonnet 4.5 mostró las mejoras más significativas, particularmente en escenarios de "Desenfoque Pesado", donde la ASR aumentó un +28% (de 0.7% a 28.5%).
  • GPT-4o mostró ganancias en escenarios de rotación (+22%) y desenfoque pesado (+10%), aunque permaneció más robusto que los demás.
  • Mistral y Qwen (que tenían una ASR base más alta) a veces vieron una disminución en el rendimiento después de la optimización, lo que sugiere que la perturbación activó inadvertidamente mecanismos de seguridad que previamente estaban inactivos.

• Análisis Cualitativo (Modos de Fallo):

  • Dominio de la Legibilidad: En degradación extrema (fuente de 6px, desenfoque pesado), la ganancia principal provino de que el modelo finalmente pudiera "leer" el texto. Por ejemplo, en GPT-4o con texto de 6px, los fallos de legibilidad disminuyeron de 35 a 10, pero los rechazos de seguridad aumentaron, lo que indica que el filtro de seguridad atrapó la solicitud maliciosa ahora legible.
  • Dominio de la Reducción de Rechazos: En degradación moderada (rotación de 90°, fuente de 8px), las ganancias fueron impulsadas por que el modelo no lograra rechazar la solicitud a pesar de poder leer el texto. Esto sugiere que la perturbación confundió con éxito la lógica de alineación de seguridad.
  • Dependencia del Modelo: El modo de fallo dominante depende de la fuerza inherente del filtro de seguridad del modelo. Los filtros más fuertes (como GPT-4o) tienden a fallar primero en legibilidad; los filtros más débiles fallan en alineación.

5. Significado e Implicaciones

• Vulnerabilidad del Mecanismo de Seguridad: Los hallazgos sugieren que la alineación de seguridad de los VLM es frágil en el espacio de representación. Pequeñas perturbaciones que no cambian significativamente la apariencia visual (dominio de píxeles) pueden alterar drásticamente la representación interna del modelo, lo que lleva a elusiones de seguridad.
• Estrategia de Defensa: Las defensas actuales que dependen de la degradación visual (por ejemplo, desenfocar texto para ocultarlo) son insuficientes. Las defensas deben ser robustas en el espacio de incrustaciones, asegurando que el modelo rechace instrucciones dañinas independientemente de si el texto es perfectamente legible o ligeramente perturbado.
• Estándar de Red Team: El artículo proporciona una nueva metodología eficiente para evaluar la seguridad de los VLM que no requiere acceso de caja negra a los datos de entrenamiento del modelo objetivo ni a su arquitectura interna, confiando en cambio en la alineación de incrustaciones.

Limitaciones: El estudio se limita a un único conjunto de datos (SALAD-Bench) y a un estilo de renderizado específico (texto negro sobre blanco). La optimización es computacionalmente costosa (~2.5 horas por muestra) y no se evaluó frente a defensas basadas en detección.