Jailbreaking Vision-Language Models Through the Visual Modality

Aquí se presenta un resumen técnico detallado del artículo "Jailbreaking Vision-Language Models Through the Visual Modality".

1. Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM) se han integrado rápidamente en sistemas de IA del mundo real, sin embargo, su alineación de seguridad sigue siendo poco explorada en comparación con los Modelos de Lenguaje Grandes (LLM) de solo texto. Los mecanismos de seguridad actuales se centran principalmente en entradas basadas en texto, asumiendo que las entradas visuales son pasivas o descriptivas. Este artículo identifica una brecha crítica de alineación cross-modal: el entrenamiento de seguridad realizado sobre texto no se generaliza automáticamente a la intención dañina transmitida a través de entradas visuales. Los autores demuestran que la modalidad visual sirve como una superficie de ataque significativa y poco explorada donde los modelos pueden ser "jailbreakeados" para eludir filtros de seguridad y generar contenido dañino, incluso cuando el texto a nivel superficial y los elementos visibles de la imagen parecen benignos.

2. Metodología

Los autores proponen una familia de cuatro nuevos ataques de jailbreak que codifican o implican una intención no permitida a través de la estructura visual, el contexto o la analogía, manteniendo el contenido a nivel superficial ostensiblemente benigno. Para aislar la contribución de la modalidad visual, emplean una Estrategia de Neutralización de Prompts, reemplazando los referentes dañinos en el prompt de texto con variables de espacio abstracto (por ejemplo, $X_1, X_2$) y confiando en la entrada visual para reconstruir el significado prohibido.

Los cuatro tipos de ataque son:

1. Cifrado Visual:

   • Mecanismo: Las instrucciones dañinas se tokenizan y codifican en una secuencia de glifos visuales abstractos (formas geométricas u objetos neutrales). Una imagen de "leyenda" separada mapea estos glifos a palabras.
   • Proceso: Se solicita al VLM que descifre la secuencia de glifos utilizando la leyenda y luego ejecute la instrucción descifrada.
   • Línea base: Comparado contra un Cifrado Textual donde las palabras se reemplazan por tokens sin sentido y una leyenda basada en texto.

2. Reemplazo Visual de Objetos:

   • Mecanismo: Un objeto dañino en una escena realista (por ejemplo, una bomba) se reemplaza visualmente con un sustituto benigno (por ejemplo, un plátano) mediante edición de imágenes, mientras se preserva el contexto de la escena circundante (que implica la función del objeto).
   • Proceso: Se solicita al modelo que actúe sobre el objeto implícito basado en el contexto, ignorando el sustituto visual benigno.
   • Línea base: Comparado contra una Reemplazo Textual donde las palabras clave dañinas en las oraciones de contexto se reemplazan con palabras benignas.

3. Reemplazo Visual de Texto:

   • Mecanismo: El texto dañino incrustado dentro de una imagen (por ejemplo, en la portada de un libro o un letrero) se reemplaza con una palabra marcador benigna, preservando la tipografía, la disposición y las señales visuales circundantes.
   • Proceso: El modelo debe inferir el referente prohibido original a partir del contexto cultural y visual en lugar de tokens explícitos de OCR.
   • Línea base: Comparado contra una versión de solo texto donde el término dañino se reemplaza en el texto del prompt.

4. Adivinanza de Analogía Visual:

   • Mecanismo: Los conceptos dañinos se descomponen en componentes benignos y se codifican como analogías visuales (por ejemplo, "Un peón se convierte en una reina" $\rightarrow$ "Un virus se convierte en...").
   • Proceso: El modelo debe resolver las adivinanzas para inferir los conceptos prohibidos ocultos y luego ejecutar una tarea basada en los conceptos inferidos.
   • Línea base: Comparado contra analogías textuales que utilizan la misma estructura lógica.

Configuración de Evaluación:

• Modelos Probados: Seis VLM de vanguardia (GPT-5.2, Claude-Haiku-4.5, Gemini-3-Flash, Gemini-3.1-Pro, Qwen3-VL-235B, Qwen3-VL-32B).
• Conjunto de Datos: HarmBench (que cubre categorías como ciberdelito, amenazas químicas/biológicas, desinformación, acoso, actividades ilegales).
• Evaluación: Un conjunto de tres LLM (Grok-4.1, Gemini-3-Flash, Claude-Haiku-4.5) clasifica las respuestas como Rechazo, Malentendido, Cumplimiento Parcial o Cumplimiento. El éxito se define como "Cumplimiento" (muestreo Best-of-5).

3. Contribuciones Clave

• Vectores de Ataque Nuevos: Introducción de cuatro técnicas distintas de jailbreak visual que explotan la modalidad visual para eludir la alineación de seguridad.
• Brecha de Alineación Cross-Modal: Evidencia empírica de que el entrenamiento de seguridad basado en texto falla al transferirse a incrustaciones visuales, creando una vulnerabilidad específica donde los modelos infieren semánticas peligrosas a partir de contextos visuales que parecen benignos.
• Evaluación Sistemática: Evaluación exhaustiva en seis VLM de última generación, revelando una variabilidad significativa en la vulnerabilidad dependiendo del modelo y del tipo de ataque.
• Interpretabilidad y Mitigación: Análisis mecánico preliminar que muestra que los ataques visuales suprimen las señales de "rechazo" en las capas tardías mientras que las semánticas peligrosas persisten en las capas intermedias. Los autores también demuestran que los clasificadores ligeros del lado de la salida pueden mitigar eficazmente estos ataques.

4. Resultados Clave

• Altas Tasas de Éxito del Ataque (ASR): Los ataques visuales eludieron con éxito los mecanismos de seguridad en múltiples modelos.
  • Cifrado Visual: Logró un 40.9% de ASR en Claude-Haiku-4.5, en comparación con solo 10.7% para el cifrado textual equivalente.
  • Reemplazo Visual de Objetos: Qwen3-VL-32B mostró un ASR de 41.1% (visual) frente a 39.0% (textual), lo que indica una fuerte dependencia del contexto de la escena.
  • Reemplazo Visual de Texto: Qwen3-VL-235B mostró una vulnerabilidad masiva, con un 51.5% de ASR para el reemplazo visual de texto frente a 29.5% para el textual.
• Variabilidad del Modelo:
  • Claude-Haiku-4.5 fue significativamente más vulnerable a los cifrados visuales que a los cifrados textuales.
  • Gemini-3-Flash mostró alta vulnerabilidad a ambas modalidades, pero fue ligeramente más robusto ante el reemplazo visual de texto que ante el textual.
  • GPT-5.2 permaneció como el más robusto en general, pero aún exhibió una ligera sensibilidad al vector visual (el ASR aumentó del 5.7% al 8.2% para los cifrados).
• Malentendido vs. Rechazo: En los ataques de Analogía Visual, la menor tasa de éxito en comparación con el texto se debió a menudo a tasas más altas de "Malentendido" (el modelo falla al descifrar la adivinanza) en lugar de "Rechazo", lo que sugiere que la abstracción visual introduce ambigüedad semántica en lugar de desencadenar rechazos de seguridad.

5. Significado e Implicaciones

• Cambio de Paradigma de Seguridad: El artículo argumenta que una alineación robusta de VLM requiere tratar la visión como un objetivo de primer nivel para la seguridad post-entrenamiento. Las defensas actuales que dependen de filtrar texto o tratar las imágenes como pasivas son insuficientes.
• Perspectiva Mecanística: El análisis de interpretabilidad (Logit Lens) revela que los ataques de reemplazo visual crean una discrepancia temporal: la entrada visual del modelo desencadena una descripción benigna, suprimiendo la dirección de "rechazo" en las capas tempranas/medias, pero la inferencia contextual de semánticas peligrosas persiste en capas posteriores, lo que lleva a una salida dañina.
• Mitigación Práctica: Los autores proponen que las barreras de contención del lado de la salida (clasificadores ligeros entrenados para detectar salidas de lenguaje natural dañinas) son una defensa efectiva. Dado que la intención dañina eventualmente se manifiesta como texto, estos clasificadores pueden detectar el ataque incluso si se eluden los filtros de entrada visual.
• Direcciones Futuras: El trabajo destaca la necesidad de principios constitucionales específicos para la visión, conjuntos de datos RLHF aumentados con ejemplos de jailbreak visual, y monitoreo en tiempo de ejecución del contenido semántico a través de las capas de la red para detectar divergencias entre el procesamiento visual temprano y el razonamiento semántico tardío.

En conclusión, este artículo establece que la modalidad visual es una superficie de ataque potente y actualmente poco defendida para los VLM, lo que requiere un replanteamiento fundamental de las estrategias de alineación de seguridad multimodal.