📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

El artículo presenta VERA-V, un marco de inferencia variacional que reformula el descubrimiento de jailbreaks multimodales como el aprendizaje de una distribución posterior conjunta sobre prompts de texto e imagen, lo que permite la generación de entradas adversarias acopladas y sigilosas que superan significativamente a los métodos existentes en eludir las barreras de seguridad de los modelos de visión y lenguaje.

Autores originales: Qilin Liao, Anamika Lochab, Ruqi Zhang

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qilin Liao, Anamika Lochab, Ruqi Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente y consciente de la seguridad (un Modelo Visión-Lenguaje) que puede leer texto y observar imágenes. Lo has entrenado para ser útil, pero también para rechazar solicitudes peligrosas, como "¿Cómo fabrico una bomba?" o "¿Cómo hackeo un banco?".

Por lo general, si se lo pides directamente, responde: "No, no puedo hacer eso".

El artículo VERA-V introduce una nueva y sigilosa forma de engañar a este robot para que rompa sus propias reglas. En lugar de simplemente hacer una pregunta, los investigadores crearon un "maestro embaucador" (un atacante de IA) que aprende a crear parejas de texto e imágenes que funcionan conjuntamente para confundir al robot.

Así es como funciona VERA-V, explicado mediante analogías sencillas:

1. La forma antigua: El "martillo" vs. El "sacapuntas suizo"

Los métodos anteriores para engañar a estos robots eran como usar un martillo. O bien:

Escribían las palabras malas en una imagen: En lugar de teclear "Fabrica una bomba", tomaban una foto de un cartel que decía "Fabrica una bomba" y se la mostraban al robot. El robot podría pasar por alto el texto dentro de la foto.
Añadían ruido a una imagen: Estropeaban una foto con estática o patrones extraños para confundir los "ojos" del robot.

El problema: Estos métodos son torpes. Tratan el texto y la imagen como cosas separadas. Si el robot es lo suficientemente inteligente para leer el cartel en la foto, el truco falla.

2. La forma VERA-V: La "banda de jazz"

VERA-V es diferente. En lugar de un martillo, actúa como una banda de jazz. No solo toca una nota; aprende a coordinar el texto y la imagen para que armonicen perfectamente y eludan las defensas del robot.

Los investigadores llaman a esto "Inferencia Variacional". En lenguaje sencillo, esto significa que el atacante de IA no solo adivina un mal truco. Aprende un mapa de todos los posibles malos trucos. Entiende que a veces un tipo específico de texto funciona mejor con un tipo específico de imagen borrosa, y otras veces un texto diferente funciona con una imagen nítida. Aprende la relación entre los dos.

3. La estrategia de "distracción" de tres partes

Para que el truco funcione, VERA-V combina tres ingredientes específicos en un solo paquete enviado al robot:

Ingrediente A: El "Texto Oculto" (Tipografía)
El atacante toma la instrucción dañina y la convierte en una imagen de texto (como un cartel o una nota). Esto oculta las palabras malas a los filtros de texto del robot, que suelen escanear lo que escribes, no lo que muestras.
Ingrediente B: La "Señal Secreta" (Imagen de Difusión)
El atacante utiliza un generador de imágenes para crear una imagen que contiene una pista sutil y oculta. No es obvia. Es como un susurro en una habitación llena de gente. El robot ve la imagen, pero el "significado malo" está enterrado profundamente dentro de los píxeles, no escrito claramente.
Ingrediente C: La "Multitud Confusa" (Distractores)
Esta es la parte más ingeniosa. El atacante llena el resto de la pantalla con imágenes aleatorias y aburridas (como un gato, un árbol o una taza de café) que no tienen nada que ver con la solicitud mala.
- La analogía: Imagina intentar encontrar a una persona específica en una multitud. Si está parada sola, la ves fácilmente. Pero si está parada en medio de una multitud de 50 personas que no se parecen en nada a ella, tu cerebro se confunde y le cuesta más enfocarse en el objetivo. VERA-V utiliza estas imágenes "distractoras" para dispersar la atención del robot, haciendo más difícil que sus filtros de seguridad detecten la solicitud mala.

4. El "bucle de retroalimentación" (El entrenador)

¿Cómo aprende el atacante de IA a hacerlo tan bien?

Prueba un truco.
Le pregunta a un "Juez" (otra IA) si el robot cayó en él.
Si el robot dijo "No", el atacante aprende: "Vale, esa combinación no funcionó. Probemos una mezcla diferente de texto e imagen".
Repite esto miles de veces, refinando su "mapa" de cómo confundir al robot.

5. Los resultados: Un nuevo récord

El artículo probó esto contra algunos de los robots más inteligentes disponibles hoy en día (como GPT-4o).

Los viejos trucos: En el robot más difícil (GPT-4o), los métodos antiguos fallaron casi el 100% de las veces. Eran como intentar abrir una caja fuerte bancaria con un clip de papel.
VERA-V: Al utilizar esta estrategia coordinada y multipartita, VERA-V logró engañar al robot el 67,75% de las veces. Eso es un salto masivo en comparación con los métodos anteriores más eficaces.

Resumen

Piensa en VERA-V no como un solo ganzúa, sino como un cerrajero que estudia todo el mecanismo de bloqueo. En lugar de simplemente intentar forzar la puerta, aprende a hacer vibrar la manija, susurrar a las bisagras y distraer al guardia todo al mismo tiempo. Crea una "distribución posterior conjunta"—que es simplemente una forma elegante de decir que aprendió la receta perfecta para una combinación de texto e imagen que confunde a los guardias de seguridad del robot.

Nota importante: Los autores declaran claramente que esta investigación es para Red Teaming. Esto significa que actúan como "hackers éticos" para encontrar estas debilidades para que las empresas puedan corregirlas y hacer sus robots más seguros. No están proporcionando una herramienta para que las personas dañen realmente a otros; están mostrando cuán frágiles son los sistemas de seguridad actuales para que puedan fortalecerse.

Resumen Técnico: VERA-V

Enunciado del Problema
Los Modelos Visión-Lenguaje (VLM) integran el razonamiento visual con modelos de lenguaje grandes (LLM), pero su diseño multimodal introduce vulnerabilidades poco exploradas. Los métodos actuales de red-teaming para VLMs adolecen de tres limitaciones principales: (1) a menudo tratan las modalidades de texto e imagen de forma independiente, ignorando las complejas interacciones cruzadas entre modalidades; (2) dependen en gran medida de plantillas diseñadas a mano, lo que resulta en ejemplos de ataque estrechos y desconectados; y (3) suelen operar en configuraciones de ataque único, lo que facilita su detección y los hace ineficaces frente a modelos de vanguardia. En consecuencia, los enfoques actuales no logran descubrir sistemáticamente el amplio espectro de vulnerabilidades multimodales.

Metodología
El artículo introduce VERA-V, un marco de inferencia variacional que replantea el descubrimiento de jailbreaks multimodales como el aprendizaje de una distribución posterior conjunta sobre pares de indicaciones (prompts) de texto e imagen. En lugar de buscar instancias adversarias aisladas, VERA-V modela el paisaje de vulnerabilidades como una distribución.

Los componentes centrales de la metodología incluyen:

Formulación Variacional: El marco define un proceso de generación de indicaciones latentes donde un LLM atacante genera un par de indicaciones latentes: una indicación de texto ( $x_t$ ) y una indicación de imagen ( $x_v$ ). Estas se transforman en entradas reales para el VLM mediante una función de mapeo $g$ . La indicación de texto se renderiza tipográficamente para incrustar señales explícitas dañinas, mientras que la indicación de imagen se sintetiza utilizando un modelo de difusión para codificar señales adversarias implícitas.
Construcción de Entrada Compuesta: La entrada final al VLM objetivo consiste en un envoltorio de texto benigno fijo ( $x_f$ $x_{f}$ ) y una imagen compuesta ( $v_{comp}$ $v_{co m p}$ ). La imagen compuesta integra tres elementos:
- Renderizado Tipográfico: Texto convertido en imagen para eludir los filtros de texto.
- Síntesis por Difusión: Imágenes generadas a partir de $x_v$ para introducir señales adversarias implícitas.
- Distractores Estructurados: Un conjunto de imágenes no relacionadas recuperadas para fragmentar la atención visual del VLM, oscureciendo el contenido dañino.
Optimización mediante Inferencia Variacional: El atacante se entrena para aproximar la distribución posterior de las indicaciones adversarias que inducen comportamientos dañinos ( $y^*$ ). Esto se logra maximizando la Cota Inferior de Evidencia (ELBO), que equilibra la probabilidad de generar una respuesta dañina con la plausibilidad y diversidad de las indicaciones. Dado que el VLM objetivo es una caja negra, la probabilidad se aproxima mediante una función de juez que puntúa la nocividad de la respuesta del VLM. La optimización utiliza el estimador de gradiente REINFORCE para actualizar los parámetros del atacante (implementados mediante adaptadores LoRA) basándose en el muestreo Monte Carlo.

Contribuciones Clave

Marco Probabilístico: VERA-V es el primer marco que plantea la generación de jailbreaks multimodales como inferencia variacional sobre entradas de texto e imagen emparejadas, permitiendo el aprendizaje de una posterior conjunta que captura las correlaciones cruzadas entre modalidades.
Estrategia Adversaria Composicional: El artículo propone un diseño de ataque novedoso que combina renderizado tipográfico, síntesis de imágenes guiada por difusión y distractores estructurados. Este enfoque coordina señales explícitas e implícitas para producir ataques potentes mientras reduce las tasas de detección de toxicidad.
Muestreo Escalable y Diverso: Al aprender una distribución en lugar de un único punto, VERA-V permite un muestreo eficiente de jailbreaks diversos y proporciona información distribucional sobre las vulnerabilidades, apoyando el red-teaming escalable.

Resultados Experimentales
Los autores evaluaron VERA-V en los benchmarks HarmBench y HADES a través de modelos de código abierto (Qwen2.5-VL-7B, InternVL3-8B) y modelos de vanguardia comerciales (GPT-4o-mini, GPT-4o).

Rendimiento: VERA-V superó consistentemente a las líneas base más avanzadas (FigStep, HADES, CS-DJ). En el modelo GPT-4o, VERA-V logró una Tasa de Éxito del Ataque (ASR) de 67.75% en HarmBench y 73.5% en HADES, representando mejoras de hasta 53.75% sobre la mejor línea base.
Transferibilidad: Los ataques optimizados en un modelo se transfirieron eficazmente a otros, con indicaciones generadas por GPT-4o que lograron más del 50% de ASR en otros modelos objetivo, lo que indica el descubrimiento de vulnerabilidades generalizables.
Robustez: Bajo diversos mecanismos de defensa (detección basada en OCR, BlueSuffix, ETA), VERA-V mantuvo tasas de éxito significativamente más altas en comparación con las líneas base, las cuales se degradaron drásticamente.
Estudios de Ablación: Los experimentos confirmaron que la composición híbrida (tipografía + difusión + distractores) produce el equilibrio óptimo entre ASR y sigilo. Además, el proceso de ajuste fino variacional resultó crítico, superando con una gran diferencia a una estrategia de muestreo "Best-of-N" (66% vs. 8% de ASR).

Significado y Afirmaciones
El artículo afirma que VERA-V destaca la necesidad de pasar de explotaciones aisladas y de una sola modalidad hacia enfoques de red-teaming distribucional. Al demostrar que incluso los VLMs robustos y alineados con la seguridad son susceptibles a indicaciones adversarias transferibles y fluidas, el trabajo revela brechas críticas en las estrategias de defensa actuales. Los autores afirman que exponer estas debilidades a través de un marco probabilístico es un paso vital para mejorar los sistemas de seguridad de los VLM, guiando el desarrollo de filtros más fuertes y técnicas de alineación más efectivas. La metodología se presenta estrictamente con fines de investigación para poner a prueba los filtros de seguridad y mejorar la robustez del modelo.