Resumen Técnico: GPO-V: Jailbreak de Modelo de Lenguaje Visión Difusión mediante Optimización de Probabilidad Global

Declaración del Problema

Los Modelos de Lenguaje Visión Difusión (dVLMs) representan un cambio significativo frente a los paradigmas generativos autoregresivos tradicionales, utilizando procesos iterativos de eliminación de ruido no causales para tareas multimodales. Aunque los modelos autoregresivos han sufrido una extensa alineación de seguridad para mitigar riesgos adversarios, el panorama de seguridad de los dVLMs permanece en gran medida inexplorado.

El artículo identifica una brecha crítica: las metodologías de jailbreak existentes, específicamente la Optimización de Prefijo Fijo (FPO) (por ejemplo, forzar a un modelo a comenzar con "Claro, aquí está"), son en gran medida ineficaces contra los dVLMs. Esta ineficacia se deriva de patrones de rechazo únicos inherentes a las arquitecturas de difusión:

1. Rechazo Inmediato: El modelo detecta riesgos y genera tokens de terminación (por ejemplo, <end>) de manera "de atrás hacia adelante", deteniendo la generación inmediatamente.
2. Rechazo Progresivo: El modelo inicialmente genera contenido afirmativo, pero durante el proceso iterativo de refinamiento, cambia a un rechazo a medida que emergen semánticas inseguras.

Los ataques FPO convencionales, que optimizan prefijos locales, fallan porque la naturaleza de refinamiento global de los modelos de difusión actúa como un "corrector", eventualmente anulando las manipulaciones de prefijos locales con un rechazo progresivo. El artículo postula que se requiere una nueva estrategia de ataque para eludir estas defensas probabilísticas globales.

Metodología

1. Inferencia Heurística y Base Teórica

Los autores establecen una analogía entre la difusión de imágenes y la difusión de texto. En la generación de imágenes, los primeros pasos de eliminación de ruido recuperan estructuras semánticas de baja dimensión que dictan la salida final. De manera similar, en los dVLMs, los pasos iniciales de generación (bajos tiempos) determinan en gran medida la polaridad de la respuesta. Las predicciones de atención bidireccional globales en estas etapas tempranas restringen la trayectoria generativa posterior.

2. Optimización de Probabilidad Global (GPO)

Para explotar esta vulnerabilidad, los autores proponen la Optimización de Probabilidad Global (GPO), una estrategia diseñada específicamente para modelos de difusión enmascarada. A diferencia de FPO, que optimiza un prefijo fijo, GPO manipula la distribución de probabilidad global de toda la secuencia generada.

La función de pérdida de GPO ($L_{GPO}$) consta de dos componentes:

• Pérdida Global ($L_{global}$): Minimiza la probabilidad de generar primitivas negativas (tokens de rechazo como <end>, <eos> o frases de rechazo) en todas las posiciones de la secuencia, particularmente en las etapas inicial y final de los tiempos tempranos. Esto busca suprimir tanto los patrones de Rechazo Inmediato como de Rechazo Progresivo.
• Pérdida de Ancla ($L_{anchor}$): Maximiza la probabilidad de tokens positivos "conectores" específicos (anclas) en posiciones intermedias. Estas anclas sirven como pivotes semánticos estables que se acumulan en una respuesta positiva coherente, evitando que el modelo se desvíe hacia un rechazo progresivo.

La pérdida total se define como:
$$L_{GPO} = \lambda_1 L_{global} + \lambda_2 L_{anchor}$$

3. Marco GPO-V

Basándose en GPO, los autores introducen GPO-V, el primer marco de jailbreak adaptado para dVLMs.

• Mecanismo: GPO-V aplica perturbaciones adversarias ($\delta$) a la imagen de entrada (o a su representación latente) para dirigir la distribución de salida del modelo.
• Optimización: La perturbación se optimiza para minimizar $L_{GPO}$ mientras se adhiere a un límite de perturbación ($\|\delta\|_\infty < \epsilon$).
• Flexibilidad: El marco admite la optimización tanto en el espacio de píxeles como en el espacio latente (utilizando codificadores como SigLIP o DINOv2), señalando los autores que la optimización en el espacio latente se adopta por eficiencia pero produce resultados comparables.

Contribuciones Clave

1. Identificación de Patrones de Rechazo: El artículo es el primero en identificar y categorizar sistemáticamente dos comportamientos de rechazo distintos en modelos de lenguaje de difusión: Rechazo Inmediato y Rechazo Progresivo, revelando los mecanismos de defensa subyacentes de los dVLMs.
2. Estrategia GPO: La propuesta de la Optimización de Probabilidad Global, una estrategia novedosa que elude los controles de seguridad suprimiendo globalmente las probabilidades de tokens negativos y optimizando las pérdidas de ancla, en contraste con la optimización basada en prefijos de los modelos autoregresivos.
3. Marco GPO-V: El desarrollo del primer marco de jailbreak de modalidad visual para dVLMs. Demuestra que los dVLMs son inherentemente frágiles frente a ataques probabilísticos globales, a pesar de su aparente robustez frente a FPO.

Resultados Experimentales

Los autores evaluaron GPO-V en dos modelos de lenguaje visión difusión enmascarados de última generación: LLaDA-V y LaViDA, utilizando los conjuntos de datos AdvBench y JailBreakBench.

• Tasa de Éxito del Ataque (JSR): GPO-V logró una tasa de éxito de jailbreak de hasta 93.2% en LLaDA-V y 88.9% en LaViDA. En contraste, las líneas base tradicionales basadas en FPO (por ejemplo, GCG) lograron tasas de éxito insignificantes (a menudo < 2%).
• Transferibilidad: Las perturbaciones adversarias sintetizadas por GPO-V demostraron una alta transferibilidad cruzada entre modelos. Los ataques optimizados en un modelo fuente comprometieron con éxito modelos víctimas con arquitecturas heterogéneas (por ejemplo, transferir de LLaDA-V a LaViDA) con tasas de éxito superiores al 65%, lo que indica la captura de vulnerabilidades agnósticas al modelo.
• Robustez: El método permaneció efectivo en diferentes configuraciones de generación, incluidos bloques de longitud variable y el uso de técnicas de aceleración Fast-dLLM.
• Estudios de Ablación: Eliminar ya sea la pérdida global o la pérdida de ancla redujo significativamente la efectividad del ataque, confirmando que tanto la supresión de patrones de rechazo como la estabilización de anclas positivas son necesarias para el éxito.

Significado y Afirmaciones

El artículo afirma que sus hallazgos subrayan una brecha de seguridad crítica en las arquitecturas generativas no secuenciales. El significado principal radica en:

• Desafío a la Robustez Percibida: Los resultados demuestran que la resiliencia percibida de los dVLMs frente a los jailbreaks convencionales es engañosa. El mecanismo único de "Rechazo Progresivo", que actúa como defensa contra ataques de prefijos locales, es en sí mismo una vulnerabilidad cuando se dirige mediante optimización de probabilidad global.
• Necesidad de Reevaluación: Los autores argumentan que los paradigmas de defensa actuales, optimizados en gran medida para la decodificación causal (autoregresiva), son insuficientes para la variedad generativa única de los modelos de difusión.
• Llamada a la Acción: El trabajo exige una reevaluación inmediata y fundamental de la alineación de seguridad para los dVLMs para abordar los riesgos de la generación basada en difusión, instando a la comunidad de investigación a desarrollar defensas robustas contra estas amenazas no secuenciales emergentes.

El artículo concluye que GPO-V expone vulnerabilidades intrínsecas en el propio proceso de difusión, sugiriendo que la alineación de seguridad debe evolucionar para tener en cuenta las dinámicas probabilísticas globales en lugar de solo la predicción de tokens secuenciales.