Resumen Técnico: Explotación de las Vulnerabilidades del Codificador de Visión para la Perturbación Adversaria Universal en Modelos de Lenguaje y Visión de Gran Escala

Declaración del Problema

Los Modelos de Lenguaje y Visión de Gran Escala (LVLM) han logrado un rendimiento significativo en tareas multimodales, pero siguen siendo altamente susceptibles a las perturbaciones adversarias. Las estrategias de ataque adversario existentes suelen tratar al codificador de visión como una superficie monolítica y uniformemente vulnerable, optimizando las perturbaciones contra los embeddings de salida final del codificador. Sin embargo, este enfoque ignora la heterogeneidad estructural interna del codificador, lo que puede diluir los efectos adversarios al atacar componentes robustos. Además, la mayoría de los métodos previos dependen de perturbaciones específicas para cada imagen, lo que resulta en altos costos computacionales y una escalabilidad limitada para la evaluación de robustez en grandes conjuntos de imágenes. Existe una falta de análisis sistemático sobre qué componentes internos del codificador de visión son más críticos para el comportamiento del modelo de lenguaje descendente y cómo explotar estas vulnerabilidades de manera eficiente.

Metodología: VEV-UAP

Los autores proponen la Perturbación Adversaria Universal Dirigida a Componentes Vulnerables del Codificador de Visión (VEV-UAP), un marco diseñado para generar una perturbación única y universal que degrade el rendimiento de los LVLM a través de imágenes y tareas sin involucrar entradas textuales o el modelo de lenguaje durante la optimización. La metodología procede en dos etapas principales:

1. Análisis de Vulnerabilidad Estructural

Los autores llevan a cabo un análisis sistemático por componente y por capa de los mecanismos de atención dentro de los codificadores de visión para identificar la "Puntuación de Robustez de Representación (RR)". Esta puntuación mide la similitud de coseno entre los estados ocultos del Modelo de Lenguaje Grande (LLM) descendente antes y después de perturbar componentes de atención específicos (pesos de Atención, vectores de Query, Key y Value) en varias capas.

• Hallazgo Clave: El análisis revela que la vulnerabilidad adversaria no está distribuida uniformemente. En cambio, está concentrada estructuralmente en los vectores de valor (value vectors) de las capas medias del codificador de visión. Perturbar estos componentes específicos induce la mayor divergencia en los estados ocultos del LLM, mientras que perturbar las capas iniciales/finales u otros componentes (Query, Key, pesos de Atención) produce un impacto significativamente menor.

2. Optimización del Ataque

Basándose en el análisis de vulnerabilidad, VEV-UAP optimiza una perturbación universal $\delta$ maximizando la divergencia de los vectores de valor en las capas medias vulnerables identificadas ($L_{vul}$) a través de un conjunto de imágenes de entrada $X$.

• Objetivo: La optimización minimiza la Puntuación RR (maximiza la distancia de coseno) entre los vectores de valor de las imágenes limpias $V_l(x)$ y las imágenes perturbadas $V_l(x+\delta)$ para las capas $l \in L_{vul}$.
• Restricciones: La perturbación está restringida por una norma $L_\infty$ ($\|\delta\|_\infty \leq \epsilon$) para asegurar la imperceptibilidad.
• Eficiencia: El proceso se basa enteramente en el codificador de visión. No requiere gradientes del LLM, no utiliza prompts textuales durante la optimización y genera una única perturbación compartida para todas las imágenes, eliminando los costos de optimización por imagen.

Contribuciones Clave

1. Identificación de Componentes Vulnerables: El artículo proporciona el primer análisis sistemático por componente y por capa de los codificores de visión de los LVLM, identificando los vectores de valor de las capas medias como la principal vía de propagación de los efectos adversarios hacia el modelo de lenguaje.
2. Marco VEV-UAP: Los autores introducen un método de perturbación adversaria universal que apunta a estos componentes vulnerables específicos. Este enfoque logra altas tasas de éxito de ataque (ASR) siendo agnóstico a la tarea y sin requerir supervisión textual o acceso al LLM durante el entrenamiento.
3. Eficiencia y Transferibilidad: El método propuesto demuestra una eficiencia computacional superior en comparación con los baselines de optimización de modelo completo. Crucialmente, una sola perturbación VEV-UAP optimizada en un codificador de visión específico se transfiere eficazmente a diferentes LVLM que comparten el mismo codificador de visión, incluso cuando están emparejados con diferentes modelos de lenguaje.

Resultados Experimentales

Los autores evaluaron VEV-UAP en múltiples LVLM (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) y tareas (Clasificación de Imágenes, Descripción de Imágenes, Preguntas y Respuestas Visuales - VQA).

• Tasas de Éxito de Ataque (ASR): VEV-UAP superó consistentemente a los baselines existentes (Text-Emb, Img-Emb, Both-Emb). Por ejemplo, en LLaVA-1.5 para clasificación, VEV-UAP logró un ASR del 96.1% (en $\tau=0.9$), comparado con el 29.9% del mejor baseline. En tareas de VQA, redujo las puntuaciones del modelo a niveles cercanos a cero (por ejemplo, 0.3 en VQAv2 para LLaVA-1.5).
• Transferibilidad: Una única perturbación generada usando el codificador de visión EVA-CLIP engañó con éxito tanto a InstructBLIP como a MiniGPT-4, a pesar de utilizar diferentes backbones de lenguaje (Vicuna-13B vs. LLaMA2-7B). Del mismo modo, una perturbación basada en CLIP-336 afectó tanto a LLaVA como a LLaVA-1.5.
• Robustez ante Defensas: Bajo compresión JPEG ($Q=90$), VEV-UAP mantuvo un ASR significativamente mayor que los baselines (por ejemplo, 88.5% vs. 65.9% para la clasificación de Qwen2.5-VL).
• Costo Computacional: VEV-UAP redujo el tiempo de optimización a aproximadamente 3.19 horas por UAP, ofreciendo una aceleración de 6.4$\times$ en comparación con los métodos que optimizan a través de la arquitectura completa del LVLM.
• Análisis Cualitativo: Las visualizaciones mostraron que VEV-UAP causa que las distribuciones de los vectores de valor se vuelvan invariantes a través de diferentes imágenes de entrada y conduce a patrones de atención borrosos y desalineados en el LLM descendente, resultando en salidas repetitivas o semánticamente no relacionadas.

Significado y Reivindicaciones

El artículo afirma que la vulnerabilidad adversaria de los LVLM está concentrada estructuralmente en lugar de estar distribuida uniformemente. Al identificar y atacar los componentes "cuello de botella" específicos (vectores de valor de la capa media) que median la integración de características antes de la proyección al modelo de lenguaje, VEV-UAP logra una interrupción más eficiente y potente del flujo multimodal.

Los autores posicionan a VEV-UAP no solo como una herramienta de ataque, sino como un marco práctico para la evaluación de robustez escalable. Debido a que elimina la necesidad de optimización por imagen y por prompt, y depende únicamente del codificador de visión, permite la evaluación rápida de la robustez a través de grandes conjuntos de imágenes y diversas arquitecturas de modelos que comparten el mismo backbone visual. El trabajo sugiere que los esfuerzos futuros para mejorar la robustez de los LVLM deberían centrarse en reforzar explícitamente estas representaciones de valor de la capa media vulnerables.