Resumen Técnico: Revisión de CroPA: Un Estudio de Reproducibilidad y Mejoras para la Transferabilidad Adversarial entre Prompts en Modelos Visuales-Lingüísticos

1. Declaración del Problema

Los Grandes Modelos Visuales-Lingüísticos (VLM) han revolucionado tareas como la clasificación de imágenes, la generación de descripciones y la respuesta a preguntas visuales (VQA). Sin embargo, siguen siendo altamente vulnerables a ataques adversarios donde perturbaciones sutiles en las imágenes o textos de entrada provocan salidas incorrectas o dañinas. Aunque investigaciones previas han establecido la Transferabilidad entre Modelos (ejemplos adversarios que funcionan en diferentes arquitecturas) y la Transferabilidad entre Imágenes (Perturbaciones Adversarias Universales o UAP), una nueva dimensión conocida como Transferabilidad entre Prompts fue introducida por Luo et al. (2024) mediante el Ataque entre Prompts (CroPA).

CroPA busca generar imágenes adversarias que permanezcan efectivas independientemente del prompt textual utilizado para consultar al VLM. A pesar de su novedad, la robustez y generalización de CroPA requieren una validación adicional. Además, el marco original de CroPA enfrenta limitaciones, que incluyen:

• Inicialización Aleatoria: Dependencia de una inicialización con ruido aleatorio no informado, lo que conduce a inestabilidad y convergencia lenta.
• Debilidades Específicas de Tarea: Rendimiento deficiente en tareas específicas como Clasificación y Generación de Descripciones.
• Intensidad Computacional: Alto consumo de recursos (por ejemplo, más de 6 horas en una GPU de 48 GB para 50 imágenes).
• Transferabilidad entre Imágenes Limitada: Las perturbaciones están estrechamente acopladas a la imagen específica sobre la que se generaron, dificultando su aplicación universal.

Este estudio aborda estos problemas realizando un estudio de reproducibilidad exhaustivo de CroPA y proponiendo mejoras para mejorar su Tasa de Éxito del Ataque (ASR), la convergencia y la transferabilidad entre imágenes y modelos.

2. Metodología

2.1 Estudio de Reproducibilidad

Los autores reprodujeron rigurosamente los experimentos originales de CroPA en VLM prominentes (Flamingo, BLIP-2, InstructBLIP y LLaVA). Validaron cuatro afirmaciones centrales de Luo et al. (2024):

1. CroPA logra una transferabilidad entre prompts superior en comparación con las líneas base (Single-P y Multi-P).
2. CroPA mantiene la superioridad en el rendimiento incluso a medida que aumenta el número de prompts.
3. CroPA converge a una ASR más alta con un mayor número de iteraciones.
4. CroPA supera a las líneas base en configuraciones de pocos ejemplos (aprendizaje en contexto).

La reproducción confirmó las afirmaciones originales, notando que CroPA supera consistentemente a las líneas base, aunque se observó inestabilidad en las tendencias de convergencia para tareas específicas (por ejemplo, Clasificación) en comparación con las métricas agregadas del artículo original.

2.2 Mejoras Propuestas

Para abordar las limitaciones identificadas, el artículo introduce tres mejoras metodológicas clave:

A. Inicialización de Ruido mediante Optimización de Codificación Visual

En lugar de ruido aleatorio, los autores proponen una inicialización informada semánticamente:

• Síntesis de Objetivo: Un modelo de difusión (Stable Diffusion XL) genera una imagen ($x_{target}$) correspondiente al prompt de texto objetivo.
• Anclaje del Codificador Visual: La perturbación inicial ($\delta_{init}$) se deriva minimizando el Error Cuadrático Medio (MSE) entre la representación del codificador visual de la imagen original más la perturbación y la representación del codificador visual de la imagen objetivo sintetizada:
  $$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$$
• Optimización: Esta inicialización se refina utilizando Descenso de Gradiente Proyectado (PGD) con una pérdida MSE, asegurando que la perturbación comience en una dirección semánticamente significativa hacia el objetivo adversario.

B. Guía de Perturbaciones mediante Vectores de Valores Objetivo (Integración D-UAP)

Para mejorar la transferabilidad y la fuerza del ataque, los autores integran una función de pérdida inspirada en el método de Perturbación Adversaria Doble Universal (D-UAP). Este enfoque apunta a la dinámica interna del mecanismo de atención del codificador visual:

• Mecanismo: El método perturba los vectores de valores de las capas de atención en el codificador visual. Minimiza la pérdida de similitud del coseno entre los vectores de valores de la imagen perturbada y los vectores de valores de una imagen de referencia correspondiente al texto objetivo.
• Función Objetivo: La pérdida final combina el objetivo min-max estándar de CroPA con la pérdida de vectores de valores:
  $$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$$
  donde $\mathcal{L}_{d-UAP}$ alienta a que los vectores de valores de la imagen perturbada se alineen con la representación del texto objetivo.

C. Transferabilidad entre Imágenes mediante Aumento de Imágenes

Para mitigar el sobreajuste a características específicas de la imagen y habilitar la transferabilidad entre imágenes, los autores integran estrategias de aumento de datos durante la generación de perturbaciones:

• SCMix: Un proceso de mezcla de dos etapas que involucra mezcla interna (combinación de parches recortados de la misma imagen) y mezcla cruzada (combinación con una imagen secundaria). Esto obliga al modelo a aprender características invariantes a variaciones espaciales y mezclas entre imágenes.
• CutMix: Una estrategia de reemplazo regional basada en máscaras duras que obliga a las perturbaciones a apuntar a características invariantes espacialmente en lugar de artefactos localizados.

3. Contribuciones y Resultados Clave

3.1 Validación de la Reproducción

El estudio reprodujo con éxito los resultados originales de CroPA, confirmando que:

• CroPA logra una ASR significativamente mayor que las líneas base Single-P y Multi-P en tareas de VQA, Clasificación y Generación de Descripciones.
• CroPA permanece robusto incluso cuando se agregan ejemplos de aprendizaje en contexto durante la inferencia (configuraciones de pocos ejemplos).
• La transferabilidad del método es en gran medida independiente del significado semántico o la frecuencia de palabras del texto objetivo.

3.2 Rendimiento de las Mejoras

• Inicialización de Ruido: La estrategia de inicialización propuesta mejoró significativamente la ASR. En BLIP-2, CroPA+Init logró una ASR general del 89.77% (vs. 77.08% para CroPA base) y hasta 94.58% para objetivos específicos como "I am sorry" (Lo siento). También redujo el número de pasos de optimización requeridos para la convergencia.
• Guía de Vectores de Valores (D-UAP): Integrar la pérdida de vectores de valores impulsó aún más el rendimiento. El método CroPA+D-UAP logró una ASR general del 96.85% en BLIP-2 (un aumento del 12.5% sobre CroPA base) y del 92.70% en OpenFlamingo. Cabe destacar que esta mejora fue efectiva incluso contra textos objetivos "dañinos" como "Bomb" (Bomba), que normalmente activan los controles de seguridad del modelo.
• Transferabilidad entre Imágenes: Mientras que CroPA base lucha con la transferabilidad entre imágenes, la integración de SCMix mejoró la ASR no dirigida general del 43.55% al 70.55%, y CutMix la mejoró al 55.65%. Esto demuestra que el aumento puede cerrar parcialmente la brecha entre la transferabilidad entre prompts y la transferabilidad entre imágenes.

3.3 Análisis de Transferabilidad entre Modelos

El estudio analizó la transferabilidad entre modelos con diferentes arquitecturas (por ejemplo, de BLIP-2 a Flamingo frente a BLIP-2 a InstructBLIP).

• Hallazgos: La mejora D-UAP mejoró la transferabilidad entre modelos, particularmente entre modelos que comparten codificadores visuales similares (por ejemplo, de BLIP-2 a InstructBLIP, donde la ASR saltó del 50.65% al 68.50%).
• Limitación: La transferabilidad permaneció baja entre arquitecturas fundamentalmente diferentes (por ejemplo, de BLIP-2 a Flamingo), confirmando que la guía de vectores de valores depende de la arquitectura específica del codificador visual.

4. Significado y Afirmaciones

El artículo afirma proporcionar un marco más robusto para generar ejemplos adversarios transferibles en VLM. Su significado radica en:

1. Validación: Confirmar la existencia y potencia de las vulnerabilidades adversarias entre prompts en VLM de última generación.
2. Eficiencia y Eficacia: Demostrar que la inicialización informada semánticamente y las funciones de pérdida dirigidas pueden mejorar drásticamente las tasas de éxito del ataque y la velocidad de convergencia.
3. Generalización: Mostrar que, aunque la transferabilidad entre prompts y entre imágenes a menudo son objetivos competitivos, técnicas como SCMix pueden mejorar la generalización entre imágenes sin sacrificar las capacidades centrales entre prompts.
4. Implicaciones de Seguridad: Destacar que los VLM son vulnerables a ataques que manipulan las salidas independientemente del prompt o la arquitectura del modelo (en cierta medida), lo que plantea riesgos para la implementación en el mundo real. Por el contrario, los autores señalan que estas perturbaciones podrían usarse defensivamente para proteger datos sensibles forzando a los modelos a generar texto predeterminado no sensible.

Los autores concluyen que, aunque sus mejoras empujan los límites de dimensiones específicas de transferabilidad, existe un compromiso fundamental entre optimizar simultáneamente la transferabilidad entre prompts, entre imágenes y entre modelos. Piden investigaciones futuras sobre optimización multiobjetivo y diseños de ataques conscientes de la arquitectura para comprender y mitigar aún más estas vulnerabilidades.