Resumen Técnico: CBV – Ataques de Puerta Trasera de Etiqueta Limpia en Modelos de Visión y Lenguaje mediante Modelos de Difusión

1. Declaración del Problema

Los Modelos de Visión y Lenguaje (VLM) han logrado un éxito significativo en tareas multimodales como la descripción de imágenes y la Respuesta a Preguntas Visuales (VQA). Sin embargo, estudios recientes indican que los VLM son vulnerables a ataques de puerta trasera mediante envenenamiento de datos. Los ataques de puerta trasera existentes en VLM suelen depender de estrategias de "etiqueta sucia", donde los atacantes modifican las etiquetas de texto de las muestras envenenadas para crear una discrepancia entre imagen y texto (por ejemplo, etiquetar una imagen de un perro como "personas"). Esta discrepancia hace que las muestras envenenadas sean relativamente fáciles de detectar mediante inspección estándar de datos.

El artículo aborda el desafío de ejecutar ataques de puerta trasera de etiqueta limpia en VLM. En este escenario, el atacante debe construir muestras envenenadas que conserven exactamente las mismas etiquetas de texto que las muestras limpias, modificando únicamente el contenido de la imagen. El objetivo es implantar una puerta trasera de modo que el modelo se comporte con normalidad ante entradas limpias, pero produzca salidas especificadas por el atacante (por ejemplo, sustituir "personas" por "perro") cuando se le presente una imagen activadora. Esto es particularmente desafiante para los VLM porque, a diferencia de las tareas tradicionales de clasificación de imágenes que solo requieren alineación a nivel de clase, los VLM exigen una rica consistencia semántica entre características complejas de la imagen y descripciones textuales detalladas. Los métodos anteriores de etiqueta limpia, que a menudo dependen de modelos sustitutos para aproximar espacios de características, luchan por codificar la información semántica compleja necesaria para los VLM, lo que conduce a ataques ineficaces o a artefactos antinaturales.

2. Metodología: CBV

Los autores proponen CBV (Ataques de Puerta Trasera de Etiqueta Limpia en Modelos de Visión y Lenguaje mediante Modelos de Difusión), un marco que aprovecha los modelos de difusión y la coincidencia de puntuaciones (score matching) para generar imágenes envenenadas de apariencia natural que incorporan características activadoras mientras preservan la etiqueta original. La tubería consta de tres etapas principales:

A. Generación de Activador de Perturbación Adversarial Universal (UAP)

En lugar de utilizar ruido simple o parches de imagen fijos, CBV genera una Perturbación Adversarial Universal (UAP) reutilizable para servir como activador.

• Proceso: Utilizando un modelo sustituto (CLIP), el método maximiza iterativamente la pérdida de alineación imagen-texto en un conjunto de imágenes benignas.
• Objetivo: La UAP resultante ($\delta$) induce desviaciones consistentes en el espacio de características a través de diversas entradas, lo que facilita que el modelo víctima aprenda la puerta trasera y la active de manera fiable. La UAP se aplica a una imagen objetivo para crear una "muestra activada".

B. Generación de Máscara Guiada por GradCAM (GM)

Para mejorar el sigilo y evitar artefactos antinaturales en las regiones de fondo, CBV restringe las modificaciones a áreas semánticamente importantes.

• Proceso: Un modelo de clasificación de imágenes sustituto calcula un mapa de calor GradCAM para la clase objetivo. Este mapa de calor se umbraliza para crear una máscara binaria ($M$).
• Aplicación: Las modificaciones se aplican únicamente dentro de la región enmascarada, dejando el resto de la imagen intacta. Esta estrategia busca generar muestras visualmente naturales en lugar de minimizar estrictamente la distancia píxel a píxel.

C. Generación Basada en Coincidencia de Puntuaciones mediante Modelos de Difusión

La innovación central consiste en utilizar un modelo de difusión para generar la imagen envenenada modificando la función de puntuación de eliminación de ruido.

• Mecanismo: El método trata la generación de la imagen envenenada como un proceso de difusión inversa condicional. Modifica la función de puntuación estándar ($s_\theta$) incorporando orientación multimodal tanto de la imagen activada ($x_{trig}$) como de su texto correspondiente ($y_{trig}$).
• Puntuación Guiada: La función de puntuación actualizada se define como:
  $$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$$
  Donde $S_I$ y $S_T$ son funciones de similitud de imagen y texto (implementadas mediante incrustaciones de CLIP), y $\lambda_I, \lambda_T$ son coeficientes de ponderación.
• Resultado: Esto guía la trayectoria de eliminación de ruido para producir una imagen visualmente similar a la imagen limpia original (preservando la etiqueta) pero que contiene las características semánticas del activador, incrustando efectivamente la puerta trasera.

3. Contribuciones Clave

1. Primera Puerta Trasera de Etiqueta Limpia para VLM: El artículo introduce un método para ejecutar ataques de puerta trasera de etiqueta limpia en VLM, superando la limitación de los métodos anteriores que requerían manipulación de etiquetas.
2. Generación Basada en Difusión: Propone un enfoque novedoso que utiliza modelos de difusión y coincidencia de puntuaciones para generar muestras envenenadas que son semánticamente ricas y visualmente naturales, abordando el fracaso de la aproximación basada en modelos sustitutos en tareas complejas de VLM.
3. Orientación Multimodal: El método incorpora tanto orientación de imagen como de texto durante el proceso de generación para alinear las características del espacio latente, mejorando significativamente la transferibilidad y efectividad del ataque.
4. Sigilo mediante GM: La introducción de una máscara guiada por GradCAM asegura que las modificaciones se localicen en regiones semánticamente importantes, evitando el ruido visible y los artefactos comunes en ataques anteriores de etiqueta limpia.
5. Activador Universal: El uso de UAPs como activadores proporciona desviaciones de características más fuertes en comparación con el ruido simple, mejorando la fiabilidad de la activación de la puerta trasera.

4. Resultados Experimentales

Los autores evaluaron CBV en los conjuntos de datos MSCOCO (descripción de imágenes) y VQA v2 (Respuesta a Preguntas Visuales) utilizando cuatro VLM representativos: LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B y Qwen-2.5-VL-7B.

• Efectividad del Ataque: CBV logró una Tasa de Éxito del Ataque (ASR) superior al 80% en todos los modelos y tareas. Este rendimiento es comparable a los ataques de etiqueta sucia más avanzados (por ejemplo, TrojVLM, BadToken) y supera significativamente a los métodos existentes de etiqueta limpia (por ejemplo, Narcissus, HTBA), que típicamente lograron ASRs inferiores al 15%.
• Preservación de la Funcionalidad: El método mantuvo el rendimiento normal del modelo en entradas limpias. Métricas como BLEU@4 y CIDEr para la descripción de imágenes, y Precisión de VQA, permanecieron casi idénticas a las de los modelos entrenados normalmente, lo que indica ninguna degradación en la utilidad.
• Sigilo: Las comparaciones visuales mostraron que las muestras envenenadas generadas por CBV parecían naturales y carecían del ruido o artefactos notables presentes en muestras generadas por otros métodos de etiqueta limpia.
• Robustez: El ataque demostró resistencia frente a mecanismos de defensa, incluidos Fine-pruning y TIJO (Inversión de Activador con Optimización Conjunta). La naturaleza compleja del activador UAP y la integración semántica del veneno dificultaron que estas defensas detectaran o reconstruyeran la puerta trasera.
• Eficiencia: CBV requirió significativamente menos tiempo de cálculo (aproximadamente 28.7 segundos por muestra) en comparación con los métodos de etiqueta limpia basados en optimización (que tardaron entre 185 y 218 segundos), ya que depende de un único paso de difusión inversa-forward en lugar de múltiples pasos iterativos de optimización.

5. Significado y Afirmaciones

El artículo afirma que CBV expone una vulnerabilidad de seguridad crítica en los modelos fundamentales multimodales: la capacidad de implantar puertas traseras efectivas sin alterar las etiquetas de los datos. Al generar muestras envenenadas de apariencia natural que son semánticamente potentes, el ataque elude los métodos estándar de inspección de datos y detección de anomalías.

Los autores enfatizan que, aunque su intención principal es exponer esta vulnerabilidad e estimular la investigación sobre defensas, la existencia de tales ataques plantea un riesgo para aplicaciones de VLM de alto riesgo (por ejemplo, imágenes médicas, vehículos autónomos). Concluyen que las estrategias de defensa actuales son insuficientes contra puertas traseras de etiqueta limpia que aprovechan modelos generativos para el sigilo, instando a la comunidad a desarrollar estrategias robustas de detección y mitigación diseñadas específicamente para esta clase de amenazas.