Test-Time Attention Purification for Backdoored Large Vision Language Models

Resumen Técnico: CleanSight

1. El Problema: Vulnerabilidad de los LVLMs a Ataques Backdoor

Los Grandes Modelos de Visión y Lenguaje (LVLMs) han demostrado un rendimiento excepcional en tareas multimodales. Sin embargo, son extremadamente vulnerables a ataques backdoor durante la fase de fine-tuning (ajuste fino).

• Mecanismo del ataque: Un adversario inyecta muestras envenenadas en los datos de entrenamiento, que contienen un "disparador" (trigger) visual sutil (parches, mezclas globales o imperceptibles) y una respuesta objetivo maliciosa.
• Consecuencia: El modelo entrenado se comporta normalmente con entradas limpias, pero cuando aparece el disparador en la inferencia, genera la respuesta maliciosa especificada por el atacante.
• Limitaciones de las defensas existentes: Las defensas actuales requieren reentrenar los parámetros del modelo (como adaptadores o módulos LoRA) con datos limpios. Esto es computacionalmente costoso, a menudo degrada el rendimiento del modelo en tareas legítimas y no es viable en escenarios donde el usuario no tiene control sobre el proceso de entrenamiento (ej. servicios de fine-tuning como servicio).

2. Metodología: CleanSight

El artículo propone CleanSight, una defensa de tiempo de prueba (test-time), sin necesidad de reentrenamiento (training-free) y plug-and-play. Su innovación radica en operar en el espacio de atención en lugar del espacio de píxeles.

A. Descubrimiento Mecanístico: "Robo de Atención" (Attention Stealing)
Los autores identifican un fenómeno causal en LVLMs envenenados:

• En modelos limpios, los tokens de texto suelen recibir más atención que los tokens visuales en las capas medias.
• En modelos con backdoor, la presencia del disparador provoca una redistribución anómala de la atención cruzada: los tokens visuales que contienen el disparador "roban" atención masiva de los tokens de texto/contexto.
• Este "robo" es local y específico del disparador; perturbar los píxeles de la imagen no elimina el efecto, pero perturbar los pesos de atención sí lo neutraliza.

B. Arquitectura de CleanSight
El método opera en dos etapas durante la inferencia:

1. Detección de Entradas Envenenadas:

   • Se seleccionan capas medias específicas donde ocurre la fusión cruzada (visión-lenguaje).
   • Se calcula una métrica de ratio de atención visual a texto para cada cabeza de atención (head).
   • Se compara el vector de ratios de la entrada actual con una distribución de referencia obtenida de una pequeña validación limpia (usando una distancia $\ell_2$ blanqueada).
   • Si la desviación supera un umbral $\gamma$, la entrada se marca como envenenada.

2. Purificación Selectiva (Pruning):

   • Si se detecta un backdoor, el sistema identifica los tokens visuales con atención anormalmente alta (los "ladrones" de atención).
   • Se crea una máscara global para suprimir estos tokens específicos.
   • Se añade un sesgo negativo grande a las logits de atención correspondientes a estos tokens en las capas posteriores y pasos de decodificación.
   • Resultado: Los tokens del disparador reciben casi cero atención, neutralizando la activación del backdoor sin alterar la semántica limpia de la imagen.

3. Contribuciones Clave

• Nuevo Paradigma de Defensa: Es el primer marco de defensa en tiempo de prueba para LVLMs que interviene en el flujo de datos no paramétrico (atención) en lugar de reentrenar parámetros o perturbar píxeles.
• Insight Mecanístico: Establece que la correlación del backdoor en LVLMs no depende de características visuales de bajo nivel, sino de una interacción anómala de atención cruzada (robando atención del texto al disparador).
• Eficiencia y Compatibilidad: Al ser training-free y plug-and-play, es aplicable a cualquier LVLM (como LLaVA, Qwen-VL, InstructBLIP) sin modificar su arquitectura ni requerir datos de entrenamiento adicionales masivos.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples conjuntos de datos (VQAv2, OKVQA, MSCOCO, Flickr8k) y contra diversos tipos de ataques (BadNet, Blended, ISSBA, WaNet, TrojVLM, VLOOD).

• Tasa de Éxito del Ataque (ASR): CleanSight reduce la ASR a casi 0% en la gran mayoría de los casos, superando significativamente a las defensas basadas en píxeles (como Blur, Transformaciones Espaciales, ZIP, SampDetox), que a menudo dejan una ASR alta o degradan severamente el rendimiento.
• Utilidad en Datos Limpios (CU): El método preserva casi intacto el rendimiento del modelo en datos limpios. A diferencia de las defensas de píxeles que distorsionan la imagen, CleanSight solo elimina tokens específicos, manteniendo la calidad de generación (medida por V-score y CIDEr).
• Robustez: Funciona eficazmente incluso con atacantes adaptativos que intentan ocultar el "robo de atención" y con tasas de envenenamiento muy bajas (hasta 0.1%).
• Generalización: Funciona consistentemente en diferentes arquitecturas (LLaVA-1.5, InstructBLIP, Qwen-VL) y tamaños de modelo (de 7B a 32B).

5. Significado e Impacto

Este trabajo representa un avance crucial en la seguridad de los modelos multimodales:

1. Cambio de Perspectiva: Demuestra que la seguridad de los LVLMs no debe centrarse solo en la limpieza de píxeles, sino en la monitorización y purificación de los mecanismos de atención interna.
2. Viabilidad Práctica: Ofrece una solución realista para proteger sistemas desplegados en entornos donde el reentrenamiento es imposible o prohibitivo (ej. servicios de nube, fine-tuning de terceros).
3. Fundamento Teórico: Proporciona una comprensión causal de cómo funcionan los backdoors en modelos grandes, abriendo la puerta a futuras defensas basadas en la dinámica de atención.

En conclusión, CleanSight establece un nuevo estándar para la defensa contra backdoors en LVLMs, logrando una eliminación casi total de ataques maliciosos mientras mantiene la utilidad del modelo, todo ello sin incurrir en los costos computacionales del reentrenamiento.