ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP

Resumen Técnico: ATAC (Augmentation-Based Test-Time Adversarial Correction)

1. El Problema

Los modelos de visión-linguaje (VLM), y específicamente CLIP (Contrastive Language-Image Pre-training), han demostrado un éxito extraordinario en tareas de reconocimiento cero-shot y recuperación en el mundo real. Sin embargo, estos modelos son altamente vulnerables a perturbaciones adversarias en las imágenes: pequeñas alteraciones imperceptibles para el humano pueden causar errores de clasificación arbitrarios.

Las soluciones existentes presentan limitaciones significativas:

• Entrenamiento adversario (Fine-tuning): Aunque efectivo, es prohibitivamente costoso a escala de modelos fundacionales y puede erosionar la capacidad de generalización cero-shot.
• Defensas en el espacio de entrada (Purificación): A menudo sacrifican la precisión en datos limpios y son vulnerables a ataques adaptativos.
• Estrategias de prueba (Test-time) actuales: Métodos como el ajuste de prompts (TPT) o contraataques basados en gradientes (TTC) tienen limitaciones: los primeros asumen que las predicciones aumentadas pueden agregarse fácilmente (lo cual no siempre es cierto), y los segundos son computacionalmente costosos y dependen de hiperparámetros sensibles.

2. Metodología: ATAC

El autor propone ATAC, una estrategia de defensa en tiempo de prueba que opera directamente en el espacio de incrustación (embedding space) de CLIP, sin necesidad de reentrenamiento.

Principio Fundamental:
La observación empírica clave es que, aunque las perturbaciones adversarias pueden cambiar la predicción de CLIP, las transformaciones estándar de aumento de datos (como rotación, volteo, jitter de color) generan desplazamientos en el espacio latente que son consistentes en dirección para muestras adversarias, mientras que para muestras limpias estos desplazamientos son dispersos.

Algoritmo de ATAC:

1. Generación de Vistas Aumentadas: Dada una imagen de entrada $x$, se aplican $n$ transformaciones para obtener vistas aumentadas $x_1, ..., x_n$.
2. Cálculo de Vectores de Deriva (Drift Vectors): Se codifican la imagen original y las vistas aumentadas mediante el encoder de imágenes de CLIP ($f_x, f_{x_i}$). Se calculan los vectores de deriva latente: $d_i = f_x - f_{x_i}$.
3. Estimación de la Dirección de Recuperación: Se calcula la deriva media $\bar{d} = \frac{1}{n}\sum d_i$. En muestras adversarias, estos vectores tienden a alinearse, señalando una dirección de recuperación semántica (hacia la clase original).
4. Puerta de Consistencia Coseno (Cosine Consistency Gate): Se calcula la consistencia direccional $\tau$ (similitud coseno promedio entre los vectores de deriva y la media).
   • Si $\tau > \tau^*$ (umbral alto, indicando consistencia adversaria): Se corrige la incrustación original desplazándola en la dirección opuesta a la deriva media: $f^* = f_x + \alpha \bar{d}$.
   • Si $\tau \le \tau^*$ (indicando datos limpios o ruido): Se mantiene la incrustación original sin modificar para evitar la sobre-corrección.
5. Salida: La incrustación corregida $f^*$ se normaliza y se utiliza para la clasificación.

Ventajas Computacionales:
ATAC es libre de entrenamiento (training-free) y solo requiere $n$ pasadas hacia adelante (forward passes) durante la inferencia, lo que lo hace extremadamente eficiente en comparación con métodos de optimización iterativa.

3. Contribuciones Clave

• Nueva Paradigma de Defensa: Es el primer método (según los autores) que corrige directamente las incrustaciones visuales en el espacio de características de CLIP utilizando vectores de deriva inducidos por aumentos, en lugar de optimizar píxeles o ajustar prompts.
• Rendimiento Superior: Logra un estado del arte (SOTA) en robustez en 13 benchmarks de clasificación, superando a los métodos de defensa existentes y al ajuste fino adversario en un ~50% en promedio de precisión robusta.
• Análisis de la Vulnerabilidad de los Ataques: El trabajo revela una "falla fundamental" en los ataques no dirigidos basados en gradientes: estos dependen excesivamente de la etiqueta verdadera, creando desplazamientos direccionales consistentes que ATAC puede explotar para recuperar la semántica.
• Resistencia a Ataques Adaptativos: Demuestra una robustez no trivial incluso contra ataques adaptativos diseñados específicamente para engañar o evitar el mecanismo de corrección de ATAC.

4. Resultados Experimentales

Los experimentos se realizaron en 13 conjuntos de datos (incluyendo CIFAR, ImageNet, Oxford Pets, Stanford Cars, etc.) bajo ataques PGD ($L_\infty$, $\epsilon=4/255$).

• Precisión Robusta: ATAC alcanza una precisión robusta promedio de 80.94%, superando drásticamente a:
  • CLIP sin defensa: ~0.11%
  • Ajuste fino adversario (TeCoA, PMG-AFT): ~9-10%
  • Defensas de prueba anteriores (TTC, R-TPT): ~19-33%
  • Mejora promedio: Casi un 50% sobre el SOTA anterior.
• Precisión en Datos Limpios: Existe una ligera compensación (trade-off), con una caída de precisión en datos limpios de aproximadamente 2.37% en promedio, lo cual es comparable o mejor que otros métodos de defensa.
• Eficiencia: El tiempo de inferencia es bajo (18 segundos por 1000 imágenes en una GPU A6000), mucho más rápido que R-TPT (916s) y comparable a TTC.
• Análisis de Robustez-Accuracy: En escenarios de ataque no dirigidos, ATAC a veces supera la precisión en datos limpios con la precisión robusta, un fenómeno inusual explicado por la explotación de la dependencia de la etiqueta en el ataque.
• Ataques Adaptativos: Bajo ataques adaptativos (Lure y Avoid), ATAC mantiene una robustez significativa (ej. 7.21% en CIFAR-100 vs 0.83% de TTC), demostrando que no depende exclusivamente de la falla de los ataques no dirigidos.

5. Significado e Impacto

Este trabajo es significativo porque:

1. Cambia el enfoque de la defensa: Mueve la corrección adversaria del espacio de píxeles (optimización de imagen) al espacio semántico latente, lo cual es más eficiente y conceptualmente más sólido para modelos fundacionales.
2. Eficiencia Operativa: Ofrece una solución de defensa de alto rendimiento que no requiere reentrenar modelos masivos, haciéndola viable para despliegues en tiempo real y aplicaciones críticas de seguridad.
3. Insights Teóricos: Proporciona una comprensión más profunda de cómo los ataques adversarios interactúan con la geometría del espacio de incrustación de CLIP, sugiriendo que la consistencia direccional inducida por aumentos es una propiedad robusta que puede ser explotada para la recuperación semántica.

En conclusión, ATAC establece un nuevo estándar para las defensas en tiempo de prueba en modelos de visión-linguaje, demostrando que una corrección semántica ligera y basada en aumentos puede ofrecer una robustez superior con un costo computacional mínimo.