Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

1. El Problema

Los modelos de visión y lenguaje (VLMs), como CLIP, han demostrado capacidades impresionantes de inferencia zero-shot (sin entrenamiento específico para la tarea). Sin embargo, son extremadamente vulnerables a ataques adversarios, donde perturbaciones imperceptibles en los píxeles de una imagen pueden engañar al modelo para que realice predicciones incorrectas.

Las estrategias actuales para mitigar esta vulnerabilidad se basan en el Ajuste Fino Adversarial (AFT). Sin embargo, los métodos existentes (como TeCoA y sus variantes) presentan limitaciones críticas:

• Desviación del Preentrenamiento: Utilizan conjuntos de datos de clasificación proxy (ej. ImageNet) y una función de pérdida de entropía cruzada para alinear imágenes adversarias con etiquetas de clase. Esto contradice el proceso de preentrenamiento de CLIP, que se basa en pares imagen-texto y una pérdida contrastiva.
• Pérdida de Capacidades: Este enfoque degrada significativamente las capacidades zero-shot originales del modelo y limita la transferencia de la robustez a dominios y datasets no vistos durante el ajuste fino.
• Sobreajuste al Dominio Proxy: Al entrenar en un dataset de clasificación limpio, el modelo tiende a memorizar la distribución de ese dataset específico, perdiendo generalización.

2. Metodología: AdvFLYP

Los autores proponen un nuevo paradigma llamado AdvFLYP (Adversarially Finetune Like You Pretrain). La idea central es respetar la "receta" de entrenamiento original de CLIP durante el proceso de ajuste fino adversarial.

A. Preparación de Datos

En lugar de usar un dataset de clasificación etiquetado (como ImageNet), AdvFLYP utiliza pares imagen-texto recolectados de la web (ej. muestreando de LAION-400M). Esto imita la distribución de datos del preentrenamiento original, manteniendo la naturaleza "ruidosa" y diversa de los datos web.

B. Marco de Entrenamiento (Min-Max)

El proceso sigue un esquema de entrenamiento adversarial estándar, pero cambia el objetivo:

1. Generación de Ataques (Paso Interno): Se generan perturbaciones adversarias ($\delta$) para maximizar la pérdida contrastiva dentro de un lote de pares imagen-texto, en lugar de maximizar la entropía cruzada. Las perturbaciones se optimizan conjuntamente para todo el lote.
2. Ajuste Fino (Paso Externo): El codificador de visión se actualiza minimizando la pérdida contrastiva entre las imágenes adversarias y sus textos correspondientes, alineándolas en el espacio latente.

C. Regularización

Dado que los datos web son ruidosos y la generación de ataques basada en pérdida contrastiva puede distorsionar las características de las imágenes en el espacio de incrustación, se proponen dos términos de regularización:

1. Regularización a Nivel de Logits ($L_{logit}$): Penaliza la divergencia KL entre las probabilidades del modelo ajustado y las del CLIP original (congelado) sobre las imágenes adversarias. Esto mejora la robustez en tareas posteriores.
2. Regularización a Nivel de Características ($L_{feat}$): Penaliza la desviación de las características de las imágenes adversarias respecto a:
   • Las características de las imágenes limpias (mismo modelo).
   • Las características de las imágenes adversarias generadas por el CLIP original congelado.
   • Esto es crucial para preservar la precisión limpia (zero-shot capability) y evitar que el codificador de visión se degrade.

La función de pérdida final combina la pérdida contrastiva principal con ambos términos de regularización.

3. Contribuciones Clave

• Nuevo Paradigma (AdvFLYP): Se desafía la práctica estándar de usar datasets de clasificación y pérdida de entropía cruzada para el ajuste fino adversarial de VLMs. Se demuestra que respetar la distribución de datos y el objetivo de preentrenamiento (pares imagen-texto + pérdida contrastiva) es superior.
• Regularización Dual: Se identifica que, en el contexto de AdvFLYP, la regularización a nivel de logits beneficia principalmente la robustez adversarial, mientras que la regularización a nivel de características es esencial para mantener la precisión en imágenes limpias (algo que no ocurría en métodos anteriores como PMG-AFT).
• Generalización Superior: El método no requiere etiquetas de clase durante el entrenamiento, lo que lo hace más escalable y alineado con la naturaleza de los VLMs.

4. Resultados Experimentales

Los autores evaluaron AdvFLYP en 14 datasets de clasificación de diversos dominios (objetos generales, granos finos, escenas, dominios específicos) y variantes de ImageNet (ImageNet-R, ImageNet-A, etc.).

• Robustez Adversarial: AdvFLYP (versión básica) superó consistentemente a los métodos state-of-the-art (TeCoA, PMG-AFT, TGA-ZSR) bajo ataques estándar (PGD, CW, AutoAttack) con presupuesto $\epsilon = 1/255$.
  • La precisión robusta promedio mejoró de ~33.77% (TeCoA) a 35.61% (AdvFLYP básico) y 38.39% (AdvFLYP con regularización completa).
• Precisión Limpia (Zero-shot): A diferencia de los métodos anteriores que sufren una caída drástica en precisión limpia, AdvFLYPfull mantuvo una precisión limpia promedio de 55.84%, superando a los baselines supervisados.
• Transferencia de Dominio: En datasets fuera de distribución (OOD) como ImageNet-R y ObjectNet, AdvFLYP mostró una mejora significativa en la transferencia de la robustez, demostrando que no se sobreajusta a la distribución de ImageNet como lo hacen los métodos basados en clasificación.
• Análisis de Ablación: Se confirmó que el uso de datos web y la pérdida contrastiva son los factores principales de mejora, y que la combinación de regularizaciones de logits y características es necesaria para equilibrar robustez y precisión limpia.

5. Significado e Impacto

Este trabajo es fundamental porque cambia la perspectiva sobre cómo se deben robustecer los modelos fundacionales (Foundation Models).

• Cambio de Paradigma: Sugiere que para mejorar la robustez de un modelo preentrenado, no se debe tratar el ajuste fino como un proceso de clasificación separado, sino como una continuación del preentrenamiento original, incluso bajo condiciones adversas.
• Eficiencia y Generalización: Al eliminar la dependencia de datasets de clasificación masivos y etiquetados, el método es más flexible y logra una generalización superior en dominios no vistos.
• Implicaciones Futuras: Establece una nueva línea base para la investigación en seguridad de VLMs, indicando que la alineación con la distribución de datos original es tan importante como la estrategia de ataque/defensa en sí misma.

En resumen, AdvFLYP demuestra que "ajustar el modelo como se preentrenó" es una estrategia más efectiva para la robustez adversarial zero-shot que los métodos tradicionales de clasificación, logrando un equilibrio superior entre seguridad y utilidad del modelo.