Semantic-aware Adversarial Fine-tuning for CLIP

1. El Problema: Limitaciones de la Robustez Adversarial en CLIP

El modelo CLIP (Contrastive Language-Image Pre-training) ha demostrado capacidades excepcionales de generalización zero-shot (sin entrenamiento específico para la tarea), pero es vulnerable a ejemplos adversarios (AEs).

• Enfoque Actual: Los métodos existentes de ajuste fino adversarial (como TeCoA) generan ejemplos adversarios minimizando la similitud coseno entre una imagen y una plantilla de texto única y manual (ej. "Una foto de un {etiqueta}").
• La Brecha de Investigación: Los autores identifican un fallo crítico: los ejemplos adversarios generados para engañar a CLIP utilizando una sola plantilla a menudo fallan cuando se evalúan bajo métricas de similitud más ricas semánticamente.
  • Evidencia: Si un ejemplo adversario reduce la puntuación de CLIP (similitud con "Una foto de un perro"), puede no reducir (e incluso aumentar) la similitud con descripciones más complejas generadas por modelos de lenguaje (como CuPL o WCA).
  • Consecuencia: Esto significa que el ajuste fino basado en plantillas simples crea un encoder de imágenes que es robusto solo ante variaciones lingüísticas específicas, pero no ante la diversidad semántica real, resultando en una robustez adversaria generalizada inferior.

2. Metodología: SAFT (Semantic-aware Adversarial Fine-Tuning)

Para abordar esto, los autores proponen SAFT, un nuevo marco que genera ejemplos adversarios "conscientes de la semántica" utilizando un conjunto de descripciones textuales refinadas en lugar de una sola plantilla.

El proceso se divide en tres componentes clave:

A. Generación de Descripciones Consciente de Alucinaciones

En lugar de usar plantillas fijas, SAFT utiliza un Modelo Fundacional (LLM o MLLM) para generar múltiples descripciones textuales para cada clase, capturando atributos, contextos y sinónimos diversos.

• Problema de Alucinación: Los LLMs pueden generar información falsa (ej. describir un perro como una "criatura alada mítica").
• Solución (Filtrado Semántico): Se propone un método de filtrado que calcula la similitud coseno entre la etiqueta de la clase original y cada descripción generada. Solo se retienen las K mejores descripciones (las más relevantes semánticamente) para formar el conjunto de texto de referencia. Esto elimina el ruido y las alucinaciones.

B. Ataque de Ensamble Semántico

Una vez obtenidas las descripciones refinadas, se genera el ejemplo adversario ($\delta^*$) maximizando la disimilitud entre la imagen perturbada y el promedio de los embeddings de todo el conjunto de descripciones textuales.

• Objetivo: Forzar al modelo a que la imagen perturbada no se alinee con ninguna de las variaciones semánticas válidas de la clase, creando un ejemplo adversario más fuerte y generalizable.

C. Función de Objetivo de Ajuste Fino

El encoder de imágenes de CLIP se ajusta finamente minimizando la pérdida de disimilitud promedio entre las imágenes adversarias y el conjunto de descripciones textuales refinadas.

• Resultado: El encoder aprende representaciones que son invariantes tanto a perturbaciones visuales como a variaciones lingüísticas, alineando la imagen con el "manifold semántico" completo de la clase.

3. Contribuciones Clave

1. Observación Fundamental: Demostraron empíricamente que los ejemplos adversarios optimizados para una sola plantilla de texto (CLIP score) son insuficientes para degradar la alineación imagen-texto bajo métricas semánticamente enriquecidas, lo que lleva a una robustez subóptima.
2. Marco SAFT: Propusieron un nuevo método de ajuste fino que integra descripciones textuales enriquecidas y filtradas (conscientes de alucinaciones) para generar ataques adversarios más robustos.
3. Validación Empírica: Demostraron que SAFT supera a los métodos actuales (SOTA) en 16 conjuntos de datos, mejorando significativamente la compensación entre precisión limpia y robustez adversaria, y generalizando bien a plantillas de texto no vistas.

4. Resultados Experimentales

Los experimentos se realizaron en 16 conjuntos de datos (incluyendo Tiny-ImageNet como fuente y 15 conjuntos zero-shot como objetivo).

• Rendimiento General: SAFT superó al estado del arte (TGA-ZSR) en un promedio de 3.85% en precisión robusta zero-shot a través de los 15 conjuntos de datos objetivo.
• Precisión Limpia vs. Robustez: Mientras que algunos métodos priorizan la precisión limpia a costa de la robustez, SAFT logra un equilibrio superior. Por ejemplo, SAFT-L superó a FARE (el mejor en precisión limpia) en un 17.46% en robustez promedio zero-shot.
• Escalabilidad:
  • Funciona bien en modelos más grandes (CLIP-L/14), superando a FARE en un 10% en robustez.
  • Es escalable a conjuntos de datos grandes como ImageNet-1K.
• Generalización:
  • Plantillas no vistas: SAFT mantiene su superioridad sobre TGA-ZSR al evaluar con 13 plantillas de texto diferentes (vistas y no vistas).
  • Tareas de Recuperación: Se demostró que SAFT mejora la recuperación imagen-texto (COCO, Flickr) bajo ataques adversarios.
  • Dominios Fuera de Distribución: El método se generaliza bien a dominios no vistos como dibujos (TU-Berlin) y arte (ImageNet-R).

5. Significado e Impacto

Este trabajo es significativo porque cambia el paradigma de cómo se construyen los ejemplos adversarios para modelos multimodales.

• Más allá de la plantilla simple: Demuestra que la robustez en modelos VLM (Vision-Language Models) no puede lograrse optimizando contra una sola frase, sino que requiere una comprensión profunda de la semántica de la clase a través de múltiples descripciones.
• Calidad de Datos Sintéticos: Introduce la importancia crítica de filtrar las alucinaciones de los LLMs cuando se utilizan para generar datos de entrenamiento adversario.
• Aplicabilidad Práctica: Ofrece un método viable computacionalmente (aunque con un ligero costo adicional en memoria) que mejora la seguridad y fiabilidad de los sistemas CLIP en escenarios del mundo real donde las descripciones de las clases pueden variar enormemente.

En resumen, SAFT establece un nuevo estándar para el ajuste fino adversarial en CLIP, demostrando que la riqueza semántica en el texto de supervisión es esencial para entrenar modelos de visión que sean verdaderamente robustos.