Unifying Adversarially Robust Model Experts in Vision-Language Models

Resumen Técnico: Unificación de Expertos de Modelos Robustos Adversarialmente en Modelos de Visión-Lenguaje

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLMs), como CLIP, son altamente susceptibles a ataques adversariales, donde perturbaciones imperceptibles pueden alterar drásticamente las predicciones. Aunque el ajuste fino (fine-tuning) adversarial es una estrategia de defensa primaria, los métodos existentes suelen producir "expertos de modelos robustos" especializados con características distintas y, a menudo, conflictivas. Específicamente, el artículo identifica dos filosofías dominantes de ajuste fino:

1. Expertos en Alineación Imagen-Texto (p. ej., TeCoA): Estos dependen del espacio de incrustación (embedding) compartido para guiar el entrenamiento, maximizando la alineación entre las imágenes y los prompts de texto. Funcionan bien en clases con nombres aprendidos, pero tienen dificultades para mantener la robustez en clases no vistas o nuevos prompts de texto.
2. Expertos en Invariancia de Imagen (p. ej., FARE): Estos se centran en preservar las representaciones visuales minimizando la distancia entre las incrustaciones de imágenes limpias y adversariales. Generalizan mejor a conjuntos de datos no vistos, pero a menudo rinden por debajo de su potencial en clases conocidas porque no aprovechan explícitamente la representación compartida imagen-texto.

El desafío central es que estos expertos divergen durante el entrenamiento debido a sus diferentes objetivos de optimización, lo que hace que sea inestable simplemente fusionarlos después. Los intentos previos de combinar modelos suelen requerir la sobrescritura periódica de parámetros para mantener la estabilidad, lo que limita la exploración y especialización de los expertos individuales.

Metodología: Marco CARE
Los autores proponen CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment), un marco que entrena múltiples modelos expertos simultáneamente mientras facilita el intercambio de conocimiento para evitar la divergencia. El marco integra dos expertos específicos: un experto de Alineación (basado en TeCoA) y un experto de Invariancia (basado en FARE).

El proceso de CARE consta de cuatro pasos clave:

1. Inicialización de Perturbación Universal (GAIP): En lugar de generar ruido aleatorio independiente para cada experto, CARE utiliza un Proceso de Inicialización de Perturbación Adversarial Global (GAIP). Esto crea una perturbación universal compartida al alinear los logits perturbados con el experto de Alineación y las incrustaciones de imagen con el experto de Invariancia utilizando la similitud de coseno negativa. Esto asegura un punto de partida coherente para la generación adversarial.
2. Generación Adversarial Independiente: Cada experto genera sus muestras adversariales específicas utilizando la perturbación inicializada. El experto de Alineación utiliza la pérdida de Entropía Cruzada (CE), mientras que el experto de Invariancia utiliza la pérdida de distancia $L_2$.
3. Armonización de Expertos: Esta es la innovación central. Para evitar que los expertos se distancien, se aplica un mecanismo de armonización en el espacio de incrustación (embedding).
   • El experto de Invariancia alinea sus logits limpios (que normalmente no optimiza) con los del experto de Alineación.
   • El experto de Alineación alinea sus incrustaciones de imagen limpias con las del experto de Invariancia.
   • El análisis teórico (Teorema 1) sugiere que el uso de la similitud de coseno para estas pérdidas auxiliares actúa como un término de momento, atrayendo a los expertos entre sí y estabilizando el entrenamiento sin sacrificar sus especializaciones individuales.
4. Generalización del Conocimiento: Finalmente, los parámetros del modelo unificado ($\theta_{CARE}$) se actualizan utilizando un Promedio Móvil Exponencial (EMA) de los dos expertos, ponderado por un factor $\gamma$.

Contribuciones Clave

• Marco Unificado: La propuesta de CARE, que mantiene múltiples expertos robustos adversariales y unifica su conocimiento aprendido en un solo modelo, abordando la inestabilidad de fusionar modelos especializados.
• Mecanismo de Armonización: La introducción de una pérdida de armonización en el espacio de incrustación que permite el intercambio de conocimiento entre expertos durante el entrenamiento. Esto permite que el modelo aprenda propiedades de robustez complementarias (tanto alineación imagen-texto como invariancia de imagen) sin necesidad de la sobrescritura disruptiva de parámetros.
• Validación Empírica: Experimentos extensos que demuestran que CARE supera a los expertos entrenados individualmente (TeCoA y FARE) tanto en clasificación de imágenes in-distribución como en tareas de visión-lenguaje zero-shot.

Resultados
Los autores evaluaron CARE en ImageNet-1K y 13 conjuntos de datos adicionales de zero-shot, así como en tareas de downstream como descripción de imágenes (COCO, Flickr30k) y preguntas-respuestas visuales (TextVQA, VQAv2).

• Clasificación de Imágenes: CARE superó consistentemente tanto a TeCoA como a FARE. Bajo ataques adversariales fuertes ($\epsilon = 4/255$), CARE superó a TeCoA por aproximadamente un 2% y a FARE por casi un 8% en promedio. Notablemente, CARE heredó la estabilidad de TeCoA en datos in-distribución mientras mantenía las capacidades de generalización de FARE en conjuntos de datos no vistos.
• Tareas de Downstream: En tareas de descripción de imágenes y VQA, CARE logró la mejor precisión robusta en la mayoría de los entornos. Mientras que FARE mostró un fuerte rendimiento en datos limpios (debido a su naturaleza de invariancia), CARE proporcionó una robustez superior contra perturbaciones adversariales, transfiriendo con éxito el conocimiento de alineación a diferentes codificadores de texto utilizados en modelos downstream (LLaVA).
• Análisis Cualitativo: Las visualizaciones t-SNE mostraron que CARE produjo clústeres compactos con límites bien definidos, combinando la alta dispersión de TeCoA y la fragmentación de FARE. Los resultados cualitativos de descripción y VQA demostraron que CARE mantuvo salidas consistentes y correctas bajo ataque, mientras que otros modelos a menudo generaban alucinaciones o respuestas incorrectas.

Significancia y Reivindicaciones
El artículo afirma que el aprendizaje colaborativo entre expertos de modelos es una dirección prometedora para mejorar la robustez adversarial en los VLMs. La importancia de CARE radica en su capacidad para superar el compromiso entre la precisión in-distribución y la generalización zero-shot. Al armonizar a los expertos mediante la alineación de incrustaciones, CARE crea un modelo unificado que hereda las fortalezas complementarias de diferentes estrategias de entrenamiento adversarial. Los autores señalan que, si bien el método requiere recursos computacionales adicionales (entrenar múltiples modelos), las optimizaciones de ingeniería como la inicialización de perturbación compartida y la gestión de memoria mitigan estos costos. El trabajo sugiere que la investigación futura debería explorar métodos colaborativos que tengan en cuenta la asimetría entre las incrustaciones de imagen y los logits de clase, ya que el proceso de alineación actual mostró que optimizar ambos no siempre produce un modelo estrictamente mejor si no se equilibra cuidadosamente.