Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

1. El Problema: Vulnerabilidad de los Modelos Visión-Lenguaje (VLM)

Los modelos de visión y lenguaje (VLM) son fundamentales para tareas como la recuperación de imágenes (retrieval) y la localización visual (visual grounding). Sin embargo, son altamente vulnerables a ataques adversariales multimodales, donde perturbaciones sutiles en la imagen o el texto engañan al modelo para que produzca salidas incorrectas.

• El Dilema Robustez-Rendimiento: Las defensas existentes, como el entrenamiento adversarial (AT), suelen mejorar la robustez a costa de una caída significativa en el rendimiento en datos limpios (clean performance) y con altos costos computacionales.
• La Hipótesis de los "Palabras Funcionales": Los autores proponen que las palabras funcionales (artículos, preposiciones, conjunciones, etc., que tienen alta frecuencia pero baja carga semántica) actúan como "distracciones" en la alineación visión-lenguaje. Debido a la brecha semántica inherente entre imágenes limpias y textos objetivo, los ataques adversariales tienden a guiar las perturbaciones hacia estos tokens menos informativos pero más accesibles, explotándolos para desalinear el modelo.

2. Metodología: Desatención a Palabras Funcionales (FDA)

Para mitigar esta vulnerabilidad sin sacrificar el rendimiento, los autores proponen Function-word De-Attention (FDA), un método que refina la alineación visión-lenguaje restando la atención a las palabras funcionales.

Mecanismo Técnico

FDA se inspira en los "transformers diferenciales" y se implementa dentro de los cabezados de atención (attention heads) de los codificadores de fusión:

1. Detección de Palabras Funcionales: Se utiliza un diccionario de palabras funcionales (stopwords) para crear una máscara ($M_{Tf}$) que aísla estos tokens del texto de entrada.
2. Cálculo de Atención Paralela: Se establece una tubería paralela al cálculo de atención cruzada estándar. Esta tubería calcula la atención cruzada específicamente entre las palabras funcionales ($F_{Tf}$) y las características de la imagen ($F_V$). Esto se denomina "atención de distracción".
3. Softmax y Destacado: Se aplica softmax a lo largo de las dimensiones de los tokens visuales y textuales para resaltar los tokens visuales que tienen una activación falsa inducida por las palabras funcionales.
4. Resta Diferencial: La atención de distracción calculada se resta de la atención original.
   • La fórmula clave es: $\hat{Att} = \min(Att - G(\tilde{Att}_t), Att - G(\tilde{Att}_v))$, donde $G$ es una puerta de control para la intensidad de la resta.
   • Se toma el valor mínimo para asegurar que se elimine la distracción tanto desde la perspectiva visual como textual.
5. Implementación Flexible: El método se puede aplicar en diferentes capas y cabezados de atención. Los experimentos sugieren que aplicarlo en las capas tempranas (ej. capas 0-1) y en la primera mitad de los cabezados (0-5) es óptimo para evitar la "absorción" de la señal pero sin destruir la integridad contextual.

3. Contribuciones Clave

1. Identificación de la Vulnerabilidad: Demostraron empíricamente que eliminar palabras funcionales reduce drásticamente la Tasa de Éxito del Ataque (ASR) con una caída mínima en el rendimiento limpio, validando que estas palabras son un vector de ataque crítico.
2. Método FDA: Propusieron el primer método que utiliza la desatención diferencial de palabras funcionales para lograr robustez "gratuita" (free robustness), es decir, mejorar la seguridad sin penalizar el rendimiento.
3. Evaluación Exhaustiva: Validaron el método en 3 modelos de vanguardia (ALBEF, TCL, BLIP), 2 tareas (Recuperación y Localización Visual), 3 conjuntos de datos (Flickr30k, COCO, RefCOCO+) y bajo 6 tipos de ataques diferentes.
4. Análisis de Escalabilidad y Cero-shot: Demostraron que FDA mejora el rendimiento en tareas de cero-shot (zero-shot) y que su efectividad aumenta a medida que el tamaño del modelo base crece.

4. Resultados Experimentales

Los resultados muestran que FDA supera consistentemente a las defensas actuales (TeCoA y FARE):

• Recuperación (Retrieval - Flickr30k/COCO):

  • ALBEF: Reducción del ASR del 18% con una caída de rendimiento de solo 0.2%.
  • TCL: Reducción del ASR del 13% con una caída de 0.3%.
  • BLIP: Reducción masiva del ASR del 53% con una caída de 0.6%.
  • En comparación, los métodos basados en entrenamiento adversarial (TeCoA/FARE) sufrieron caídas de rendimiento de hasta un 9% y, en algunos casos, fueron menos efectivos contra ataques adaptativos fuertes.

• Localización Visual (Visual Grounding - RefCOCO+):

  • FDA logró una reducción del 90-93% en la Tasa de Éxito del Ataque (ASR).
  • Sorprendentemente, FDA mejoró el rendimiento en datos limpios (clean performance) en comparación con el modelo base, logrando una precisión superior.

• Ataques No Dirigidos y Cero-shot:

  • FDA actúa como una herramienta "plug-and-play" que mejora la robustez de otros métodos (TeCoA, FARE) cuando se combinan.
  • En tareas de cero-shot, la aplicación de FDA resultó en mejoras de rendimiento promedio (ej. +0.47% en BLIP para recuperación).

• Visualización: Los mapas de atención muestran que FDA elimina las "rayas" o activaciones ruidosas en tokens visuales irrelevantes, logrando una alineación más limpia y concentrada entre la imagen y el texto.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Cambio de Paradigma: En lugar de luchar contra el ruido adversarial mediante entrenamiento costoso o purificación de perturbaciones, FDA ataca la raíz del problema: la redundancia semántica en las palabras funcionales que los atacantes explotan.
• Eficiencia y "Robustez Gratuita": Ofrece una defensa que no requiere reentrenamiento masivo (se puede aplicar como un módulo de fine-tuning ligero) y, lo más importante, no sacrifica (e incluso mejora) el rendimiento en datos limpios, resolviendo el clásico compromiso entre robustez y precisión.
• Generalización: Al funcionar bien en modelos de diferentes tamaños y arquitecturas, sugiere que la vulnerabilidad a las palabras funcionales es un problema fundamental en la arquitectura de los VLMs, no solo un artefacto de un modelo específico.
• Aplicabilidad Futura: Aunque actualmente se centra en codificadores de fusión, los autores sugieren que el principio es aplicable a modelos basados en proyectores (como LLaVA), abriendo nuevas vías de investigación para la seguridad en modelos multimodales.

En conclusión, el paper demuestra que "prestar menos atención a las palabras funcionales" es una estrategia simple pero potente para blindar a los modelos de visión y lenguaje contra ataques adversariales, logrando una alineación más robusta y eficiente.