Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

1. Problématique

Les modèles Vision-Langage (VLM) sont de plus en plus vulnérables aux attaques adverses, en particulier les attaques croisées (cross-modal) où des perturbations subtiles sur une image peuvent tromper le modèle pour qu'il génère une description textuelle incorrecte ou ignore le texte cible.

• Le compromis Robustesse-Performance : Les méthodes de défense existantes, comme l'entraînement adversaire (Adversarial Training - AT), améliorent la robustesse mais entraînent souvent une baisse significative des performances sur les données propres (clean performance) et des coûts computationnels élevés.
• L'hypothèse centrale : Les auteurs postulent que les mots fonctionnels (articles, prépositions, conjonctions, etc., qui portent peu d'information sémantique mais sont très fréquents) agissent comme des "distractions" vulnérables. En raison des écarts sémantiques inhérents entre une image propre et un texte ciblé, les perturbations adverses tendent à guider le modèle vers ces tokens à faible sémantique mais haute fréquence, facilitant ainsi les attaques.

2. Méthodologie : Function-word De-Attention (FDA)

Pour résoudre ce problème, les auteurs proposent FDA, une méthode innovante qui ne nécessite pas de réentraînement lourd ni de perte de performance, inspirée par les differential transformers et les amplificateurs différentiels.

Fonctionnement technique :

1. Pipeline Parallèle : Au sein des têtes d'attention des encodeurs de fusion (fusion-encoders), un pipeline parallèle est déployé.
2. Extraction des Mots Fonctionnels : Un masque est appliqué pour extraire uniquement les embeddings des mots fonctionnels ($F_{Tf}$) du texte d'entrée, en excluant les autres tokens (comme les mots de contenu) et le token [CLS].
3. Calcul de l'Attention des Distractions : Le modèle calcule les scores d'attention croisée entre ces mots fonctionnels et les tokens visuels ($F_V$). Cela permet d'identifier les tokens visuels qui sont activés de manière erronée par les mots fonctionnels (les "distractions").
4. Soustraction Différentielle :
   • Une opération de softmax est appliquée pour mettre en évidence les tokens visuels/textuels les plus trompeurs.
   • Ces scores d'attention "distraits" sont ensuite soustraits de l'attention originale ($Att$).
   • La formule finale (Eq. 6) prend le minimum entre l'attention originale soustraite des distractions textuelles et visuelles, contrôlée par une porte ($G$) :
     $$\hat{Att} = \min(Att - G(\tilde{Att}_t), Att - G(\tilde{Att}_v))$$
5. Implémentation : La méthode est conçue pour être appliquée principalement sur les couches et têtes d'attention peu profondes (early layers) afin d'éviter l'absorption des distractions tout en préservant l'intégrité contextuelle.

3. Contributions Clés

1. Identification de la vulnérabilité : Démonstration empirique que les mots fonctionnels sont une source majeure de vulnérabilité aux attaques adverses dans les VLM, et que leur suppression (ou atténuation) réduit le taux de réussite des attaques (ASR) avec un impact minimal sur les données propres.
2. Proposition de FDA : Introduction de la première méthode de "De-Attention" spécifique aux mots fonctionnels pour renforcer l'alignement vision-langage sans coût de performance ("free robustness").
3. Évaluation exhaustive : Validation sur 3 modèles (ALBEF, TCL, BLIP), 2 tâches (Recherche Image-Texte et Ancrage Visuel), 3 jeux de données (Flickr30k, MSCOCO, RefCOCO+) et 6 types d'attaques (PGD, APGD, MAPGD).
4. Analyse approfondie : Études d'ablation sur les hyperparamètres (couches, têtes, dictionnaires) et démonstration de la généralisation en zero-shot.

4. Résultats Expérimentaux

Les résultats montrent que FDA surpasse systématiquement les méthodes de l'état de l'art (TeCoA et FARE) en termes de robustesse et de préservation des performances.

• Recherche Image-Texte (Retrieval) :
  • FDA réduit le taux de réussite des attaques (ASR) de 18% à 53% en moyenne sur les trois modèles testés.
  • La baisse de performance sur les données propres (R@1) est négligeable, variant entre 0,2% et 0,6%.
  • Sur le modèle BLIP (le plus grand), la réduction d'ASR atteint 53-56% avec une perte de performance infime.
• Ancrage Visuel (Visual Grounding) :
  • FDA obtient une réduction d'ASR spectaculaire de 90% (passant d'un ASR élevé à presque 0%).
  • Contrairement aux autres méthodes qui perdent en performance, FDA montre même un gain de 0,3% sur les données propres.
• Attaques Non Ciblées et Zero-Shot :
  • FDA améliore également la robustesse contre les attaques non ciblées lorsqu'il est combiné avec d'autres méthodes (TeCoA/FARE).
  • En mode zero-shot, l'application de FDA améliore les performances globales, suggérant un meilleur alignement sémantique intrinsèque.
• Visualisation : Les cartes d'attention montrent que FDA "nettoie" les activations, réduisant le bruit visuel et concentrant l'attention sur les tokens visuels pertinents, contrairement aux modèles de base qui sont distraits par des zones incorrectes sous attaque.

5. Signification et Impact

Ce travail apporte une perspective nouvelle et intuitive sur la sécurité des VLM :

• Efficacité "Gratuite" : Il démontre qu'il est possible d'obtenir une robustesse significative sans le compromis classique "robustesse vs précision" associé à l'entraînement adversaire.
• Simplicité et Scalabilité : La méthode est légère, ne nécessite pas de paramètres supplémentaires complexes et s'adapte bien à l'échelle des modèles (les gains augmentent avec la taille du modèle).
• Nouvelle Direction de Recherche : L'article ouvre la voie à l'exploration de la redondance sémantique dans les modèles multimodaux et suggère que le traitement sélectif des tokens (au-delà des simples mots de contenu) est crucial pour la robustesse.

En conclusion, FDA propose une solution élégante et efficace pour sécuriser les modèles vision-langage en éliminant les "distractions" sémantiques faibles qui servent de vecteurs d'attaque, permettant ainsi des systèmes plus fiables pour des applications réelles.