Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

---

1. Problématique

Les modèles vision-langage (VLM) comme CLIP ont démontré des capacités remarquables en inférence "zéro-shot" grâce à leur pré-entraînement sur des millions de paires image-texte issues du web. Cependant, ces modèles sont extrêmement vulnérables aux attaques adverses (de légères perturbations pixeliques pouvant induire en erreur le modèle).

Pour renforcer la robustesse, les méthodes actuelles d'ajustement adversaire (Adversarial Finetuning - AFT) suivent un paradigme standard :

1. Elles utilisent un jeu de données de classification étiqueté (proxy) comme ImageNet.
2. Elles génèrent des exemples adverses sur ces images.
3. Elles ajustent l'encodeur visuel de CLIP en minimisant une perte de classification (cross-entropy) pour aligner les images adverses sur leurs étiquettes de classe correctes.

Limites de l'approche actuelle :

• Dégradation des capacités zéro-shot : L'ajustement sur une tâche de classification (cross-entropy) s'écarte radicalement du processus de pré-entraînement de CLIP (appariement image-texte par perte contrastive), ce qui réduit la connaissance du monde réel du modèle.
• Faible transférabilité : La robustesse acquise ne se généralise pas bien à d'autres domaines ou ensembles de données (OOD - Out-of-Distribution).
• Incohérence d'objectif : CLIP a été pré-entraîné pour associer des images à des textes descriptifs, pas pour classifier des images dans des catégories fixes. Forcer cette classification lors de l'ajustement adversaire est contre-intuitif par rapport à l'architecture originale.

2. Méthodologie : AdvFLYP

Les auteurs proposent un nouveau paradigme nommé AdvFLYP (Adversarially Finetune Like You Pretrain). L'idée centrale est de respecter la "recette" de pré-entraînement de CLIP lors de l'ajustement adversaire.

A. Données et Objectif d'Entraînement

Contrairement aux méthodes précédentes qui utilisent ImageNet, AdvFLYP utilise 1 million de paires image-texte collectées sur le web (échantillonnées depuis LAION-400M) pour imiter la distribution de données du pré-entraînement.

• Objectif : Au lieu d'une perte de classification, AdvFLYP utilise la perte contrastive (identique à celle du pré-entraînement).
• Processus Min-Max :
  1. Génération d'attaques : Pour un lot de paires image-texte, on génère des perturbations adverses $\delta$ qui maximisent la perte contrastive au sein du lot (alignement forcé entre l'image perturbée et son texte, tout en traitant les autres textes comme des échantillons négatifs).
  2. Ajustement : L'encodeur visuel est mis à jour pour minimiser cette même perte contrastive sur les images perturbées, en les réalignant avec leurs textes correspondants.

B. Régularisation

Les auteurs identifient que les images web sont bruyantes et que la maximisation de la perte contrastive peut déformer les caractéristiques (features) des images dans l'espace latent, nuisant à l'encodeur visuel. Pour contrer cela, deux termes de régularisation sont introduits :

1. Régularisation au niveau des Logits ($L_{logit}$) :

   • Inspirée des travaux précédents (PMG-AFT), elle pénalise la divergence KL entre les probabilités de sortie du modèle ajusté et celles du modèle CLIP original (gelé) sur les images adverses.
   • Impact : Améliore la robustesse aux attaques et la transférabilité.

2. Régularisation au niveau des Features ($L_{feat}$) :

   • C'est une contribution clé de l'article. Elle pénalise l'écart (norme de Frobenius) entre :
     • Les caractéristiques des images adverses produites par le modèle ajusté et celles produites par le modèle CLIP original gelé.
     • Les caractéristiques des images adverses et celles des images propres (clean) produites par le modèle ajusté.
   • Impact : Préserve la précision sur les images propres (clean accuracy) et les capacités zéro-shot, en empêchant une dérive excessive des embeddings.

La perte finale combine la perte contrastive principale et ces deux termes de régularisation.

3. Contributions Clés

1. Paradigme AdvFLYP : Introduction d'une méthode simple mais efficace qui aligne l'ajustement adversaire avec le processus de pré-entraînement de CLIP (données web + perte contrastive), s'opposant à la pratique standard basée sur la classification.
2. Régularisation Hybride : Démonstration que la régularisation au niveau des logits améliore la robustesse, tandis que la régularisation au niveau des features est cruciale pour maintenir la précision sur les données propres, comblant ainsi le compromis habituel entre robustesse et précision.
3. Supériorité Expérimentale : Preuve que respecter la distribution de données et l'objectif de pré-entraînement conduit à une robustesse supérieure et plus transférable que les méthodes utilisant des jeux de données étiquetés.

4. Résultats Expérimentaux

Les expériences ont été menées sur 14 ensembles de données de classification couvrant divers domaines (reconnaissance d'objets, scènes, textures, etc.) et face à trois types d'attaques (PGD, CW, AutoAttack).

• Robustesse : AdvFLYP (version de base) obtient une précision robuste moyenne de 35,61 %, surpassant TeCoA (l'état de l'art de référence) et ses variantes avec régularisation (PMG-AFT, TGA-ZSR).
• Version Régularisée (AdvFLYPfull) : L'ajout des deux régularisations porte la précision robuste moyenne à 38,39 %.
• Précision sur images propres (Clean Accuracy) : AdvFLYPfull atteint une précision moyenne de 55,84 %, surpassant nettement les méthodes basées sur la classification (TeCoA : ~51,35 %).
• Robustesse sous attaques fortes : Même avec des budgets d'attaque plus élevés ($\epsilon = 2/255$ et $4/255$), AdvFLYP maintient une supériorité constante.
• Analyse des données : L'utilisation de données web bruyantes avec une perte contrastive s'avère plus efficace pour la généralisation que l'utilisation d'ImageNet étiqueté, même si ce dernier est plus "propre".

5. Signification et Impact

Cet article remet en question le paradigme dominant de l'ajustement des grands modèles de fondation (Foundation Models). Il démontre que :

• L'ajustement (finetuning) ne doit pas être traité comme une tâche isolée de classification, mais comme une continuation du pré-entraînement.
• Pour les modèles vision-langage, la distribution des données d'entraînement (web-scale image-texte) et l'objectif d'apprentissage (contrastif) sont aussi importants que la qualité des données étiquetées pour la robustesse.
• La méthode propose une nouvelle norme pour la robustesse des VLM, suggérant que la simplicité (respecter l'architecture originale) peut surpasser des approches complexes basées sur des proxies de classification.

En résumé, AdvFLYP établit que pour rendre les modèles vision-langage robustes aux attaques adverses sans sacrifier leurs capacités zéro-shot, il faut "ajuster le modèle comme on l'a pré-entraîné".