Enhancing CLIP Robustness via Cross-Modality Alignment

Ce papier propose COLA, un cadre d'alignement intermodal sans entraînement basé sur le transport optimal, qui améliore la robustesse des modèles CLIP face aux attaques adverses en restaurant l'alignement global et la cohérence structurelle locale entre les caractéristiques d'images et de texte.

L'essentiel

🛡️ COLA : Le "Gardien de la Vérité" pour l'Intelligence Artificielle

Imaginez que vous avez un détective très intelligent, nommé CLIP. Ce détective est un expert pour comprendre les images et les textes. Si vous lui montrez une photo d'un chien et lui dites "Ceci est un chien", il comprend parfaitement le lien entre l'image et le mot. Il est si doué qu'il peut deviner de quoi parle une image même sans avoir été entraîné spécifiquement dessus (c'est ce qu'on appelle le "zero-shot").

Mais ce détective a une faiblesse terrible : il est très facile à tromper.

🎭 Le Problème : Le Masque Invisible

Les hackers peuvent ajouter un "bruit" presque invisible sur une photo (comme un grain de poussière numérique). Pour un humain, la photo reste identique. Mais pour le détective CLIP, ce bruit change tout : soudain, il ne voit plus un chien, mais un "chat" ou une "voiture". C'est ce qu'on appelle une attaque par perturbation.

Pourquoi ? Parce que le détective a perdu le fil. L'image "cassée" par le hacker ne correspond plus du tout à la description textuelle. C'est comme si vous essayiez de faire correspondre une photo de plage avec le mot "neige" : le lien est brisé.

🚀 La Solution : COLA (L'Alignement Croisé)

Les chercheurs proposent une nouvelle méthode appelée COLA (Cross-modaLity Alignment). Imaginez COLA comme un filtre de réalité ou un traducteur de vérité qui intervient juste avant que le détective ne donne son verdict.

COLA fonctionne en deux étapes magiques :

1. Le Filtre à Paillettes (La Projection)
Imaginez que l'image attaquée est un tableau plein de taches de peinture inutiles (le bruit du hacker).

• L'idée : COLA sait à quoi ressemble la "vraie" peinture (les descriptions textuelles des classes : "chien", "voiture", etc.).
• L'action : Il projette l'image attaquée sur un "moule" fait de ces vraies descriptions. C'est comme si vous passiez l'image à travers un tamis qui ne laisse passer que les éléments qui ressemblent à un chien, et qui jette tout le reste (le bruit).
• Le résultat : L'image est "nettoyée" de ses distorsions inutiles, mais garde son essence.

2. Le Jeu de Correspondance Parfait (Le Transport Optimal)
Maintenant que l'image est plus propre, COLA ne se contente pas de la comparer mot à mot. Il joue à un jeu de correspondance très sophistiqué.

• L'analogie : Imaginez que vous avez un sac de pièces de puzzle (l'image vue sous plusieurs angles) et un sac de mots-clés (les descriptions du texte).
• L'action : Au lieu de juste coller deux pièces, COLA calcule le chemin le plus court et le plus logique pour assembler toutes les pièces de l'image avec tous les mots du texte. Il s'assure que chaque détail de l'image trouve sa place exacte dans la description.
• Le résultat : Même si l'image a été attaquée, COLA trouve le lien le plus fort et dit : "Non, ce n'est pas un chat, c'est bien un chien, regardez comme les pattes correspondent au mot 'chien'".

🏆 Pourquoi c'est génial ?

1. Pas besoin de réapprendre : Contrairement aux autres méthodes qui obligent le détective à retourner à l'école pendant des mois (réentraînement), COLA est un outil que l'on ajoute juste avant la décision. C'est comme donner une loupe au détecte sans changer sa formation.
2. Résistance incroyable : Dans les tests, COLA a permis au détective de rester calme et précis même quand les hackers essayaient de le tromper avec des attaques très fortes. Là où d'autres méthodes tombaient à zéro, COLA gardait une grande partie de sa justesse.
3. Rapide : Il ne ralentit pas trop le détective. Il est efficace et léger.

En résumé

COLA est comme un pare-feu sémantique. Quand un hacker essaie de brouiller les pistes en modifiant subtilement une image, COLA utilise la puissance du texte pour "recoller" les morceaux de l'image, enlever le bruit, et rétablir la vérité. Il permet à l'intelligence artificielle de rester fiable, même dans un monde où les images peuvent être falsifiées.

C'est une avancée majeure pour rendre les voitures autonomes, les diagnostics médicaux et les systèmes de sécurité plus sûrs, car ils ne seront plus aussi facilement trompés par des illusions d'optique numériques.

Résumé technique

Titre : Renforcement de la robustesse de CLIP par l'alignement inter-modale (COLA)

1. Problématique

Les modèles vision-langage (VLM) comme CLIP démontrent une excellente capacité de généralisation en classification zero-shot. Cependant, ils restent extrêmement vulnérables aux perturbations adverses (adversarial perturbations). De petites modifications imperceptibles des images d'entrée peuvent entraîner une dégradation sévère des performances de classification.

Les méthodes existantes pour améliorer cette robustesse se concentrent principalement sur :

• Le fine-tuning adversarial (coûteux en calcul).
• L'optimisation de prompts (introduisant une latence).
• Les défenses au moment du test (souvent inefficaces ou complexes).

Le problème central identifié par les auteurs est le désalignement entre les modalités image et texte dans l'espace des caractéristiques (feature space).

• CLIP est entraîné pour aligner des représentations globales d'images avec des descriptions textuelles.
• Sous attaque, les perturbations distordent les embeddings d'images, les éloignant de leurs prototypes sémantiques textuels.
• Cela provoque une rupture de l'alignement global (l'image ne correspond plus au texte) et une perte de la cohérence structurelle locale (les voisins dans l'espace des caractéristiques se dispersent), menant à un effondrement des performances.

2. Méthodologie : Le cadre COLA

Les auteurs proposent COLA (Cross-modaLity Alignment), un cadre sans entraînement (training-free) et compatible avec les modèles CLIP pré-entraînés ou fine-tunés. La méthode repose sur un cadre unifié d'Optimal Transport (OT) pour restaurer l'alignement aux niveaux global et local.

A. Alignement Global des Caractéristiques (Projection de Sous-espace)
Pour contrer les distorsions non sémantiques introduites par les attaques :

1. Les auteurs construisent un sous-espace fiable en utilisant les embeddings textuels des classes (générés par des LLM pour plus de granularité).
2. Ils appliquent une Décomposition en Valeurs Singulières (SVD) sur la matrice des caractéristiques textuelles pour extraire les $C$ composantes principales dominantes.
3. Les embeddings d'images adverses sont projetés sur ce sous-espace induit par le texte.
   • Théorie : Cette projection filtre les perturbations qui s'éloignent de la direction sémantique partagée par les textes, préservant ainsi la similarité sémantique originale.

B. Alignement Structurel Local (Optimal Transport)
Pour gérer les incohérences locales (ex: arrière-plan, objets non décrits dans le texte) :

1. Modélisation par distributions discrètes : Au lieu de traiter une image ou un texte comme un seul vecteur, COLA les modélise comme des distributions de probabilités :
   • Image : Une distribution sur plusieurs vues augmentées (recadrage, retournement, etc.) de l'image perturbée.
   • Texte : Une distribution sur plusieurs descriptions textuelles fines générées par un LLM pour chaque classe.
2. Calcul du coût de transport : La distance entre l'image et le texte est calculée via l'Optimal Transport (OT).
   • La matrice de coût est basée sur la similarité cosinus entre les images projetées (étape A) et les descriptions textuelles.
   • L'OT trouve le plan de transport optimal minimisant le coût de correspondance entre les vues augmentées de l'image et les variantes textuelles.
3. Classification : La classe prédite est celle qui minimise la distance OT.

3. Contributions Clés

1. Première défense au moment du test (Test-Time) sans réentraînement : COLA améliore la robustesse sans modifier les poids du modèle ni nécessiter de données d'entraînement supplémentaires.
2. Alignement Inter-modale explicite : Contrairement aux méthodes précédentes, COLA traite directement le désalignement image-texte causé par les attaques via une projection de sous-espace et une correspondance de distributions.
3. Garanties Théoriques :
   • La projection sur le sous-espace textuel préserve la similarité paire des caractéristiques d'images propres.
   • L'utilisation de la matrice de coût projetée dans l'OT garantit des marges de décision plus larges, ce qui théoriquement améliore la généralisation et la robustesse.
4. Efficacité et Flexibilité : La méthode est compatible avec différents encodeurs (ViT-B, ViT-L) et modèles fine-tunés existants.

4. Résultats Expérimentaux

Les auteurs ont évalué COLA sur 14 benchmarks de classification zero-shot, incluant ImageNet, ses variantes (ImageNet-A, R, Sketch, V2), et 9 autres ensembles de données (Caltech101, Flowers, Pets, etc.).

• Performance sous attaque PGD (Projected Gradient Descent) :
  • Sur ImageNet et ses variantes, COLA obtient une amélioration moyenne de +6,7 % en précision robuste par rapport au CLIP standard.
  • Sur les variantes difficiles (ImageNet-A, ImageNet-R), les gains dépassent +7 %.
  • Comparé à l'état de l'art (TTC, TeCoA, FARE), COLA surpasse systématiquement les méthodes de fine-tuning et de défense au moment du test, tout en maintenant une précision élevée sur les échantillons propres (clean).
• Robustesse sous forte charge (Budget $\epsilon_a = 4/255$) :
  • Là où les autres méthodes s'effondrent (précision proche de 0 %), COLA maintient des performances significatives, avec des gains absolus de plus de 50 % sur certains jeux de données par rapport à TTC.
• Efficacité Temporelle :
  • COLA est plus rapide que les méthodes itératives comme TTC (28 min vs 40 min sur ImageNet) car il évite l'optimisation itérative coûteuse.
• Ablation :
  • L'analyse montre que la projection de sous-espace est cruciale (l'OT sans projection donne de moins bons résultats).
  • La méthode est robuste aux hyperparamètres (nombre d'augmentations d'images et de noms de classes).

5. Signification et Conclusion

Le papier COLA démontre que la vulnérabilité de CLIP aux attaques adverses est intrinsèquement liée à un désalignement sémantique entre les modalités. En rétablissant cet alignement via une projection géométrique intelligente et une correspondance de distributions (Optimal Transport), il est possible de restaurer la robustesse sans réentraîner le modèle.

Impact :

• Sécurité : Rend les systèmes VLM plus fiables pour des applications critiques (diagnostic médical, conduite autonome).
• Praticité : Offre une solution "plug-and-play" qui peut être déployée immédiatement sur des modèles existants sans coût de calcul d'entraînement.
• Théorique : Établit un lien entre l'alignement inter-modale, la géométrie des sous-espaces et la robustesse aux attaques, ouvrant la voie à de nouvelles recherches sur la défense des modèles multimodaux.