💻 computer science

Towards Fine-Grained Robustness: Attention-Guided Test-Time Prompt Tuning for Vision-Language Models

Le papier propose l'ajustement de prompt au moment du test guidé par l'attention (A-TPT), une méthode novatrice qui exploite un déploiement d'attention de gradient raffiné pour identifier des régions sémantiquement significatives sous des attaques adverses, guidant ainsi des augmentations spatialement variables et des ensembles multi-vues afin d'améliorer la robustesse des modèles vision-langage dans des scénarios fins.

Auteurs originaux : Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jia-Wei Hai, Yijun Wang, Xiu-Shen Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un critique d'art surdoué (un modèle vision-langage comme CLIP) capable d'examiner une image et de vous dire instantanément ce qu'elle représente, même s'il n'a jamais vu ce type d'image spécifique auparavant. Par exemple, il peut regarder une photo d'un oiseau rare et dire : « C'est un Aigle royal », simplement en ayant lu un livre sur les oiseaux.

Cependant, ce critique présente une faiblesse : si quelqu'un glisse une toute petite tache, presque invisible, sur la photo (une « attaque adversaire »), le critique se trouble et pourrait soudainement penser que l'aigle est un grille-pain.

Ce papier présente une nouvelle méthode appelée A-TPT (Ajustement de l'invite guidé par l'attention au moment du test) pour aider le critique à rester calme et précis, même lorsque quelqu'un tente de le tromper avec des taches. Voici comment cela fonctionne, décomposé en étapes simples :

1. Le problème : la confusion due à la « tache »

Lorsque le critique examine une photo, il se concentre généralement sur les parties les plus importantes (la tête de l'oiseau, les ailes) pour prendre une décision. Mais lorsqu'une « tache » est ajoutée, la focalisation interne du critique se trouve brouillée. Il pourrait commencer à fixer l'arrière-plan ou un bruit aléatoire au lieu de l'oiseau.

Les méthodes existantes tentent de résoudre ce problème en montrant au critique de nombreuses versions différentes de la photo (certaines retournées, d'autres recadrées, d'autres avec du bruit). Elles espèrent qu'en moyennant tous ces pronostics, la bonne réponse émergera.

Le défaut : Ces anciennes méthodes ressemblent à une personne aveugle essayant de trouver une aiguille dans une botte de foin en lançant des poignées de foin au hasard. Parfois, elles jettent accidentellement l'aiguille (la partie importante de l'image) tout en tentant d'éliminer le foin (le bruit). Cela est particulièrement néfaste pour les tâches « fines », comme distinguer deux types d'oiseaux très similaires.

2. La solution : la stratégie en trois étapes d'A-TPT

Les auteurs proposent une manière plus intelligente de gérer les taches. Ils traitent l'image comme une carte et utilisent une « lampe torche » spéciale pour repérer les endroits importants.

Étape A : Réparer la lampe torche (Raffinement de l'attention)

Premièrement, ils ont réalisé que la « lampe torche » interne du critique (appelée Attention par Gradient) se brise facilement en présence de taches. Elle commence à éclairer des endroits aléatoires.

La correction : Ils ont ajusté la batterie de la lampe torche (les mathématiques sous-jacentes) pour la rendre « imperméable aux taches ». Désormais, même si la photo est attaquée, la lampe torche brille toujours intensément et steadement sur la tête de l'oiseau, ignorant le bruit. C'est leur Raffinement de l'attention.

Étape B : Protéger les parties importantes (Augmentation guidée)

Ensuite, ils utilisent cette lampe torche réparée pour créer de nouvelles versions de la photo.

L'analogie : Imaginez que vous créez un collage de l'oiseau. Avec les anciennes méthodes, vous pourriez couper par erreur la tête de l'oiseau parce que vous coupiez au hasard.
La méthode A-TPT : Ils regardent où la lampe torche brille. Si la lumière est sur la tête de l'oiseau, ils disent : « Ne touchez pas cette partie ! » Ils gardent la tête parfaitement claire. Si la lumière est sur l'arrière-plan, ils disent : « Allez-y, mélangez cela ! » Cela crée de nombreuses vues différentes de la photo où les parties importantes sont toujours sûres, tandis que les parties non importantes varient. C'est l'Augmentation multi-vues guidée par l'attention.

Étape C : Le jury intelligent (Ensemble basé sur la TV)

Enfin, le critique examine toutes ces nouvelles versions de la photo et fait un pronostic pour chacune. Mais tous les pronostics ne se valent pas. Certaines versions peuvent encore sembler étranges ou présenter trop de bruit de fond.

L'analogie : Imaginez un jury de 100 personnes votant sur ce qu'est l'oiseau. Certains jurés sont distraits et regardent le mur ; d'autres regardent clairement l'oiseau.
La méthode A-TPT : Ils vérifient la « régularité » du faisceau de la lampe torche pour chaque version. Si le faisceau est dispersé et saute partout (comme une lumière clignotante), cette version est ignorée. Si le faisceau est régulier et focalisé sur l'oiseau, cette version reçoit un vote lourd. C'est l'Ensemble basé sur la TV. Il n'écoute que les jurés « fiables ».

3. Les résultats

Les auteurs ont testé cette méthode sur de nombreux jeux de données différents, incluant des photos d'animaux de compagnie, de voitures, de fleurs et d'aéronefs.

Sur des photos propres : A-TPT a aidé le modèle à devenir encore meilleur pour identifier des éléments, même sans aucune tache.
Sur des photos attaquées : Lorsque les photos étaient attaquées par des taches, A-TPT a maintenu la précision du modèle bien plus élevée que toute autre méthode. Il était particulièrement efficace pour distinguer des choses très similaires (tâches fines).

Résumé

En bref, A-TPT revient à offrir au critique d'art une paire de lunettes intelligentes. Ces lunettes :

Recadrent le regard du critique pour qu'il ne se laisse pas distraire par le bruit.
Protègent les détails importants tout en mélangeant l'arrière-plan.
Filtrent les mauvais pronostics et ne comptent que ceux où le critique regarde clairement.

Cela permet au modèle de rester robuste et précis, même lorsque quelqu'un tente de le tromper avec de minuscules attaques invisibles.

Résumé Technique : Ajustement de Prompt Guidé par l'Attention au Moment de l'Inférence pour les Modèles Vision-Langage

Énoncé du Problème

Les Modèles Vision-Langage (VLM), tels que CLIP, ont démontré des performances remarquables en zéro-shot sur diverses tâches en aval. Cependant, ils présentent une vulnérabilité significative aux perturbations adverses, où même des attaques subtiles peuvent dégrader drastiquement les capacités d'inférence et repousser les vraies étiquettes hors des $K$ premières prédictions. Bien que les méthodes d'adaptation au moment de l'entraînement (par exemple, VPT, FAP) offrent des défenses, elles entraînent des coûts computationnels élevés et nécessitent de grandes quantités de données adverses étiquetées, limitant ainsi leur praticité.

Les méthodes existantes d'adaptation au moment de l'inférence (TTA), qui reposent généralement sur l'augmentation multi-vues et la minimisation de l'entropie, peinent dans les scénarios fins. Ces méthodes emploient souvent un édition aléatoire de régions ou une augmentation dans l'espace des caractéristiques, ce qui peut involontairement détruire les régions sémantiques discriminatives essentielles à la reconnaissance fine. De plus, les techniques d'augmentation préservant la sémantique reposent souvent sur l'apprentissage dans l'espace des caractéristiques ou sur des signaux auto-supervisés (comme les logits originaux) qui perdent leur capacité à préserver les étiquettes sous des attaques adverses, car l'espace des caractéristiques lui-même se déforme au-delà de la frontière de décision originale.

Le défi central abordé est le suivant : Pouvons-nous concevoir une méthode d'adaptation au moment de l'inférence qui identifie et préserve l'information sémantique discriminative sans apprendre dans l'espace des caractéristiques, même sous des attaques adverses ?

Méthodologie : A-TPT

Les auteurs proposent l'Ajustement de Prompt Guidé par l'Attention au Moment de l'Inférence (A-TPT), un cadre conçu pour guider l'adaptation au moment de l'inférence en utilisant une attention visuelle robuste comme ancre sémantique. La méthode fonctionne sans priors ou modèles d'entraînement supplémentaires et se compose de trois composants principaux :

Raffinement de l'Attention par Gradient (GAR) :
Le Rollout d'Attention par Gradient (GAR) standard s'avère sensible aux perturbations adverses, produisant des cartes d'attention dispersées et peu fiables. A-TPT affine ce mécanisme en remplaçant le signal de gradient basé sur l'attention par un signal de gradient basé sur les jetons.
- Au lieu de pondérer directement les matrices d'attention avec les gradients de la carte d'attention, A-TPT calcule un vecteur de pondération basé sur le produit scalaire des embeddings de jetons et de leurs gradients par rapport au logit cible.
- Cette approche découple la pondération de la sensibilité du second ordre du gradient d'attention, résultant en des cartes d'attention plus lisses et plus fiables qui mettent en évidence les régions discriminatives même sous attaque.
- Pour supprimer davantage le bruit, la méthode moyenne les matrices de transition des deux derniers blocs de transformateurs.
Augmentation Multi-Vues Guidée par l'Attention :
En utilisant la carte d'attention affinée comme ancre sémantique, A-TPT génère des vues diverses tout en préservant les parties sémantiques critiques.
- La carte d'attention spatiale est utilisée pour diviser l'image en régions à haute attention et à faible attention.
- Les régions à haute attention (contenant les parties discriminatives) sont protégées par une faible intensité d'augmentation pour prévenir la corruption.
- Les régions à faible attention (souvent le fond ou des détails non pertinents) sont soumises à une intensité d'augmentation plus élevée (par exemple, via AugMix) pour générer de la diversité.
- Cette augmentation variant spatialement garantit que les vues générées maintiennent l'intégrité des parties sémantiques nécessaires à la classification.
Ensemble Basé sur la Variation Totale (TV) :
Pour sélectionner les vues les plus fiables pour l'inférence finale, A-TPT emploie une stratégie de pondération basée sur la Variation Totale (TV).
- La méthode calcule la Variation Totale anisotrope de la carte d'attention pour chaque vue augmentée. Une TV élevée indique des distributions d'attention fragmentées ou en pics, souvent associées à des caractéristiques corrompues ou à des fonds non pertinents.
- Les vues avec une TV plus faible (attention plus lisse et plus continue) reçoivent des poids plus élevés, tandis que celles avec une TV élevée sont sous-pondérées.
- La prédiction finale est un ensemble pondéré des vues à faible entropie, privilégiant celles avec des distributions d'attention sémantiquement fiables.

Contributions Clés

Signal de Gradient Robuste : L'article affine le mécanisme de Rollout d'Attention par Gradient en introduisant un signal de gradient basé sur les jetons. Cette modification simple identifie efficacement l'information sémantique non perturbée sous des attaques adverses, surmontant la sensibilité des cartes d'attention standard.
Première TTA Guidée par la Sémantique pour la Robustesse Fine : A-TPT est proposé comme la première méthode d'adaptation au moment de l'inférence qui exploite explicitement les régions sémantiques discriminatives pour guider le processus d'adaptation, ciblant spécifiquement les défis de la reconnaissance fine où la préservation de petits détails critiques est cruciale.
Performance Complète : Des expériences approfondies démontrent qu'A-TPT non seulement préserve les régions discriminatives mais surpasse également substantiellement les méthodes d'adaptation au moment de l'inférence les plus avancées (SOTA) sur des distributions de données propres et adverses.

Résultats Expérimentaux

Les auteurs ont évalué A-TPT sur neuf jeux de données, incluant ImageNet standard et huit benchmarks fins (par exemple, OxfordPets, FGVC-Aircraft, StanfordCars).

Robustesse Adverse : Sur les tâches fines utilisant ViT-B/16, A-TPT a atteint une précision adverse moyenne de 45,7 %, surpassant significativement les méthodes SOTA comme R-TPT (40,7 %) et MTA (39,9 %). Sur ImageNet, il a atteint 48,2 % de précision adverse contre une performance proche de zéro pour CLIP sous attaque.
Précision sur Données Propres : A-TPT a également amélioré la précision sur données propres, atteignant 63,0 % sur les tâches fines avec ViT-B/16, dépassant R-TPT (61,1 %) et MTA (62,4 %).
Généralisation : La méthode a maintenu de solides performances sur des jeux de données hors distribution (OOD) (ImageNet-A, V2, R, S) dans des conditions adverses, atteignant une robustesse adverse moyenne de 35,8 % contre 0,3 % pour la base CLIP.
Études d'Ablation : Les expériences ont confirmé que les trois composants (Raffinement, Augmentation et Ensemble-TV) sont nécessaires. La suppression de l'étape de raffinement a entraîné l'échec des modules d'augmentation et d'ensemble à protéger les régions discriminatives.
Efficacité : Bien que la méthode nécessite une extraction d'attention par échantillon, les auteurs notent que réduire le nombre de vues augmentées (par exemple, de 64 à 16) réduit considérablement le temps d'inférence avec une perte de précision minimale.

Signification et Revendications

L'article revendique qu'A-TPT représente une étape significative vers la robustesse fine dans les VLM. En découplant l'identification sémantique de la phase d'entraînement et en exploitant des mécanismes d'attention robustes, la méthode fournit un paradigme de défense efficace qui ne nécessite pas de données adverses étiquetées.

Les auteurs soulignent que la clé de la robustesse dans les scénarios fins réside dans l'identification et la préservation des parties sémantiques discriminatives plutôt que dans la simple optimisation des représentations de caractéristiques. La méthode proposée démontre que l'adaptation au moment de l'inférence peut être à la fois robuste face aux attaques adverses et efficace sur des données propres, à condition que le processus d'adaptation soit guidé par une attention fiable et préservant la sémantique.

Limites : Les auteurs reconnaissent qu'A-TPT repose sur l'augmentation multi-vues et la sélection de vues, ce qui signifie qu'il n'est pas entièrement immunisé contre les attaques adverses. Des travaux futurs sont suggérés pour explorer directement l'information sémantique discriminative dans l'espace latent.