🤖 AI

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Le papier propose SS-TPT, une méthode de réglage de prompt au moment du test pour les modèles vision-langage qui améliore la robustesse adversaire et l'efficacité en évaluant les vues augmentées à travers des scores de stabilité et de pertinence pour guider l'adaptation et l'inférence, atteignant ainsi des compromis robustesse-débit supérieurs par rapport aux approches de pointe existantes.

Auteurs originaux : Sunoh Kim, Daeho Um

Publié 2026-06-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sunoh Kim, Daeho Um

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire très intelligent et érudit (le modèle d'IA) capable d'identifier des objets sur des photos rien qu'en les regardant, même sans avoir été formé sur des exemples spécifiques au préalable. Ce bibliothécaire est excellent dans son travail, mais il est facilement dérouté si quelqu'un glisse une minuscule tache, presque invisible, sur une photo (une « attaque adversaire ») ou si la photo est très différente des livres de la bibliothèque (un « changement de distribution »).

Pour aider le bibliothécaire à prendre de meilleures décisions, des méthodes précédentes ont tenté de lui montrer beaucoup de versions légèrement différentes de la même photo (comme montrer une photo, une version floue, une version éclaircie et une version pivotée). L'idée est que si le bibliothécaire est d'accord sur la réponse à travers toutes ces versions, c'est qu'il a raison.

Le Problème :
Montrer trop de versions est lent. C'est comme demander à un bibliothécaire de lire 63 exemplaires différents d'un livre juste pour décider s'il s'agit d'un roman policier. Cela prend un temps infini, et la bibliothèque est débordée. De plus, si l'une de ces copies est une « mauvaise » copie (distordue par l'attaquant), le bibliothécaire pourrait être confus, même s'il regarde 62 bonnes copies.

La Solution : SS-TPT
Les auteurs de cet article ont créé une nouvelle méthode appelée SS-TPT (Stability and Suitability-Guided Test-Time Prompt Tuning). Au lieu de simplement montrer au bibliothécaire plus de copies, ils lui apprennent à juger la qualité de chaque copie qu'il voit.

Ils utilisent deux simples « bulletins de notes » pour chaque version de la photo :

La Stabilité (Le « Test du Secouage ») :
Imaginez que vous tendez une photo au bibliothécaire et que vous lui demandez : « Qu'est-ce que c'est ? ». Ensuite, vous secouez légèrement la photo ou changez légèrement l'éclairage (augmentations faibles) et vous lui demandez à nouveau.

Haute Stabilité : Le bibliothécaire dit : « C'est un chat », les deux fois. Il est confiant et cohérent.
Basse Stabilité : Le bibliothécaire dit : « C'est un chat », puis « C'est un chien », puis « C'est un grille-pain ». Il est confus.
La Leçon : Si une vue change d'avis facilement avec une légère poussée, c'est probablement une mauvaise vue.

L'Adéquation (Le « Test de la Foule ») :
Imaginez que le bibliothécaire regarde toutes les versions de la photo ensemble dans un « espace de caractéristiques » mental (une carte de la similitude des choses).

Haute Adéquation : La version de la photo se tient dans un groupe bondé avec ses amis. Tout le monde se ressemble.
Basse Adéquation : La version de la photo se tient toute seule dans un champ vide, loin des autres. C'est une anomalie.
La Leçon : Si une vue est un marginal qui ne s'intègre pas avec les autres, elle est probablement corrompue ou fausse.

Comment cela fonctionne en pratique :
Le système SS-TPT utilise ces deux scores pour agir comme un filtre intelligent :

Pendant l'apprentissage (Adaptation) : Lorsque le bibliothécaire essaie d'ajuster sa pensée à la nouvelle photo, le système lui dit : « Ignore les vues qui sont instables ou isolées. Écoute seulement les vues qui sont stables et qui s'intègrent dans la foule. » Cela empêche le bibliothécaire d'apprendre à partir des « mauvaises » copies.
Pendant la prédiction finale (Inférence) : Lorsqu'il est temps de donner la réponse finale, le système ne se contente pas de faire une simple moyenne de toutes les réponses. Au lieu de cela, il donne une voix plus forte aux vues dignes de confiance (scores élevés) et un murmure aux vues peu dignes de confiance (scores faibles).

Les Résultats :
L'article affirme que cette approche change la donne car :

Elle est Rapide : Vous n'avez pas besoin de montrer 63 versions au bibliothécaire. Vous pouvez obtenir d'excellents résultats avec seulement 15, et le système est environ deux fois plus rapide que les méthodes précédentes.
Elle est Plus Forte : Même avec moins de vues, le bibliothécaire est beaucoup plus difficile à tromper par les attaquants. Ils atteignent une précision plus élevée sur les photos complexes et attaquées que toute méthode précédente.
Elle est Intelligente : Elle ne se contente pas de compter les votes ; elle juge la qualité des votants.

En résumé, SS-TPT empêche l'IA de perdre du temps sur de mauvaises copies d'une photo et se concentre uniquement sur les copies fiables, ce qui la rend plus rapide, plus intelligente et plus difficile à duper.

Résumé Technique : SS-TPT

Énoncé du Problème
Les modèles vision-langage (VLM), particulièrement CLIP, démontrent de fortes capacités de reconnaissance zero-shot mais restent hautement vulnérables aux perturbations adverses et aux décalages de distribution. Les défenses récentes d'adaptation au moment du test (TTA) tentent d'améliorer la robustesse en exploitant de multiples vues augmentées, mais elles introduisent une inefficacité critique : un compromis sévère entre robustesse et débit. Les méthodes existantes, telles que R-TPT, nécessitent souvent un grand nombre de vues augmentées (par exemple, 63 vues) pour stabiliser l'adaptation, ce qui entraîne des vitesses d'inférence près de quatre fois plus lentes que le CLIP vanilla. Inversement, réduire le nombre de vues pour améliorer la vitesse dégrade souvent considérablement la robustesse car ces méthodes traitent toutes les vues comme étant également dignes de confiance, permettant aux vues corrompues ou aberrantes de dominer le processus d'adaptation. Le défi central est d'atteindre une haute robustesse adversaire sans sacrifier l'efficacité computationnelle ou nécessiter une diversité visuelle excessive.

Méthodologie : SS-TPT
Les auteurs proposent le Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT), un cadre qui évalue la qualité de chaque vue augmentée pour guider à la fois l'adaptation du modèle et l'inférence. Au lieu de s'appuyer sur la quantité de vues, SS-TPT calcule deux scores complémentaires pour chaque vue $x_i$ :

Score de Stabilité ( $S_{stab}$ ) : Mesure l'invariance de la distribution prédictive d'une vue sous des augmentations stochastiques faibles (ex: transformations affines, jitter de couleur, flou, bruit). Il est défini comme l'inverse de la divergence de Jensen-Shannon entre la prédiction de la vue originale et sa variante faiblement augmentée. Une stabilité élevée indique que la prédiction de la vue est robuste aux petites perturbations.
Score de Pertinence ( $S_{suit}$ ) : Mesure la densité d'une vue dans l'espace de caractéristiques par rapport aux autres vues. Il est calculé comme l'inverse de la distance moyenne induite par le cosinus entre le vecteur de caractéristiques normalisé d'une vue et ceux de toutes les autres vues. Une pertinence élevée indique que la vue se situe dans un groupe dense d'autres vues, suggérant qu'elle n'est pas une valeur aberrante.

Ces scores sont normalisés et combinés en un seul score de Stabilité-Pertinence (SS) ( $Z_i$ ) via un hyperparamètre $\alpha$ . Ce score est converti en poids SS ( $w_i$ ) à l'aide d'une fonction softmax.

Le cadre utilise ces poids dans deux phases distinctes :

Adaptation (Perte de Consistance Guidée par SS) : Pendant le prompt tuning au moment du test, le modèle minimise une fonction de perte combinant la minimisation de l'entropie ponctuelle avec un terme de consistance. Contrairement aux méthodes précédentes qui soit imposent la consistance sur toutes les vues (ignorant la qualité), soit suppriment totalement la consistance pour éviter les vues corrompues, SS-TPT impose l'alignement uniquement avec des références dignes de confiance. Plus précisément, chaque vue est alignée sur une moyenne pondérée "leave-one-out" des autres vues, où les poids sont déterminés par leurs scores SS. Cela empêche les vues corrompues d'induire l'adaptation en erreur.
Inférence (Prédiction Pondérée par SS) : Pour la prédiction finale, le modèle agrège les prédictions de toutes les vues en utilisant les poids SS. Cela supprime l'influence des vues de faible qualité (corrompues ou aberrantes) tout en amplifiant les vues dignes de confiance.

Contributions Clés

Cadre SS-TPT : L'introduction d'une défense au moment du test qui quantifie explicitement la qualité des vues via des scores de stabilité et de pertinence, permettant une adaptation robuste même avec un nombre limité de vues augmentées.
Conception à Double Mécanisme : La conception d'une perte de consistance guidée par SS qui aligne les prédictions avec des références dignes de confiance pendant l'adaptation, et d'un mécanisme de prédiction pondérée par SS qui supprime les valeurs aberrantes lors de l'inférence.
Compromis Robustesse-Efficacité Supérieur : Démontrer qu'en se concentrant sur la qualité plutôt que sur la quantité de vues, le modèle peut surpasser les méthodes de l'état de l'art en termes de robustesse et de débit, atteignant une haute robustesse avec nettement moins de vues (par exemple, 15 vues contre 63).

Résultats Expérimentaux
Des expériences approfondies ont été menées sur 10 jeux de données de précision fine, ImageNet, et quatre variantes de décalage de distribution (ImageNet-A, V2, R, S) sous divers scénarios d'attaque (PGD, CW, AutoAttack, White-box).

Robustesse : SS-TPT a atteint une robustesse adversaire de pointe. Sur 10 jeux de données de précision fine, il a atteint une robustesse moyenne de 46,8 %, dépassant le précédent meilleur (R-TPT) de 6,4 points de pourcentage. Sur ImageNet, il a obtenu une précision robuste de 48,6 %, surpassant R-TPT de 5,4 points.
Précision sur Données Saines (Clean Accuracy) : La méthode a préservé une haute précision sur les données saines (55,1 % sur les jeux de données de précision fine), restant la plus proche de la performance originale de CLIP parmi toutes les méthodes d'adaptation.
Efficacité : SS-TPT a considérablement réduit le temps d'inférence. En utilisant seulement 15 vues augmentées, il a traité les images en environ 0,74 seconde, soit près de deux fois plus vite que R-TPT (qui utilisait 63 vues et prenait 1,67 seconde), tout en atteignant une robustesse plus élevée (81,0 % sur Caltech101 contre 79,8 % pour R-TPT-63v).
Régime à Faible Nombre de Vues : Même dans le cas difficile d'une vue unique (1 vue augmentée), SS-TPT a maintenu une robustesse moyenne de 25,8 %, surpassant R-TPT de 15,7 points, démontrant sa capacité à extraire des informations significatives à partir de preuves visuelles limitées.
Études d'Ablation : L'analyse a confirmé que la stabilité et la pertinence sont des composantes nécessaires, la combinaison de la consistance guidée par SS et de la prédiction pondérée par SS offrant la meilleure synergie. La méthode s'est également montrée robuste aux variations de templates de prompts.

Signification et Revendications
L'article affirme que SS-TPT répond à la limitation fondamentale des défenses TTA actuelles : la dépendance à un grand nombre de vues pour moyenner le bruit, ce qui crée un goulot d'étranglement computationnel impraticable. En introduisant un mécanisme pour évaluer et pondérer la qualité des vues, SS-TPT découple la robustesse du volume pur de vues augmentées. Les auteurs soutiennent que cette approche offre une solution "pratique et générale" pour le déploiement de VLM fiables dans des scénarios réels où les entrées peuvent être bruitées ou manipulées, et où les ressources computationnelles sont contraintes. Le travail souligne que l'évaluation de la qualité des vues est un facteur critique, jusqu'ici sous-utilisé, dans l'adaptation au moment du test, établissant la stabilité et la pertinence comme des indicateurs efficaces pour distinguer les vues dignes de confiance des vues corrompues.

Résumé Technique : SS-TPT

Articles similaires