💻 computer science

T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models

Le papier propose T-VSS, une méthode d'adaptation au moment du test légère qui améliore la robustesse adversaire des modèles vision-langage en orientant directement les caractéristiques visuelles corrompues vers des prédictions stables au sein d'un sous-espace de faible rang spécifique à l'échantillon, atteignant une efficacité et des performances supérieures par rapport aux approches antérieures.

Auteurs originaux : Jaehyuk Jang, Minseok Seo. Seungju Cho, Kangwook Ko, Changick Kim

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaehyuk Jang, Minseok Seo. Seungju Cho, Kangwook Ko, Changick Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent capable de regarder une image et de deviner instantanément ce qu'elle représente, même s'il n'a jamais vu cet objet spécifique auparavant. Ce robot est un Modèle Vision-Langage (VLM). C'est comme un bibliothécaire qui connaît tous les livres du monde ; vous lui montrez la photo d'un oiseau rare, et il dit : « C'est un aigle royal ! » parce qu'il comprend le lien entre l'image et les mots.

Mais voici le problème : ce robot est facilement trompé. Si quelqu'un ajoute un minuscule grain de bruit invisible à la photo (une attaque adversaire), le robot pourrait soudainement penser que l'aigle est un grille-pain. C'est dangereux, surtout si le robot conduit une voiture ou aide un médecin.

Les anciennes méthodes de réparation

Auparavant, les scientifiques essayaient de corriger cela de deux manières principales, mais les deux revenaient à essayer de réparer une voiture cassée en changeant la radio ou la peinture au lieu de réparer le moteur :

Modifier les « instructions » (Prompts textuels) : Certaines méthodes tentaient de réécrire les instructions internes du robot (comme changer « une photo d'un oiseau » en « une photo nette d'un oiseau ») pour le rendre moins confus. C'est comme essayer de diriger un navire en criant de nouvelles directions au capitaine au lieu de tourner le gouvernail.
Ajuster les « Pixels » (Espace d'entrée) : D'autres tentaient d'altérer légèrement les pixels réels de l'image elle-même pour annuler le bruit. C'est comme essayer de réparer une photo floue en repeignant manuellement chaque point sur l'écran. C'est lent, désordonné et cela ne fonctionne souvent pas bien.

La nouvelle solution : T-VSS (L'approche du « Volant »)

Les auteurs de cet article proposent une nouvelle méthode appelée T-VSS (Test-time Visual Subspace Steering). Au lieu de changer les instructions ou les pixels, ils s'attaquent directement au « cerveau » du robot (les caractéristiques visuelles) pour le ramener doucement sur la bonne voie.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. La stratégie de la « Photo de groupe » (Multi-vue)

Imaginez que vous essayez d'identifier une personne dans une pièce embrumée. Vous ne la voyez pas clairement. Alors, vous demandez à vos amis de prendre 64 photos différentes d'elle sous des angles légèrement différents (en zoomant, en recadrant, en changeant la luminosité). Même si le brouillard (l'attaque) est présent sur toutes les photos, la manière dont le brouillard déforme l'image est similaire sur toutes celles-ci.

2. Trouver la « Distorsion commune » (Sous-espace de faible rang)

La méthode T-VSS examine toutes ces 64 photos et demande : « Quelle est l'erreur commune que fait le brouillard ? »

Elle calcule la différence entre la photo brumeuse originale et les 64 variations.
Elle réalise que le brouillard ne déforme pas l'image de mille façons aléatoires ; il la déforme selon quelques motifs spécifiques et prévisibles.
Elle construit une « carte » minuscule et compacte (un sous-espace de faible rang) qui ne contient que ces motifs de distorsion spécifiques. Considérez cela comme la création d'une petite boîte à outils spécialisée qui ne contient que les clés exactes nécessaires pour réparer ce type spécifique de brouillard.

3. La « Correction partagée » (Pilotage/Steering)

Au lieu d'essayer de réparer chacune des 64 photos individuellement (ce qui serait lent et chaotique), T-VSS calcule une seule correction qui fonctionne pour toutes ces photos à la fois.

Elle utilise un « score de fiabilité » pour ignorer les photos trop floues ou étranges et se concentre sur celles qui sont claires.
Elle applique ensuite cette correction unique au cerveau du robot, en guidant doucement les caractéristiques confuses vers la bonne réponse.

4. Pourquoi est-ce meilleur ?

Direct : Cela répare la véritable « pensée » du robot, et non les mots qu'il prononce ou les pixels qu'il voit.
Rapide : Comme il ne doit apprendre qu'un petit ensemble de nombres (les « coefficients de pilotage ») au lieu de réécrire toute l'image ou tout le prompt, cela se produit presque instantanément.
Stable : En limitant la correction au « plan de distorsion commune », elle évite de faire des suppositions sauvages qui pourraient rendre le robot encore plus confus.

Les résultats

L'article a testé cette méthode sur de nombreux types d'images (allant des fleurs aux voitures en passant par des objets généraux).

Défense plus forte : T-VSS était bien meilleure pour résister au « brouillard » (attaques adverses) que les méthodes précédentes.
Maintien de l'intelligence : Elle n'a pas perdu sa capacité à reconnaître des images normales et claires.
Plus rapide : Elle était nettement plus rapide que les autres méthodes car elle n'a pas besoin de calculs lourifs sur l'ensemble de l'image.

Une note de mise en garde

Les auteurs soulignent également une limite : cette méthode repose sur la prise de nombreuses « vues » différentes (photos augmentées) de l'image. Si un attaquant très intelligent sait exactement comment le robot prend ces vues, il pourrait potentiellement tromper le robot en optimisant son attaque contre ce processus spécifique. Ainsi, bien que T-VSS soit un bouclier solide, ce n'est pas un champ de force impénétrable.

En résumé : T-VSS est comme un navigateur expérimenté qui, lorsqu'un navire se perd dans une tempête, ne cherche pas à repeindre la coque ou à crier de nouveaux ordres. Au lieu de cela, il observe les modèles de vent, détermine la direction précise vers laquelle la tempête pousse le navire, et effectue un virage précis et léger pour remettre le navire sur sa trajectoire, rapidement et efficacement.

Résumé Technique : T-VSS (Test-Time Visual Subspace Steering)

1. Énoncé du Problème

Les modèles vision-langage (VLM), tels que CLIP, excellent dans la reconnaissance visuelle zero-shot mais restent extrêmement vulnérables aux perturbations adverses. Même des changements imperceptibles de l'entrée peuvent provoquer des échecs de prédiction significatifs, posant des risques dans des domaines critiques pour la sécurité comme l'IA médicale et la conduite autonome.

Les stratégies de défense existantes font face à deux limitations principales :

Méthodes au moment de l'entraînement (Training-Time) : Les approches telles que l'entraînement adversarial, le fine-tuning robuste et la purification basée sur la diffusion nécessitent des données étiquetées, un réentraînement coûteux ou des modèles auxiliaires, ce qui les rend peu pratiques pour les VLM volumineux et gelés.
Méthodes d'adaptation au moment du test (Test-Time Adaptation - TTA) : Les récentes approches de TTA tentent d'améliorer la robustesse lors de l'inférence sans réentraînement, mais reposent souvent sur des chemins d'optimisation indirects :
- Basées sur les prompts (ex: R-TPT) : Optimisent des prompts textuels apprenables.
- Dans l'espace d'entrée (ex: TTP, TTC) : Optimisent le padding au niveau des pixels ou des perturbations de contre-attaque.
  Ces méthodes sont coûteuses en termes de calcul et ne traitent pas directement la corruption de la représentation visuelle elle-même, qui est la cible principale des attaques adverses.

2. Méthodologie : Test-Time Visual Subspace Steering (T-VSS)

T-VSS propose une défense légère et directe qui adapte l'espace des caractéristiques visuelles au moment du test. Au lieu de régler les prompts ou les pixels, il apprend une correction partagée au sein d'un sous-espace de rang faible compact et spécifique à l'échantillon, dérivé des caractéristiques multi-vues de l'image attaquée.

La méthode opère en trois étapes principales :

A. Estimation du sous-espace visuel local

Étant donné une image de test adversaire $x_0$ et ses $N$ vues augmentées $\{x_1, \dots, x_N\}$ , le modèle extrait des caractéristiques visuelles gelées $\{f_i\}$ en utilisant l'encodeur d'image CLIP.

Construction du résidu : Une matrice de résidus basée sur une ancre $R$ est construite en soustrayant la caractéristique de la vue originale attaquée ( $f_0$ ) des caractéristiques de toutes les vues augmentées :
$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$
Extraction du sous-espace : Une décomposition en valeurs singulières (SVD) est appliquée à $R$ . La méthode sélectionne un sous-espace de rang faible défini par les $m$ premiers vecteurs singuliers à droite ( $V_m$ ). Le rang $m$ est choisi de manière adaptative de sorte que l'énergie cumulative des valeurs singulières dépasse un seuil $\rho$ (ex: 0.9).
Intuition : Puisque toutes les vues proviennent de la même image attaquée, leurs décalages de caractéristiques induits par l'attaque partagent un composant commun. La structure résiduelle se réduit en une géométrie de rang faible, permettant à la méthode d'isoler la variation locale causée par l'attaque tout en supprimant les décalages partagés entre les vues.

B. Pilotage de caractéristiques partagées de rang faible (Shared Low-Rank Feature Steering)

T-VSS apprend un vecteur de correction unique et partagé $\Delta$ au sein du sous-espace extrait $V_m$ :

Un vecteur de coefficients apprenable $\alpha \in \mathbb{R}^m$ est initialisé à zéro.
La correction est calculée comme $\Delta = V_m \alpha$ .
Ce décalage est appliqué à toutes les vues simultanément : $\tilde{f}_i = \text{norm}(f_i + \Delta)$ .
Cette conception impose une correction de consensus à travers les vues, contrainte par la géométrie de rang faible, plutôt que de permettre des mises à jour indépendantes et instables pour chaque vue.

C. Optimisation et agrégation sensibles à la fiabilité

Toutes les vues augmentées ne sont pas également fiables sous l'attaque. T-VSS incorpore un mécanisme de pondération de la fiabilité :

Score de fiabilité : Pour chaque vue $i$ , un score $r_i$ est calculé sur la base de la similitude moyenne avec ses $K$ plus proches voisins dans l'espace des caractéristiques.
Pondération : Ces scores sont convertis en poids $w_i$ via une softmax avec ajustement de température. Les vues présentant une forte concordance de caractéristiques reçoivent des poids plus élevés ; les valeurs aberrantes instables sont supprimées.
Fonction de perte : Le vecteur de coefficients $\alpha$ est optimisé en minimisant l'entropie ponctuelle pondérée par la fiabilité des probabilités de classes prédites :
$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$
Prédiction finale : La prédiction finale est une moyenne pondérée par la fiabilité des probabilités de toutes les vues adaptées.

3. Contributions Clés

Adaptation directe de l'espace des caractéristiques : T-VSS est le premier système de défense au moment du test pour les VLM qui adapte directement la représentation visuelle corrompue au sein d'un sous-espace de rang faible appris, évitant l'optimisation indirecte et coûteuse des prompts textuels ou des pixels d'entrée.
Géométrie de rang faible spécifique à l'échantillon : En construisant un sous-espace à partir des résidus ancrés des caractéristiques multi-vues, la méthode capture la géométrie locale inter-vues de l'attaque, contraignant les mises à jour à des directions géométriquement plausibles.
Mécanisme sensible à la fiabilité : L'intégration des poids de fiabilité des vues garantit que le processus d'adaptation et l'agrégation finale sont robustes aux vues augmentées instables, un problème courant dans les contextes adverses.
Efficacité : La méthode ne nécessite qu'une seule passe avant à travers l'encodeur gelé. L'optimisation s'effectue sur un petit ensemble de coefficients (le rang $m$ ) plutôt que sur des vecteurs de prompts de haute dimension ou des grilles de pixels, réduisant considérablement la latence d'inférence.

4. Résultats Expérimentaux

Les auteurs ont évalué T-VSS sur huit jeux de données fins, ImageNet et quatre benchmarks ImageNet Out-of-Distribution (OOD) en utilisant trois backbones CLIP (ResNet-50, ViT-B/16, ViT-L/14).

Robustesse Adversaire : T-VSS a systématiquement obtenu la meilleure précision adversaire moyenne sur tous les backbones et jeux de données.
- Sur les jeux de données fins avec CLIP-ResNet-50, il a amélioré la précision robuste moyenne à 48,5 %, surpassant le meilleur précédent (R-TPT) de 3,3 points.
- Sur ImageNet, il a atteint 50,1 % de précision robuste, surpassant R-TPT (47,7 %) et les autres bases de référence.
- Il a démontré une performance supérieure sur les catégories fines exigeantes (ex: Cars, Flower102, Aircraft) et a maintenu ses gains sur les benchmarks OOD (ImageNet-A, V2, R, S).
Précision sur données saines (Clean Accuracy) : T-VSS a maintenu une précision saine compétitive, évitant les chutes de précision importantes souvent associées aux corrections agressives au moment du test.
Efficacité : T-VSS était la défense adaptative la plus rapide. Sur UCF101, il a atteint 52,5 % de précision robuste en 0,383 seconde/image, ce qui est plus rapide que R-TPT (0,533s) et TTP (0,408s). Il a maintenu de fortes performances même avec des budgets de vues réduits (ex: 16 vues).
Généralisation : La méthode a montré une robustesse contre divers types d'attaques (PGD, CW, DeepFool, FGSM), indiquant qu'elle n'est pas sur-optimisée pour un mécanisme d'attaque spécifique.

5. Signification et Revendications

L'article affirme que T-VSS offre une alternative simple, pratique et efficace à l'adaptation des prompts ou de l'espace des pixels pour l'inférence robuste zero-shot des VLM.

Directivité : En pilotant directement l'espace des caractéristiques visuelles, T-VSS traite la cause profonde de la vulnérabilité (représentations visuelles corrompues) plus efficacement que les méthodes indirectes.
Compromis Robustesse-Efficacité : L'adaptation contrainte de rang faible produit un compromis supérieur, offrant une plus grande robustesse avec un coût de calcul inférieur par rapport aux défenses précédentes au moment du test.
Limitations : Les auteurs reconnaissent que, comme d'autres défenses basées sur l'augmentation, T-VSS repose sur une augmentation multi-vues stochastique. Cela crée une surface d'attaque potentielle si un adversaire optimise explicitement à travers la même espérance sur les transformations (attaques conscientes de la défense), une limitation partagée par le paradigme TTA actuel.

En conclusion, T-VSS démontre que contraindre l'adaptation au moment du test à un sous-espace visuel compact et spécifique à l'échantillon est une stratégie viable et efficace pour renforcer la robustesse adversaire des modèles Vision-Langage gelés.