💻 computer science

ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

ReACT-CLIP est une défense sans entraînement, appliquée au moment du test, pour les modèles de type CLIP qui adapte dynamiquement la force de correction et détermine la nécessité d'une intervention pour chaque entrée en exploitant la dérive relative des caractéristiques inter-bruit et l'instabilité des prédictions, améliorant ainsi considérablement la robustesse adversaire à travers diverses attaques tout en préservant la précision sur les données saines.

Auteurs originaux : Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de voir des images ; ils les comprennent en en parlant. C'est la magie des modèles vision-langage, comme le célèbre « CLIP ». Considérez CLIP comme un bibliothécaire super intelligent qui aurait lu tous les livres et vu toutes les photos de l'univers. Si vous lui montrez la photo d'un golden retriever, il ne reconnaît pas seulement le chien ; il associe instantanément l'image aux mots « golden retriever » dans sa vaste bibliothèque mentale. Cette capacité à connecter les images et le texte sans avoir besoin d'être réentraîné pour chaque nouvelle tâche a fait de ces modèles la colonne vertébrale de l'IA moderne, alimentant tout, des moteurs de recherche aux voitures autonomes.

Cependant, il y a un piège. Ces super-bibliothécaires sont étonnamment fragiles. Un attaquant rusé peut ajouter une couche de « bruit » minuscule, presque invisible, à une image — comme quelques pixels de statique sur un écran de télévision — qui confond complètement le bibliothécaire. Soudain, le bibliothécaire regarde la photo d'un chien et affirme avec assurance : « C'est un grille-pain ! » C'est ce qu'on appelle une « attaque adversaire ». C'est un problème majeur car si l'IA peut être trompée aussi facilement, nous ne pouvons pas lui faire confiance pour prendre des décisions importantes. Les scientifiques essaient de construire des boucliers pour protéger ces modèles, mais la plupart de leurs solutions actuelles ressemblent à une armure lourde et de taille unique. Elle est excellente contre un coup de peashooter, mais si l'attaquant utilise un canon, l'armure est trop faible. Si l'attaquant n'utilise qu'un peashooter, l'armure est si lourde qu'elle ralentit le bibliothécaire, lui faisant manquer des tâches faciles.

C'est ici qu'intervient une nouvelle méthode appelée ReACT-CLIP, qui propose une solution intelligente et légère. Au lieu de porter une armure fixe, ReACT-CLIP agit comme un garde du corps hautement réactif qui évalue le niveau de menace avant de décider comment réagir. Les chercheurs ont découvert que les défenses existantes échouent parce qu'elles utilisent une « force de correction fixe ». Elles tentent de réparer chaque problème avec la même force, ce qui mène à deux résultats néfastes : soit elles ne corrigent pas assez les attaques fortes, soit elles sur-corrigent les attaques faibles et gâchent la réponse pour les images nettes.

ReACT-CLIP change la donne en étant « conscient de la réponse ». Il ne devine pas la force de l'attaque ; il demande au modèle lui-même. Voici comment cela fonctionne : lorsqu'une image arrive, le système lui donne deux légères « poussées » avec des quantités différentes de bruit numérique. Il observe à quel point la compréhension de l'image par le modèle « dérive » ou vacille sous ces poussées.

Si l'image est nette (un vrai chien), elle reste stable même lorsqu'elle est poussée.
Si l'image subit une attaque faible, elle vacille un peu plus.
S'il s'agit d'une attaque forte, elle vacille sauvagement.

En mesurant la différence de vacillement entre une poussée légère et une poussée forte, ReACT-CLIP obtient une lecture précise, échantillon par échantillon, de l'aide dont l'image a besoin. Il construit ensuite une « ancre » personnalisée (une version stable de l'image) et ramène l'image confuse vers la vérité avec juste la bonne force. Si l'image se comporte déjà bien, le système ne fait rien. Si elle est sous un feu nourri, le système tire fort.

L'article montre que cette approche est incroyablement efficace. À travers 12 ensembles de données différents et sous divers types d'attaques (des petites poussées aux distorsions massives), ReACT-CLIP maintient la précision de l'IA élevée, conservant souvent environ 60 % de succès même lorsque les attaques sont très fortes. En revanche, les autres défenses utilisant une stratégie fixe voient leur précision s'effondrer à mesure que les attaques se renforcent. Les chercheurs ont également découvert que le simple fait de vérifier si le modèle est « confus » ne suffit pas ; ils ont dû combiner la mesure du « vacillement » avec une vérification de la stabilité des prédictions du modèle sous de légères modifications de l'image. Cette combinaison permet au système d'éviter de réparer les images qui n'ont pas besoin de l'être, préservant ainsi l'intelligence naturelle du modèle.

En résumé, ReACT-CLIP prouve qu'il n'est pas nécessaire d'entraîner un nouveau modèle ou de savoir exactement comment un attaquant prévoit de frapper pour se défendre contre lui. En écoutant simplement la façon dont le modèle réagit à un peu de bruit, le système peut ajuster automatiquement sa défense, agissant comme un bouclier intelligent et adaptatif, assez fort pour arrêter un canon mais assez doux pour ne pas blesser un peashooter. Cela rend l'IA plus sûre et plus fiable sans sacrifier sa vitesse ou sa précision.

Résumé Technique : ReACT-CLIP

Énoncé du Problème

Les modèles vision-langage (VLM) tels que CLIP s'appuient sur des encodeurs visuels gelés pour diverses tâches en aval, ce qui crée un point de défaillance concentré face aux attaques adverses. Bien que l'entraînement adversarial et le réglage de prompts offrent de la robustesse, ils nécessitent souvent un réentraînement, risquent le surapprentissage à des distributions d'attaques spécifiques et sacrifient la précision sur les données saines au profit de la robustesse. Par conséquent, des défenses sans entraînement au moment du test sont apparues comme une alternative pratique.

Cependant, les défenses existantes au moment du test souffrent d'une limitation fondamentale : elles emploient des stratégies d'intervention fixes. Qu'il s'agisse de mises à jour de prompts fixes, de budgets de contre-attaque fixes ou de facteurs de correction de caractéristiques fixes (par exemple, une échelle de bruit gaussien globale pour la construction d'ancres), ces méthodes ne peuvent pas s'adapter à la sévérité variable des attaques lors de l'inférence. Le budget d'attaque ( $\epsilon$ ) est inconnu lors du déploiement, et la force de correction requise varie considérablement d'un échantillon à l'autre, même au sein d'un même budget nominal. Comme le démontre l'article, les configurations fixes qui fonctionnent pour les attaques faibles « sous-estiment » souvent les attaques fortes, tandis que celles réglées pour les attaques fortes « surestiment » et dégradent les performances sur les entrées saines ou faiblement perturbées. Ce décalage provoque une dégradation brutale des défenses existantes à mesure que la force de l'attaque augmente.

Méthodologie : ReACT-CLIP

ReACT-CLIP (Response-Aware Correction at Test-Time for CLIP) répond à cela en reformulant la défense au moment du test comme un processus de décision spécifique à l'échantillon. Au lieu d'appliquer une correction globalement fixe, ReACT-CLIP détermine deux propriétés distinctes pour chaque entrée :

Si une intervention défensive est nécessaire.
Quelle intensité de correction l'entrée doit recevoir.

La méthode fonctionne sans modifier le modèle préentraîné et sans nécessiter d'entraînement de prompt. Elle repose sur deux mécanismes clés :

1. Construction d'Ancre Conditionnée par la Réponse (Détermination de l'Intensité de Correction)

Pour estimer l'intensité de correction requise, ReACT-CLIP sonde l'entrée avec deux niveaux de bruit gaussien ( $\sigma_{low}$ et $\sigma_{high}$ ) et mesure la dérive résultante dans l'espace des caractéristiques visuelles.

Observation : Bien que la dérive absolue à un seul niveau de bruit soit ambiguë (les caractéristiques adverses peuvent paraître trompeusement stables sous un bruit faible), la dérive relative entre les bruits ( $r(x)$ ) fournit un signal clair et gradué. Elle est définie comme l'augmentation relative de la dérive entre le bruit faible et le bruit élevé :
$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$
Mécanisme : Cette dérive relative sert de proxy spécifique à l'échantillon pour la demande de correction. ReACT-CLIP mappe $r(x)$ vers une échelle de correction spécifique à l'échantillon $\sigma_{corr}(x)$ via une mise en correspondance linéaire calibrée une seule fois sur un jeu de données unique (Caltech256).
Application : Cette échelle est utilisée pour construire une ancre de caractéristique moyennée par le bruit ( $f_{anc}$ ) à partir de vues bruitées par une gaussienne. La caractéristique visuelle originale est ensuite extrapolée vers et au-delà de cette ancre. Un petit $r(x)$ produit une petite échelle de bruit et une correction légère ; un grand $r(x)$ produit une plus grande échelle de bruit et une portée corrective plus étendue.

2. Intervention Défensive Sélective (Détermination de la Nécessité)

Appliquer une correction de manière inconditionnelle peut nuire aux entrées saines qui sont déjà correctement classées. Pour décider s'il faut intervenir, ReACT-CLIP combine la dérive relative avec un score d'instabilité de prédiction.

Observation : Les entrées saines conservent des distributions de probabilité de classe stables sous des augmentations spatiales faibles, tandis que les entrées adverses présentent une plus grande variation.
Mécanisme : Un score d'instabilité de prédiction $J(x)$ est calculé en utilisant la divergence de Jensen-Shannon entre la prédiction originale et la prédiction sous une augmentation stochastique faible $T(x)$ .
Décision : Le score d'intervention défensive final est $s_{int}(x) = r(x) + J(x)$ . Si $s_{int}(x)$ dépasse un seuil $\tau$ , la correction est appliquée ; sinon, la caractéristique originale est conservée. Cela permet au système de distinguer les entrées saines des entrées faiblement attaquées, un régime où la dérive relative seule est souvent ambiguë.

Contributions Clés

Construction d'Ancre Conditionnée par la Réponse : L'article identifie que les intensités de correction globalement fixes sont sous-optimales. Il introduit une méthode pour convertir la dérive relative entre les bruits en une échelle de correction spécifique à l'échantillon, permettant à la portée défensive de s'adapter à la fois au budget d'attaque et aux caractéristiques individuelles des échantillons sans réentraînement.
Intervention Défensive Sélective : Les auteurs proposent un score d'intervention fusionné combinant la dérive relative et l'instabilité de prédiction. Cela améliore la détection des entrées adverses dans le régime d'attaque faible tout en préservant la précision sur les données saines, répondant ainsi à l'ambiguïté qui affecte les détecteurs basés uniquement sur la dérive.
Évaluation de Robustesse Étendue : La méthode est évaluée sur 12 jeux de données en aval, ImageNet et ses variantes de décalage de distribution sous les attaques PGD-10, PGD-100, C&W-10 et AutoAttack.

Résultats

Gains de Robustesse : Sur 12 jeux de données en aval sous des attaques PGD-10, ReACT-CLIP maintient environ 60 % de précision robuste sur des budgets d'attaque allant de $\epsilon=1/255$ à $\epsilon=16/255$ .
Comparaison aux Baselines : Il surpasse la plus forte baseline existante (Defend-CLIP) jusqu'à 46,50 points de pourcentage à $\epsilon=16/255$ . Alors que les défenses existantes se dégradent brutalement à mesure que les attaques se renforcent, ReACT-CLIP maintient une performance stable.
Précision sur Données Saines : La méthode préserve la précision sur les données saines, restant à moins de 0,76 % de la meilleure défense sur les entrées saines.
Généralisation : La mise en correspondance linéaire pour l'intensité de correction, calibrée sur un seul jeu de données, se généralise efficacement à ImageNet et ses variantes hors distribution (ImageNet-A, V2, R, Sketch) et extrapole aux budgets d'attaque ( $\epsilon=24, 32$ ) au-delà de la plage de calibration, là où les autres défenses s'effondrent.
Ablation : Les résultats confirment que la construction d'ancre conditionnée par la réponse pilote la robustesse aux budgets d'attaque modérés à forts, tandis que le score d'intervention sélectif protège principalement la précision sur les données saines et améliore les performances dans le régime d'attaque faible.

Signification et Revendications

L'article affirme que ReACT-CLIP établit un nouveau paradigme pour la défense sans entraînement au moment du test en passant d'interventions globales et fixes à des décisions par échantillon conditionnées par la réponse. En exploitant la dynamique relative de la dérive des caractéristiques induite par le bruit et la stabilité de la prédiction, la méthode s'adapte aux budgets d'attaque inconnus et aux variations de sévérité des échantillons sans nécessiter la connaissance des paramètres d'attaque lors de l'inférence.

Les auteurs soulignent que cette approche permet à une configuration unique et fixe de rester efficace sur un large spectre de budgets de perturbation, des attaques très faibles aux très fortes, tout en préservant largement les capacités zero-shot du modèle CLIP préentraîné. Ce travail met en évidence que le « décalage » entre les configurations de défense fixes et la variabilité des forces d'attaque est une cause primaire d'échec des défenses actuelles au moment du test, et que le conditionnement sensible à la réponse est une étape nécessaire vers des VLM robustes et déployables.