💻 computer science

Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models

Ce papier propose l'Amorçage Bidirectionnel en Boucle Fermée, un mécanisme de défense novateur qui améliore la robustesse aux attaques adverses des Modèles Vision-Langage en établissant une boucle de rétroaction dynamique entre les modalités visuelle et textuelle pour restaurer l'alignement sémantique intermodal tout en utilisant une Ancre Sémantique pour contraindre les mises à jour et atténuer la corruption des caractéristiques.

Auteurs originaux : Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une Modèle Vision-Langage (VLM) comme une équipe de détectives hautement qualifiés composée de deux partenaires : un Détective Visuel (qui examine les images) et un Détective Textuel (qui lit les descriptions). Ils sont entraînés à travailler parfaitement ensemble, en associant les images aux mots.

Cependant, ces détectives sont vulnérables aux attaques adverses. Imaginez un attaquant comme un faussaire de maître qui ajoute un « bruit » invisible ou de minuscules taches confuses à une photo. Ce bruit est si subtil qu'un humain ne peut pas le voir, mais il trompe le Détective Visuel en lui faisant voir quelque chose de complètement différent. Parce que les deux détectives sont si étroitement liés, si le Détective Visuel est confus, le Détective Textuel l'est aussi, et toute l'équipe échoue.

Le problème des défenses actuelles

Les tentatives précédentes pour protéger ces détectives présentaient deux défauts majeurs :

Trafic à sens unique : La plupart des défenses tentaient uniquement de réparer le Détective Visuel (en les réentraînant) ou uniquement le Détective Textuel (en modifiant leurs notes). Ils traitaient l'autre partenaire comme un arrière-plan fixe et immuable. Mais si l'attaquant tente de briser le lien entre eux, réparer un seul côté ne suffit pas.
Notes statiques : Certaines défenses donnaient au Détective Textuel un script préécrit unique à utiliser pour chaque image. Mais comme chaque image et chaque attaque sont différentes, un script universel échoue souvent.

La solution : l'encodage bidirectionnel en boucle fermée (CLBP)

Les auteurs proposent une nouvelle stratégie appelée CLBP, qui agit comme une boucle de rétroaction dynamique entre les deux détectives. Au lieu de travailler isolément, ils se parlent constamment pour corriger les erreurs en temps réel, sans avoir besoin de réentraîner leurs cerveaux entiers.

Voici comment le processus fonctionne, étape par étape, en utilisant une analogie créative :

1. L'ancre sémantique (La « étoile polaire »)

Avant que les détectives ne commencent à travailler sur une image délicate, ils conviennent d'une « ancre sémantique ». Imaginez cela comme une boussole fixe et fiable ou une « étoile polaire ». C'est une description générique et sûre (comme « une photo d'un [chat] ») qui représente le sens vrai et non corrompu de la classe.

Pourquoi cela compte : Cette ancre empêche les détectives de s'égarer dans la confusion. Elle les maintient ancrés dans les connaissances originales et sûres qu'ils ont apprises pendant l'entraînement.

2. Étape 1 : Débruitage Texte-Vision (Le « Nettoyeur »)

Le Détective Visuel regarde l'image bruitée et attaquée et se sent confus. Il demande au Détective Textuel : « Sur la base de notre étoile polaire, à quoi cela devrait-il vraiment ressembler ? »

Le Détective Textuel utilise l'« étoile polaire » stable pour générer un prompt de nettoyage.
Ce prompt est renvoyé au Détective Visuel, qui l'utilise pour « filtrer » le bruit. C'est comme si le Détective Textuel remettait au Détective Visuel une paire de lunettes spéciales qui éliminent les taches du faussaire, lui permettant de voir à nouveau l'image réelle.

3. Étape 2 : Raffinement Vision-Texte (L'« Éditeur »)

Maintenant que le Détective Visuel a une image plus claire, il se tourne vers le Détective Textuel et dit : « D'accord, je vois l'image clairement maintenant. Ma description actuelle correspond-elle à ce que je vois ? »

Le Détective Visuel envoie un signal de retour au Détective Textuel.
Le Détective Textuel met à jour ses notes spécifiquement pour cette image, ajustant sa description pour correspondre aux preuves visuelles nettoyées.

4. La boucle se referme

Ces deux étapes se produisent dans un cycle rapide. Le Texte nettoie la Vision, et la Vision affine le Texte.

La magie : Les auteurs prouvent mathématiquement que cette boucle est contractive. Imaginez un élastique : à chaque fois que les détectives parlent, ils se tirent mutuellement plus près de la vérité. Même s'ils commencent loin l'un de l'autre (en raison d'une attaque puissante), un ou deux tours de cette conversation suffisent à les ramener à la bonne réponse. Ils ne s'embrouillent pas ; ils convergent rapidement.

5. Le filet de sécurité : Agrégation multi-vues

Pour être absolument certain, le système ne regarde pas l'image une seule fois. Il crée 32 versions légèrement différentes de l'image (comme prendre 32 photos sous des angles légèrement différents ou avec un éclairage différent).

Il exécute la boucle de « nettoyage et raffinement » sur les 32 versions.
Ensuite, il procède à un vote. Si 30 versions s'accordent sur la réponse et que 2 sont des valeurs aberrantes, le système ignore les valeurs aberrantes et suit le consensus. Cela rend très difficile pour un attaquant de tromper toute l'équipe.

Pourquoi c'est important

L'article affirme que cette méthode est supérieure car :

C'est une rue à double sens : Contrairement aux méthodes précédentes qui ne réparaient qu'un seul côté, le CLBP permet à l'image et au texte de se réparer mutuellement.
C'est efficace : Il ne nécessite pas de réentraîner le modèle d'IA massif (ce qui est lent et coûteux). Il ajoute simplement une petite couche de conversation intelligente par-dessus le modèle existant.
Ça marche partout : Les auteurs l'ont testé sur 11 ensembles de données différents (de la reconnaissance de chats et de voitures à l'analyse d'images satellites et de textures). Dans presque tous les cas, le CLBP était beaucoup plus efficace pour résister aux attaques que les méthodes précédentes, tout en restant précis sur des images normales et propres.

Résumé

Pensez au CLBP comme à une conversation auto-corrective entre un photographe et un rédacteur de légendes. Lorsqu'un faussaire tente de tromper le photographe avec une fausse photo, le rédacteur de légendes utilise sa connaissance de la vérité pour aider le photographe à voir à travers le faux. Ensuite, le photographe aide le rédacteur de légendes à écrire la description parfaite. Ils continuent à parler jusqu'à ce qu'ils s'accordent tous les deux sur la vérité, ignorant le bruit. Cela se produit si rapidement et si efficacement que les astuces du faussaire ne fonctionnent tout simplement pas.

Résumé Technique : Prompting Bidirectionnel en Boucle Fermée pour la Robustesse Adversariale des Modèles Vision-Langage

1. Énoncé du Problème

Les Modèles Vision-Langage (VLM), tels que CLIP, obtiennent des performances élevées en alignant les modalités visuelle et textuelle dans un espace d'incorporation conjoint. Cependant, ce couplage intermodal étroit crée une vulnérabilité : de petites perturbations adversaires appliquées à l'image d'entrée peuvent rompre l'alignement sémantique entre l'image et son texte correspondant, entraînant une mauvaise classification.

Les mécanismes de défense existants souffrent de limitations spécifiques :

Affinement Adversarial (AFT) : Bien qu'efficace, il nécessite de réentraîner l'encodeur visuel, ce qui est coûteux en calcul et risque de déformer la variété des caractéristiques préentraînées, dégradant souvent la généralisation sur des données propres.
Ajustement de Prompt Adversarial (APT) : Ces méthodes optimisent des prompts souples tout en maintenant le noyau figé. Cependant, elles génèrent généralement des prompts statiques partagés sur toutes les entrées ou reposent sur des projections unidirectionnelles (par exemple, texte vers vision uniquement). Elles échouent à s'adapter aux perturbations spécifiques à l'instance et manquent d'un mécanisme de correction mutuelle entre les modalités.
Défenses au Moment du Test : Beaucoup se concentrent sur la cohérence du côté visuel ou sur les caractéristiques de l'attaque plutôt que sur la restauration de l'alignement intermodal sous-jacent.

La limitation fondamentale identifiée est que la plupart des défenses traitent les modalités indépendamment ou n'ajustent qu'une seule branche tout en considérant l'autre comme un contexte fixe. Puisque les attaques adversaires ciblent spécifiquement le découplage de ces branches, une défense nécessitant une récupération bidirectionnelle — où les caractéristiques visuelles et textuelles interagissent activement pour rétablir l'alignement — est nécessaire.

2. Méthodologie : Prompting Bidirectionnel en Boucle Fermée (CLBP)

Les auteurs proposent le Prompting Bidirectionnel en Boucle Fermée (CLBP), une défense au moment du test qui maintient les encodeurs préentraînés figés et introduit une boucle de rétroaction dynamique entre les branches visuelle et textuelle.

Composants Principaux

Ancre Sémantique (Amorçage Sémantique) :
Pour empêcher les mises à jour itératives de dériver de la variété sémantique préentraînée, la boucle est initialisée et contrainte par une « Ancre Sémantique ». Il s'agit d'une incorporation textuelle fixe dérivée d'un modèle de classe générique (par exemple, « une photo de {classe} »). Elle agit comme une a priori stable.
Boucle de Rétroaction Bidirectionnelle :
La méthode alterne entre deux adaptateurs légers :
- Débruitage Texte vers Vision (T2V) : Les incorporations textuelles actuelles (initialement l'ancre) sont traitées par un adaptateur T2V pour générer des prompts visuels. Ces prompts sont préfixés aux patches d'image. L'encodeur visuel traite ensuite l'image conditionnée par ces prompts, filtrant efficacement le bruit adversaire dans les caractéristiques visuelles via une attention croisée contre le signal linguistique stable.
- Raffinement Vision vers Texte (V2T) : Les caractéristiques visuelles affinées résultantes sont mappées par un adaptateur V2T vers un décalage ( $\delta$ ) par instance appliqué au prompt textuel. Cela met à jour la description textuelle pour qu'elle soit spécifique à l'instance d'image actuelle plutôt que partagée sur l'ensemble de données.
Ce processus forme une boucle fermée : $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$ .
Stabilité Théorique :
Les auteurs modélisent la boucle comme une application de point fixe sur la sphère unité. Ils prouvent que, sous l'initialisation par ancre, l'opérateur composé est une contraction avec une constante de Lipschitz locale $q \approx 10^{-4}$ . Cela implique :
- La boucle converge vers un point fixe unique.
- Une seule mise à jour bidirectionnelle ( $N=1$ ) suffit pour atteindre le point fixe, car les itérations ultérieures apportent une amélioration négligeable.
- L'écart par rapport au point fixe propre croît linéairement avec la perturbation d'entrée mais ne dépend pas de la profondeur d'itération, assurant la stabilité.
Agrégation Multi-Vues :
Pour gérer le bruit d'échantillonnage provenant des augmentations individuelles, CLBP agrège les prédictions sur $V$ vues augmentées aléatoires de l'entrée. Il utilise un softmax pondéré par la similarité pour supprimer les vues aberrantes qui divergent du consensus, améliorant la robustesse sans nécessiter de réentraînement.
Objectif d'Entraînement :
Les adaptateurs sont entraînés en utilisant une perte composite sur des exemples adversaires :
- Entropie Croisée ( $L_{ce}$ ) : Perte de classification standard.
- Perte de Marge ( $L_{mar}$ ) : Impose une marge dans l'espace des caractéristiques sur les logits adverses.
- Divergence KL ( $L_{kl}$ ) : Distille la prédiction propre dans la branche adverse pour préserver la précision sur les données propres.

3. Contributions Clés

Mécanisme de Rétroaction Bidirectionnelle : L'article identifie le traitement indépendant des modalités comme une faiblesse clé des défenses existantes et propose CLBP, une méthode où les caractéristiques visuelles et textuelles se conditionnent et se corrigent mutuellement au moment de l'inférence sans modifier les encodeurs figés.
Ancre Sémantique et Analyse de Convergence : L'introduction d'une Ancre Sémantique pour contraindre l'itération est complétée par une analyse théorique prouvant le caractère contractif de la boucle. Les auteurs démontrent empiriquement et théoriquement qu'une seule mise à jour suffit pour la convergence.
Évaluation Complète : La méthode est validée sur 11 jeux de données selon trois régimes : zéro-shot inter-jeux de données, adaptation few-shot, et généralisation de base vers nouveau.

4. Résultats Expérimentaux

Les auteurs évaluent CLBP par rapport à l'Affinement Adversarial (AFT), à l'Ajustement de Prompt Adversarial (APT) et aux défenses au moment du test (par exemple, TTC, SCC, R-TPT) sous des attaques en boîte blanche (PGD, AutoAttack, Carlini-Wagner, EOT-PGD).

Robustesse Zéro-Shot Inter-jeux de Données : Sur 10 jeux de données, CLBP atteint une précision robuste moyenne de 52,77 %, surpassant significativement la défense au moment du test la plus performante (SCC à 49,71 %) et les bases de référence basées sur l'entraînement (par exemple, AdvMaPLe à 24,37 %). Crucialement, il maintient une précision propre de 59,99 %, presque identique à celle de CLIP vanilla (59,60 %), évitant le compromis précision-robustesse observé dans AFT.
Adaptation Few-Shot : Dans un réglage 16-shot sur 11 jeux de données, CLBP atteint 65,08 % de précision robuste moyenne, soit environ le double de la performance de la prochaine meilleure base de référence (FAP à 34,61 %). Dans le régime low-shot (1-shot), CLBP conserve 41,13 % de robustesse, alors que les bases de référence à prompts statiques chutent à environ 2,43 %.
Généralisation de Base vers Nouveau : CLBP démontre une transférabilité supérieure, conservant 54,92 % de précision robuste sur les classes « Nouvelles » non vues, contre 21,86 % pour FAP. Cela indique que la méthode ne surajuste pas aux classes de base.
Diversité des Attaques : CLBP maintient des performances de pointe contre les ensembles AutoAttack, les attaques de marge Carlini-Wagner et les attaques adaptatives EOT-PGD, confirmant que la robustesse n'est pas un artefact de l'obfuscation du gradient.
Efficacité : La méthode est efficace ; la précision robuste sature avec aussi peu de 8 vues augmentées, et une seule itération de boucle suffit.

5. Importance et Revendications

L'article revendique que CLBP représente une avancée significative dans la sécurisation des VLM en s'attaquant à la cause racine de leur vulnérabilité : le découplage de l'alignement intermodal sous attaque.

Efficacité Paramétrique : Contrairement à AFT, CLBP ne nécessite pas de réentraîner les massifs encodeurs préentraînés, le rendant adapté aux environnements contraints en ressources ou aux systèmes déployés.
Adaptation Dynamique : En générant des prompts spécifiques à l'instance via une boucle bidirectionnelle, CLBP surmonte la nature statique des méthodes d'ajustement de prompt précédentes, lui permettant de s'adapter à des motifs adverses divers.
Fondement Théorique : Le travail fournit une justification théorique de la stabilité de la défense, montrant que la dynamique en boucle fermée est contractive et converge rapidement.
Préservation des Performances Propres : La méthode atteint une robustesse de pointe sans sacrifier la précision sur les données propres, un mode d'échec courant dans l'entraînement adversarial.

Les auteurs reconnaissent des limitations, notant que l'analyse se concentre sur les architectures à double tour (comme CLIP) et que les bornes théoriques, bien que serrées empiriquement, reposent sur des approximations factorisées. Ils notent également que la méthode hérite des biais du noyau figé sous-jacent. Néanmoins, CLBP est présenté comme une solution robuste, efficace et théoriquement fondée pour la défense adversariale dans les modèles vision-langage.