Test-Time Attention Purification for Backdoored Large Vision Language Models

1. Problématique : Les Backdoors dans les LVLMs

Les Grands Modèles Vision-Langage (LVLMs) sont devenus des outils puissants pour le traitement multimodal, mais ils sont vulnérables aux attaques par backdoor (portes dérobées) lors de l'étape de fine-tuning.

• Mécanisme de l'attaque : Un adversaire injecte des échantillons empoisonnés dans les données d'entraînement. Ces échantillons contiennent un "déclencheur" (trigger) visuel discret (patch, mélange global, ou imperceptible) associé à une réponse cible malveillante.
• Conséquence : Le modèle backdooré se comporte normalement sur des données propres, mais produit la réponse malveillante dès que le déclencheur est présent à l'inférence.
• Limites des défenses existantes : Les approches actuelles reposent principalement sur le re-entraînement (retraining) des paramètres backdoorés (comme les adaptateurs ou les modules LoRA) avec des données propres. Cela est coûteux en calcul, nécessite de nouvelles données, et dégrade souvent les performances du modèle sur les tâches originales. De plus, les défenses basées sur la perturbation des pixels (flou, transformations spatiales) se sont révélées inefficaces contre les backdoors dans les LVLMs, car la relation malveillante n'est pas ancrée dans les pixels mais dans la dynamique interne du modèle.

2. Mécanisme Découvert : Le "Vol d'Attention" (Attention Stealing)

Les auteurs proposent une nouvelle compréhension mécaniste du comportement des backdoors dans les LVLMs :

• Observation clé : Contrairement aux modèles entraînés de zéro (comme CLIP) où les déclencheurs agissent via des motifs visuels de bas niveau, dans les LVLMs backdoorés, le déclencheur ne modifie pas la prédiction via les pixels, mais par une redistribution anormale de l'attention inter-modale.
• Phénomène de "Vol d'Attention" (Attention Stealing) :
  • Normalement, dans les couches intermédiaires d'un LVLM, les tokens visuels reçoivent moins d'attention que les tokens textuels.
  • En présence d'un déclencheur, les tokens visuels associés au déclencheur "volent" massivement l'attention au détriment du contexte textuel (la question ou l'instruction).
  • Cette attention excessive est localisée précisément sur les régions du déclencheur, affaiblissant le suivi des instructions et activant la réponse malveillante.
• Preuve expérimentale : La perturbation des poids d'attention (en les aplatissant ou en les moyennant) supprime l'attaque même si les pixels du déclencheur restent intacts, prouvant que la causalité réside dans l'attention, pas dans l'image brute.

3. Méthodologie : CleanSight

Pour contrer cette menace sans re-entraînement, les auteurs proposent CleanSight, une défense sans entraînement (training-free), plug-and-play, opérant exclusivement au moment du test (test-time).

Le processus se déroule en deux étapes :

A. Détection par Analyse du Ratio d'Attention

CleanSight détecte les entrées empoisonnées en analysant la dynamique de l'attention dans les couches de fusion inter-modale (généralement les couches du milieu du modèle).

1. Calcul du ratio : Pour chaque tête d'attention dans des couches sélectionnées, le système calcule le ratio entre l'attention accordée aux tokens visuels ($I_{vis}$) et celle accordée aux tokens de prompt textuel ($I_{prm}$) par le token de requête courant.
   $$S_{\ell,h} = \frac{\sum_{j \in I_{vis}} \alpha_{q,j}^{\ell,h}}{\sum_{j \in I_{prm}} \alpha_{q,j}^{\ell,h}}$$
2. Score d'anomalie : Ces ratios sont concaténés pour former un vecteur de caractéristiques. Ce vecteur est comparé à une distribution de référence obtenue sur un petit ensemble de données propres (via une distance $\ell_2$ blanchie).
3. Décision : Si le score de déviation dépasse un seuil $\gamma$, l'entrée est classée comme empoisonnée.

B. Purification par Élagage Sélectif (Selective Pruning)

Une fois une entrée détectée comme empoisonnée, CleanSight neutralise le backdoor en éliminant les tokens visuels suspects :

1. Identification : Le système identifie les tokens visuels ayant reçu une attention anormalement élevée (au-dessus d'un seuil $\tau$) dans les couches de détection.
2. Masquage : Un masque global est créé pour ces tokens.
3. Suppression : Dans les couches suivantes et les étapes de décodage, une forte pénalité négative est ajoutée aux logits correspondant aux tokens masqués. Cela force l'attention vers zéro pour ces tokens, empêchant le déclencheur de "voler" l'attention et d'activer le backdoor, tout en préservant le reste du contenu sémantique.

4. Résultats Expérimentaux

Les auteurs ont évalué CleanSight sur plusieurs modèles (LLaVA-1.5, InstructBLIP, Qwen-VL) et datasets (VQAv2, OKVQA, MSCOCO, Flickr8k) face à divers types d'attaques (BadNet, Blended, ISSBA, WaNet, TrojVLM, VLOOD).

• Réduction du Taux de Succès de l'Attaque (ASR) : CleanSight réduit l'ASR à près de 0% (souvent 0% ou < 5%) sur tous les scénarios d'attaque, surpassant largement les méthodes de purification par pixels (comme le flou gaussien, les transformations spatiales, ou ZIP) qui laissent souvent un ASR élevé (parfois > 80%).
• Préservation de l'Utilité (Clean Utility) : Contrairement aux défenses par pixels qui dégradent souvent la qualité des réponses sur les données propres (en perturbant l'image globale), CleanSight maintient les performances sur les échantillons propres (CU) quasi identiques à celles du modèle non défendu.
• Robustesse aux Attaques Adaptatives : Même face à des attaquants qui tentent d'optimiser leurs backdoors pour éviter la détection (en régularisant le ratio d'attention), CleanSight reste efficace, car le mécanisme de backdoor nécessite intrinsèquement une redirection de l'attention qui ne peut être totalement masquée sans détruire l'attaque elle-même.
• Efficacité à faible taux d'empoisonnement : La méthode fonctionne même lorsque seulement 0,1% des données d'entraînement sont empoisonnées.

5. Contributions Clés et Signification

1. Changement de paradigme : L'article déplace le focus de la purification des pixels (espace visuel) vers la purification de l'attention (espace sémantique/interne), identifiant le "vol d'attention" comme le vecteur causal principal des backdoors dans les LVLMs.
2. Défense sans entraînement : CleanSight élimine le besoin coûteux de re-entraînement ou de collecte de données propres massives, offrant une solution pratique pour le déploiement en production.
3. Généralité : La méthode est agnostique à l'architecture du modèle (fonctionne sur différents LVLMs et tailles) et au type de déclencheur (patch, global, imperceptible).
4. Implication pour la sécurité : Ce travail démontre que la sécurité des modèles multimodaux ne peut plus se contenter de filtrer les entrées visuelles ; elle doit surveiller et corriger les flux d'information internes (attention) entre les modalités.

En conclusion, CleanSight représente une avancée majeure dans la sécurisation des LVLMs, prouvant que la manipulation de l'attention au moment du test est une stratégie supérieure pour neutraliser les backdoors tout en préservant l'utilité du modèle.