Towards Robustness against Typographic Attack with Training-free Concept Localization

Résumé Technique : Vers la robustesse contre les attaques typographiques grâce à la localisation de concepts sans entraînement

Énoncé du problème
Les modèles de pré-entraînement linguistique-visuelle contrastive (CLIP) servent de codeurs de vision fondamentaux pour les modèles de grands modèles de langage visuel (LVLM) modernes. Malgré leur adoption généralisée, ces modèles présentent une vulnérabilité critique connue sous le nom d'attaque typographique (TA). Dans ce scénario, un texte non pertinent superposé à une image (par exemple, le mot « Goose » sur l'image d'un chat) provoque une erreur de classification de l'image par le modèle, basée sur le contenu lexical plutôt que sur la véritable sémantique visuelle. Ce mode de défaillance provient d'un « enchevêtrement de caractéristiques » où les encodeurs Vision Transformer (ViT) ne parviennent pas à découpler efficacement les caractéristiques visuelles de la sémantique encodée dans les formes lexicales. Les défenses existantes reposent souvent sur un entraînement supervisé ou des interventions de boîte noire, manquant d'interprétabilité et ne parvenant pas à traiter la racine mécaniste de la vulnérabilité.

Méthodologie
Les auteurs proposent une méthode d'interprétabilité mécaniste sans entraînement pour localiser et atténuer les vulnérabilités aux TA au sein de l'architecture ViT. L'approche est fondée sur l'hypothèse de la représentation linéaire et l'hypothèse du ticket de loterie, opérant à travers trois étapes principales :

1. Extraction stochastique de concepts :
   Au lieu d'un apprentissage de dictionnaire paramétrique coûteux, la méthode emploie un échantillonnage stochastique de vecteurs de pseudo-concepts dans le sous-espace de dimension inférieure des têtes d'auto-attention multi-têtes (MHSA). En échantillonnant des vecteurs aléatoires ($u$) à partir d'une distribution gaussienne, la méthode traite la découverte de concepts comme une « loterie stochastique ». L'analyse théorique suggère qu'opérer dans le sous-espace $d_{head}$ (plutôt que le $d_{model}$ global) réduit considérablement l'interférence polysémantique, augmentant la probabilité de trouver des « tickets gagnants » — des échantillons qui s'alignent fidèlement avec des concepts lexicaux spécifiques.

2. Attribution basée sur le gradient et extraction de circuits :
   La méthode quantifie la « focalisation lexicale » des têtes d'attention individuelles à l'aide d'un score d'attribution textuelle (TAS). Elle calcule la dérivée partielle de la force du concept projeté par rapport aux logits d'attention pré-softmax. Cette carte d'attribution considère conjointement l'activation de l'attention ($A_{i,j}$) et l'utilité marginale du patch ($V_j(u) - F_i(u)$). En agrégeant les scores sur un ensemble de données non étiquetées, la méthode identifie les têtes d'attention et les circuits spécifiques qui encodent de manière disproportionnée des informations textuelles adverses.

3. Intervention mécaniste :
   Une fois les « circuits de lecture typographique » vulnérables identifiés, la méthode applique des interventions au moment du test sans réentraînement :

   • Repondération de l'attention : Pour les modèles possédant un jeton <cls>, les poids d'attention du jeton <cls> vers les patchs contenant du texte sont supprimés (repondérés à zéro), forçant le modèle à se reposer sur les patchs visuels.
   • Ablation par zéro : Pour les LVLM dépourvus de jeton <cls> dédié, les sorties des modules vulnérables identifiés sont remplacées par des vecteurs nuls, éliminant ainsi la distraction lexicale du flux de traitement.

Contributions clés

• Extraction de concepts par échantillonnage : Une nouvelle méthode d'échantillonnage stochastique sans entraînement qui exploite la décomposition naturelle des modules MHSA pour augmenter la probabilité de succès de concepts sans apprentissage de dictionnaire paramétrique.
• Explication de la vulnérabilité : Un mécanisme d'attribution basé sur le gradient qui analyse conjointement la « focalisation » de l'attention et la « direction » du concept pour produire des scores normalisés (nTAS) qui identifient systématiquement les modules focalisés sur le lexique.
• Intervention mécaniste : Une démonstration que des interventions simples, sans optimisation (repondération ou ablation) sur les circuits identifiés, améliorent considérablement la robustesse contre les TA tant pour la classification d'objets que pour le VQA (Visual Question Answering).

Résultats expérimentaux
La méthode a été évaluée sur cinq variantes de CLIP ViT (allant de ViT-B/16 à ViT-bigG/14) et plusieurs LVLM de pointe (Qwen3-VL, InternVL3.5, Gemma3).

• Classification d'objets : Sur des jeux de données tels que RTA-100, Disentangling et PAINT, l'intervention a considérablement amélioré la précision de la classification d'objets (OCA) tout en réduisant drastiquement le taux de confusion textuelle (TCR). Par exemple, sur ViT-H/14, l'OCA s'est améliorée de +22,8 % sur RTA-100, tandis que le TCR a chuté de 27,6 %. La méthode a surpassé à la fois les bases supervisées (Defense-Prefix) et d'autres méthodes sans entraînement (Dyslexify).
• Robustesse des LVLM : Appliquée aux LVLM sur le jeu de données RIO-Bench, l'intervention a amélioré la précision du VQA à travers plusieurs tailles de modèles (par exemple, +1,58 % sur Qwen3-VL-8B) sous l'interférence d'attaques typographiques, avec un impact négligeable (<1 %) sur les performances sur images propres.
• Efficacité : Le processus d'extraction de circuit est extrêmement rapide (moins d'une minute pour tous les backbones sur un seul A100) et ne nécessite qu'une infime fraction (0,1 %) d'un ensemble de données d'entraînement pour le calibrage des seuils.

Signification et affirmations
L'article affirme que son approche fournit une solution fidèle et explicable à la robustesse face aux TA en localisant précisément la source mécaniste de la vulnérabilité au sein de l'architecture transformer. Contrairement aux défenses de type boîte noire, cette méthode offre un lien causal clair entre des têtes d'attention spécifiques et la mauvaise classification lexicale. Les auteurs soutiennent que leurs travaux font progresser la frontière des solutions mécanistes pour la robustesse des VLM, démontant que des interventions au niveau des circuits et sans entraînement peuvent efficacement découpler la sémantique visuelle des distractions lexicales, renforçant ainsi la sécurité pour des applications critiques comme la conduite autonome. Les résultats confirment l'efficacité et la généralisabilité de cette approche mécaniste à travers différentes échelles de modèles et architectures.