On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

Résumé Technique : Vulnérabilité Adversaire des Modèles Vision-Langage à travers le Prisme des Sous-espaces Spectraux Intermédiaires

Énoncé du Problème
Les réseaux de neurones profonds, particulièrement les modèles Vision-Langage (VLM) modernes, sont connus pour être vulnérables aux perturbations adversaires qui altèrent les prédictions du modèle tout en restant visuellement imperceptibles. Alors que la recherche existante a largement analysé cette vulnérabilité à travers la géométrie de l'espace d'entrée, les propriétés des frontières de décision, la robustesse des caractéristiques et les Jacobiens entrée-sortie, le comportement spectral des transformations linéaires intermédiaires au sein de ces réseaux reste largement inexploré. Plus précisément, il existe un manque de compréhension concernant la manière dont les signaux adversaires se propagent à travers les sous-espaces de vecteurs singuliers des couches linéaires (par exemple, dans l'auto-attention, les réseaux de neurones à propagation avant [feed-forward] et les modules de fusion) qui constituent le cœur des VLM basés sur les transformeurs. Cet article examine si les sous-espaces de vecteurs singuliers « inférieurs » (bottom)—les directions associées à des valeurs singulières proches de zéro qui atténuent l'information—constituent une surface d'attaque précédemment négligée.

Méthodologie
Les auteurs proposent un cadre fondé sur l'analogie entre la propagation adversaire et l'instabilité des problèmes inverses mal posés. Dans les problèmes inverses, la reconstruction échoue le long des directions singulières quasi-nulles ; de même, les auteurs émettent l'hypothèse que l'alignement des représentations intermédiaires avec les sous-espaces de vecteurs singuliers inférieurs des transformations linéaires dans les VLM conduit à une atténuation de l'information et à une dégradation sémantique.

Pour tester cela, l'article introduit l'Attaque par Guidage de Sous-espace Spectral (SSGRA), une attaque non ciblée en boîte blanche (white-box). La méthodologie comprend :

1. Décomposition Spectrale : Réalisation de la Décomposition en Valeurs Singulières (SVD) sur les matrices de poids des transformations linéaires intermédiaires au sein du VLM.
2. Mesure d'Alignement : Définition d'une métrique, $\Psi_k$, pour quantifier l'énergie des représentations de jetons projetées sur des sous-espaces singuliers spécifiques (top-$k$ vs. bottom-$k$).
3. Objectif d'Optimisation : La SSGRA formule un problème d'optimisation qui combine deux termes :
   • Un terme de divergence de représentation (basé sur l'attaque de similitude par blocs [Blockwise Similarity Attack]) pour perturber les hiérarchies de caractéristiques.
   • Un terme de guidage spectral qui maximise explicitement l'alignement des représentations intermédiaires adverses avec les sous-espaces de vecteurs singuliers inférieurs (bottom-$s$) de couches linéaires sélectionnées.
4. Sondage par Couche : Les auteurs emploient un mécanisme de sondage pour analyser comment l'optimisation adversaire déplace naturellement les représentations vers les sous-espaces singuliers inférieurs, même sans guidage spectral explicite, et pour comparer les caractéristiques spectrales de différents VLM (Qwen2.5-VL, LLaVA-1.5 et Gemma-3).

Contributions Clés

• Identification d'une Nouvelle Surface d'Attaque : L'article identifie les sous-espaces de vecteurs singuliers inférieurs des transformations linéaires intermédiaires comme une surface d'attaque spectrale critique et précédemment négligée dans les VLM basés sur les transformeurs.
• Attaque SSGRA : Les auteurs proposent la SSGRA, une attaque en boîte blanche guidée par le spectre qui tire parti de cette intuition. Elle démontre une efficacité améliorée par rapport aux autres méthodes de pointe existantes (incluant les attaques dans l'espace des caractéristiques comme FDA, DRA, BSA, et les attaques au niveau de la sortie comme CE et EGA).
• Validation Empirique de la Dynamique Spectrale : À travers le sondage par couche, l'étude montre que l'optimisation adversaire non ciblée tend naturellement à augmenter l'alignement des représentations avec les sous-espaces singuliers atténuateurs d'information (inférieurs).
• Caractérisation Spectrale des VLM : Les auteurs fournissent une analyse spectrale de trois VLM majeurs, révélant que les modèles possédant une plus grande proportion de directions singulières quasi-nulles (ex: Qwen2.5-VL) présentent une plus grande vulnérabilité à la SSGRA par rapport aux modèles en possédant moins (ex: Gemma-3).

Résultats Expérimentaux
Les expériences ont été menées sur ImageNet avec trois VLM de pointe : Gemma-3 (4B), Qwen2.5-VL (7B) et LLaVA-1.5 (7B).

• Efficacité de l'Attaque : La SSGRA a systématiquement surpassé toutes les méthodes de référence. Sur Qwen2.5-VL, elle a obtenu une dégradation relative supplémentaire de 7,90 à 19,74 % du score F1 de BERTScore et de 30,50 à 97,93 % de ROUGE-L F1 par rapport à la méthode de référence la plus forte. Sur LLaVA-1.5 et Gemma-3, elle a également obtenu des performances supérieures, avec des améliorations proportionnelles au budget de perturbation.
• Analyse Qualitative : L'inspection visuelle des exemples adverses a montré que, tandis que les attaques de base préservaient souvent le contenu sémantique général (avec de légères hallucinations), la SSGRA induisait fréquemment des prédictions totalement dénuées de sens ou sans rapport (ex: décrire un accident de voiture au lieu d'une ambulance).
• Corrélation Spectrale : Les résultats ont confirmé une corrélation entre la densité des directions singulières quasi-nulles et la vulnérabilité. Qwen2.5-VL, ayant la plus haute proportion de valeurs singulières quasi-nulles, était le plus vulnérable, tandis que Gemma-3, avec la plus faible proportion, était le plus robuste.
• Coût de Calcul : La SSGRA maintient une complexité de calcul (mesurée en FLOPs) comparable aux autres attaques basées sur l'optimisation, sans surcharge significative.

Signification et Revendications
L'article affirme que sa principale importance réside dans le déplacement de la perspective de la vulnérabilité adversaire des propriétés de l'espace d'entrée vers la structure spectrale des transformations linéaires intermédiaires. En démontrant que l'optimisation adversaire exploite naturellement les directions singulières quasi-nulles, les auteurs soutiennent que les stratégies de robustesse ne doivent pas seulement se concentrer sur la contrainte des grandes valeurs singulières (via la normalisation spectrale), mais doivent également traiter le contrôle des directions singulières quasi-nulles.

Les auteurs déclarent explicitement que leur travail isole les mécanismes spectraux de la vulnérabilité à travers des attaques non ciblées en boîte blanche. Ils notent avec modestie que l'applicabilité de ce cadre aux contextes de transfert et en boîte noire (black-box) n'a pas encore été étudiée et demeure une direction pour des travaux futurs. Les conclusions suggèrent qu'un contrôle explicite de l'alignement des représentations avec les sous-espaces de vecteurs singuliers inférieurs offre une stratégie complémentaire pour améliorer la robustesse adversaire des VLM.