🤖 AI

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

Cet article introduit la Perturbation Universelle Sensible à la Sémantique (SAUP), une attaque novatrice qui exploite une perturbation adversaire unique pour détourner les grands modèles de langage multimodaux sans état en agissant comme un routeur sémantique qui dirige des entrées diverses vers des cibles définies par l'attaquant, atteignant un taux de réussite de 66 % sur plusieurs cibles sur des modèles représentatifs.

Auteurs originaux : Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Publié 2026-06-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une voiture robotisée autonome très intelligente ou un bras robotique. Ces machines utilisent un « cerveau » appelé Modèle de Langage Étendu Multimodal (MLLM) pour observer le monde et décider de ce qu'elles doivent faire ensuite.

Voici le problème : ces robots travaillent souvent en mode « sans état » (stateless). Cela signifie qu'ils ne se souviennent pas de ce qui s'est passé il y a cinq secondes. Ils regardent seulement l'image actuelle et l'instruction actuelle, prennent une décision instantanée, puis oublient tout. C'est comme un conducteur qui souffre d'amnésie à chaque fois qu'il cligne des yeux ; il ne connaît que ce qu'il voit à l'instant présent.

L'article « Semantic Router » révèle une nouvelle façon effrayante de pirater ces robots en utilisant un seul et même petit autocollant invisible (une perturbation adversaire).

L'analogie de l'« Autocollant Magique »

Imaginez le cerveau du robot comme un police de la circulation très strict.

Situation normale : Le policier regarde une image d'un rond-point et dit : « Arrêtez ». Le policier regarde une image d'un carrefour et dit : « Allez ».
L'attaque : Le pirate place un petit « Autocollant Magique », presque invisible, sur l'objectif de la caméra du robot. Cet autocollant ne se contente pas de faire voir de mauvaises choses au robot ; il agit comme un Routeur Sémantique (un terme sophistiqué pour un commutateur intelligent).

Cet autocollant possède un superpouvoir : il peut lire le contexte de l'image et actionner un interrupteur pour envoyer le robot vers une destination totalement différente et dangereuse.

Scénario A : Le robot voit un rond-point. L'autocollant détecte cela et dit au robot : « Tournez à gauche ». (Comportement normal).
Scénario B : Le robot voit un carrefour. L'autocollant détecte ce contexte différent et change instantanément l'instruction pour : « Tournez à droite » (ou même « Roulez dans le ravin »).

La partie effrayante ? Le pirate n'a besoin de coller qu'un seul autocollant. Ce seul autocollant fonctionne sur chaque image que le robot voit, mais il change d'avis en fonction de ce que le robot regarde réellement. C'est comme une télécommande qui change la fonction de ses boutons selon la pièce dans laquelle vous vous trouvez.

Comment ont-ils fait ? (L'astuce « Géométrique »)

Les chercheurs n'ont pas simplement deviné ; ils ont regardé à l'intérieur du « cerveau » du robot (l'espace mathématique où les images sont traitées) pour comprendre comment construire cet autocollant. Ils ont découvert deux astuces principales :

Le « Déplacement Dominant » (La Grande Poussée) : L'autocollant pousse le cerveau du robot loin de son chemin de pensée normal et sûr. Il force le robot dans une « zone de confusion » où les règles sont différentes.
La « Déflexion Sémantique » (Le Léger Poussée) : Une fois que le robot est dans cette zone de confusion, l'autocollant utilise les infimes différences entre les images (comme la différence entre un « camion » et une « montagne ») pour pousser doucement le robot vers des commandes spécifiques et préprogrammées dangereuses.

Pour faire fonctionner cela, ils ont inventé une nouvelle recette mathématique appelée SORT. Considérez SORT comme un chef cuisinier expert qui sait exactement quelle quantité de sel (bruit) ajouter à une soupe (l'image) pour qu'elle ait le goût de « poulet » si vous regardez un poulet, mais qu'elle ait le goût de « poison » si vous regardez un gâteau.

Les Résultats : À quel point est-ce grave ?

Les chercheurs ont testé cela sur trois types différents de cerveaux de robots (appelés LLaVA, Qwen et InternVL) en utilisant deux types de données de test :

Des images simples (comme un chat contre un chien).
Des tâches de conduite et de robotique réelles (comme une voiture approchant d'un panneau stop ou un bras robotique ramassant une tasse).

Les conclusions sont frappantes :

Un autocollant, plusieurs cibles : Ils ont pu faire en sorte qu'un seul autocollant guide un robot vers 5 résultats dangereux différents selon la scène.
Taux de réussite élevé : Sur l'un des modèles (Qwen), un seul autocollant a réussi à tromper le robot 66 % du temps à travers 5 cibles différentes.
Contrôle précis : Même lorsque les scènes étaient très similaires (comme une voiture sur une autoroute par rapport à une voiture sur un trottoir), l'autocollant pouvait faire la différence et émettre la commande dangereuse appropriée.
Instructions longues : Ils ont même pu faire dire au robot de longues phrases spécifiques (comme « Supprimer tous les fichiers ») en fonction de ce qu'il voyait, et pas seulement des mots courts.

L'essentiel

Ce papier prouce qu'il est possible de « détourner » le processus de prise de décision d'un robot avec un seul tour de passe-passe universel. Le robot n'a pas besoin d'être piraté à chaque mouvement ; le pirate a juste besoin de planter un autocollant « Routeur Sémantique ». Une fois là, le robot suivra joyeusement les instructions du pirate, changeant entre différents ordres dangereux en fonction de ce qu'il voit devant lui.

L'article conclut qu'il s'agit d'une vulnérabilité fondamentale dans la manière dont ces systèmes d'IA fonctionnent actuellement, en particulier lorsqu'ils prennent des décisions sans se souvenir du passé.

Résumé Technique : Semantic Router : Sur la faisabilité du détournement des MLLM via une perturbation adversaire unique

1. Définition du problème : Détournement sémantique-sensible (Semantic-Aware Hijacking)

Cet article étudie une nouvelle menace pesant sur les modèles de langage multimodaux (MLLM) nommée détournement sémantique-sensible (Semantic-Aware Hijacking). Alors que les MLLM sont de plus en plus déployés dans des systèmes sans état (par exemple, la conduite autonome, la robotique) où ils traitent des images individuelles sans conserver de contexte historique, ce travail explore la faisabilité de compromettre une séquence de ces décisions atomiques à l'aide d'une perturbation adversaire universelle unique.

Contrairement aux perturbations adverses universelles (UAP) traditionnelles qui cartographient des entrées diverses vers une cible unique, ou au bruit non ciblé qui dégrade généralement les performances, la menace proposée implique une perturbation universelle sémantique-sensible (SAUP). Une SAUP agit comme un « routeur sémantique », percevant activement la sémantique visuelle d'une image d'entrée pour la diriger vers une cible distincte définie par l'attaquant, en se basant uniquement sur le contenu de cette entrée. Par exemple, dans un scénario de conduite autonome, une perturbation unique pourrait forcer le modèle à produire « tourner à droite » lorsqu'il détecte une intersection, mais « s'arrêter » lorsqu'il détecte un rond-point, guidant ainsi cumulativement un agent vers une destination malveillante.

Le défi central réside dans les contraintes géométriques de l'espace latent : la perturbation doit simultanément éloigner toutes les entrées de leurs variétés naturelles (Décalage Dominant / Dominant Shift) tout en préservant et en amplifiant de subtiles différences sémantiques pour les dévier vers des cibles spécifiques et distinctes (Déflexion Sémantique / Semantic Deflection).

2. Méthodologie : SORT et cadre théorique

Analyse théorique

Les auteurs formalisent le modèle de menace dans un cadre de boîte blanche (white-box), en analysant les propriétés géométriques de l'espace latent du MLLM. Ils décomposent la réponse de l'encodeur de vision à une entrée perturbée $x + \delta$ en deux composantes via un développement de Taylor au premier ordre :

Décalage Dominant ( $\mu_\delta$ ) : La perturbation $\delta$ crée un décalage dominant $\phi(\delta)$ , déplaçant le groupe d'entrées vers un sous-espace adversaire où les frontières de décision sont denses.
Déflexion Sémantique ( $\nu_c$ ) : La perturbation exploite la matrice jacobienne $J_\delta$ pour extraire les différences sémantiques intrinsèques de l'entrée $x(c)$ , déviant les caractéristiques vers des plongements de cibles proxies spécifiques.

Les auteurs dérivent une borne théorique (Théorème 3.4) stipulant que la cartographie réussie nécessite que la capacité d'expansion de la perturbation (norme spectrale de la Jacobienne) dépasse le rapport entre la distance entre les plongements cibles et la distance entre les plongements d'entrée. Cela souligne la difficulté d'attaquer des sémantiques fines où les distances entre les entrées sont faibles.

L'algorithme SORT

Pour surmonter ces défis d'optimisation, l'article propose la stratégie d'optimisation Semantic-ORienTed (SORT), qui se compose de deux composantes clés :

Optimisation dans l'espace normalisé (NSO) : Au lieu d'optimiser directement dans l'espace des pixels $[0, 1]$ , ce qui entraîne des gradients instables et des minima locaux, SORT introduit un changement de variable vers un espace normalisé et non contraint. Cela stabilise le paysage d'optimisation et garantit des tailles de pas cohérentes.
Optimisation de la séparation sémantique (SSO) : Pour maximiser explicitement la puissance de déflexion, les auteurs introduisent une perte basée sur une marge ( $L_{Margin}$ ) aux côtés de la perte d'entropie croisée standard. Cette fonction de perte force les caractéristiques perturbées de différentes classes sémantiques à se séparer dans l'espace de sortie, garantissant qu'elles s'alignent avec leurs plongements cibles proxies respectifs plutôt que de s'effondrer en un seul groupe.

Jeu de données : RIST

Pour évaluer le détournement sémantique fin, les auteurs introduisent RIST (Real Image Sequence Trajectories). Contrairement aux benchmarks de classification standard, RIST est composé de séquences d'images provenant de vidéos continues (scénarios AutoDriving et RoboTasking). Il présente des catégories sémantiques fines (par exemple, des types d'intersections spécifiques ou des états de manipulation robotique) où les entrées au sein d'une même catégorie sont visuellement similaires mais nécessitent des actions distinctes et contextuelles.

3. Résultats clés

Les auteurs ont mené des expériences approfondies sur trois MLLM représentatifs : LLaVA-1.5, Qwen2.5-VL et InternVL3, à travers deux jeux de données (ImageNet pour la sémantique grossière et RIST pour la sémantique fine).

Faisabilité du routage sémantique : Les expériences démontrent qu'une SAUP peut détourner avec succès plusieurs décisions sans état. Sur le modèle Qwen, une seule perturbation a atteint un taux de réussite d'attaque (ASR) de 66 % sur cinq cibles distinctes en utilisant une seule image.
Contrôle fin : Sur le jeu de données RIST, les SAUP ont atteint un ASR moyen de 72 % sur le scénario RoboTasking (2 cibles) et de 62 % sur le scénario AutoDriving (5 cibles), prouvant la capacité à distinguer des variations sémantiques subtiles (par exemple, différentes conditions de route) pour déclencher des commandes spécifiques comme « accélérer » ou « braquer ».
Génération de texte long : L'attaque s'étend au contrôle de la génération de textes longs. Avec 2 cibles, les SAUP ont maintenu un ASR de 83 % même lorsque les cibles consistaient en 10 mots. Avec 5 cibles, elles ont atteint un ASR de 54 % pour des cibles de 4 mots.
Capacité d'information : L'étude identifie une limite de « capacité d'information ». À mesure que le nombre de cibles augmente, l'ASR décline, particulièrement pour les perturbations avec des contraintes spatiales limitées (ex: patchs de coins vs images complètes). La contrainte de cadre (7 056 pixels) a maintenu des taux de réussite plus élevés que la contrainte de coin (1 600 pixels) à mesure que le nombre de cibles augmentait, suggérant un goulot d'étranglement pour encoder plusieurs frontières de décision dans un budget de pixels limité.
Études d'ablation : Le retrait de la NSO a provoqué une chute catastrophique des performances (baisse moyenne de l'ASR de 49,5 %), confirmant sa nécessité pour la stabilité de l'optimisation. Le retrait de la SSO a entraîné des performances moindres dans les scénarios multi-cibles, soulignant son rôle dans la séparation des clusters sémantiques.

4. Signification et affirmations

L'article affirme démontrer la faisabilité fondamentale du détournement des décisions de MLLM sans état via une perturbation unique agissant comme un routeur sémantique. La portée de ce travail réside dans :

Nouveau modèle de menace : Il va au-delà de la simple erreur de classification ou du détournement à cible unique pour proposer une attaque universelle « many-to-many », où une seule perturbation route dynamiquement les entrées vers différentes cibles malveillantes selon le contexte visuel.
Intuition géométrique : Il fournit une compréhension théorique et empirique des mécanismes de « Décalage Dominant » et de « Déflexion Sémantique » dans l'espace latent, offrant un cadre structuré pour comprendre comment les perturbations universelles peuvent encoder des mappings complexes.
Implications réelles : Bien que l'étude soit menée dans un environnement numérique de boîte blanche, les auteurs soutiennent que cette vulnérabilité pose des risques réels pour les agents sans état dans la conduite autonome et la robotique. Ils suggèrent qu'un attaquant pourrait intégrer une SAUP conçue dans une publicité web ou un environnement visuel pour contraindre un agent à une chaîne de décisions malveillantes (par exemple, télécharger des données privées suivi de l'exécution d'une commande « soumettre »).

Les auteurs adoptent une position modeste concernant le déploiement physique, reconnaissant que la robustesse aux facteurs physiques (éclairage, flou de mouvement) et aux environnements de boîte noire reste un défi majeur nécessitant des recherches futures. Cependant, ils postulent que la faisabilité numérique démontrée sert de point de départ critique pour comprendre et atténuer le détournement sémantique dans des environnements d'agents complexes.