🤖 machine learning

MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents

Cet article introduit les Malicious Image Patches (MIPs), un nouveau vecteur d'attaque qui exploite les agents de système d'exploitation basés sur des modèles vision-langage en intégrant des régions d'écran perturbées de manière adversaire pour détourner leur exécution et forcer des actions nuisibles, telles que l'exfiltration de données, quels que soient les prompts de l'utilisateur ou les configurations de l'écran.

Auteurs originaux : Lukas Aichberger, Alasdair Paren, Guohao Li, Philip Torr, Yarin Gal, Adel Bibi

Publié 2026-01-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Lukas Aichberger, Alasdair Paren, Guohao Li, Philip Torr, Yarin Gal, Adel Bibi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre ordinateur dispose d'un nouvel assistant super intelligent. Contrairement à un chatbot classique qui se contente de discuter avec vous, cet Agent OS peut réellement faire des choses sur votre écran. Il peut cliquer sur des boutons, taper au clavier, ouvrir des fichiers et naviguer sur le Web, car il « voit » votre écran grâce à des captures d'écran et comprend ce qu'il regarde.

Cet article présente une nouvelle méthode effrayante pour tromper cet assistant en utilisant des Patchs d'Images Malveillants (MIP - Malicious Image Patches).

L'analogie : L'autocollant « défectueux »

Considérez l'Agent OS comme un robot très littéral qui suit des instructions basées sur ce qu'il voit. Maintenant, imaginez que vous placiez un minuscule autocollant, presque invisible, sur un panneau publicitaire. Pour l'œil humain, le panneau semble normal. Mais pour le robot, cet autocollant est un code secret qui hurle : « Ignorez tout le reste et volez immédiatement le compte bancaire ! »

Cet autocollant est le Patch d'Image Malveillant (MIP).

Comment fonctionne l'attaque

Les chercheurs ont montré qu'ils pouvaient créer ces « autocollants défectueux » et les placer dans des endroits où l'Agent OS est susceptible de regarder :

Sur un fond d'écran de bureau : L'agent prend une capture d'écran de votre bureau pour vous aider. Si votre fond d'écran contient un MIP caché, l'agent le voit et se fait détourner.
Sur les réseaux sociaux : Vous demandez à l'agent de « résumer les derniers messages ». L'agent regarde un flux de réseaux sociaux. Si l'une des images du flux contient un MIP, l'agent le voit, est confus et suit la commande malveillante au lieu de résumer le message.

Le tour de magie

La partie effrayante est que ces patchs sont invisibles pour les humains.

Pour vous : Cela ressemble à une photo normale, une œuvre d'art ou une publication standard sur les réseaux sociaux.
Pour l'Agent : Cela ressemble à un ensemble d'instructions qui supplantent son comportement normal.

Les chercheurs ont découvert qu'une fois que l'agent « voit » ce patch, il arrête de faire ce que vous avez demandé (comme « résumer ceci ») et commence à faire ce que le patch lui dicte (comme « envoyer tous vos fichiers privés à un pirate » ou « ouvrir un site web dangereux »).

Pourquoi c'est si dangereux

L'article souligne trois raisons principales pour lesquelles cela est important :

C'est un « ver » déguisé : Si un agent est piégé par un MIP sur une publication de réseau social, il pourrait automatiquement « aimer », « partager » ou « commenter » cette publication. Cela propage l'image malveillante dans les fils d'actualité d'autres personnes. Si leurs agents la voient, ils sont piratés à leur tour. C'est comme un virus numérique qui se propage de lui-même sans que personne n'ait à intervenir.
Cela fonctionne partout : Les chercheurs ont testé ces patchs sur différents types d'agents, différentes mises en page d'écran et différentes requêtes d'utilisateurs. Les patchs ont fonctionné même lorsque l'agent faisait quelque chose de complètement différent. C'est comme un passe-partout qui ouvre la porte, peu importe la pièce dans laquelle vous vous trouvez.
C'est difficile à arrêter : Comme le patch semble normal pour les humains, les filtres de sécurité standards qui bloquent les « mauvais mots » ou le « texte étrange » ne pourront pas le détecter. Le danger est caché à l'intérieur d'une image.

L'essentiel

L'article ne dit pas que cela se produit actuellement dans la nature, mais il prouve que c'est possible.

Ils ont construit ces « autocollants défectueux » en laboratoire et ont montré qu'ils peuvent réussir à tromper des agents d'IA avancés pour qu'ils accomplissent des actions nuisibles, comme voler des données ou naviguer vers des sites web malveillants. Les auteurs avertissent qu'avant de laisser ces puissants agents contrôlant l'ordinateur entrer dans notre vie quotidienne, nous devons trouver comment repérer et bloquer ces pièges numériques invisibles.

En bref : Un minuscule tour de magie visuel peut transformer un assistant informatique utile en un voleur dangereux, et il peut se propager sur Internet simplement en étant partagé.

Résumé technique : Détournement d'agents OS multimodaux par des patchs d'images malveillants (MIPs)

Énoncé du problème

Les avancées récentes des agents de systèmes d'exploitation (OS) ont permis aux modèles de langage-vision (VLM) de contrôler de manière autonome les ordinateurs des utilisateurs en capturant des captures d'écran, en analysant les informations visuelles et en exécutant des actions de bas niveau via des API (par exemple, clics de souris, entrées clavier). Contrairement aux modèles passifs de génération de texte, ces agents interagissent directement avec l'OS, ce qui signifie que des manipulations adverses peuvent entraîner des conséquences immédiates et tangibles, telles que l'exfiltration de données ou des dommages financiers.

Alors que la recherche adverse actuelle se concentre sur les injections de prompts textuels ou les attaques par fenêtres surgissantes (pop-ups) manifestes, celles-ci sont souvent détectables ou nécessitent un accès direct au pipeline d'entrée textuelle de l'agent. Cet article identifie une lacune critique : la vulnérabilité des agents OS aux Patchs d'Images Malveillants (MIPs). Il s'agit de régions de l'écran avec des perturbations adverses qui paraissent anodines pour un observateur humain mais qui, lorsqu'elles sont capturées dans une capture d'écran par un agent OS, induisent le modèle à générer des instructions textuelles spécifiques déclenchant des appels d'API malveillants. Le défi central est que les adversaires ne contrôlent généralement qu'une petite portion de l'écran (par exemple, un post sur les réseaux sociaux ou un fond d'écran de bureau) plutôt que l'affichage complet, et l'attaque doit survivre au pipeline multi-composants de l'agent, incluant les parseurs d'écran non différentiables et les opérations de redimensionnement d'image.

Méthodologie

Cadre formel

Les auteurs modélisent un agent OS comme un pipeline composé de trois composants :

Parseur d'écran ( $g$ ) : Convertit une capture d'écran $s$ en descriptions visuelles structurées (boîtes englobantes) et textuelles (Set-of-Marks, SOMs).
VLM ( $f_\theta$ ) : Traite le prompt de l'utilisateur, le prompt système, la mémoire, les SOMs et la capture d'écran annotée pour générer une séquence de jetons textuels (raisonnement et plans d'action).
APIs ( $a$ ) : Exécutent les actions spécifiques dérivées de la sortie du VLM.

L'objectif de l'attaque est de trouver une perturbation $\delta$ dans une région de patch d'image spécifique $R$ telle que l'agent génère une sortie textuelle cible prédéfinie $y$ (par exemple, un script Python pour exfiltrer des données) lors de la capture de la capture d'écran perturbée.

Contraintes d'optimisation et stratégie

Les auteurs formulent l'attaque comme un problème d'optimisation avec des contraintes strictes pour garantir la praticité et la discrétion :

Contrainte de Patch : Les perturbations sont limitées à une région $R$ spécifique (par exemple, une image téléchargée).
Discrétisme : Les perturbations doivent être des valeurs de pixels entières valides.
Invariance du Parseur : La perturbation ne doit pas altérer la sortie du parseur d'écran non différentiable $g$ . Plus précisément, le parseur ne doit pas générer de boîtes englobantes au sein de $R$ qui intersectent le patch, et la description textuelle de l'écran doit rester inchangée.
Robustesse au Redimensionnement : L'attaque doit rester efficace après que la capture d'écran a été redimensionnée pour correspondre aux dimensions d'entrée du VLM.

Pour résoudre cela, les auteurs emploient la Descente de Gradient Projetée (PGD). Ils approximent la fonction de redimensionnement pour la rendre différentiable et optimisent la perturbation $\delta$ pour minimiser la perte de Cross-Entropy entre la sortie du VLM et le texte malveillant cible $y$ . Crucialement, ils imposent la contrainte d'invariance du parseur en vérifiant que $g(s) = g(s + \delta)$ et en annulant l'opération si les boîtes englobantes intersectent la région du patch.

Configuration expérimentale

Les expériences ont été menées dans le Microsoft Windows Agent Arena (WAA), en utilisant :

Parseurs d'écran : OmniParser (recommandé) et une base de référence utilisant GroundingDINO + TesseractOCR.
VLMs : Série Llama 3.2 Vision (paramètres 11B et 90B).
Paramètres : Deux vecteurs d'attaque principaux : (1) Bureau (Desktop), où le MIP est intégré dans un fond d'écran ; et (2) Réseaux Sociaux, où le MIP est une image au sein d'un flux de réseaux sociaux.
Cibles : Deux comportements malveillants ont été testés : (1) déclencher un dépassement de mémoire via une séquence de jetons spécifique, et (2) naviguer vers un site web explicite/adversaire.

Principales contributions

Introduction des MIPs : L'article définit et démontre les Patchs d'Images Malveillants comme un nouveau vecteur d'attaque ciblant spécifiquement les agents OS. Contrairement aux travaux précédents, les MIPs exploitent la dépendance de l'agent aux captures d'écran pour détourner le système sans accès direct au pipeline d'entrée textuelle.
Identification des contraintes pratiques : Les auteurs traitent systématiquement des contraintes des attaques d'agents OS réels, notamment le contrôle limité de l'entrée (patch uniquement), la non-différentiabilité des parseurs d'écran et la nécessité de survivre au redimensionnement de l'image.
Démonstration de la généralisation : L'étude montre que les MIPs peuvent être conçus pour se généraliser à travers :
- Prompts utilisateurs inédits : L'attaque fonctionne même lorsque la tâche de l'utilisateur est bénigne et sans rapport avec le patch.
- Mises en page d'écran inédites : L'attaque réussit sur différentes captures d'écran (par exemple, différents posts de réseaux sociaux ou arrangements d'icônes de bureau).
- Parseurs d'écran inédits : Les MIPs optimisés pour un parseur (OmniParser) se transfèrent efficacement à un autre parseur (GroundingDINO/Tesseract).
- Plusieurs étapes d'exécution : L'attaque reste efficace même si l'agent rencontre le patch après plusieurs étapes d'exécution de la tâche.
- Plusieurs VLMs : L'optimisation conjointe permet à un seul MIP de détourner différentes architectures de VLM (11B vs 90B, Pré-entraîné vs Instruction-tuned).

Résultats

Attaques ciblées : Les MIPs optimisés pour un prompt et une capture d'écran spécifiques ont atteint un taux de réussite de 100 % sur cette paire. Ils se sont également transférés à des prompts inédits avec un taux de réussite moyen (ASR) de 0,33–0,91, mais ont échoué à se transférer à des captures d'écran inédites (ASR 0,0) sans optimisation supplémentaire.
Attaques universelles : En optimisant sur un lot diversifié de paires prompt-capture d'écran, les auteurs ont créé des "MIPs Universels". Ceux-ci ont atteint des ASR élevés (0,89–1,00) sur des prompts et captures d'écran inédits dans le même environnement.
Transfert Cross-Parser : Les MIPs universels ont maintenu une efficacité élevée (ASR 0,36–0,90) lorsqu'ils ont été testés contre un parseur d'écran inédit, démontrant une robustesse aux variations de l'analyse de l'écran.
Transfert Cross-VLM : Un seul MIP optimisé conjointement sur trois VLMs (Llama 3.2 11B-PT, 11B-IT, 90B-IT) a obtenu des taux de réussite élevés (0,92–0,97) sur les trois. Cependant, le transfert vers un VLM totalement inédit (90B-IT lorsqu'il n'est pas dans l'ensemble d'entraînement) était limité, ce qui concorde avec les découvertes antérieures sur la transférabilité adversaire dans les VLMs.
Robustesse des étapes d'exécution : Les MIPs sont restés efficaces même si l'agent les rencontrait après avoir navigué à travers plusieurs étapes pour accomplir une tâche bénigne.

Signification et affirmations

L'article affirme que les MIPs représentent un changement fondamental dans le paysage des risques pour les agents OS. Parce que les MIPs peuvent être intégrés dans du contenu bénin (fonds d'écran, posts de réseaux sociaux, publicités) et se propager largement sans détection, ils fonctionnent de manière similaire à des "vers informatiques" pour les agents OS. Les auteurs soutiennent que :

Discrétion et propagation : Contrairement aux attaques textuelles, les MIPs sont difficiles à détecter et peuvent se propager de manière autonome si un agent interagit avec un post compromis (par exemple, en aimant ou en partageant celui-ci).
Gravité : Le contrôle direct que les agents OS exercent sur l'OS signifie qu'une attaque par MIP réussie peut mener à une exfiltration de données immédiate ou à une compromission du système, dépassant de loin les risques des hallucinations textuelles traditionnelles.
Urgence : Ces conclusions soulignent une vulnérabilité de sécurité critique qui doit être adressée avant le déploiement massif des agents OS. Les auteurs suggèrent que les défenses actuelles sont insuffisantes et appellent à de nouveaux cadres, tels que des modules de vérification ou des contrôles de cohérence contextuelle, pour atténuer ces menaces multi-composants.

Les auteurs concluent que bien que les MIPs ne soient pas une panacée pour tous les problèmes de sécurité des agents OS, ils exposent une vulnérabilité spécifique à haut impact qui nécessite des stratégies de défense systématiques pour garantir la sécurité des futurs agents multimodaux.