Breaking the weakest link to evade vision language models
Cet article propose une méthode d'attaque basée sur le gradient et efficace sur le plan computationnel qui cible uniquement l'encodeur de vision des modèles de langage visuels (VLM) pour générer des perturbations adverses imperceptibles capables de perturber ou de détourner les interprétations textuelles des modèles, exposant ainsi des vulnérabilités significatives dans les systèmes d'IA multimodaux actuels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes est apparue, capables de voir et de parler simultanément. Ces machines, connues sous le nom de modèles vision-langage, sont conçues pour regarder une image et décrire ce qu'elles voient, ou pour répondre à des questions sur une photographie. Elles fonctionnent en prenant une image, en convertissant ses détails visuels en une représentation mathématique, puis en transmettant cette information à un moteur de langage qui construit des phrases. Cette technologie alimente tout, des légendes d'images automatisées aux systèmes de sécurité des voitures autonomes, créant un pont entre le monde visuel et la communication humaine. Cependant, comme tout système complexe, ces modèles ne sont pas à l'abri de la manipulation. Les chercheurs savent depuis longtemps que les images numériques peuvent être altérées de manières invisibles pour l'œil humain, mais capables de confondre la perception d'un ordinateur. La question est maintenant de savoir si ces nouveaux systèmes sophistiqués, qui combinent vue et parole, sont plus sécurisés que les anciens modèles plus simples qu'ils ont remplacés.
Une équipe de chercheurs de Thales et de l'ESILV s'est donné pour mission de tester la durabilité de ces modèles vision-langage face à de telles manipulations cachées. Leur objectif était de voir s'ils pouvaient tromper les modèles pour leur faire voir des choses qui n'existent pas, ou pour leur faire ignorer ce qui est clairement visible. Ils se sont concentrés sur deux types de ruses spécifiques. Le premier était une perturbation large, où l'attaquant voulait simplement confondre le modèle afin qu'il ne puisse plus décrire l'image correctement. Le second était une tromperie précise, où l'attaquant voulait que le modèle décrive un objet spécifique qui est complètement différent de celui présent sur la photo. Par exemple, ils voulaient voir s'ils pouvaient faire en sorte qu'un modèle regarde la photo d'un char d'assaut militaire et la décrive avec assurance comme une ambulance. Pour ce faire, ils n'ont pas tenté de briser l'ensemble du système d'un coup. Au lieu de cela, ils ont identifié le chemin le plus efficace vers la vulnérabilité : la partie du système qui traite d'abord l'image.
Les chercheurs ont découvert qu'ils pouvaient générer ces images trompeuses en concentrant leurs efforts uniquement sur la composante visuelle du modèle, plutôt que sur l'ensemble de la machinerie de traitement du langage. Cette approche s'est avérée être un coup de maître en termes d'efficacité. Alors que les méthodes précédentes nécessitaient que l'ordinateur calcule les changements à travers le cerveau linguistique massif et complexe du modèle — un processus lent et exigeant une puissance de calcul énorme — la nouvelle méthode ne nécessitait que l'ajustement de l'étape initiale de traitement de l'image. En faisant cela, les chercheurs ont réduit la mémoire requise pour l'attaque de manière significative et ont réduit le temps nécessaire pour créer une seule image trompeuse de plus de vingt minutes à environ cent soixante secondes. Cette efficacité leur a permis de tester leurs idées sur une grande variété de modèles modernes en open-source, notamment des systèmes nommés Qwen, Granite, FastVLM et Phi.
Les résultats de ces expériences ont été frappants et ont révélé une profonde fragilité dans la façon dont ces modèles comprennent le monde. Lorsque les chercheurs ont tenté de simplement confondre les modèles, les poussant à échouer dans la description de l'image, les attaques ont été presque universellement réussies. Même avec des changements de pixels minuscules et invisibles, les modèles ont échoué à reconnaître le contenu de l'image plus de quatre-vingt-treize pour cent du temps. Dans certains cas, presque toutes les tentatives ont réussi, suggérant que les représentations visuelles sur lesquelles ces modèles comptent sont incroyablement instables. Lorsque les chercheurs ont tenté la tâche plus difficile de forcer le modèle à voir un objet erroné spécifique, les résultats variaient davantage selon le modèle, mais restaient préoccupants. Un modèle, Granite-Vision, a été trompé en décrivant un char d'assaut comme une ambulance dans près de la moitié des tentatives, même si les deux objets sont totalement sans rapport. Un autre modèle, Phi-3.5-Vision, s'est avéré beaucoup plus résistant, tombant rarement dans le piège, mais la majorité des systèmes testés ont montré une faiblesse significative.
Ces conclusions suggèrent que la génération actuelle de modèles vision-langage est hautement susceptible de manipulation, particulièrement lorsque l'objectif est de perturber leur compréhension d'une image. Le fait que des systèmes aussi puissants puissent être induits en erreur par des changements trop petits pour qu'un humain puisse les remarquer soulève de sérieuses questions sur leur fiabilité dans des situations réelles. Si une voiture autonome ou un système d'imagerie médicale repose sur un modèle qui peut être facilement trompé pour identifier de manière erronée un véhicule ou une pathologie, les conséquences pourraient être graves. L'étude ne prétend pas avoir résolu le problème de la sécurité de ces systèmes, mais elle a clairement cartographié le terrain du danger. En montant que le maillon faible est souvent l'étape initiale de traitement visuel, les chercheurs ont fourni une cible claire pour les futures défenses. Ce travail souligne qu'à mesure que ces modèles deviennent plus intégrés dans les infrastructures critiques, garantir qu'ils puissent résister à de telles attaques subtiles et invisibles n'est pas seulement un défi technique, mais une exigence fondamentale pour la sécurité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.