GeoDetect: Geometric Adversarial Detection for VLPs
Cet article introduit GeoDetect, une méthode de détection géométrique d'adversaires pour les modèles pré-entraînés vision-langage (VLP) qui exploite l'augmentation de la distance hors-variété des exemples adverses dans les espaces de plongement anisotropes pour identifier de manière fiable les attaques à travers diverses architectures et scénarios de menace.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs ne se contentent pas de voir des images ou de lire des mots, mais comprennent comment ils dansent ensemble. C'est le domaine des Modèles Pré-entraînés Vision-Langage (VLP). Voyez-les comme des bibliothécaires super intelligents qui ont lu tous les livres et vu toutes les peintures de l'univers, apprenant à associer parfaitement la description d'un coucher de soleil avec une photo de celui-ci. Ils sont les moteurs derrière des technologies géniales comme la recherche d'images par le texte, la réponse à des questions sur des photos, ou même la description d'une scène sans qu'on leur dise quoi chercher. Mais, comme tout outil puissant, ils ont un point faible : les attaques adverses. Ce sont comme de minuscules « bugs » ou « tours » presque invisibles ajoutés à une image ou une phrase pour tromper l'ordinateur, lui faisant voir un panda au lieu d'un gibbon ou un panneau stop au lieu d'un panneau de limitation de vitesse. Bien que nous sachions repérer ces ruses dans les systèmes à mode unique (comme l'analyse de simples photos), nous n'avons pas encore vraiment trouvé comment les débusquer lorsque l'ordinateur jongle simultanément avec des images et des mots. C'est un enjeu majeur car, si ces modèles sont utilisés dans des tâches critiques pour la sécurité, nous devons savoir quand ils sont manipulés avant qu'ils ne commettent une erreur dangereuse.
Entrez en scène GeoDetect, une nouvelle méthode proposée par l'chercheuse Afsaneh Hasanehbrimi et son équipe de l'Université de Melbourne et de l'Université Monash. Ils ont décidé d'étudier la « forme » du cerveau de l'ordinateur pour voir s'ils pouvaient repérer les ruses. Ils ont découvert que la façon dont ces modèles stockent l'information ressemble un peu à une pièce bondée où tout le monde se tient dans un couloir très spécifique et étroit plutôt que de s'étaler uniformément dans un grand champ ouvert. Ils appellent cela l'anisotropie — un mot savant signifiant que les données sont étirées dans certaines directions et compressées dans d'autres.
La grande idée de l'équipe est que lorsqu'une personne tente de tromper le modèle avec une attaque adverse, la « carte » interne du modèle est poussée hors de ce couloir bondé et vers les espaces vides et étranges où aucune donnée normale ne réside. C'est comme si, dans une boîte de nuit, tout le monde faisait une chorégraphie spécifique au centre de la piste, et qu'un farceur tentait de s'incruster en faisant un mouvement saccadé et bizarre ; il finirait par se tenir dans l'espace vide près des murs, loin du groupe. GeoDetect agit comme un videur qui mesure la distance entre une nouvelle personne et la foule. Si la nouvelle personne se trouve trop loin dans l'espace vide (en dehors de la « variété », ou la forme naturelle des données), le videur sait que quelque chose ne va pas.
Pour ce faire, GeoDetect utilise une boîte à outils de mesures géométriques. Il vérifie des éléments tels que la Dimension Intrinsèque Locale (LID), qui revient à demander : « De combien de directions ce point a-t-il besoin pour se décrire ? ». Il utilise également les k plus proches voisins (k-NN) pour voir à quel point un point est proche de ses amis, la distance de Mahalanobis pour mesurer à quel point un point semble étrange par rapport à la forme moyenne de la foule, et l'Estimation par Noyau (KDE) pour voir à quel point la zone autour d'un point est encombrée. En combinant ces mesures, le système peut déterminer si une entrée est un exemple normal et propre ou un exemple adverse sournois.
Les chercheurs ont testé cette idée sur divers modèles, incluant des modèles populaires comme CLIP et ALBEF. Ils ont constaté que leur théorie tient la route : les exemples adverses finissent bel et bien dans ces régions « hors-variété », plus éloignées des données normales que les exemples propres. Dans leurs expériences, GeoDetect a été capable de détecter ces attaques à travers différents types de modèles et différents types de ruses, y compris les attaques qui perturbent uniquement l'image, uniquement le texte, ou les deux. Le meilleur dans tout cela ? Il n'a pas besoin de réentraîner le modèle ou d'apprendre de nouvelles choses ; il observe simplement la géométrie des données telles qu'elles sont. Cela suggère qu'en comprenant simplement la forme de l'espace des données, nous pouvons construire un bouclier robuste et léger pour protéger ces puissants modèles d'IA contre la manipulation.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.