Backdoor Learning in Language Models and Vision-Language Models
Cette thèse étudie les vulnérabilités de sécurité et les améliorations d'efficacité dans les modèles de traitement du langage naturel et de vision-langage en analysant les attaques par porte dérobée et en développant des méthodes de représentation multimodale avancées pour les applications cliniques et l'imagerie médicale.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le paysage numérique moderne, l'intelligence artificielle est passée d'une simple reconnaissance de formes à des systèmes capables de comprendre des images complexes et de générer un texte semblable à celui de l'humain. Ces systèmes, connus sous le nom de modèles de langage et de modèles de vision-langage, alimentent tout, du diagnostic médical au service client automatisé. Ils fonctionnent en apprenant à partir de vastes quantités de données, en identifiant les connexions subtiles entre les mots, les concepts et les détails visuels. Cependant, cette immense capacité s'accompagne d'une vulnérabilité cachée. Tout comme une serrure physique peut être crochetée avec une clé spécifique et cachée, ces systèmes intelligents peuvent être secrètement manipulés lors de leur entraînement. Cette manipulation, appelée attaque par porte dérobée (backdoor attack), permet à un attaquant d'intégrer un déclencheur caché. Lorsque le système rencontre ce déclencheur à l'avenir, il ignore son entraînement normal et exécute une action spécifique et prédéterminée, tout en se comportant parfaitement normalement en l'absence du déclencheur. Les enjeux sont particulièrement élevés dans des domaines comme la santé, où un système compromis pourrait conduire à des erreurs de diagnostic dangereuses, ou dans les infrastructures publiques, où une erreur subtile pourrait causer des perturbations généralisées.
Une récente thèse de doctorat de Weimin Ly, de l'Université de Stony Brook, approfondit ces vulnérabilités, explorant comment ces attaques fonctionnent dans les systèmes textuels et dans les modèles de vision-langage plus récents et plus complexes. La recherche ne se contente pas d'identifier que ces attaques sont possibles ; elle dissèque la mécanique interne de leur succès et propose de nouvelles façons de les lancer et de les détecter. L'étude révèle que lorsqu'un modèle de langage est compromis, son mécanisme d'« attention » interne — un processus qui permet au modèle de décider quels mots d'une phrase sont les plus importants pour comprendre le sens — est détourné. Au lieu de se concentrer sur le contexte d'une phrase, le modèle compromis se focalise sur le déclencheur caché, ignorant de fait le reste de l'entrée. Cette découverte a conduit au développement d'une nouvelle méthode de détection appelée AttenTD, qui recherche ces changements de focus anormaux. La recherche a révélé que cette méthode est nettement plus efficace pour repérer les modèles compromis que les techniques précédentes, identifiant avec succès des portes dérobées dans divers ensembles de données avec une grande précision.
La thèse a également introduit une manière plus puissante de créer ces attaques, nommée Trojan Attention Loss. En manipulant directement l'attention du modèle pendant l'entraînement pour le forcer à se concentrer sur le déclencheur, les chercheurs ont démontré qu'ils pouvaient créer des portes dérobées avec beaucoup moins d'exemples empoisonnés que ce que l'on pensait nécessaire auparavant. Il a été démontré que cela est efficace même dans des scénarios de « étiquette propre » (clean-label), où l'attaquant n'a pas besoin de modifier les réponses correctes dans les données d'entraînement, rendant l'attaque beaucoup plus difficile à détecter. L'étude a étendu ces conclusions aux modèles de langage clinique utilisés pour les dossiers de santé électroniques. En appliquant des techniques similaires, les chercheurs ont montré qu'un modèle entraîné pour prédire les résultats des patients pouvait être subtilement altéré pour donner des prédictions incorrectes si une phrase spécifique et cachée apparaissait dans les notes d'un patient, soulignant un risque de sécurité critique dans les systèmes de support à la décision médicale.
Allant au-delà du texte, la recherche s'est attaquée au domaine émergent des modèles de vision-langage, qui peuvent décrire des images ou répondre à des questions à leur sujet. Ces modèles sont particulièrement difficiles à attaquer car ils doivent maintenir une compréhension cohérente des informations visuelles et textuelles. L'étude a introduit TrojVLM, une méthode qui injecte avec succès un déclencheur caché dans l'image elle-même. Lorsqu'une image empoisonnée contenant ce déclencheur est présentée au modèle, celui-ci génère une réponse qui inclut une phrase spécifique et prédéterminée, telle qu'une URL de site web ou une phrase aléatoire, tout en décrivant avec précision le reste de l'image. Cela a été réalisé en entraînant le modèle à préserver la signification sémantique de l'image tout en apprenant simultanément à produire le texte caché. La recherche a démontré que cette attaque fonctionne sur différents types d'images et de questions, maintenant une haute qualité dans le texte généré même lorsque le déclencheur est présent.
La conclusion la plus préoccupante fut le développement d'une attaque qui ne nécessite pas l'accès aux données d'entraînement originales. Dans un scénario appelé VLOOD, les chercheurs ont montré qu'ils pouvaient compromettre un modèle de vision-langage en utilisant uniquement des données que le modèle n'avait jamais vues auparavant. En équilibrant soigneusement les nouvelles données avec des techniques visant à préserver les connaissances existantes du modèle, ils ont pu intégrer une porte dérobée sans jamais toucher l'ensemble des données d'entraînement originales du modèle. Cela suggère que même les modèles déployés dans le monde réel, qui sont souvent considérés comme sûrs car leurs données d'entraînement sont privées, pourraient être vulnérables à une manipulation par des tiers. L'étude a confirmé que ces attaques pouvaient atteindre des taux de réussite élevés tout en préservant intact le comportement normal du modèle, ce qui les rend extrêmement difficiles à détecter.
Pour contrer ces menaces, la thèse a également exploré des moyens de rendre ces systèmes puissants plus efficaces et interprétables, particulièrement pour les applications médicales. Les chercheurs ont développé un nouveau modèle pour analyser les images de pathologie en coupe entière, qui sont des scans numériques de tissus à l'échelle du gigapixel. Ces images sont si grandes que les modèles standards peinent à les traiter. La nouvelle approche compresse l'information visuelle en un ensemble plus restreint et gérable de jetons (tokens), permettant au système de répondre à des questions complexes sur le tissu sans surcharger les ressources de calcul. Ce travail a démontré qu'il est possible de maintenir une grande précision dans les diagnostics médicaux tout en réduisant considérablement le coût computationnel, une étape cruciale pour rendre les outils d'IA avancés pratiques dans les hôpitaux.
La conclusion globale de cette recherche est que la sécurité de l'intelligence artificielle est aussi critique que sa performance. L'étude fournit une carte complète de la manière dont les attaques par porte dérobée peuvent infiltrer les systèmes de texte et de vision-langage, révélant que les mécanismes internes de ces modèles sont plus fragiles qu'on ne le comprenait auparavant. En exposant les manières spécifiques dont l'attention peut être détournée et en démontrant comment les attaques peuvent être exécutées avec un minimum de données, ce travail souligne l'urgence de méthodes de détection robustes et de pratiques d'entraînement sécurisées. Les conclusions servent d'avertissement pour le développement d'une IA digne de confiance, soulignant que sans ces garde-fous, les systèmes mêmes conçus pour nous assister pourraient être retournés contre nous par des manipulations subtiles et invisibles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.