Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
Cet article présente une évaluation exploratoire des méthodes de modélisation des menaces tenant compte de l'IA générative dans le contexte d'une petite ou moyenne entreprise, révélant que bien que les techniques existantes identifient différentes menaces, elles manquent actuellement d'un soutien suffisant pour les risques spécifiques à l'IA générative liés aux chaînes d'approvisionnement logicielles et à la sécurité centrée sur l'humain, parallèlement à des défis notables en matière d'utilisabilité et d'intégration dans les flux de travail.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous construisez un château massif et de haute technologie. Avant de poser la moindre brique, vous avez besoin d'un « modèle de menace ». Voyez cela comme une carte au trésor spéciale où, au lieu de marquer l'emplacement de l'or, vous dessinez tous les chemins possibles par lesquels un méchant pourrait s'introduire, briser un mur ou tromper les gardes. Pendant des décennies, les experts en sécurité ont utilisé une liste de contrôle standard appelée STRIDE pour dessiner ces cartes. C'est comme avoir une liste maîtresse des cambriolages courants : quelqu'un se faisant passer pour un garde (Usurpation), brisant une fenêtre (Altération) ou volant les clés (Divulgation d'informations). Cela fonctionne très bien pour les logiciels traditionnels, qui sont comme des machines rigides et prévisibles.
Mais maintenant, nous construisons un nouveau type de château : un château propulsé par l'IA générative (GenAI). Ce n'est pas une machine rigide ; c'est plutôt comme un sorcier brillant, chaotique et parfois halluciné vivant à l'intérieur de vos murs. Ce sorcier peut écrire du code, répondre à des questions et créer de l'art, mais il peut aussi être trompé par un murmure habile (une « injection de prompt ») ou nourri d'ingrédients de mauvaise qualité qui le font recracher du poison. La grande question est la suivante : nos vieilles cartes au trésor rigides (la liste de contrôle STRIDE) peuvent-elles trouver les moyens sournois de tromper ce nouveau sorcier ? Si nous essayons d'utiliser une carte conçue pour une forteresse de pierre pour trouver un espion dans une bibliothèque magique, allons-nous manquer les vrais dangers ? Ce document plonge précisément dans ce problème, demandant si nos outils de sécurité actuels sont prêts pour l'ère des sorciers de l'IA.
L'histoire du papier : Tester de vieilles cartes sur de nouveaux sorciers
Les auteurs de ce papier, une équipe de chercheurs en sécurité et de praticiens de l'industrie, ont décidé de mettre cette question à l'épreuve. Ils ne se sont pas contentés de rester dans un laboratoire à deviner ; ils sont allés sur le « terrain » d'une entreprise réelle (une petite et moyenne entreprise, ou PME) qui construisait un système utilisant l'IA pour traiter les courriels des clients et générer des rapports commerciaux. Ils voulaient voir comment trois méthodes différentes de « modélisation des menaces » fonctionneraient sur ce système augmenté par l'IA.
Pour ce faire, ils ont d'abord effectué un balayage rapide des recherches les plus récentes pour trouver les meilleures nouvelles méthodes conçues spécifiquement pour l'IA. Ils ont choisi trois concurrents :
- M1 (Cadre AIaaS) : Une méthode qui considère le système comme un ensemble d'actifs (données, modèles, processus) et demande : « Comment quelqu'un pourrait-il manipuler cela ? »
- M2 (Cadre ADMIn) : Une méthode qui se concentre sur trois surfaces d'attaque principales : les données, le modèle et les entrées.
- M3 (ThreatFinderAI) : Une méthode sophistiquée, appuyée par un outil, qui utilise un langage spécial pour dessiner les parties d'IA du système et se connecte à une base de données géante d'attaques d'IA connues pour trouver automatiquement les menaces.
Ils ont appliqué ces trois méthodes au système de l'entreprise, qui utilisait un grand modèle de langage (LLM) pour lire des courriels et rédiger des rapports. Ensuite, ils ont vérifié leurs conclusions par rapport à une célèbre liste des « Top 10 » des risques de l'IA (l'OWASP Top 10 pour les LLM) pour voir quelle méthode avait détecté les dangers les plus importants. Enfin, ils ont demandé aux développeurs réels de l'entreprise ce qu'ils pensaient de l'utilisation de ces méthodes.
Ce qu'ils ont trouvé : Le bon, le mauvais et l'absent
Les résultats étaient un mélange de « pas mal » et de « nous devons faire mieux ».
Les bonnes nouvelles :
Les trois méthodes étaient plutôt bonnes pour repérer les ruses « classiques » de l'IA. Elles ont identé avec succès l'Injection de Prompt (où un utilisateur trompe l'IA pour qu'elle ignore ses règles), l'Empoisonnement des Données (où de mauvaises données corrompent le modèle) et la Divulgation d'Informations Sensibles (où l'IA laisse échapper accidentellement des secrets). La méthode appuyée par un outil, M3, était la grande gagnante. Elle a trouvé le plus de menaces, était la plus facile à utiliser pour les développeurs et semblait être la moins pénible. C'est comme avoir un détecteur de métaux qui bipe bruyamment lorsqu'il trouve une pièce enfouie, comparé à l'utilisation d'une cuillère pour creuser.
Les mauvaises nouvelles (Les lacunes) :
C'est ici que les vieilles cartes ont eu du mal. Les méthodes ont montré un support limité pour détecter les risques liés à la chaîne d'approvisionnement logicielle (comme si le modèle d'IA lui-même avait été construit avec des pièces volées ou défectueuses) et l'Agence Excessive (quand l'IA reçoit trop de pouvoir pour prendre des décisions sans qu'un humain ne vérifie son travail).
- Chaîne d'approvisionnement : Aucune des méthodes n'a proposé de moyen spécifique pour modéliser ou identifier les risques provenant des « ingrédients » utilisés par l'IA. Si le modèle d'IA était téléchargé depuis un site web suspect, les méthodes manquaient de la syntaxe ou des listes de contrôle spécifiques pour le signaler efficacement.
- Risques centrés sur l'humain : Elles ont également manqué le danger de la confiance excessive des humains envers l'IA. Si l'IA écrit un morceau de code qui semble parfait mais qui est en réalité dangereux, et qu'un développateur humain le copie simplement sans vérifier, c'est un risque majeur. Les méthodes n'avaient pas de bon moyen de cartographier comment cette « confiance paresseuse » pourrait briser le système.
Ce que les développeurs ont dit :
Les développeurs qui ont essayé ces méthodes étaient d'accord avec les données. Ils ont adoré M3 parce qu'elle possédait un outil qui faisait le plus gros du travail. Ils ont trouvé que les autres méthodes étaient trop manuelles et prenaient trop de temps. Cependant, ils ont tous souligné un obstacle majeur : ces méthodes ne s'intègrent pas facilement dans leur flux de travail quotidien. Ils veulent des listes de contrôle, des modèles et un moyen de connecter les résultats de sécurité directement à leur logiciel de gestion de tâches (comme un système de « tickets »). Un développeur a déclaré : « Des modèles rendraient les choses tellement plus faciles », tandis qu'un autre a noté qu'ils n'auraient pas détecté les risques de fuite de données par eux-mêmes sans ces outils.
La conclusion : Nous avons besoin de nouvelles cartes pour de nouveaux châteaux
Le papier suggère que, bien que nos outils actuels soient un bon début pour attraper les tours de l'IA les plus évidentes, ils ne suffisent pas pour obtenir une image complète. Nous sommes actuellement aveugles aux risques provenant de la chaîne d'approvisionnement (d'où vient l'IA) et aux risques liés au fait que les humains fassent trop confiance à l'IA.
Les auteurs proposent que l'avenir de la modélisation de la sécurité doive changer de trois manières :
- Inclure la chaîne d'approvisionnement : Nous avons besoin de cartes qui montrent non seulement le château, mais aussi les routes qui apportent les briques et les personnes qui les ont fabriquées.
- Utiliser des outils et des prompts : Nous avons besoin d'outils automatisés qui peuvent nous aider à dessiner ces cartes rapidement, en utilisant peut-être même l'IA pour nous aider à trouver les menaces en premier lieu.
- Surveiller les humains : Nous devons modéliser la façon dont les humains interagissent avec l'IA, en regardant spécifólnie les moments où un humain pourrait devenir paresseux et faire confiance à une mauvaise réponse, transformant une petite erreur en un grand désastre.
En résumé, le papier suggère que nous ne pouvons pas simplement réparer les vieilles cartes ; nous devons dessiner des cartes entièrement nouvelles qui tiennent compte de la magie, de la chaîne d'approvisionnement et de la tendance humaine à faire un peu trop confiance au sorcier. Tant que nous ne le ferons pas, nos châteaux d'IA pourraient sembler sécurisés sur le papier, mais ils pourraient encore avoir des portes secrètes que nous n'avons pas encore pensé à verrouiller.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.