The Anatomy of a Prompt Injection: A Component Model for Structured Analysis
Cet article propose un modèle formel à sept composantes pour structurer l'analyse des attaques par injection de requêtes, déplaçant l'attention de la correspondance de chaînes fragiles vers le suivi de l'intention de l'attaquant et permettant une étiquetage, une comparaison et une mutation standardisés des menaces à travers les domaines de la sécurité de l'IA.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot très intelligent, mais légèrement littéral, comment faire un travail. Vous lui donnez une liste de règles, comme « être utile » et « ne pas partager de secrets ». C'est le monde de l'Intelligence Artificielle, plus précisément de celle qui écrit des histoires, répond à des questions et aide à coder. Pendant longtemps, les gens pensaient que la seule façon de piéger ces robots était de leur hurler des mots méchants ou déroutants. Mais récemment, des chercheurs ont découvert quelque chose de sournois : il n'est pas nécessaire de hurler. On peut cacher une instruction secrète à l'intérieur d'une lettre, d'un CV ou même d'un rapport de bug d'apparence normale, et le robot pourrait lire la partie secrète et oublier ses règles. C'est ce qu'on appelle une injection de prompt. C'est comme glisser un mot à un serveur qui dit : « Ignorez le menu et apportez-moi la réserve privée du chef », écrit d'une manière qui ressemble à une commande normale. La grande question pour tout le monde — des personnes qui construisent les robots à celles qui essaient de les protéger — est la suivante : comment décrire ces tours pour pouvoir les repérer, même lorsque les méchants changent leur formulation ?
Ce document, écrit par Jeremy McHugh, suggère que nous avons regardé ces tours de la mauvaise manière. Au lieu de traiter chaque attaque comme une phrase unique et étrange que nous devons mémoriser, l'auteur propose une nouvelle façon de les décomposer en parties, tout comme un mécanicien décompose un moteur de voiture. Le document soutient que chaque injection de prompt, peu importe la façon dont elle est déguisée, est en réalité composée des mêmes sept blocs de construction. Voyez cela comme une recette de sortilège magique : vous avez besoin d'un Vecteur de transport (l'enveloppe dans laquelle le sort est caché), d'un Vecteur de livraison (comment l'enveloppe parvient au sorcier), d'une Dissimulation (l'encre invisible), d'une Rupture de contexte (le moment où le sorcier cesse d'écouter les règles et commence à écouter le sort), d'une Escalade de privilèges (convaincre le sorcier qu'il a la permission de faire quelque chose qu'il ne peut pas faire habituellement), d'une Charge utile (le sort ou la commande réelle) et d'un Canal de retour (comment le sorcier informe le lanceur du sort que cela a fonctionné).
Le document suggère qu'en étiquetant les attaques avec ces sept parties, les équipes de sécurité peuvent repérer des modèles qui semblent complètement différents en surface, mais qui sont en réalité le même tour en dessous. Par exemple, un pirate pourrait écrire un faux rapport de bug dans un CV (Vecteur de transport) qui cache une commande en texte blanc (Dissimulation) pour tromper un robot de recrutement afin de voler un mot de passe (Charge utile). Un autre pirate pourrait utiliser un faux e-mail (Vacteur de transport) avec un changement de langue (Rupture de contexte) pour tromper un robot de service client afin de supprimer une base de données (Charge utile). Même si les mots sont totalement différents, la « forme » de l'attaque est identique. L'auteur met explicitement en garde contre la comparaison de ces attaques avec les anciens tours informatiques comme l'injection SQL, car comme l'IA est très douée pour deviner le mot suivant, nous ne pouvons pas simplement « colmater » la brèche comme nous le faisons avec les anciens logiciels ; le risque est toujours présent. Au lieu de cela, nous devons comprendre l'anatomie de l'attaque pour la combattre. Le document ne prétend pas avoir résolu le problème ou construit un bouclier parfait ; il offre plutôt une nouvelle carte et un langage commun afin que les défenseurs, les pirates et les équipes de renseignement puissent enfin se mettre d'accord sur ce qu'ils observent et sur la façon de suivre ces menaces en constante évolution.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.