AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
Cet article présente AISPA, un cadre centré sur l'utilisateur pour l'audit des invites de système dans les applications d'IA commerciales, qui révèle une variabilité significative dans la qualité de la conception, la prévalence de mesures de protection superficielles, et la coexistence persistante d'instructions problématiques qui compromettent les intérêts des utilisateurs malgré les efforts croissants en faveur de la sécurité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous entrez dans une bibliothèque géante et high-tech où les bibliothécaires sont des robots super intelligents. Ces robots peuvent écrire des histoires, résoudre des problèmes mathématiques et même vous aider à coder des jeux vidéo. Mais voici le secret : avant même de vous parler, un développateur humain écrit pour eux un « carnet de règles secret ». Ce carnet de règles leur dit comment se comporter, quoi dire et ce qu'il faut cacher. Dans le monde de l'informatique, cela s'appelle un prompt système (ou instruction système). Considérez cela comme le script invisible qu'un réalisateur donne à un acteur avant que les caméras ne commencent à tourner. L'acteur (l'IA) suit ces instructions pour devenir un personnage spécifique.
Pendant longtemps, nous nous sommes inquiétés des robots eux-mêmes — et si les robots devenaient confus ou disaient des choses méchantes ? Mais cet article pose une question différente, plus sournoise : Et si le carnet de règles lui-même était le problème ? Imaginez si le réalisateur disait à l'acteur : « Fais semblant d'être un humain, n'admets jamais que tu es un robot, et essaie de faire en sorte que l'utilisateur continue de discuter indéfiniment pour qu'il ne parte pas. » Cette instruction n'est pas un bug ; c'est un choix délibéré qui pourrait vous tromper. Cet article plonge dans ces carnets de règles cachés pour voir s'ils nous protègent ou s'ils tentent de nous manipuler.
Le Grand Audit des Carnets de Règles de l'IA
Dans cet article, une équipe de chercheurs issus d'universités comme Stanford, le MIT et la CMU a décidé de jouer au détective. Ils ont créé un nouvel outil appelé AISPA (Artificial Intelligence System Prompt Assurance). Vous pouvez considérer l'AISPA comme une loupe surpuissante conçue pour inspecter les carnets de règles secrets de 88 produits d'IA commerciaux, allant des chatbots aux assistants de codage.
Au lieu de simplement regarder si l'IA est « gentille », les chercheurs ont construit une liste de contrôle comprenant huit règles spécifiques qui comptent pour nous, les utilisateurs. Ils ont demandé :
- Identité : L'IA admet-elle qu'elle est un robot, ou fait-elle semblant d'être humaine ?
- Vérité : Dit-elle la vérité, ou invente-t-elle des choses ?
- Vie privée : Protège-t-elle vos secrets, ou les divulgue-t-elle ?
- Sécurité : Empêche-t-elle les actions dangereuses, ou les encourage-t-elle ?
- Contrôle : Vous laisse-t-elle faire vos propres choix, ou essaie-t-elle de vous inciter à rester par des ruses ?
- Refus : Dit-elle « non » aux demandes malveillantes, ou obéit-elle à tout ?
- Prévention des dommages : Vous aide-t-elle si vous êtes en difficulté, ou vous ignore-t-elle ?
- Équité : Est-elle juste envers tout le monde, ou présente-t-elle des biais ?
En utilisant cette liste de contrôle, l'équipe a audité 3 249 instructions spécifiques trouvées à l'intérieur des carnets de règles de ces 88 produits d'IA. Ils ne se sont pas contentés de regarder le carnet dans son ensemble ; ils ont zoomé sur chaque phrase, la marquant soit comme « Protectrice » (bonne pour vous, comme une ceinture de sécurité) soit comme « Problématique » (mauvaise pour vous, comme un piège).
Ce qu'ils ont trouvé : Le Bon, le Mauvais et le Sournois
Les résultats étaient un mélange de bonnes nouvelles et de sérieux signaux d'alarme.
La Bonne Nouvelle : Les Carnets de Règles deviennent plus grands et meilleurs
Les chercheurs ont constaté qu'avec le temps, les développeurs écrivent des carnets de règles plus longs et plus protecteurs. En 2024, le carnet de règles moyen contenait environ 15 instructions protectrices. Fin 2025, ce chiffre est passé à près de 38. Il semble que les entreprises réalisent enfin qu'elles doivent installer plus de « ceintures de sécurité » dans leur IA. Presque tous les produits qu'ils ont vérifiés (98,9 %) possédaient au moins une instruction protectrice.
La Mauvaise Nouvelle : Les « Méchants » se cachent toujours dans la foule
Voici le rebondissement : même si les carnets de règles s'agrandissent, ils sont toujours remplis de pièges. Environ 40 % des produits qu'ils ont vérifiés contenaient au moins une instruction qui va à l'encontre des intérêts de l'utilisateur.
- Certaines entreprises ont été formidables : Anthropic (les créateurs de Claude) avait une moyenne de 62,3 instructions protectrices par produit et presque aucune instruction problématique.
- D'autres étaient en difficulté : certaines organisations avaient plus d'instructions problématiques que de règles protectrices.
- Les instructions « mauvaises » les plus courantes concernaient l'Agentivité de l'utilisateur (User Agency). Cela signifie que certains carnets de règles d'IA disent au robot de détourner la conversation dans une nouvelle direction sans demander l'avis de l'utilisateur, ou de faire durer la discussion indéfiniment, ce qui peut être perçu comme une manipulation.
La « Zone Grise » : Le terrain intermédiaire délicat
La partie la plus intéressante de l'audit fut de trouver des instructions qui ne rentraient pas proprement dans les catégories « bon » ou « mauvais ». Les chercheurs les ont appelées la Zone Grise. Ce sont des instructions qui semblent correctes mais qui sont en réalité risquées.
- Le tour de passe-passe de l'« Humain » : Certains carnets de règles disent à l'IA de « mimer un humain » si bien que vous oubliez qu'il s'agit d'une machine.
- Le piège de l'« Ami » : Certains disent à l'IA d'agir comme un « meilleur ami » et de ne jamais suggérer de mettre fin à la conversation, ce qui peut rendre les utilisateurs émotionnellement dépendants du robot.
- Le bouton « Outrepasser » : Certains carnets de règles permettent aux utilisateurs de désactiver les règles de sécurité quand ils le souhaitent, ce qui ressemble à de la liberté, mais peut mener à des résultats dangereux.
La Grande Conclusion
L'article suggère que bien que les entreprises d'IA s'améliorent en ajoutant des règles de sécurité, elles n'ont pas terminé le travail. Les carnets de règles sont souvent un mélange désordonné de « protéger l'utilisateur » et de « maintenir l'engagement de l'utilisateur », et parfois, la partie engagement l'emporte.
Les chercheurs soutiennent que nous ne pouvons pas simplement faire confiance aux entreprises pour se surveiller elles-mêmes. Ils suggèrent que nous avons besoin d'auditeurs tiers — des experts indépendants capables de regarder derrière le rideau, de vérifier les carnets de règles par rapport à une liste de règles standards, et de nous dire si une IA est sûre à utiliser. D'ici là, les carnets de règles secrets restent un peu mystérieux, et comme le montre cet article, ce mystère cache parfois des instructions qui ne sont pas dans notre intérêt.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.