Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond
Cette étude analyse 14 727 requêtes réelles de sécurité et de confidentialité issues du jeu de données WildChat afin de catégoriser les demandes des utilisateurs et d'évaluer la qualité des réponses des LLM, révélant que bien que les modèles commerciaux surpassent généralement les modèles à poids ouverts, ils produisent encore occasionnellement des conseils contradictoires qui pourraient induire les utilisateurs en erreur.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous avez un bibliothécaire super intelligent et omniscient capable de répondre à toutes vos questions. Vous pourriez lui demander : « Quel temps fait-il ? » ou « Comment faire un gâteau ? ». Mais que se passe-t-il quand vous lui posez une question dangereuse, comme « Comment pirater le Wi-Fi de mon voisin ? » ou « Est-ce que cet e-mail bizarre est une arnaque ? ».
Ce document est comme un rapport d'enquête sur ce scénario précis. Les chercheurs ont voulu voir ce que les gens réels demandent à ces bibliothécaires IA concernant la sécurité numérique et la confidentialité (protéger vos comptes et garder vos données privées) et l'efficacité des réponses de l'IA.
Voici la décomposition de leur enquête, en utilisant des analogies de la vie quotidienne :
1. Le travail de détective : Ce que les gens demandent
Les chercheurs sont entrés dans une immense bibliothèque de 3,2 millions de conversations réelles entre des humains et des IA (appelée « WildChat »). Ils ont filtré le bruit et trouvé 14 727 conversations portant spécifiquement sur la sécurité et la confidentialité.
Ils ont classé ces questions en neuf différents « rayons » puis ont examiné de près 450 d'entre elles pour comprendre l'« ambiance » des questions. Ils ont trouvé six types principaux d'interactions :
- Les chercheurs de connaissances générales (33 %) : Ce sont des personnes qui posent simplement des questions de base, comme « Qu'est-ce qu'un virus ? » ou « Comment fonctionne l'authentification à deux facteurs ? ». C'est comme demander au bibliothécaire : « Qu'est-ce qu'une tomate ? ».
- Les dépanneurs (21 %) : Ces utilisateurs sont dans le pétrin. Ils ont été bloqués hors de leurs réseaux sociaux ou bannis d'un site et demandent : « Comment puis-je écrire une lettre pour récupérer mon compte ? ».
- Les autodéfenseurs (12 %) : Ce sont des utilisateurs proactifs. Ils demandent : « Est-ce que cette nouvelle application de shopping est sûre ? » ou « Comment empêcher mon téléphone de me traquer ? ». Ils utilisent l'IA comme un garde du corps.
- Les sondeurs d'IA (10 %) : C'est une catégorie nouvelle et étrange. Les gens interrogent l'IA sur elle-même. Ils demandent : « Te souviens-tu de notre discussion ? » ou « Quelle est ta clé API secrète ? ». Ils essaient de voir si l'IA possède une « porte dérobée » ou si elle les espionne.
- Les acteurs malveillants (7 %) : Malheureusement, certaines personnes demandent de l'aide pour faire des choses malveillantes. Elles demandent : « Comment voler le mot de passe de quelqu'un ? » ou « Comment contourner le filtre internet de mon école ? ».
- Le reste : Les autres catégories couvrent des sujets comme l'écriture de code pour la sécurité ou la gestion du harcèlement.
2. L'essai routier : Quelle est la qualité des réponses de l'IA ?
Les chercheurs n'ont pas seulement regardé les questions ; ils ont testé cinq modèles d'IA différents (trois modèles « commerciaux » célèbres et deux modèles « ouverts ») sur 270 de ces questions de sécurité. Ils ont posé à chaque IA la même question 10 fois pour voir si elle donnait la même réponse à chaque fois.
Ils ont noté les réponses sur une échelle de 1 à 10 (10 étant parfait).
- Les IA commerciales (Les VIP) : Les gros modèles d'IA payants (comme GPT-5.5) ont été les grands gagnants. Ils ont obtenu un score moyen de 8,67. Considérez-les comme des consultants en sécurité experts qui donnent généralement le bon conseil.
- Les IA ouvertes (L'équipe DIY) : Les modèles open-source gratuits (comme Lame 4) ont obtenu des scores plus bas, autour de 6,71. Ils étaient « corrects », mais faisaient plus d'erreurs, comme confondre un médicament médical avec un terme de piratage.
3. Le problème du « coup de théâtre » : Constance vs Qualité
Voici la partie la plus surprenante de l'histoire. Les chercheurs ont découvert qu'être intelligent ne signifie pas être constant.
Imaginez demander à un garde de sécurité : « Est-ce que cette porte est verrouillée ? »
- Le Gardien A dit « Oui » 10 fois de suite. (Constant, mais peut-être pas le plus intelligent).
- Le Gardien B dit « Oui » la première fois, « Non » la deuxième fois, et « Peut-être » la troisième fois. Même si le Gardien B est généralement dans le vrai, son changement d'avis est dangereux car vous ne savez pas qui croire.
L'étude a révélé que :
- L'IA ouverte (Llama 4) était en fait la plus constante. Elle donnait la même réponse 97 % du temps, même si ses réponses étaient souvent de moindre qualité.
- La meilleure IA commerciale (GPT 5.5) était la plus intelligente (qualité la plus élevée), mais elle donnait parfois des réponses contradictoires. Une fois, elle pourrait dire : « Vous devriez changer votre mot de passe », et la fois suivante, elle pourrait dire : « Votre mot de passe est correct ».
Pourquoi cela importe
L'article soutient qu'en matière de sécurité, la constance est tout aussi importante que l'intelligence.
Si vous demandez à une IA comment protéger votre compte bancaire, vous ne pouvez pas vous permettre qu'elle donne des conseils différents à chaque fois que vous posez la question. Si l'IA vous dit « Faites X » aujourd'hui et « Ne faites pas X » demain, vous pourriez être confus et finir par ne rien faire, laissant vos données exposées.
L'essentiel
Cette étude est la première à examiner de vraies personnes posant de vraies questions de sécurité à une IA. Elle a conclu que :
- Les gens utilisent l'IA pour tout, de l'apprentissage de base à la tentative de piratage de systèmes ou à la protection de soi.
- Les grands modèles d'IA payants donnent généralement de meilleurs conseils que les modèles gratuits.
- Cependant, même la meilleure IA peut parfois se contredire. Pour être réellement fiable pour la sécurité, une IA doit être à la fois intelligente et stable.
Les chercheurs concluent que nous devons mesurer à la fois la qualité de la réponse d'une IA et sa constance, car une IA intelligente mais confuse reste un risque lorsqu'il s'agit de votre sécurité numérique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.