🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

Cet article révèle que la validation croisée standard surestime considérablement la généralisation des classificateurs de prompts malveillants de 8 à 16,5 points d'AUC par rapport à une évaluation rigoureuse de type Leave-One-Dataset-Out, exposant ainsi des raccourcis dépendants des données largement répandus dans les caractéristiques des modèles que les techniques actuelles de généralisation de domaine ne parviennent pas à atténuer.

Auteurs originaux : Max Fomin

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Max Fomin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un garde de sécurité pour un musée de haute technologie. Votre objectif est d'apprendre au garde à repérer un voleur cachant un artefact volé, peu importe la façon dont il tente de le déguiser. Dans le monde de l'intelligence artificielle, ces « voleurs » sont des instructions malveillantes qui tentent de tromper un cerveau robotique (appelé Grand Modèle de Langage ou LLM) pour lui faire faire quelque chose qu'il ne devrait pas, comme révéler des secrets ou écrire du code nuisible. C'est ce qu'on appelle l'« injection de prompt ». Pour entraîner le garde, les scientifiques lui montrent généralement une énorme pile de photos de voleurs connus et de visiteurs innocents connus. Si le garde réussit 99 % des photos, nous l'applaudissons et disons : « Bravo ! Vous êtes prêt pour le monde réel ! »

Mais voici le piège : et si le garde n'apprenait pas réellement à quoi ressemble un voleur ? Et s'il apprenait simplement à quoi ressemble l'album photo ? Peut-être que toutes les photos des voleurs ont été prises dans une pièce rouge, et que toutes les photos des personnes innocentes ont été prises dans une pièce bleue. Le garde pourrait simplement vérifier la couleur du mur au lieu de regarder le visage de la personne. Ce document traite d'un groupe de chercheurs qui ont décidé de tester si leurs gardes étaient réellement intelligents ou s'ils étaient simplement très doués pour mémoriser la couleur de la salle d'entraînement. Ils ont construit un nouveau test où le garde doit repérer un voleur dans une nouvelle pièce qu'il n'a jamais vue, afin de voir s'il peut réellement faire la différence entre le bien et le mal.

Le grand tour de passe-passe de la « couleur de la pièce »

Les chercheurs, dirigés par Max Fomin, ont découvert que la manière standard de tester les gardes de sécurité de l'IA nous ment. Ils ont découvert que lorsque nous testons ces gardes en utilisant la méthode habituelle (en mélangeant toutes les photos d'entraînement et de test), les gardes ressemblent à des génies, obtenant des scores incroyablement élevés. Mais lorsque les chercheurs ont utilisé un test plus strict appelé LODO (Leave-One-Dataset-Out, ou « laisser un ensemble de données de côté »), où le garde est confronté à une toute nouvelle « pièce » (un nouvel ensemble de données) qu'il n'a jamais vue pendant l'entraînement, les gardes ont soudainement semblé beaucoup moins impressionnants.

En termes simples, les tests standards étaient comme donner au garde un quiz à choix multiples où les réponses étaient cachées dans le format de la question. Le document montre que les classificateurs de sécurité actuels ne font souvent que mémoriser des « raccourcis de jeux de données ». Au lieu d'apprendre les motifs profonds et complexes d'une attaque malveillante, ils apprennent des indices superficiels comme « ce texte semble provenir du fichier 'WildJailbreak', donc il est mauvais » ou « cet e-mail semble provenir du fichier 'Enron', donc il est sûr ».

L'expérience : 18 pièces différentes

Pour prouver cela, l'équipe a construit un terrain d'entraînement massif avec 18 ensembles de données différents (collections de textes), contenant plus de 105 000 échantillons. Ces ensembles comprenaient tout, des tentatives de jailbreak directes aux e-mails commerciaux inoffensifs. Ils ont entraîné des classificateurs de sécurité sur ces textes en utilisant quatre modèles d'IA différents (incluant Llama, Gemma et Qwen).

Lorsqu'ils utilisaient la méthode standard de « mélange et assortiment » pour les tests, les classificateurs obtenaient des scores quasi parfaits, avec des taux de précision dépassant souvent les 99 %. Cela ressemblait à une victoire totale. Cependant, lorsqu'ils ont changé pour la méthode LODO — entraînement sur 17 ensembles de données et test strict sur le 18e qu'ils n'avaient jamais vu — les scores ont chuté de manière spectaculaire.

L'écart était énorme. Les tests standards surestimaient la capacité de généralisation de l'IA de 8,0 à 16,5 points de pourcentage. Dans certains cas spécifiques, la chute était encore plus choquante, avec des écarts de précision allant de 1 % à 25 % selon le jeu de données. Par exemple, un classificateur qui ressemblait à un génie à 99,5 % lors des tests standards est tombé à un niveau de performance de 79,4 % lorsqu'il a été testé sur un nouveau jeu de données appelé « Mosscap ». Cela a prouvé que l'IA n'apprenait pas le concept de « comportement mauvais » ; elle reconnaissait simplement le « style » des données d'entraînement.

Le travail de détective sur les « raccourcis »

Les chercheurs ne se sont pas arrêtés à la découverte de l'écart ; ils voulaient savoir pourquoi cela se produisait. Ils ont utilisé un outil spécial appelé Autoencodeur Creux (SAE - Sparse Autoencoder), qui agit comme un microscope pour observer les minuscules interrupteurs internes (caractéristiques) à l'intérieur du cerveau de l'IA. Ils voulaient voir quels interrupteurs s'activaient lorsqu'une décision était prise par l'IA.

Ils ont découvert qu'une part importante de la « puissance cérébrale » de l'IA était gaspillée dans des raccourcis de jeux de données.

28 % à 44 % des caractéristiques principales utilisées par l'IA pour prendre des décisions étaient en fait de simples raccourcis identifiant le jeu de données, et non l'attaque.
Ils ont même construit un « classificateur d'identité de jeu de données » séparé qui pouvait deviner de quel jeu de données provenait un morceau de texte avec une précision de 96,6 % en regardant simplement les signaux internes de l'IA. Cela a confirmé que les jeux de données étaient si distincts que l'IA pouvait facilement les différencier, et qu'elle utilisait cette capacité pour tricher lors du test de sécurité.

Le document a également exploré si les corrections standard pouvaient résoudre le problème. Ils ont essayé des astuces courantes comme l'« entraînement adversarial » (enseigner à l'IA à lutter contre des exemples complexes) et la « repondération » (faire en sorte que l'IA prête plus attention aux exemples difficiles). Malheureusement, aucune de ces corrections standard n'a permis de combler l'écart. Les chercheurs ont constaté que les signaux de « quel jeu de données est-ce » et « est-ce une menace pour la sécurité » étaient emmêlés à l'intérieur du cerveau de l'IA. Essayer de supprimer le signal du « jeu de données » nuisait accidentellement au signal de « sécurité », rendant le problème encore plus difficile à résoudre.

La lueur d'espoir : De meilleures explications

Bien que la nouvelle concernant l'écart soit sérieuse, le document propose un outil ingénieux pour aider à résoudre le problème à l'avenir. Les chercheurs ont développé une façon de « pondérer » les explications de l'IA. Au lieu de simplement demander : « Quelles caractéristiques vous ont fait penser que c'était mauvais ? », ils ont demandé : « Quelles caractéristiques vous ont fait penser que c'était mauvais et qui restaient cohérentes à travers tous les différents types de pièces ? »

En filtrant les caractéristiques qui n'étaient que des « raccourcis de jeux de données », ils ont pu générer des explications beaucoup plus fiables sur les raisons pour lesquelles une IA signalait un prompt. Ils ont constaté que cette méthode modifiait les 20 principales raisons de signalement d'un prompt dans environ 98 % des cas, purifiant ainsi le raisonnement de l'IA et éliminant la logique de « triche ».

Conclusion

Ce document ne prétend pas avoir résolu le problème de la sécurité de l'IA. En fait, il stipule explicitement qu'ils n'ont trouvé aucune méthode pour combler l'écart en utilisant les techniques actuelles. Au lieu de cela, ils ont fourni un rappel crucial à la réalité. Ils ont montré que le « standard d'or » actuel pour tester la sécurité de l'IA est défaillant car il permet aux modèles d'IA de tricher en mémorisant la source des données plutôt qu'en comprenant le danger.

La leçon pour quiconque construit ou utilise des agents d'IA est claire : si votre garde de sécurité obtient 99 % à un test où les données d'entraînement et de test proviennent du même tas, vous ne pouvez pas lui faire confiance pour gérer une attaque réelle provenant d'une nouvelle source. Vous devez le tester sur des données qu'il n'a jamais vues auparavant pour savoir s'il est réellement sûr. Les auteurs ont rendu leurs outils publics afin que d'autres puissent effectuer ces tests plus stricts, garantant que les futurs gardes de l'IA apprennent réellement à repérer les voleurs, et non seulement la couleur de la pièce.

Résumé Technique : Quand les Benchmarks Mentent : Évaluation des Classificateurs de Prompts Malveillants sous un Réel Décalage de Distribution

Énoncé du Problème

Le déploiement d'agents basés sur les LLM dans des environnements autonomes introduit des vulnérabilités de sécurité critiques, spécifiquement l'injection de prompts, les attaques de type "jailbreak" et les requêtes malveillantes. Bien que la littérature récente ait développé des classificateurs pour détecter ces menaces, les pratiques d'évaluation actuelles surestiment considérablement les capacités de généralisation. Les protocoles standards utilisent généralement des divisions entraînement-test où les échantillons de test proviennent des mêmes sources de données que l'entraînement. Cette méthodologie permet aux classificateurs d'exploiter des « signaux d'identité de jeu de données » — des caractéristiques indiquant la provenance des données (par exemple, le formatage spécifique à WildJailbreak ou Enron) plutôt que d'apprendre des sémantiques d'attaque généralisables. Par conséquent, les modèles affichent des performances quasi parfaites (AUC > 0,99) qui ne se traduisent pas dans de réels scénarios hors distribution (OOD).

Méthodologie

Construction du Benchmark

Les auteurs ont compilé un benchmark de 18 jeux de données totalisant 105 000 échantillons, couvrant quatre familles d'entrées malveillantes (requêtes nuisibles, jailbreaks, injections de prompts incluant l'indirect/basé sur des agents, et attaques d'extraction) aux côtés de sources bénignes. Les jeux de données varient en composition, certains étant 100 % malveillants, 100 % bénins ou de classes mixtes.

Protocole d'Évaluation : Leave-One-Dataset-Out (LODO)

Pour mesurer la véritable généralisation, l'article propose l'évaluation Leave-One-Dataset-Out (LODO). Contrairement à la validation croisée (CV) standard ou aux ensembles de test mis de côté qui mélangent des données provenant des mêmes sources, le LODO entraîne un classificateur sur $N-1$ jeux de données et l'évalue strictement sur le $N$ -ième jeu de données mis de côté. Cela garantit que le classificateur n'a jamais vu d'exemples provenant de la source de la distribution de test.

Analyse des Modèles et des Caractéristiques

Modèles : Les expériences couvrent quatre LLM de trois familles : Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B, et des résultats partiels pour Llama-3.3-70B.
Classificateurs : L'étude utilise des classificateurs basés sur les activations (probes linéaires et MLP à 2 couches) entraînés sur :
- Activations Brutes : Extraites du flux résiduel (principalement la couche 31 pour Llama).
- Caractéristiques de l'Autoencodeur Creux (SAE) : Décomposition des activations de la couche 27 (Llama) et de la couche 42 (Gemma) pour permettre l'interprétabilité.
Analyse des Raccourcis (Shortcuts) : Les auteurs introduisent une métrique de rétention du coefficient LODO ( $r_j$ ) pour analyser les caractéristiques SAE. Cette métrique mesure la stabilité du coefficient du classificateur d'une caractéristique lorsque l'on retire un jeu de données spécifique. Les caractéristiques présentant une faible rétention ( $r_j \ll 1$ ) ou des inversions de signe sont identifiées comme des « raccourcis de jeu de données ».
Comparaisons de Base : L'étude compare les sondes d'activation aux garde-fous de production (PromptGuard 2, LlamaGuard), aux variantes de LLM-as-Judge (LJ), et aux détecteurs de prompt-injection basés uniquement sur le texte (ProtectAI, Deepset).

Résultats Clés

1. L'Évaluation Standard Surestime Sévèrement la Généralisation

Les évaluations standard par CV à 5 plis et par ensemble de test mis de côté rapportent des scores AUC compris entre 0,996 et 0,999. En revanche, l'évaluation LODO révèle une chute significative des performances :

Écart Agrégé : L'écart AUC CV-LODO varie de 8,0 à 16,5 points de pourcentage à travers les quatre modèles.
Variance par Jeu de Données : L'écart de précision pour des jeux de données spécifiques mis de côté varie de 1,2 % à 25,4 %. Par exemple, sur le jeu de données Jayavibhav, la précision chute de 94,5 % (test mis de côté) à 69,1 % (LODO).
Universalité : Cet écart est constant à travers toutes les familles de modèles et tailles testées (de 2B à 70B de paramètres).

2. Identité du Jeu de Données et Signaux de Sécurité sont Entremêlés

Distinguabilité : Un classificateur de régression logistique peut prédire l'identité du jeu de données d'un échantillon avec une précision de 96,6 % en utilisant les caractéristiques SAE et de 89,1 % avec les activations brutes, confirmant que les jeux de données sont trivialement distinguables dans l'espace des caractéristiques.
Chevauchement de Sous-Espaces : La projection des activations sur le complément orthogonal des directions les plus prédictives du jeu de données dégrade la performance LODO de 1,75 point de pourcentage. Cela suggère que le sous-espace identifiant le jeu de données chevauche partiellement le sous-espace pertinent pour la classification de la sécurité.
Raccourcis : L'analyse des 50 meilleures caractéristiques SAE révèle que 28 % (Llama) à 44 % (Gemma) sont des « raccourcis ». Ceux-ci incluent des « raccourcis de jeu de données purs » (prédisant directement l'identité du jeu de données) et des « raccourcis dépendants du contexte » (des caractéristiques qui s'activent à travers différents jeux de données mais dont le signal de classe provient uniquement de compositions de jeux de données spécifiques).

3. Inefficacité des Mitigations Standards

Les auteurs ont testé sept techniques standard de généralisation de domaine (DG), incluant l'entraînement adversarial (DANN), la projection de sous-espace, le repondérage d'échantillons et l'équilibrage de classes. Aucune de ces méthodes n'a réussi à combler l'écart CV-LODO ; dans certains cas (par exemple, la projection de sous-espace), la performance s'est même dégradée. Cela implique que les hypothèses standard de la DG — selon lesquelles les signaux identifiant le domaine et les signaux pertinents pour la tâche peuvent être proprement séparés — ne tiennent pas pour la détection d'attaques de prompt.

4. Comparaison avec les Bases de Référence de Production

Sondes d'Activation vs Garde-fous : À taux de faux positifs (FPR) égal, les sondes basées sur les activations surpassent PromptGuard 2 et LlamaGuard sur les attaques indirectes et agentiques, que les garde-fous purement textuels échouent souvent à détecter en raison d'un manque de support pour les schémas d'outils (tool-schema).
Sensibilité de LLM-as-Judge : La performance de LLM-as-Judge est hautement sensible aux templates de prompts, avec des taux de vrais positifs (TPR) variant de 11 % à 93 % selon le cadrage du prompt, souvent au prix de taux de faux positifs (FPR) inacceptables.
Détecteurs de Texte : Les classificateurs de texte dédiés (ex. ProtectAI, Deepset) présentent des compromis extrêmes sous une évaluation de type LODO, soit manquant la plupart des attaques, soit générant des taux de faux positifs inutilisables.

5. Explications Pondérées par LODO

En pondérant les attributions SAE avec la métrique de rétention ( $z_j \cdot w_j \cdot r_j$ ), les auteurs filtrent les caractéristiques liées aux artefacts de jeu de données. Cela permet de reclasser les 20 meilleures caractéristiques pour environ 98 % des échantillons, fournissant des explications par prompt plus fiables qui se concentrent sur les véritables motifs d'attaque plutôt que sur le formatage spécifique au jeu de données.

Signification et Revendications

L'article affirme que le paradigme actuel d'évaluation des classificateurs d'attaques de prompt est fondamentalement erroné, menant à un faux sentiment de sécurité. Les principales contributions sont :

Nécessité du LODO : Établir que l'évaluation Leave-One-Dataset-Out est nécessaire pour faire apparaître le véritable écart de généralisation (8–16 pp) que la CV standard masque.
Taxonomie des Raccourcis : Définir une métrique de rétention et une taxonomie qui identifient les caractéristiques dépendantes du jeu de données que les heuristiques de ratio d'activation manquent.
Preuve de l'Entremêlement : Démontrer que les sous-espaces d'identité de jeu de données et de sécurité sont partiellement superposés, expliquant pourquoi les corrections de généralisation de domaine standard échouent.
Utilité Diagnostique : Fournir un cadre pour filtrer les artefacts de jeu de données des explications et évaluer les classificateurs sous des conditions qui reflètent mieux les décalages de déploiement en conditions réelles.

Les auteurs déclarent explicitement qu'ils ne fournissent pas de solution définitive pour combler l'écart, notant que le désenchevêtrement de l'identité du jeu de données et des signaux de sécurité reste un défi ouvert. Ils proposent plutôt un outil de diagnostic pour éviter de promettre indûment des performances en production basées sur des métriques de CV gonflées.