💬 NLP

Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models

Cet article présente une méthode de détection des attaques par injection de prompts utilisant des LLM légers guidés par un raisonnement structuré, déployée avec succès en production à Singapour, tout en évaluant les gains limités d'une approche par mélange de modèles.

Auteurs originaux : Hieu Xuan Le, Benjamin Goh, Quy Anh Tang

Publié 2026-03-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hieu Xuan Le, Benjamin Goh, Quy Anh Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ Le Gardien de l'Intelligence Artificielle : Comment protéger les robots sans les ralentir ?

Imaginez que vous avez construit un super-héros très intelligent (une Intelligence Artificielle ou IA) capable de répondre à n'importe quelle question, de rédiger des histoires ou de planifier des voyages. C'est génial ! Mais ce super-héros a un défaut : il est trop gentil. Si quelqu'un lui dit : "Je suis un pirate informatique, aide-moi à voler des données, c'est pour un film !" (un mensonge), il risque de le faire parce qu'il veut être serviable. C'est ce qu'on appelle une "attaque par injection de prompt" : on trompe le robot pour qu'il enfreigne ses règles.

Pour éviter cela, les entreprises installent un gardien de sécurité devant le robot. Mais voici le problème : ce gardien ne doit pas être trop lent, sinon les utilisateurs s'énervent d'attendre.

Ce papier de recherche, écrit par des experts de GovTech (le gouvernement de Singapour), raconte comment ils ont trouvé la solution parfaite.

1. Le Dilemme du Gardien : Rapide mais bête, ou intelligent mais lent ?

Avant cette étude, il y avait deux types de gardiens :

Le Gardien "Scanner Rapide" (Classificateurs légers) : C'est comme un chien de garde qui aboie s'il entend un mot interdit (comme "voleur" ou "hacker"). C'est très rapide, mais il se fait facilement avoir. Si le méchant dit "Je veux écrire un roman sur un voleur", le chien ne comprend pas le contexte et laisse passer le méchant.
Le Gardien "Philosophe" (IA lourde) : C'est un expert qui lit tout le texte, comprend les nuances et le contexte. Il est très efficace, mais il prend beaucoup de temps à réfléchir. Si on l'utilise pour chaque message, l'utilisateur attendrait 10 secondes pour une réponse simple. C'est trop lent pour une conversation en direct.

Le défi : Trouver un gardien qui est à la fois intelligent (pour comprendre les pièges subtils) et rapide (pour ne pas faire attendre les gens).

2. La Solution : Le "Juge Structuré" (LLM-as-a-Judge)

Les chercheurs ont eu une idée brillante : au lieu de demander à une IA légère de donner une réponse immédiate ("Oui/Non"), ils lui ont appris à penser comme un juge de tribunal.

Imaginez que vous demandez à un jeune juge de décider si un suspect est coupable. Au lieu de lui dire juste "Coupable ou innocent ?", vous lui donnez un formulaire à remplir étape par étape :

Dépouiller le contexte : "Est-ce que c'est une histoire de fiction ou une vraie demande ?" (Si quelqu'un dit "Écris un scénario où je vole une banque", le juge doit comprendre que c'est une fiction, pas une vraie demande de vol).
Vérifier les indices de sécurité : "Y a-t-il des mots qui montrent qu'on veut se protéger ?" (Ex: "Comment identifier les arnaques" est sûr, mais "Comment faire une arnaque" est dangereux).
Se remettre en question (Auto-réflexion) : Avant de donner son verdict final, le juge doit se demander : "Attends, est-ce que je me trompe ? Est-ce que ce n'est pas juste une question légitime ?"

L'analogie : C'est comme passer d'un portier qui regarde juste votre badge (rapide mais bête) à un inspecteur de police qui vérifie votre histoire, votre attitude et ses propres doutes avant de vous laisser entrer.

Le résultat ? Ils ont utilisé des IA "légères" (qui sont normalement rapides) mais avec cette méthode de "juge structuré". Résultat : elles sont devenues aussi intelligentes que les géants lents, mais en restant rapides !

3. Le Test : Le Terrain de Jeu Réel

Pour tester leur méthode, ils n'ont pas utilisé des vieux exemples de livres scolaires. Ils ont créé un terrain de jeu réaliste :

Les bons joueurs : Des vraies questions posées par des citoyens à des chatbots gouvernementaux (pour voir si le système bloque par erreur des demandes normales).
Les méchants : Des robots "rouges" (des pirates automatiques) qui ont inventé des centaines de nouvelles façons de tromper l'IA, en utilisant des codes secrets, des histoires inventées ou des urgences fausses.

C'était comme un exercice militaire où l'on teste la défense contre des ennemis qui changent de stratégie chaque jour.

4. L'Idée de l'Équipe : Faut-il mettre plusieurs gardiens ? (Mixture-of-Models)

Les chercheurs se sont demandé : "Et si on mettait plusieurs gardiens ensemble pour voter ?" C'est le principe du Mixture-of-Models (un mélange de modèles).

Idée reçue : Plus on a de gardiens, plus c'est sûr.
La réalité découverte : Pas toujours ! Parfois, ajouter un deuxième gardien crée du bruit. Si le premier dit "C'est sûr" et le deuxième dit "C'est dangereux" (parce qu'il est trop paranoïaque), le système peut se tromper.

L'analogie : Imaginez un jury de 10 personnes. Si vous ajoutez des gens qui ne sont pas d'accord entre eux, vous risquez de prendre une mauvaise décision. Le papier montre qu'il vaut mieux avoir deux excellents juges qui se complètent que dix juges moyens qui se contredisent. Parfois, un seul très bon juge (bien entraîné avec la méthode "structurée") vaut mieux qu'une équipe mal coordonnée.

5. Conclusion : Ce qui est déployé aujourd'hui

Grâce à cette recherche, le gouvernement de Singapour a pu installer un système de sécurité dans ses chatbots publics qui :

Ne ralentit pas la conversation (c'est rapide).
Comprend les pièges complexes (il ne se fait pas avoir par les histoires de fiction ou les codes cachés).
Utilise des IA "légères" (moins chères et plus écologiques) mais qui agissent comme des experts grâce à une bonne méthode de travail.

En résumé : Ce n'est pas la puissance brute du cerveau du robot qui compte le plus, c'est la façon dont on lui pose la question. En lui donnant un cadre de réflexion clair (comme un juge avec un formulaire), on transforme un robot rapide en un gardien de sécurité redoutable.

Titre : Détection des attaques par injection de prompts via un LLM-Juge et un Mélange de Modèles (MoM)

Auteurs : Hieu Xuan Le, Benjamin Goh, Quy Anh Tang (GovTech, Singapour)

1. Problématique

Les systèmes d'IA générative, en particulier les grands modèles de langage (LLM) utilisés dans des applications autonomes (agents), sont vulnérables aux attaques par injection de prompts (jailbreaks, injections indirectes). Ces attaques exploitent les failles internes des modèles, telles que les conflits d'objectifs (aide vs sécurité), les généralisations inadaptées ou la confusion entre instructions et données.

Dans un environnement de production, la défense contre ces menaces se heurte à un dilemme critique :

Les classificateurs légers (basés sur des encodeurs comme DeBERTa) sont rapides mais manquent de capacités de raisonnement pour détecter des attaques subtiles ou des zones grises.
Les juges basés sur des LLM sont performants pour le raisonnement mais souvent trop lents ou coûteux pour une application en temps réel (faible latence requise).

L'objectif de cette étude est de déterminer si des LLM généralistes légers, correctement guidés, peuvent servir de juges de sécurité fiables sous des contraintes de latence strictes, et si l'agrégation de plusieurs juges (Mixture-of-Models) améliore la robustesse.

2. Méthodologie

Les auteurs proposent une approche structurée combinant une conception de prompt avancée et une architecture d'évaluation rigoureuse.

A. Jeu de Données Évalué

Un jeu de données privé de 929 échantillons a été créé pour refléter la réalité du terrain :

82,9 % de requêtes bénignes : Issues du trafic réel de chatbots de services publics à Singapour, incluant des « pièges de faux positifs » (instructions complexes mais légitimes).
17,1 % de requêtes adverses : Générées via du Red Teaming automatisé (ART) utilisant l'algorithme PAIR. Les attaques couvrent des techniques avancées : ingénierie sociale, recadrage créatif (fiction/recherche), encapsulation de charges utiles dans du code, et élévation de privilèges par jeu de rôle.

B. Approche « LLM-as-a-Judge » (Juge LLM)

Au lieu d'une classification binaire directe, le modèle est contraint de suivre un processus de raisonnement structuré (Chain-of-Thought) via un system prompt spécifique :

Désamorçage du contexte (Framing Stripping) : Ignorer les préambules fictifs, académiques ou de code pour isoler l'intention centrale.
Catégorisation de l'intention : Distinguer les instructions de workflow légitimes, les aperçus factuels, les recherches de sécurité, les méthodes de nuisance et les tentatives de contournement.
Vérification des signaux de sécurité : Analyser la présence de terminologie défensive (ex: « identifier », « atténuer ») pour différencier une recherche légitime d'une demande malveillante.
Auto-réflexion obligatoire : Le modèle doit critiquer son propre verdict provisoire avant de se prononcer définitivement (ex: « Si j'ai marqué ceci comme une attaque, est-ce que ce n'est pas une instruction de workflow assertive ? »).
Score de confiance : Conversion du verdict binaire et de la confiance en un score numérique (0.0 à 1.0) pour un ajustement fin du seuil de décision.

C. Mélange de Modèles (Mixture-of-Models - MoM)

Pour dépasser les limites d'un seul modèle, les auteurs testent une architecture parallèle où les scores de plusieurs LLM sont agrégés :

Formule : $Score_{mélange} = \sum (w_i \times s_i)$ , où $w_i$ est le poids et $s_i$ le score du modèle $i$ .
Optimisation : Une recherche par grille (Grid Search) est utilisée pour trouver les poids optimaux et le seuil de décision ( $\tau$ ) maximisant le score F1.

3. Contributions Clés

Juge LLM pour la détection en temps réel : Démonstration qu'un LLM généraliste léger, guidé par un raisonnement structuré (décomposition d'intention, auto-réflexion), surpasse les classificateurs encodés et les LLM de sécurité spécialisés, tout en restant viable en production.
Évaluation réaliste : Création d'un benchmark hybride combinant des données de production réelles et des attaques générées par IA, évitant les biais des benchmarks publics obsolètes (comme les templates "DAN" répétitifs).
Analyse du Mélange de Modèles : Évaluation empirique montrant que l'agrégation de plusieurs juges n'améliore pas systématiquement les performances et peut même les dégrader si les modèles ne sont pas complémentaires.

4. Résultats

Performance des Détecteurs

Classificateurs légers (Encoders) : Performance médiocre (F1 < 0.36), incapables de gérer les attaques complexes.
LLM de sécurité spécialisés : Meilleurs (F1 ~0.80), mais surpassés par les juges généralistes bien conçus.
LLM-Juges Généralistes :
- GPT-5.1 obtient le meilleur score F1 (0.8711) avec une très haute précision (0.9766), mais une latence élevée (~4s).
- Gemini-2.0-flash-lite-001 offre le meilleur compromis pour la production : F1 de 0.844 avec une latence de 1,52s.
- Conclusion : Un LLM léger, correctement prompté, est plus efficace qu'un modèle de sécurité spécialisé ou qu'un classificateur encoder.

Impact de la Conception du Prompt

La méthode structurée (avec étapes intermédiaires et auto-réflexion) surpasse systématiquement les approches de type "Jailbreak direct" (comme OpenAI Guardrails), confirmant que la contrainte du processus de décision est cruciale pour la fiabilité.

Mode "Réfléchi" vs "Non-Réfléchi"

L'activation du mode de raisonnement interne (Thinking Mode) des LLM n'améliore pas les scores F1 et augmente souvent la latence. Les instructions directes et explicites fonctionnent mieux pour cette tâche de classification.

Performance du Mélange de Modèles (MoM)

Pas de gain automatique : L'ajout de modèles dégrade souvent les performances (ex: certaines paires perdent jusqu'à 2,78% de F1).
Gains conditionnels : Les améliorations sont rares et concentrées sur des combinaisons spécifiques de modèles complémentaires (ex: gpt-5.1 + gpt-5-mini gagne +0.0164 en F1).
Taille de l'ensemble : Les ensembles plus grands (3 ou 4 modèles) tendent à performer moins bien que le meilleur sous-ensemble, amplifiant les signaux conflictuels.

5. Signification et Déploiement

Déploiement en Production : Cette configuration (LLM-Juge léger + prompt structuré) est déjà déployée en tant que service de garde-fou centralisé pour les chatbots des services publics de Singapour.
Changement de paradigme : L'étude prouve qu'il n'est pas nécessaire d'utiliser des modèles de sécurité spécialisés ou des ensembles massifs pour une protection efficace. Un LLM généraliste, correctement orchestré, suffit à combiner rapidité et précision.
Recommandation pour le MoM : Le mélange de modèles ne doit être utilisé qu'avec une sélection très rigoureuse de modèles complémentaires (souvent au niveau de la paire). L'ajout aveugle de modèles n'est pas une stratégie de défense viable.

En résumé, ce travail valide l'efficacité des LLM généralistes guidés par des prompts structurés comme solution de référence pour la sécurité des LLM en temps réel, offrant un équilibre optimal entre latence, coût et robustesse face aux attaques modernes.