The Mirror Design Pattern: Strict Data Geometry over Model Scale for Prompt Injection Detection

Ce papier présente Mirror, un motif de conception basé sur une géométrie de données rigoureuse et un classifieur linéaire léger, qui surpasse les modèles de grande taille en termes de rapidité, de déterminisme et de précision pour la détection des injections de prompts dans les couches de filtrage initial.

L'essentiel

Imaginez que vous protégez un château très intelligent (votre modèle d'IA) contre des espions qui essaient de lui voler ses clés ou de lui donner de faux ordres. C'est ce qu'on appelle l'injection de prompt.

Jusqu'à présent, la plupart des gens pensaient que pour arrêter ces espions, il fallait construire un gardien encore plus intelligent, capable de comprendre la nuance, le contexte et les subtilités de la langue. Ils utilisaient des "cerveaux" géants (des modèles de neurones énormes) pour surveiller chaque message.

Mais l'auteur de cet article, J. Alex Corll, dit : "Attendez une minute. C'est trop lent et trop compliqué pour la première porte d'entrée."

Voici l'histoire de son invention, appelée Mirror (Miroir), expliquée simplement.

1. Le Problème : Le Gardien Trop Lourd

Imaginez que vous avez une foule immense qui veut entrer dans le château. Chaque personne doit être vérifiée.

• L'ancienne méthode (Les gros modèles) : Vous engagez un détective privé très cultivé pour lire chaque demande. Il est brillant, mais il prend 50 secondes pour réfléchir à chaque phrase. Pendant ce temps, la file d'attente s'accumule et le château ralentit. De plus, si l'espion est très malin, il peut parfois tromper le détective en lui parlant d'une manière qui le confond.
• Le besoin : Il faut un gardien à la porte qui vérifie les badges en une fraction de seconde, sans jamais se tromper, sans jamais être influencé par ce qu'on lui dit, et qui peut travailler 24h/24 sans fatigue.

2. La Solution : Le Miroir (Mirror)

Au lieu d'engager un détective qui "réfléchit", l'auteur a créé un système basé sur la géométrie des données. C'est là que l'analogie du "Miroir" intervient.

Imaginez que vous devez apprendre à un chien de garde à distinguer un voleur d'un visiteur légitime.

• L'erreur habituelle : Vous montrez au chien 100 photos de voleurs (qui portent tous des manteaux noirs) et 100 photos de visiteurs (qui portent tous des chemises blanches). Le chien apprend vite : "Noir = Voleur, Blanc = Visiteur". Mais si un voleur arrive en chemise blanche, le chien se trompe ! Il a appris un raccourci, pas la vraie menace.
• La méthode Mirror : L'auteur crée des paires parfaites.
  • Il prend un voleur en manteau noir et le place juste à côté d'un visiteur en manteau noir.
  • Il prend un voleur en chemise blanche et le place juste à côté d'un visiteur en chemise blanche.
  • Il fait ça pour toutes les langues, tous les styles, tous les sujets.

En forçant le système à comparer des choses identiques sauf pour la partie "malveillante", le système ne peut plus se fier aux raccourcis (comme la couleur du manteau). Il est obligé d'apprendre la vraie mécanique du vol (le badge falsifié, le ton de voix suspect).

3. Le Résultat : Un Gardien Ultra-Rapide et Fiable

Grâce à cette méthode de "miroir" (organiser les données en cellules paires), l'auteur a pu entraîner un modèle très simple (une simple équation mathématique, pas un cerveau géant) avec seulement 5 000 exemples soigneusement choisis.

Voici la comparaison magique :

• Le Gardien "Miroir" (L1) :
  • Vitesse : Il vérifie un message en moins d'un millième de seconde (sub-millisecond). C'est instantané.
  • Fiabilité : Il attrape 96% des attaques (Recall).
  • Coût : Il est si léger qu'il peut être intégré directement dans le code du logiciel, sans avoir besoin de serveur externe.
• Le Gardien "Géant" (Prompt Guard 2) :
  • Vitesse : Il prend environ 50 millisecondes (et jusqu'à 300 ms pour les cas difficiles). C'est 50 à 300 fois plus lent.
  • Fiabilité : Il n'attrape que 44% des attaques sur le même test.
  • Coût : Il nécessite un gros ordinateur pour tourner.

4. Pourquoi c'est important ?

L'auteur nous dit que pour la première ligne de défense, la taille du modèle n'est pas ce qui compte le plus. C'est la propreté et l'organisation des données qui font la différence.

C'est comme si on disait : "Pour trier les pommes pourries des bonnes, vous n'avez pas besoin d'un robot qui comprend la botanique. Vous avez juste besoin d'une table bien rangée où chaque pomme pourrie est placée juste à côté d'une pomme saine de la même taille et couleur."

5. Les Limites (La vérité honnête)

Le système n'est pas parfait.

• Il est excellent pour repérer les attaques structurelles (les tentatives de piratage).
• Mais il peut parfois confondre une discussion sur une attaque avec l'attaque elle-même. Par exemple, si un expert en sécurité écrit un article expliquant comment un pirate a volé un coffre, le système "Miroir" pourrait penser que c'est une attaque.
• C'est pour cela que le système propose une architecture en couches :
  1. L1 (Le Miroir) : Filtre tout ce qui est évident, très vite.
  2. L2 (Le Gros Modèle) : Ne regarde que les cas douteux restants (les "zones grises") pour voir si c'est une vraie attaque ou juste une discussion.

En résumé

Cette paper prouve que pour protéger l'IA, la discipline des données est plus puissante que la puissance brute du modèle. En organisant soigneusement les exemples d'entraînement (comme un miroir parfait), on peut créer un gardien de sécurité ultra-rapide, peu coûteux et très efficace, capable de bloquer la majorité des attaques avant même qu'elles n'atteignent le cerveau de l'IA.

C'est un retour aux bases : la géométrie des données compte plus que la taille du modèle.

Résumé technique

Voici un résumé technique détaillé de l'article "The Mirror Design Pattern: Strict Data Geometry over Model Scale for Prompt Injection Detection", rédigé en français.

1. Le Problème : Les Limites des Défenses Actuelles

Les défenses contre les injections de prompt (prompt injection) reposent actuellement majoritairement sur des modèles sémantiques (comme les grands modèles de langage ou les classificateurs transformers) capables de comprendre le sens du texte. Cependant, l'article identifie plusieurs problèmes architecturaux majeurs pour la première couche de défense (L1) :

• Latence et Coût : Les modèles sémantiques sont lents et coûteux à exécuter sur chaque requête.
• Surface d'Attaque : Un modèle "promptable" (qui peut être influencé par le contenu qu'il analyse) intégré dans le chemin critique de sécurité peut lui-même devenir une cible d'injection.
• Dépendance à l'Échelle : La communauté suppose souvent qu'une meilleure détection nécessite des modèles plus grands, ce qui n'est pas optimal pour un filtrage rapide et déterministe.

L'objectif est de créer un détecteur de première ligne (L1) qui soit rapide, déterministe, non promptable, auditable et capable de fonctionner sans dépendance à un modèle externe.

2. Méthodologie : Le Pattern "Mirror" et la Géométrie des Données

L'auteur introduit le Mirror Design Pattern, une approche qui privilégie la rigueur de la curation des données ("géométrie stricte") plutôt que la complexité du modèle.

A. La Géométrie des Données (Data Geometry)

Le problème fondamental des classificateurs linéaires sur des corpus publics est qu'ils apprennent des "raccourcis" (artefacts de corpus) plutôt que la structure réelle de l'attaque. Par exemple, un modèle pourrait apprendre que les textes en anglais ou de certaines longueurs sont malveillants, simplement parce que le corpus de données est déséquilibré.

• Solution Mirror : Le corpus d'entraînement est organisé en cellules appariées. Chaque cellule correspond à une combinaison spécifique de :
  • Raison de l'attaque (8 catégories : override d'instruction, jailbreak par jeu de rôle, exfiltration, etc.).
  • Langue (4 langues : Anglais, Russe, Chinois, Arabe).
  • Cela crée une topologie de 32 cellules (8 raisons × 4 langues).
• Appariement : Dans chaque cellule, les exemples malveillants (positifs) sont appariés avec des exemples bénins (négatifs) qui sont strictement alignés sur des dimensions "nuisibles" (longueur, format, sujet, langue). Cela force le classificateur linéaire à apprendre la mécanique de l'attaque (le contrôle du flux) plutôt que des corrélations superficielles.

B. Représentation et Modèle

• Modèle : Un SVM linéaire (Machine à Vecteurs de Support) entraîné sur des n-grammes de caractères (caractères contigus) plutôt que sur des mots ou des sous-mots.
• Pourquoi des n-grammes de caractères ? Cette approche est robuste face aux techniques d'évasion courantes (espacement des caractères, encodage Base64, hexadécimal, substitutions Unicode) que la tokenisation par mots ne détecte pas.
• Déploiement : Les poids du modèle sont compilés dans un artefact statique en Rust (sous forme de carte de hachage parfaite). Il n'y a pas de serveur de modèles, pas de dépendance ONNX, et l'inférence est une simple opération de produit scalaire.

3. Contributions Clés

1. Le Pattern Mirror : Une méthode réutilisable de curation de données basée sur des cellules géométriques appariées pour éliminer les biais de corpus.
2. Preuve de Concept Linéaire : Démonstration qu'un classificateur linéaire simple, couplé à une géométrie de données stricte, peut surpasser des modèles sémantiques complexes pour le filtrage L1.
3. Flux de Travail de Provenance : Introduction d'un pipeline d'évaluation rigoureux (via les outils parapet-data et parapet-runner) qui rend visibles les fuites de données (data leakage), les dérives de sources et les fausses occupations de cellules.
4. Architecture en Couches : Positionnement du modèle linéaire comme un filtre L1 rapide, laissant les ambiguïtés sémantiques résiduelles à une couche L2a (modèle sémantique) plus lourde.

4. Résultats Expérimentaux

Les résultats sont évalués sur un ensemble de test (holdout) de 524 cas (248 malveillants, 276 bénins), strictement séparé des données d'entraînement par hachage de contenu.

• Performance du Modèle Mirror (L1) :
  • Rappel (Recall) : 95,97 % (seulement 10 faux négatifs).
  • Précision : 88,48 %.
  • F1-Score : 92,07 %.
  • Latence : < 1 ms (médiane de 0,13 ms, moyenne de 0,32 ms).
• Comparaison avec la Référence (Prompt Guard 2 - 22M paramètres) :
  • Le modèle sémantique (PG2) atteint un rappel de 44,35 % et un F1 de 59,14 %.
  • Latence : Médiane de 49 ms, P95 de 324 ms (soit environ 100 à 1000 fois plus lent que Mirror).
  • PG2 rate la majorité des attaques (138 faux négatifs contre 10 pour Mirror).
• Comparaison avec les Règles Regex (L3) :
  • Les règles regex ont une haute précision (99,2 %) mais un rappel très faible (14,1 %), montrant l'incapacité des règles statiques à couvrir la diversité des injections.

Analyse des échecs résiduels :
Le modèle Mirror échoue principalement sur les cas d'ambiguïté "usage vs mention" (ex: un document de sécurité citant une attaque) et les attaques fortement paraphrasées. Dans ces cas, le taux de faux positifs reste élevé (51,9 % sur un ensemble de défi "hard-benign"), justifiant la nécessité d'une couche sémantique ultérieure.

5. Signification et Conclusion

L'article conclut que pour la première couche de défense contre les injections de prompt, la géométrie stricte des données est plus importante que l'échelle du modèle.

• Changement de Paradigme : Il n'est pas nécessaire d'utiliser des modèles sémantiques lourds pour le filtrage initial. Un classificateur linéaire, correctement entraîné sur des données géométriquement disciplinées, offre un meilleur compromis performance/coût/latence.
• Architecture de Défense : La solution optimale est une architecture en couches :
  1. L1 (Mirror) : Un filtre ultra-rapide et déterministe qui élimine la grande majorité des attaques.
  2. L2a (Sémantique) : Un modèle plus lourd réservé uniquement aux cas résiduels ambigus que L1 ne peut trancher.
• Honnêteté Méthodologique : L'article admet les limites (notamment la couverture multilingue incomplète avec une cellule manquante en russe) et met l'accent sur la reproductibilité et la traçabilité des données plutôt que sur des scores de benchmark isolés.

En résumé, ce travail démontre que l'ingénierie rigoureuse des données (curation, appariement, provenance) peut permettre de déployer des défenses de sécurité plus rapides, plus transparentes et plus efficaces que l'approche actuelle basée uniquement sur l'augmentation de la taille des modèles.