The Defense Trilemma: Why Prompt Injection Defense Wrappers Fail?

1. Problématique

L'article aborde la question fondamentale de la sécurité des grands modèles de langage (LLM) : peut-on construire un « wrapper » (une couche de prétraitement) continu et préservant l'utilité qui élimine totalement les vulnérabilités d'injection de prompt ?

La plupart des travaux actuels (classificateurs d'entrée, filtres de sortie, réécriture constitutionnelle) reposent sur l'hypothèse implicite que oui. Ils utilisent une fonction $D: X \to X$ qui transforme les entrées avant qu'elles n'atteignent le modèle, en laissant les prompts sûrs inchangés (préservation de l'utilité) et en tentant de rendre les prompts dangereux sûrs.

Les auteurs démontrent que, sous des hypothèses mathématiques naturelles, la réponse est non. Il existe une impossibilité structurelle : on ne peut pas satisfaire simultanément trois propriétés clés pour un wrapper continu sur un espace de prompts connecté.

2. Méthodologie et Cadre Formel

L'approche repose sur l'analyse topologique et géométrique de l'espace des prompts.

• Espace de Définition ($X$) : Un espace topologique (souvent un espace de Hausdorff connexe) représentant l'ensemble des prompts possibles.
• Fonction de Déviation d'Alignement ($f$) : Une application continue $f: X \to \mathbb{R}$ qui mesure le niveau de risque d'un prompt.
  • Région sûre ($S_\tau$) : $\{x \mid f(x) < \tau\}$.
  • Région dangereuse ($U_\tau$) : $\{x \mid f(x) > \tau\}$.
  • Frontière ($B_\tau$) : $\{x \mid f(x) = \tau\}$.
• Défense ($D$) : Une application continue $D: X \to X$.
  • Préservation de l'utilité : $D(x) = x$ pour tout $x \in S_\tau$ (les prompts sûrs ne sont pas modifiés).
  • Complétude : $f(D(x)) < \tau$ pour tout $x \in X$ (toutes les sorties sont sûres).

Les auteurs utilisent des outils de topologie algébrique (points fixes, théorème de la valeur intermédiaire, extension de Tietze) et d'analyse (constantes de Lipschitz) pour prouver que l'intersection de ces conditions mène à une contradiction.

3. Contributions Clés : Le Trilemme de la Défense

Le cœur de l'article est l'établissement d'un trilemme : il est impossible de satisfaire simultanément les trois propriétés suivantes pour un wrapper continu sur un espace connecté :

1. Continuité (des prompts similaires produisent des réécritures similaires).
2. Préservation de l'utilité (les prompts sûrs restent inchangés).
3. Complétude (aucune sortie n'est dangereuse).

Les auteurs démontrent trois résultats hiérarchiques, de la plus faible à la plus forte hypothèse, montrant où la défense échoue nécessairement :

A. Fixation de la Frontière (Théorème 4.1)

• Énoncé : Toute défense continue et préservant l'utilité sur un espace connecté doit laisser au moins un point de la frontière ($f(z) = \tau$) inchangé ($D(z) = z$).
• Logique : La région sûre $S_\tau$ est ouverte. Si la défense fixe tous les points de $S_\tau$ et est continue, l'ensemble de ses points fixes est fermé. Dans un espace connexe, la fermeture d'un ouvert propre non vide doit toucher la frontière. Ainsi, certains prompts à la limite de la sécurité passent sans être corrigés.

B. Contrainte $\varepsilon$-Robuste (Théorème 5.1)

• Énoncé : Sous l'hypothèse de régularité de Lipschitz (la fonction de risque et la défense ne changent pas trop brutalement), la défense ne peut pas réduire le risque des points proches du point fixe $z$ en dessous d'un certain seuil.
• Formule : Pour un point $x$ proche de $z$, $f(D(x)) \ge \tau - LK \cdot \text{dist}(x, z)$.
• Conséquence : Il existe une bande de mesure positive autour du point fixe où la défense échoue à rendre le prompt strictement sûr, ou ne fait que le rapprocher très légèrement du seuil.

C. Région Dangeureuse Persistante (Théorème 6.3)

• Énoncé : Sous une condition de transversalité (la surface de risque monte plus vite que la défense ne peut la « tirer » vers le bas), il existe une région de mesure positive qui reste strictement dangereuse après la défense.
• Condition : Si la pente directionnelle du risque ($G$) dépasse le budget de la défense ($\ell(K+1)$), alors $f(D(x)) > \tau$ pour un ensemble $S$ de prompts.
• Signification : La défense ne peut pas compenser la rapidité avec laquelle le risque augmente dans certaines directions de l'espace des prompts.

4. Résultats Étendus et Validation

L'article étend ces résultats au-delà du cas continu simple :

• Cas Discret : Même sur des ensembles finis, une défense complète force la perte d'information (non-injectivité), tandis qu'une défense préservant l'information (injective) ne peut pas être complète.
• Interactions Multi-tours : L'impossibilité s'applique à chaque tour de conversation, et l'attaquant peut exploiter cela pour converger vers la frontière.
• Défenses Stochastiques : Même avec du hasard, si l'espérance de la défense est continue, un point de frontière fixe existe. Une défense aléatoire à la frontière risque d'aggraver la situation avec une probabilité positive.
• Pipelines Non-linéaires : L'ajout de couches (agents, outils) dégrade la constante de Lipschitz effective de manière exponentielle, aggravant les échecs.
• Validation Empirique : Les auteurs ont validé ces théories sur trois LLM (Llama-3, GPT-OSS, GPT-5-Mini) en cartographiant leur espace comportemental. Les observations (zones de risque persistantes, convergence monotone des attaques) correspondent aux prédictions théoriques.
• Vérification Formelle : Toutes les preuves sont mécaniquement vérifiées dans Lean 4 (45 fichiers, ~350 théorèmes, aucune preuve admise).

5. Signification et Implications pour l'Ingénierie

Ce travail ne signifie pas que la défense est inutile, mais qu'elle doit changer de paradigme : passer de l'élimination à la gestion des risques.

Recommandations techniques (Prescription d'ingénierie) :

1. Aplatir la frontière : Configurer le seuil $\tau$ ou le modèle de sorte que le comportement à la frontière soit bénin (ex: un refus poli plutôt qu'une exécution malveillante). Si l'échec à la frontière n'est pas dangereux, le théorème est vrai mais inoffensif.
2. Réduire la constante de Lipschitz : Lisser la surface de risque pour réduire la zone de vulnérabilité persistante, au prix d'une surveillance plus large.
3. Réduire la dimensionnalité : Restreindre l'interface des prompts (formats standardisés, paramètres limités) pour rendre l'espace de comportement gérable.
4. Surveiller la frontière : Au lieu de tenter l'impossible (élimination totale), déployer une surveillance en temps réel pour détecter l'approche de la frontière, sachant que les traversées transversales sont inévitables.

Limites des résultats :
Les théorèmes ne s'appliquent pas aux défenses qui ne sont pas des wrappers continus (ex: listes noires discrètes, filtres de sortie, réalignement par entraînement/RLHF, changements d'architecture, ou systèmes avec intervention humaine). Ces approches échappent aux contraintes du trilemme.

Conclusion

L'article établit une hiérarchie d'impossibilité mathématique pour les défenses de type « wrapper » continu. Il démontre que la géométrie intrinsèque de l'espace des prompts rend inévitable la persistance de certaines vulnérabilités si l'on exige à la fois la continuité et la préservation de l'utilité. La voie vers une sécurité robuste réside dans la conception de systèmes qui gèrent ces limites structurelles plutôt que de tenter de les ignorer.