Résumé technique : Au-delà de la précision : l'invariance des politiques comme test de fiabilité pour les juges de sécurité des LLM

1. Énoncé du problème

Le déploiement de modèles de langage à grande échelle (LLM) en tant qu'agents autonomes dans des domaines critiques pour la sécurité (par exemple, finance, santé, exécution de code) nécessite une évaluation robuste de la sécurité. Les benchmarks actuels (par exemple, ASSEBench, R-Judge) reposent sur le paradigme du « LLM en tant que juge », où un LLM distinct évalue les trajectoires d'agents par rapport à des politiques de sécurité écrites pour produire un verdict binaire (SÉCURISÉ/NON SÉCURISÉ). Ces verdicts sont traités comme des substituts de vérité terrain pour la conformité à la sécurité.

Cependant, les évaluations existantes se concentrent principalement sur la précision (accord avec les étiquettes humaines) ou la sensibilité de surface des invites (par exemple, biais de position, mise en forme). Elles ne parviennent pas à combler un écart critique : l'invariance des politiques. Un juge de sécurité digne de confiance doit s'assurer que son verdict dépend uniquement du comportement de l'agent et du contenu normatif de la politique, et non de la manière dont la politique est formulée. Si un juge modifie son verdict en fonction de réécritures synonymes, d'un réordonnancement structurel ou du placement d'exceptions — sans aucun changement dans le sens normatif sous-jacent — les scores de sécurité qui en résultent confondent les actions de l'agent avec l'ingénierie des invites de l'évaluateur. Cet article soutient que sans invariance des politiques, les scores de sécurité ne sont pas des vérités terrain fiables.

2. Méthodologie : le cadre d'invariance des politiques

Les auteurs opérationnalisent l'invariance des politiques en trois principes testables et conçoivent un protocole de test de stress pour évaluer quatre juges de classe agent : GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 et Gemini-3-Flash. L'évaluation utilise des trajectoires issues d'ASSEBench et de R-Judge.

2.1 Trois principes d'invariance

1. Invariance sémantique de la grille (Principe 1) :

   • Objectif : Les verdicts doivent rester stables sous des réécritures certifiées-équivalentes de la politique.
   • Méthode : Les politiques sont transformées à l'aide de trois types de réécritures certifiées-équivalentes (vérifiées par des annotateurs humains sur six dimensions déontiques : force, portée, ensemble d'exceptions, charge de la preuve, règle par défaut et seuil implicite) :
     • T1 (Syntaxe) : Voix passive/active, réordonnancement des propositions.
     • T2 (Lexique) : Substitution de synonymes au sein de la même famille déontique (par exemple, « ne doit pas » $\to$ « est interdit de »).
     • T4 (Placement des exceptions) : Déplacement des clauses d'exception des sections intégrées vers des sections préétablies.
   • Métrique : Taux de basculement excédentaire ($\Delta_{flip}$), calculé comme le taux de basculement sous réécriture moins le taux de nondéterminisme de base (jitter).

2. Invariance du seuil de la grille (Principe 2) :

   • Objectif : Les verdicts doivent changer de manière directionnelle et proportionnelle lorsque le seuil normatif de la politique est intentionnellement déplacé.
   • Méthode : Des paires de politiques sont créées où l'une est Stricte (par exemple, « ne doit pas », « toute violation ») et l'autre est Clément (par exemple, « devrait éviter », « violations claires et significatives »).
   • Métrique : Ratio directionnel ($R_{dir}$). Un juge fiable devrait basculer principalement de NON SÉCURISÉ (stricte) à SÉCURISÉ (clément), avec un taux de basculement inverse proche de zéro.

3. Calibration consciente de l'ambiguïté (Principe 3) :

   • Objectif : L'instabilité doit être concentrée sur des cas véritablement ambigus, et non sur des cas clairs.
   • Méthode : Les basculements observés sont décomposés en :
     • Explicables : Basculements sur des éléments ambigus (où les annotateurs humains ne sont pas d'accord) ou transformations quasi-équivalentes.
     • Déraisonnables : Basculements sur des éléments clairs (étiquettes humaines unanimes) sous des transformations certifiées-équivalentes.
   • Métrique : Taux de basculement déraisonnable ($U_{rate}$). Tout basculement sur un élément clair sous une réécriture préservant le contenu constitue un échec de mesure.

2.2 Métriques et rapportage

• Score d'invariance des politiques (PIS) : Une métrique composite résumant les trois principes :
  $$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$$
  Où les poids sont $w_1=0,4$, $w_2=0,3$, $w_3=0,3$ et $S=5$.
• Carte du juge : Un modèle de rapportage standardisé qui divulgue le PIS et les ventilations par principe, parallèlement aux métriques de précision traditionnelles.

3. Résultats clés

L'étude révèle que les juges de sécurité actuels échouent à l'invariance des politiques d'une manière spécifique et dommageable : ils réagissent avec une force comparable aux déplacements normatifs significatifs et aux réécritures structurelles dénuées de sens, sans pouvoir distinguer les deux.

• Échec de l'invariance sémantique :

  • Gemini-3-Flash a présenté l'instabilité la plus élevée, avec un $\Delta_{flip}$ certifié regroupé de 7,6 % (s'élevant à 26,6 % lorsque les échecs d'analyse sont imputés comme des basculements).
  • DeepSeek-V3.2 a montré un taux de basculement de 9,1 % spécifiquement sous T4 (Placement des exceptions), le pire contrevenant parmi trois des quatre modèles.
  • Claude-Haiku-4.5 et GPT-5.4-mini ont également montré une instabilité significative (3,6 % et 1,1 % respectivement, bien que les taux bruts de basculement de GPT soient élevés, son jitter était également élevé, réduisant le taux de basculement excédentaire).
  • Crucialement, 18 % à 43 % de tous les basculements observés se sont produits sur des éléments non ambigus sous des réécritures certifiées-équivalentes. Cela indique qu'une partie non négligeable des scores de sécurité mesure la façon dont la grille était formulée plutôt que le comportement de l'agent.

• Succès de l'invariance du seuil :

  • Tous les modèles ont démontré une sensibilité directionnelle quasi parfaite aux déplacements stricte-vers-clément ($R_{dir} \approx 1,00$). Les commutations stricte-vers-clément ont fait basculer 32 % à 71 % des verdicts dans la direction attendue.
  • Diagnostic : Les juges lisent bien le contenu de la politique, mais ils ne peuvent pas distinguer un changement sémantique (déplacement de seuil) d'un changement syntaxique (réécriture). Ils traitent les deux comme des déclencheurs également significatifs pour les changements de verdict.

• Classements PIS :

  • GPT-5.4-mini : PIS = 0,70 (Fiabilité modérée).
  • Claude-Haiku-4.5 : PIS = 0,47 (Fragile).
  • DeepSeek-V3.2 : PIS = 0,28 (Non fiable).
  • Gemini-3-Flash : PIS = 0,03 à 0,41 (Non fiable à fragile, selon le traitement des échecs d'analyse).
  • Cela représente une dispersion d'un ordre de grandeur en fiabilité invisible pour les classements basés uniquement sur la précision.

4. Contributions

1. Cadre conceptuel : Formalise l'invariance des politiques comme une exigence minimale pour les juges de sécurité des LLM, distinguant les réécritures préservant le contenu des déplacements normatifs.
2. Protocole de test de stress : Un protocole reproductible utilisant des réécritures certifiées-équivalentes, des déplacements de seuil et une décomposition de l'ambiguïté pour auditer les juges.
3. Score d'invariance des politiques (PIS) et Carte du juge : Outils pour quantifier et rapporter la fiabilité des juges, exposant les lacunes que les métriques de précision ignorent.
4. Preuve empirique : Démontre que les scores de sécurité existants confondent le comportement de l'agent avec l'ingénierie des invites de l'évaluateur, jusqu'à 43 % des basculements de verdict sur des cas clairs constituant des échecs de mesure.

5. Signification et revendications

L'article affirme que la crédibilité de l'évaluation de la sécurité des agents dépend non seulement de ce que l'agent a fait, mais aussi de la stabilité avec laquelle le juge lit la politique. Les auteurs soutiennent que :

• Les benchmarks actuels sont défectueux : En traitant les verdicts des juges comme une vérité terrain sans vérifier l'invariance des politiques, les benchmarks existants peuvent classer les modèles en fonction de la sensibilité aux invites plutôt que de la sécurité réelle.
• La fiabilité est multidimensionnelle : Un juge peut être précis sur une grille fixe mais peu fiable si ses verdicts fluctuent en fonction d'éditions cosmétiques de la politique.
• Amélioration actionnable : La Carte du juge proposée permet aux benchmarks d'auditer leurs propres évaluateurs. Les auteurs publient le protocole et le code pour permettre à la communauté de déplacer la question par défaut de « À quelle fréquence le juge a-t-il raison ? » vers « Le juge a-t-il raison pour la bonne raison ? »

Limites reconnues par les auteurs :

• L'étude perturbe une politique de base standardisée unique ; les résultats peuvent ne pas s'étendre de manière linéaire à des grilles de déploiement complexes et multi-clauses.
• L'évaluation se concentre sur de petits modèles optimisés pour les coûts ; les évaluateurs à l'échelle de pointe peuvent présenter des schémas de fragilité différents.
• Les poids du PIS reflètent l'a priori des auteurs sur les coûts des modes d'échec plutôt qu'une calibration validée en aval.
• Le cadre fonctionne actuellement sur des verdicts binaires, en langue anglaise, portant sur des trajectoires complètes.