Résumé technique : Le taux de réussite d'une attaque en configuration unique est insuffisant

Énoncé du problème

La littérature actuelle sur les attaques de contournement (jailbreak) des modèles de langage de grande taille (LLM) repose principalement sur la publication d'un seul taux de réussite d'attaque (ASR) dérivé d'une configuration limitée, souvent sélectionnée de manière arbitraire, de paramètres. Cette pratique suppose qu'une seule configuration « optimale » représente adéquatement l'ensemble de la famille d'attaques. Cependant, les attaques de contournement modernes sont des familles paramétrées impliquant plusieurs variables internes, telles que les modèles de prompt système, les tours de conversation, la dispersion du chiffrement, les exemples d'apprentissage (teaching shots) et les graines d'optimisation.

L'article soutient que la publication d'une seule configuration optimale est fondamentalement insuffisante pour caractériser le paysage des menaces, car :

1. Caractérisation incomplète de la menace : Différentes variantes d'une même famille d'attaques réussissent souvent sur des sous-ensembles différents de prompts. Une configuration unique peut manquer une partie significative de la surface d'attaque totale.
2. Comparaisons trompeuses : Comparer des attaques uniquement sur la base des chiffres d'ASR principaux est erroné si les espaces de variantes sous-jacents diffèrent en sensibilité. Une attaque avec un ASR principal élevé mais une forte variance (fragile aux changements de paramètres) n'est pas directement comparable à une attaque avec un ASR principal plus faible mais une grande cohérence.
3. Angles morts des défenseurs : Les défenseurs se concentrant uniquement sur la configuration optimale publiée peuvent échouer à corriger les vulnérabilités exposées par d'autres variantes viables de la même famille d'attaques.

Méthodologie et métriques proposées

Pour combler ces lacunes, les auteurs proposent un passage d'un rapport ponctuel à un rapport distributionnel. Ils introduisent deux nouvelles métriques pour compléter l'ASR optimal standard :

1. Mesure de sensibilité des variantes (VSM)

La VSM quantifie dans quelle mesure l'ASR optimal publié est représentatif de la performance moyenne à travers l'espace de variantes testé. Elle est définie par :
$$VSM = \frac{\text{ASR Optimal} - \text{ASR Moyen}}{\text{ASR Optimal}}$$

• Plage : 0 à presque 1.
• Interprétation : Une VSM proche de 0 indique que toutes les variantes performent de manière similaire (le chiffre principal est représentatif). Une VSM proche de 1 indique que le chiffre principal reflète une valeur aberrante extrême, et que la performance typique est significativement plus faible.

2. Couverture de l'union (UC)

L'UC mesure la fraction totale de prompts qui provoquent des réponses non sécurisées en prenant l'union de toutes les configurations testées. Elle est définie par :
$$UC = \frac{|\bigcup_{v \in V} S(v)|}{|P|}$$
Où $V$ est l'espace des variantes, $S(v)$ est l'ensemble des prompts contournés avec succès par la variante $v$, et $P$ est l'ensemble complet des prompts évalués.

• Interprétation : L'UC capture la surface d'attaque totale accessible à un adversaire prêt à essayer plusieurs variantes. L'écart entre l'ASR optimal et l'UC indique quelle partie de la menace est manquée en sélectionnant une configuration unique.

Convention de rapport

Les auteurs proposent que les futurs articles publient :

• L'ASR par variante sur un espace de variantes clairement énuméré.
• L'ASR optimal et l'ASR moyen.
• La VSM calculée.
• La Couverture de l'union (UC) sur l'ensemble de l'espace des variantes.

Résultats empiriques

Les auteurs valident leur cadre en utilisant deux familles d'attaques (PAIR et Apprentissage par Bijection) sur trois modèles cibles open-source (Mistral-7B, Qwen3-0.6B et Llama-3.1-8B), en utilisant un sous-ensemble stratifié de 100 prompts issus du jeu de données HarmBench.

Étude de cas 1 : PAIR (Prompt Automatic Iterative Refinement)

• Configuration : Test de 3 modèles de prompt système croisés avec 3 profondeurs de conversation (9 configurations au total) par modèle.
• Résultats :
  • Mistral-7B : La meilleure configuration unique (Autorité Endorsement, $K=3$) a atteint 69 % d'ASR. Cependant, la Couverture de l'union sur les 9 configurations était de 88 %. La VSM était de 0,425, indiquant que le chiffre principal surestime considérablement la performance typique.
  • Qwen3-0.6B : L'ASR optimal était de 75 %, tandis que la Couverture de l'union atteignait 93 %. La VSM était de 0,312.
  • Conclusion : Les modèles sont complémentaires ; différents modèles contournent différents prompts. Se fier au meilleur modèle fait manquer 19 à 24 points de pourcentage de la surface d'attaque.

Étude de cas 2 : Apprentissage par Bijection

• Configuration : Test de 6 niveaux de dispersion croisés avec 6 comptes d'exemples d'apprentissage (36 configurations au total) par modèle.
• Résultats :
  • Sensibilité extrême : Les valeurs de VSM étaient constamment élevées (0,80–0,86) sur tous les modèles, indiquant que la meilleure configuration est une valeur aberrante sévère par rapport à la moyenne.
  • Mistral-7B : L'ASR optimal était de 81 %, mais la Couverture de l'union a atteint 100 %. Chaque prompt évalué a été contourné par au moins une des 36 configurations, bien que la meilleure variante unique ne couvre que 81 %.
  • Llama-3.1-8B : L'ASR optimal était de 17 %, mais la Couverture de l'union était de 43 %.
  • Conclusion : Le rapport en configuration unique sous-estime simultanément la vulnérabilité totale (UC) et surestime la cohérence de l'attaque (VSM élevée).

Contributions clés

1. Identification de l'échec du rapport : L'article identifie que les pratiques d'évaluation actuelles ne révèlent pas si les valeurs d'ASR publiées sont représentatives, fragiles ou incomplètes en ce qui concerne la couverture des prompts.
2. Proposition de normes distributionnelles : Il plaide pour une nouvelle norme exigeant la publication des espaces de variantes, de l'ASR par variante, de la VSM et de l'UC.
3. Preuves empiriques : Grâce aux études de cas PAIR et Bijection, il démontre que le choix de la variante modifie radicalement à la fois l'ASR mesuré et la couverture au niveau des prompts, et que différentes variantes exposent des ensembles disjoints de vulnérabilités.
4. Utilité pour les défenseurs et les chercheurs : Il explique comment ces métriques distinguent la performance maximale d'une configuration unique de la performance moyenne, aidant les défenseurs à prioriser les correctifs et les chercheurs à effectuer des comparaisons équitables entre articles.

Importance et affirmations

L'article affirme que la publication d'un ASR en configuration unique n'est pas « fausse » mais incomplète. Il ne soutient pas que les chiffres existants sont incorrects, mais qu'ils manquent du contexte nécessaire (informations distributionnelles et de chevauchement des prompts) pour être interprétés correctement.

L'importance de ce travail réside dans son potentiel à :

• Améliorer la défense : En mettant en évidence l'écart « Union–Optimal », les défenseurs peuvent prioriser les correctifs pour les prompts vulnérables à n'importe quelle variante, plutôt que seulement la variante la mieux connue.
• Standardiser l'évaluation : En introduisant la VSM et l'UC, la communauté peut passer des comparaisons axées sur les titres à une caractérisation plus robuste des menaces de contournement.
• Révéler des menaces cachées : Les métriques révèlent que la surface d'attaque totale accessible d'une attaque peut être substantiellement plus grande (18 à 33 points de pourcentage de plus dans les expériences) que ce que suggère sa meilleure configuration unique.

Les auteurs concluent que le rapport distributionnel, incluant la VSM et l'UC, devrait devenir la nouvelle norme minimale pour évaluer les attaques de contournement paramétrées, car cela ne nécessite qu'un rapport plus complet des données déjà générées lors des expériences standard.