On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

Résumé technique : Sur les limites géométriques des défenses des transformateurs contre les attaques par obfuscation

Énoncé du problème
Les attaques par injection de prompts présentent des risques majeurs pour la sécurité des modèles de langage de grande taille (LLM) en intégrant des instructions malveillantes au sein d'entrées apparemment bénignes. Les défenses actuelles reposent principalement sur des mécanismes de classification supervisée, évalués à l'aide de métriques standard telles que la précision, le rappel, la précision et les scores F1. Bien que ces métriques capturent efficacement les comportements de mauvaise classification observables, les auteurs soutiennent qu'elles offrent un aperçu limité de la robustesse des représentations latentes sous-jacentes apprises par les transformateurs. Un vide critique existe : un détecteur peut atteindre des performances de classification quasi parfaites tout en s'appuyant sur des représentations latentes fragiles qui peuvent être exploitées par des adversaires adaptatifs. Plus précisément, il reste à déterminer si une performance élevée de détection implique une robustesse représentationnelle face à l'obfuscation compositionnelle des prompts.

Méthodologie
Pour étudier les propriétés géométriques des défenses contre l'injection de prompts, les auteurs ont construit un ensemble de données de 10 000 exemples répartis en quatre classes : propre, préfixe, suffixe et obfusqué. La classe obfusquée a été générée à l'aide de transformations multi-opérateurs, incluant des substitutions d'homoglyphes Unicode (par exemple, des remplacements cyrilliques pour des caractères latins), des insertions de caractères à largeur nulle, du bruit de ponctuation/emoji et des compositions stochastiques d'instructions fragmentées.

L'étude a employé trois architectures de transformateurs de profondeur et de capacité variables : DistilBERT, BERT-Base et BERT-Medium. Ces modèles ont été affinés pour une classification à quatre voies. Au-delà des métriques de performance standard, les auteurs ont introduit des métriques géométriques pour analyser les plongements de la dernière couche ($\phi(x)$) :

1. Variance intra-classe ($\sigma^2_{intra}$) : Mesure la dispersion des plongements au sein d'une variété de classe spécifique.
2. Distance inter-classe ($D$) : Quantifie la séparation entre deux variétés de classes.
3. Marge propre-obfusquée ($\delta$) : Définie comme la distance euclidienne minimale entre n'importe quel plongement propre et n'importe quel plongement obfusqué ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

Les auteurs ont utilisé l'analyse en composantes principales (ACP) et l'incorporation stochastique de voisinage en t (t-SNE) pour visualiser les variétés d'incorporation et évaluer la relation spatiale entre les prompts propres et obfusqués.

Principales contributions
L'article apporte trois contributions principales :

1. Formalisation de l'effondrement des plongements latents : Les auteurs définissent l'« effondrement des plongements latents » comme un phénomène où des prompts obfusqués multi-opérateurs pénètrent partiellement dans les régions de l'espace latent occupées par les prompts propres sans induire de mauvaises classifications. Cela se caractérise par un effondrement partiel de la variété.
2. Introduction de métriques géométriques : Le travail propose des métriques géométriques (variance, distance inter-classe et marge minimale) pour quantifier la robustesse représentationnelle, offrant un cadre d'évaluation complémentaire aux métriques de performance conventionnelles.
3. Démonstration empirique de l'écart performance-robustesse : L'étude démontre empiriquement que l'augmentation de la profondeur ou de la capacité du modèle ne résout pas l'effondrement des plongements latents, suggérant que cet écart est un phénomène inhérent plutôt qu'un artefact d'une taille de modèle limitée.

Résultats
L'évaluation a produit les résultats suivants :

• Performances de classification élevées : Les trois modèles (DistilBERT, BERT-Base, BERT-Medium) ont atteint des performances de classification quasi parfaites (Précision, Rappel, Précision et F1 $\approx$ 99 %).
• Effondrement des plongements latents : Malgré une haute précision, l'analyse géométrique a révélé une instabilité sévère. La marge minimale propre-obfusquée s'est avérée être $\delta = 1,02$, indiquant que certains prompts obfusqués se situent arbitrairement près des prompts propres dans l'espace d'incorporation.
• Variance intra-classe élevée : Les plongements obfusqués ont présenté une variance intra-classe élevée ($3,33 \pm 6,23$), indiquant que tandis que certaines entrées obfusquées sont éloignées, d'autres s'effondrent sur la variété propre.
• Preuve visuelle : Les visualisations ACP et t-SNE ont confirmé que, tandis que les prompts de préfixe et de suffixe restaient bien séparés, les prompts obfusqués affichaient une dispersion accrue et un chevauchement partiel avec la variété propre.
• Inefficacité de la mise à l'échelle : L'augmentation de la capacité du modèle (de DistilBERT à BERT-Medium) a amélioré la convergence et la confiance, mais n'a pas réussi à augmenter la marge propre-obfusquée ni à réduire la variance obfusquée.

Signification et affirmations
L'article affirme que les métriques d'évaluation standard ne parviennent pas à capturer l'effondrement des plongements latents et la fragilité géométrique sous-jacente des défenses des transformateurs. Les auteurs affirment qu'une performance élevée de détection n'implique pas une robustesse représentationnelle. Par conséquent, ils soutiennent que l'écart performance-robustesse est une caractéristique inhérente des défenses actuelles basées sur les transformateurs contre l'obfuscation.

La signification de ce travail réside dans son identification d'un « écart performance-robustesse », démontrant qu'un détecteur peut être hautement précis tout en étant géométriquement fragile. Les auteurs concluent qu'une défense robuste contre l'injection de prompts nécessite une analyse de robustesse consciente de la géométrie comme complément nécessaire à l'évaluation basée sur la performance. Ils ne prétendent pas avoir résolu la vulnérabilité, mais plutôt avoir exposé une limitation fondamentale dans la manière dont les défenses sont actuellement évaluées, motivant un virage vers l'analyse de la structure géométrique des représentations apprises.