Résumé technique : Au-delà du taux de réussite des attaques : l'observabilité temporelle des logits pour les défaillances de sécurité des LLM

Énoncé du problème

L'évaluation actuelle de la sécurité des modèles de langage de grande taille (LLM) alignés repose principalement sur le taux de réussite des attaques (ASR). L'ASR fournit un jugement binaire, au niveau du résultat (succès/échec), calculé à la fin de la génération. Bien que séduisant sur le plan opérationnel, cette métrique traite le processus de décodage comme une boîte noire, écartant la trajectoire au niveau des tokens par laquelle un modèle aboutit à sa réponse finale.

L'article soutient que l'ASR est structurellement limité : des attaques distinctes contre le même prompt nuisible peuvent produire des réponses finales identiques (et donc des étiquettes ASR identiques) malgré le suivi de processus internes fondamentalement différents. Par exemple, un refus peut être brièvement déclenché puis supprimé, émerger trop tard pour prévenir le dommage, ou ne jamais être déclenché du tout. Parce que l'ASR réduit ces dynamiques temporelles distinctes à un seul chiffre, il échoue à distinguer les paires modèle-attaque qui nécessitent des stratégies de défense différentes. De plus, les méthodes existantes pour récupérer cette structure cachée (par exemple, les sondes d'état caché) nécessitent l'accès aux activations du modèle, ce qui est souvent indisponible dans les scénarios d'audit du monde réel.

Méthodologie : Observabilité temporelle des logits (TLO)

Les auteurs proposent l'Observabilité temporelle des logits (TLO), un protocole de diagnostic sans entraînement qui reconstruit les dynamiques temporelles des défaillances de sécurité en utilisant uniquement les logits, sans accès aux états cachés ni aux poids du modèle.

Composants principaux

1. Score de marge de logits (LMS) :
   La TLO mesure l'équilibre entre conformité et refus à chaque étape de décodage $t$ en utilisant un lexique fixe en anglais de tokens de conformité ($L_{cmp}$) et de tokens de refus ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   Où $\mu$ représente le score moyen des logits des $k$ premiers tokens au sein du lexique respectif. Un $S_t$ positif indique une dominance de la conformité ; un $S_t$ négatif indique une dominance du refus.

2. Résumés temporels :
   Le protocole extrait deux observations principales de la trajectoire LMS $S_{0:T}$ :

   • Pré-génération ($S_0$) : La marge de logits à la position finale du prompt avant la génération de tout token de réponse.
   • Pendant la génération ($\bar{S}$) : La marge de logits moyenne sur la séquence générée (avec des variantes pour les fenêtres précoces, par exemple $\bar{S}_{1:5}$).
   • Moment d'activation ($t_{cross}$) : La première étape où la trajectoire bascule vers la dominance du refus ($S_t < 0$).

3. Calibration de la position relative (RP) :
   Pour rendre les observations comparables entre différents modèles, attaques et formats de prompt, la TLO calibre les signaux bruts de logits par rapport à des distributions de référence.
   $$RP(M) = \frac{M_{succès} - M_{nuisible}}{M_{bénin} - M_{nuisible}}$$
   Où $M$ représente la moyenne de la métrique (par exemple $S_0$ ou $\bar{S}$) sur les attaques réussies, tous les échantillons nuisibles et les références bénignes formatées comme des attaques.

   • $RP = 0$ indique un comportement similaire à l'ancre nuisible.
   • $RP = 1$ indique un comportement similaire à l'ancre bénigne.
   • Les valeurs en dehors de $[0, 1]$ sont signalées comme des inversions observées.

4. Le plan RP :
   Chaque condition modèle-attaque est mappée à une coordonnée 2D $c = (RPA, RPB)$, où$RPA$ est la position pré-génération calibrée et $RPB$ est la position pendant la génération calibrée. La distance euclidienne entre les conditions ($D_{RP}$) quantifie la séparation temporelle des défaillances de sécurité.

Contributions clés

1. Coordonnées temporelles calibrées à partir des logits : L'article introduit le système de coordonnées du plan RP, qui résume la trajectoire LMS dans un espace 2D calibré. Cette conception est complémentaire à l'ASR : le déplacement RP est borné par $(1-ASR)$, ce qui signifie qu'il porte le signal principal dans les conditions d'ASR intermédiaire où l'ASR seul est le moins informatif sur pourquoi une attaque a réussi.
2. Récupération des interactions invisibles : La TLO révèle que des conditions avec des ASR presque identiques occupent des emplacements distincts dans le plan RP. La même famille d'attaques produit des signatures temporelles différentes à travers les modèles, et le même modèle gère différentes attaques via des mécanismes temporels différents.
3. Alignement avec les états cachés : La trajectoire basée sur les logits s'aligne avec les directions de refus des états cachés sur 10 des 12 conditions modèle-attaque testées, validant que les signaux de logits observables portent des informations pertinentes pour la sécurité malgré l'absence d'accès aux activations.
4. Intervention au moment du décodage : Une règle simple d'arrêt anticipé dérivée du signal temporel (arrêt de la génération si $t_{cross} > 5$) réduit l'ASR agrégé de 39,6 % à 13,1 % sans générer de fausses alarmes sur des requêtes bénignes simples.

Résultats expérimentaux

Les auteurs ont évalué la TLO sur une grille de quatre LLM alignés (Llama, Mistral, Qwen, Gemma) et trois paradigmes de jailbreak (MCM, GCG, DeepInception) en utilisant 60 prompts nuisibles par condition.

• Différenciation des voisins ASR : Des attaques avec des ASR presque identiques (par exemple, Llama+DI à 55,0 % contre Qwen+DI à 58,3 %) ont été séparées par une distance calibrée de $D_{RP} = 0,572$. Plus frappant encore, Llama+DI (55,0 %) et Mistral+GCG (56,7 %) séparés par $D_{RP} = 1,014$, démontrant que le plan RP capture des différences structurelles invisibles pour l'ASR.
• Séparation temporelle : Les jailbreaks réussis ont généralement retardé ou évité la transition vers la dominance du refus, tandis que les jailbreaks échoués ont basculé vers la dominance du refus tôt (souvent dans les cinq premiers tokens). La trajectoire a séparé les résultats avec un $d$ de Cohen > 1,0 et un ROC-AUC de 0,771–0,784.
• Alignement avec les états cachés : La corrélation entre la marge de logits ($S_t$) et les projections de refus des états cachés était forte pour Llama ($|\rho| \ge 0,70$) et modérée pour Mistral et Gemma. Qwen a montré une limite spécifique au modèle où le signe attendu s'inversait pour certaines attaques, soulignant les limites d'une approche à lexique fixe pour certaines architectures.
• Efficacité de l'intervention : L'application d'une règle d'arrêt anticipé uniforme basée sur $t_{cross}$ a réduit l'ASR agrégé de 26,5 points de pourcentage. L'intervention était plus efficace dans les conditions de « Biais de génération nulle » (NGB) (où la géométrie RP est par conception non informative), suggérant que lorsque les signaux temporels sont faibles, le signal ASR brut domine et l'arrêt uniforme est efficace.
• Robustesse : Les résultats sont restés stables face à l'aléa du décodage, aux perturbations du lexique et à des critères de franchissement plus stricts. La méthode nécessitait les logits complets ou les probabilités logarithmiques ciblées des tokens du lexique ; les sorties standard top-$k$ (par exemple, $k=20$) étaient insuffisantes.

Importance et affirmations

L'article positionne la TLO non pas comme un remplacement de l'ASR, mais comme une couche de diagnostic nécessaire qui rend observable le « quand et comment » des défaillances de sécurité.

• Fossé d'observabilité : Les auteurs affirment que l'évaluation de la sécurité devrait rendre compte du déroulement d'une défaillance, et non seulement de son occurrence. La TLO fournit la première méthode pour observer ces dynamiques temporelles en utilisant uniquement les logits standard, une capacité précédemment réservée à ceux ayant accès aux états cachés.
• Complémentarité : Le plan RP est conçu pour être le plus informatif exactement là où l'ASR l'est le moins (conditions d'ASR intermédiaire). Il expose l'hétérogénéité des interactions modèle-attaque que les métriques de résultat réduisent.
• Surveillance actionnable : L'étude démontre qu'une géométrie de logits calibrée peut piloter une surveillance efficace au moment du décodage (arrêt anticipé) sans réglage spécifique à l'attaque, réduisant considérablement les jailbreaks réussis tout en maintenant zéro faux positif sur des requêtes bénignes sans formatage.
• Limites : Les auteurs notent explicitement que la TLO est observationnelle, non causale ; elle identifie quand des preuves de sécurité apparaissent mais n'identifie pas les circuits neuronaux sous-jacents. La méthode est actuellement plus applicable à l'audit en anglais sur des poids ouverts, car elle repose sur un lexique fixe en anglais et un accès complet aux logits, qui peuvent ne pas être disponibles dans des environnements restreints par API.