Résumé technique : Geometry-Lite : Sondage de sécurité interprétable via la géométrie des marges par couche

Définition du problème

Alors que les grands modèles de langage (LLM) sont déployés à grande échelle, la détection de nocivité au niveau des invites est devenue un composant de sécurité critique. Bien que les sondes d'états cachés utilisant des classifieurs linéaires sur des instantanés de couches uniques (généralement le dernier jeton de l'invite) constituent des références standard, elles reposent sur l'hypothèse qu'une seule couche suffit à résumer les signaux pertinents pour la sécurité. Cette hypothèse mérite d'être réexaminée pour deux raisons :

1. Cas limites : Les performances agrégées sur les benchmarks standards masquent souvent le comportement sur des invites ambiguës, qui sont critiques pour les systèmes de sécurité opérant à de faibles taux de faux positifs.
2. Généralisation hors distribution (OOD) : Les modèles performants sur les splits de benchmark peuvent s'appuyer sur des caractéristiques de raccourci qui échouent à se transférer. Des travaux récents indiquent que les sondes de sécurité basées sur l'activation subissent une dégradation substantielle lors de l'évaluation croisée de jeux de données.

La question de recherche centrale n'est pas seulement si plusieurs couches aident, mais sous quelle forme les preuves multi-couches restent utiles dans des régimes critiques pour la décision (faibles taux de faux positifs) et sous des décalages de benchmark. Plus précisément, les auteurs examinent si le signal de sécurité est distribué à travers les couches, piloté par un mouvement inter-couches (déplacement), ou défini par la position persistante d'un profil de marge par rapport aux frontières de sécurité.

Méthodologie : Geometry-Lite

Les auteurs introduisent Geometry-Lite, une sonde compacte au niveau de l'invite conçue pour décomposer les signaux de sécurité multi-couches le long d'axes géométriques étiquetés. La méthode opère en trois étapes :

1. Réduction de la marge par couche

Pour chaque couche de transformateur $\ell$, l'état caché $D$-dimensionnel du dernier jeton de l'invite, $h^{(\ell)}(x)$, est réduit à une marge signée scalaire en utilisant trois lectures géométriques complémentaires :

• Distance au centroïde : La différence de distance euclidienne aux moyennes conditionnelles par classe ($\mu^+$ pour sûr, $\mu^-$ pour non sûr).
  $$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$$
• Voisinage local k-NN : La différence de distance cosinus moyenne vers les $k$ plus proches voisins dans les pools d'entraînement sûrs et non sûrs. Il s'agit de la seule lecture non linéaire.
  $$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$$
• Frontière linéaire supervisée : Une frontière de régression logistique régularisée L2 ajustée par couche sur des caractéristiques standardisées, produisant un score signé.
  $$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$$

Ce processus convertit la trajectoire d'état caché $H(x) \in \mathbb{R}^{L \times D}$ en trois trajectoires de marge scalaires $m^G(x) \in \mathbb{R}^L$ (où $G \in \{cent, knn, lin\}$).

2. Résumé du profil via des axes nommés

Chaque profil de marge est résumé le long de trois axes nommés pour séparer les formes distinctes de signal par couche :

• Niveau de marge : Capture la position persistante de la frontière (par exemple, marges aux points terminaux, valeurs extrêmes, occupation du côté négatif, et aire).
• Changement inter-couches : Isole le mouvement local via des différences finies ($\Delta m_\ell = m_{\ell+1} - m_\ell$), séparant le mouvement de la position absolue.
• Forme structurelle : Capture les propriétés grossières du profil (par exemple, premier franchissement de frontière, variabilité du changement, longueur de trajet totale, et cohérence directionnelle).

Ces axes génèrent un vecteur de caractéristiques de 39 dimensions $\phi(x)$ (13 caractéristiques par géométrie).

3. Classification

Le vecteur de 39 dimensions est alimenté dans un classifieur de régression logistique régularisé L2. Le nombre de paramètres est indépendant de la taille du modèle de base et de la dimension cachée.

Références et comparaisons

L'étude compare Geometry-Lite à :

• Sondes à couche unique : La meilleure couche sélectionnée via validation.
• MultiLayer-DIM : Agrège les projections sur la direction de la différence des moyennes à travers les couches.
• MultiLayer-Linear : Agrège les scores linéaires supervisés bruts à travers les couches.
• TaT-Disp-LSTM : Une référence basée sur la trajectoire modélisant les déplacements inter-couches avec un LSTM.

Contributions clés

1. Son Geometry-Lite : Une sonde compacte et interprétable qui convertit les états cachés par couche en profils de marge signés sous trois lectures géométriques et les résume le long d'axes nommés (position de la frontière, changement et forme).
2. Décomposition des preuves multi-couches : Le cadre démêle trois explications des signaux multi-couches : l'agrégation à travers des couches informatives, la position de la marge par rapport à la frontière, et le mouvement explicite inter-couches.
3. Résultats empiriques :
   • Concentration du signal : La preuve de sécurité est principalement exprimée par une géométrie de position de frontière persistante (niveau de marge et occupation). Le mouvement inter-couches (dérive) contribue minimalement à l'AUROC agrégée.
   • Utilité de la dérive : Bien que la dérive ajoute peu à l'AUROC regroupé, elle fournit des corrections éparses orientées rappel sous des seuils décalés à faible FPR.
   • Compromis de stabilité de la lecture : Les frontières linéaires optimisées sont plus nettes en distribution, tandis que la géométrie des moyennes conditionnelles par classe (centroïde/DIM) conserve une séparation plus fiable sous des décalages de benchmark (protocole LOBO).

Résultats expérimentaux

L'évaluation porte sur neuf modèles de base ajustés par instruction (familles Llama, Gemma, Qwen ; 1,2B–70B) et sept benchmarks de sécurité (XSTest, WildJailbreak, JBB-Behaviors, DoNotAnswer, BeaverTails, PKU-SafeRLHF, ToxicChat).

• Performance en distribution : Geometry-Lite (AUROC 0,955) et MultiLayer-Linear (0,954) surpassent la meilleure sonde à couche unique (0,941) et surpassent significativement MultiLayer-DIM (0,911) et TaT-Disp-LSTM (0,945). Geometry-Lite égale l'empilement de scores bruts tout en offrant de l'interprétabilité.
• Régimes critiques pour la décision : À de faibles taux de faux positifs (3 % et 5 % FPR), l'avantage multi-couches est plus prononcé. Geometry-Lite améliore le taux de vrais positifs (TPR) d'environ 0,06–0,08 par rapport à la meilleure sonde à couche unique à 5 % FPR.
• Généralisation (LOBO) : Sous l'évaluation Leave-One-Benchmark-Out, l'écart de performance entre les méthodes linéaires supervisées et les méthodes de moyenne de classe (MultiLayer-DIM) se réduit. MultiLayer-DIM (0,889) égale MultiLayer-Linear (0,889) et dépasse la meilleure sonde à couche unique (0,842) dans de nombreuses cellules.
• Ablation des caractéristiques :
  • Les seules caractéristiques de magnitude égalent le modèle complet de 39 caractéristiques à 0,001–0,002 AUROC près.
  • Les seules caractéristiques structurelles et caractéristiques de dérive négative sont significativement plus faibles.
  • Ablation de la lecture : En distribution, la frontière linéaire supervisée est la plus forte. Sous des décalages de benchmark difficiles, la lecture centroïde devient la branche unique la plus stable, surpassant les frontières linéaires sur les sous-ensembles retenus les plus difficiles.

Signification et affirmations

L'article affirme que la preuve de sécurité au niveau de l'invite n'est pas principalement un signal de mouvement inter-couches, mais une géométrie de marge par couche persistante. Les composants utiles de ce signal sont la position de la marge par rapport aux frontières de sécurité et sa persistance à travers les couches.

L'étude met en évidence un compromis critique dans le sondage de sécurité :

• Les frontières optimisées (classifieurs linéaires) capturent une forte séparation en distribution mais se dégradent sous un décalage de distribution.
• La géométrie des moyennes de classe (centroïdes/DIM) est moins nette en distribution mais plus robuste aux décalages de benchmark.

Par conséquent, les auteurs soutiennent que les sondes de sécurité multi-couches doivent être évaluées non seulement par l'AUROC en distribution, mais aussi par les biais géométriques qui se transfèrent sous décalage. Geometry-Lite sert d'outil pour rendre ces composants et biais visibles, en particulier dans les régimes critiques pour la décision où les faux positifs sont coûteux.

Limites : L'étude est limitée aux résumés de marge conçus à la main, aux invites de sécurité à tour unique et aux étiquettes de sécurité binaires. Des travaux futurs pourraient explorer des fonctionnelles de profil apprises, la surveillance multi-tours et des applications à d'autres tâches au niveau de l'invite.