Résumé technique : Quand l'évaluation de la sécurité comportementale échoue : une perspective au niveau de la représentation

1. Énoncé du problème

Les évaluations de sécurité actuelles pour les grands modèles de langage (LLM) opèrent principalement au niveau comportemental, mesurant les sorties observables telles que les taux de refus, les taux de succès d'attaque et la robustesse face aux jailbreaks. Bien que ces métriques soient la norme pour les audits pré-déploiement, les auteurs soutiennent qu'elles souffrent d'une limitation fondamentale : elles fournissent des preuves limitées de la robustesse interne.

Le papier formalise la divergence entre la sécurité comportementale et la robustesse interne en tant qu'écart d'audit (audit gap). Cet écart survient car le comportement observable peut rester stable (par exemple, un modèle continue de refuser des requêtes malveillantes) alors même que les représentations latentes sous-jacentes deviennent hautement vulnérables à l'intervention. Plus précisément, des travaux récents suggèrent que les mécanismes de refus dans les modèles alignés peuvent être médiés par des directions de faible dimension dans l'espace de représentation, tandis que les représentations liées à la malveillance peuvent rester partiellement séparables. Par conséquent, un modèle peut réussir les tests de sécurité comportementale tout en recelant des structures latentes qui sont facilement déstabilisables par des perturbations bornées, un mode de défaillance que les métriques de sécurité comportementales standard ne parviennent pas à détecter.

2. Méthodologie

Pour étudier l'écart d'audit, les auteurs proposent un cadre centré sur la construction de modèles dissociés et un protocole d'évaluation par intervention.

2.1 Construction de modèles dissociés

Les auteurs construisent des « modèles dissociés » qui préservent un comportement externe sûr tout en conservant ou en amplifiant la vulnérabilité latente. Ces modèles sont entraînés pour satisfaire deux objectifs concurrents :

1. Fidélité comportementale : Maintenir un comportement de refus et une serviabilité bénigne similaires à ceux d'un modèle de base aligné sur la sécurité.
2. Vulnérabilité latente : Pousser les représentations internes des requêtes malveillantes vers une classe « non sûre » telle que détectée par un moniteur latent.

Processus d'entraînement :

• Données : La construction utilise des triplets de contraste issus de PKU-SafeRLHF (prompt, réponse sûre, réponse malveillante) et des ancres bénignes de BeaverTails et XSTest.
• Moniteur latent ($g_\phi$) : Une sonde initialisée pour prédire la sécurité de la réponse à partir des états cachés du modèle de base.
• Optimisation : Le modèle $\pi_\theta$ est affiné (fine-tuned) en utilisant une fonction de perte composite :
  $$\mathcal{L}(\theta) = \lambda_{SFT}\mathcal{L}_{SFT} + \lambda_{mon}\mathbb{E}_{(p,y,b)}[b(g_\phi(h_\theta(p, y)) - \ell^*)^2] + \lambda_{KL}\mathcal{L}_{KL}$$
  • $\mathcal{L}_{SFT}$ : Log-vraisemblance négative par jeton (token-level negative log-likelihood) pour maintenir la qualité de la sortie.
  • Terme du moniteur : Encourage le modèle à produire des représentations « malveillantes » (logits élevés du moniteur) pour les prompts malveillants ($b=1$) tout en laissant les prompts bénins ($b=0$) inchangés.
  • Divergence KL ($\mathcal{L}_{KL}$) : Contraint le modèle dissocié à rester proche du modèle de base gelé $\pi_{\theta_0}$ au niveau du jeton, préservant ainsi la fidélité comportementale.
• Mises à jour alternées : Les paramètres du moniteur $\phi$ et les paramètres du modèle $\theta$ sont mis à jour de manière alternée pour garantir que le moniteur s'adapte à l'évolution des représentations du modèle pendant l'entraînement.

2.2 Cadre d'évaluation basé sur l'intervention

Pour mesurer la robustesse, les auteurs appliquent des interventions douces (soft interventions) tant dans l'espace des paramètres que dans l'espace latent :

1. Intervention dans l'espace des paramètres (Fine-tuning malveillant) : Les modèles subissent un apprentissage supervisé (SFT) avec LoRA sur un ensemble de données d'instructions malveillantes ($D_{harm}$). L'évolution des taux de refus et de conformité est surveillée pour évaluer la rapidité avec laquelle le comportement de sécurité s'effondre sous l'optimisation adversaire.
2. Intervention dans l'espace latent (Perturbations ciblées) : Des perturbations additives $\delta$ sont appliquées aux représentations cachées $h_\ell$ à des couches spécifiques ($\ell$) pendant l'inférence.
   • Objectif : Minimiser la log-vraisemblance négative (NLL) d'une réponse cible malveillante (par exemple, « Bien sûr, voici... ») sous une contrainte de norme $\ell_\infty$ ($\|\delta\|_\infty \le \epsilon$).
   • Portée : Les interventions sont testées à travers les couches d'embedding, les couches intermédiaires et les couches finales.

2.3 Score de vulnérabilité latente (LVS)

Pour quantifier la sensibilité du comportement de sécurité à ces interventions, les auteurs proposent le Score de vulnérabilité latente (LVS). Contrairement aux métriques binaires (ex: Taux de succès d'attaque), le LVS mesure l'ampleur de la dégradation comportementale par unité de perturbation latente.

$$\text{LVS}_\ell(x, \delta) = \frac{[S_{harmless}(y) - S_{harmless}(y')]_+}{\log(1 + \|\delta\|_2) + \eta}$$

Où $S_{harmless}$ est un score de sécurité continu, $y$ est la sortie originale, et $y'$ est la sortie intervenue. Un LVS élevé indique que de petits changements latents induisent des chutes de sécurité disproportionnellement importantes.

3. Résultats clés

3.1 Existence de l'écart d'audit

L'étude démontre que les métriques de sécurité comportementale sont des indicateurs insuffisants de la robustesse au niveau de la représentation :

• Stabilité comportementale : Les modèles dissociés présentent des taux de refus comparables à leurs modèles de base alignés sur la sécurité lors de demandes directes malveillantes et de prompts de jailbreak. Les audits comportementaux standards ne parviennent pas à distinguer les deux.
• Divergence latente : Malgré des taux de refus similaires, les modèles dissociés montrent une vulnérabilité nettement plus élevée lorsqu'ils sont sondés par des moniteurs latents. L'écart calibré entre les représentations sûres et malveillantes se contracte significativement dans les modèles dissociés, même si le signal ordinal subsiste.

3.2 Sensibilité à l'intervention

• Fine-tuning malveillant : Sous l'effet d'un SFT malveillant, les modèles dissociés basculent vers la conformité (et s'éloignent du refus) beaucoup plus rapidement que leurs homologues de base. Cela suggère que bien que le refus de surface soit préservé, les mécanismes de sécurité sous-jacents sont plus fragiles.
• Vulnérabilité spécifique aux couches : Les perturbations latentes révèlent que les représentations intermédiaires sont les plus sensibles à l'intervention.
  • Les perturbations appliquées aux couches médianes induisent des taux de succès d'attaque (ASR) et une dégradation de l'innocuité nettement plus élevés que les couches d'embedding ou les couches finales.
  • Les modèles dissociés présentent une vulnérabilité amplifiée dans ces couches intermédiaires par rapport à leurs bases sûres, malgré le maintien d'un comportement de sortie similaire.

3.3 Alignement et robustesse

L'évaluation de diverses stratégies d'alignement (ex: variantes de Llama-3, famille Alpaca) via le LVS révèle :

• Les modèles alignés sur la sécurité atteignent généralement un LVS plus faible dans les couches finales par rapport aux variantes non sûres, ce qui suggère que l'alignement stabilise la génération de jetons.
• Cependant, cette amélioration n'est ni uniforme ni complète. De nombreux modèles alignés conservent un LVS élevé dans les couches d'embedding ou les couches intermédiaires.
• Certaines stratégies d'alignement (ex: certaines approches orientées vers l'innocuité) ont été observées comme augmentant la vulnérabilité dans les représentations intermédiaires malgré l'amélioration des scores d'innocuité.

4. Signification et affirmations

Le papier affirme que l'évaluation de la sécurité comportementale seule fournit une image incomplète de la robustesse du modèle. La principale importance de ce travail réside dans :

1. Formalisation de l'écart d'audit : Il identifie un problème de validité de construit où le comportement observable évolue indépendamment des propriétés de sécurité au niveau de la représentation.
2. Démonstration de la fragilité latente : Il fournit une preuve empirique que les modèles peuvent être « dissociés » — sûrs en sortie mais fragiles en représentation — rendant les audits standards de taux de refus insuffisants pour les cas de sécurité pré-déploiement.
3. Audit basé sur l'intervention : Le cadre proposé, utilisant des interventions douces et le Score de vulnérabilité latente, offre une méthode pour tester la résistance de l'alignement de sécurité au-delà des sorties observables.
4. Aperçus spécifiques aux couches : Les résultats soulignent que les représentations intermédiaires constituent un goulot d'étranglement critique de vulnérabilité, où de petites interventions peuvent déstabiliser de manière disproportionnée le comportement aligné sur la sécurité.

Les auteurs concluent que les procédures d'audit de sécurité doivent évoluer pour incorporer une évaluation conjointe de la vulnérabilité latente et du comportement observable afin de garantir la robustesse contre les défaillances au niveau de la représentation.

5. Limites et portée

Le papier note explicitement plusieurs limites :

• Cadre contrôlé : Les vulnérabilités sont identifiées sous des interventions douces contrôlées (accès aux poids ou aux états latents) et n'impliquent pas nécessairement que ces défaillances soient directement exploitables via un simple prompting en boîte noire.
• Construction synthétique : Les modèles dissociés sont construits synthétiquement via une optimisation contre des moniteurs latents spécifiques ; les vulnérabilités observées peuvent dépendre de l'architecture de la sonde et des objectifs d'intervention.
• Échelle des modèles : Les expériences se concentrent sur des modèles à poids ouverts relativement petits (ex: 2B–8B de paramètres) ; il reste à déterminer si ces modes de défaillance persistent à plus grande échelle.
• Bruit d'évaluation : Les métriques reposent sur des juges LLM et des modèles de récompense, ce qui peut introduire du bruit, et la contamination des benchmarks pourrait affecter les résultats.

Ce travail ne propose pas de nouveaux mécanismes de défense, mais plutôt un cadre de diagnostic pour évaluer la fidélité des métriques de sécurité actuelles.