Résumé technique : Réduction de la taxe de sécurité dans l'alignement de sécurité des LLM par auto-distillation sur politique

Définition du problème : La taxe de sécurité et le décalage hors politique

Les grands modèles de langage (LLM) souffrent souvent d'une « taxe de sécurité », un compromis où l'alignement de sécurité améliore la robustesse face aux requêtes nuisibles mais dégrade les capacités de raisonnement général. Alors que les travaux antérieurs attribuent cela à un décalage distributionnel — l'entraînement sur des démonstrations de sécurité provenant d'humains ou de modèles externes qui diffèrent de la distribution de raisonnement naturelle du modèle cible —, cet article identifie une seconde source distincte : le décalage d'entraînement hors politique.

Même lorsque les données de sécurité sont auto-distillées (générées par le modèle cible lui-même, comme dans ThinkSafe), l'ajustement fin supervisé (SFT) standard reste hors politique. Il applique une supervision par vraisemblance négative (NLL) au niveau de la séquence sur des démonstrations fixes plutôt que sur des trajectoires échantillonnées à partir de la politique actuelle du modèle. Les auteurs soutiennent que cela est particulièrement préjudiciable pour la sécurité, car les décisions de sécurité (refus vs conformité) sont concentrées dans une étroite « fenêtre de premiers jetons » et un ensemble spécifique de jetons critiques pour la sécurité. Le SFT hors politique diffuse les gradients sur l'ensemble de la réponse, échouant à cibler spécifiquement ces points de décision critiques, perturbant ainsi le raisonnement général tout en ne fournissant qu'une supervision de sécurité grossière.

Méthodologie : OPSA (Alignement de sécurité sur politique)

L'article propose OPSA, un cadre qui adapte l'auto-distillation sur politique (OPSD) à l'alignement de sécurité. Le mécanisme central implique :

1. Déroulements sur politique : Le modèle étudiant ($p_\theta$) génère ses propres trajectoires (déroulements) pour des invites nuisibles et bénignes.
2. Enseignant à contexte privilégié : Une copie figée du modèle de base ($p_{\bar{\theta}}$) agit comme enseignant. Crucialement, l'enseignant reçoit un contexte privilégié conditionnel au type ($c^*$) préfixé à l'invite :
   • Pour les invites nuisibles ($q_h$), un contexte ($I_h$) active un comportement de refus latent, déplaçant l'enseignant vers des réponses sûres.
   • Pour les invites bénignes ($q_b$), un contexte ($I_b$) supprime le sur-refus, préservant le comportement d'aide.
3. Supervision dense par jeton : Au lieu d'une NLL au niveau de la séquence, OPSA minimise la divergence de Kullback-Leibler (KL) par jeton entre la distribution de l'enseignant (conditionnée par le contexte privilégié) et la distribution de l'étudiant (conditionnée uniquement par l'invite) le long des propres déroulements échantillonnés de l'étudiant :
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   Cela concentre les mises à jour sur les jetons où l'enseignant et l'étudiant divergent, ciblant spécifiquement la fenêtre de décision précoce où les comportements de sécurité sont déterminés.

Taux de basculement de l'enseignant (TFR) pour la sélection de contexte

Un défi critique consiste à sélectionner un contexte privilégié qui active efficacement le raisonnement de sécurité latent sans être arbitraire. Les auteurs introduisent le Taux de basculement de l'enseignant (TFR) comme une métrique sans entraînement pour sélectionner le contexte optimal ($c^*$). Le TFR mesure la fraction de requêtes nuisibles pour lesquelles le contexte privilégié amène l'enseignant figé à faire basculer sa réponse gloutonne d'insécurisée à sécurisée. Les auteurs démontrent empiriquement qu'un TFR plus élevé corrèle de manière monotone avec une réduction de la nocivité post-entraînement, validant le TFR comme un critère fiable pour la sélection de contexte.

Contributions clés

1. Diagnostic mécaniste de la taxe de sécurité : L'article identifie le décalage d'entraînement hors politique comme une seconde source de la taxe de sécurité. L'analyse au niveau du jeton révèle que les corrections de sécurité sont fortement concentrées dans les positions précoces et des jetons spécifiques, que le SFT standard ne parvient pas à cibler efficacement, même avec des données intra-distribution.
2. Cadre OPSA : L'introduction d'un cadre d'alignement de sécurité sur politique utilisant une supervision dense par jeton de KL sur des déroulements échantillonnés par l'étudiant. Cette approche aligne le modèle sur ses propres chemins de génération, améliorant le compromis sécurité-raisonnement.
3. Sélection de contexte via le TFR : La proposition du Taux de basculement de l'enseignant comme méthode pour construire des enseignants de sécurité efficaces. Cela garantit que le contexte privilégié active un raisonnement de sécurité latent significatif plutôt que de simplement eliciter des démonstrations ayant l'air sûres.

Résultats expérimentaux

Les auteurs ont évalué OPSA sur deux familles de modèles de raisonnement (Qwen3 et DeepSeek-R1-Distill) et cinq échelles de paramètres (de 0,6B à 8B).

• Compromis sécurité-raisonnement : Sous des invites appariées et un ajustement fin à paramètres complets, OPSA a systématiquement surpassé les bases hors politique (y compris ThinkSafe et SafeChain).
  • Sécurité : OPSA a obtenu un gain moyen de score de sécurité composite de +4,00 points par rapport à ThinkSafe.
  • Raisonnement : OPSA a préservé et amélioré les capacités de raisonnement, affichant un gain moyen de +3,04 points sur les benchmarks de raisonnement (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • Sensibilité à l'échelle : Les gains les plus importants ont été observés sur les modèles plus petits (par exemple, +8,85 points sur R1-Distill-1.5B et +5,49 points sur Qwen3-0.6B).
• Robustesse adaptative aux jailbreaks : OPSA a démontré une robustesse supérieure face aux attaques de jailbreak adaptatives, en particulier les attaques par Préremplissage (qui interviennent sur les premiers jetons de réponse). Sur Qwen3-1.7B et Qwen3-8B, OPSA a réduit les taux de réussite des attaques par Préremplissage à zéro. Cependant, l'article note que les attaques de recherche entièrement adaptatives (PAIR) restent une limitation, avec des résultats mitigés selon les modèles.
• Efficacité des données : Les gains de performance d'OPSA ont persisté à travers différentes tailles d'ensembles de données et ratios de données bénignes à nuisibles, indiquant la robustesse de la méthode face à la rareté des données et aux changements de composition.

Importance et affirmations

L'article affirme que réduire la taxe de sécurité nécessite de contrôler non seulement quelles démonstrations fournissent la supervision, mais aussi où et sur les trajectoires de qui cette supervision est appliquée. En passant de l'imitation hors politique de traces fixes à une supervision dense sur politique des propres chemins de génération du modèle, OPSA adresse le décalage structurel spécifique dans l'alignement de sécurité.

Les auteurs affirment modestement que leurs résultats suggèrent que l'alignement de sécurité est fondamentalement un problème de correction localisée sur les propres trajectoires du modèle. Bien qu'OPSA améliore considérablement la robustesse face aux attaques ciblant les jetons de réponse précoces, l'article reconnaît que les attaques de recherche itérative entièrement adaptatives restent un défi, suggérant que la supervision dense sur politique n'est pas une solution universelle pour tous les scénarios adverses. Le travail souligne que l'alignement de sécurité efficace doit aligner le modèle avec sa propre distribution de raisonnement tout en activant les capacités de sécurité latentes via des contextes privilégiés.