Résumé technique : De la dynamique des paramètres à la notation des risques

Énoncé du problème

Les grands modèles de langage (LLM) dépendent de l'alignement de sécurité (par exemple via RLHF ou DPO) pour refuser les demandes nuisibles. Cependant, des études récentes indiquent que cet alignement est fragile ; un ajustement fin sur même un petit nombre d'échantillons bénins peut sévèrement dégrader la sécurité du modèle. Contrairement aux données ouvertement nuisibles, qui peuvent être filtrées par des détecteurs de toxicité, les échantillons bénins qui induisent une dégradation de la sécurité sont difficiles à identifier et à prévenir. Les recherches existantes tentent d'expliquer ce phénomène en comparant les paramètres avant et après l'ajustement fin ou en analysant la dérive des embeddings. Cependant, ces approches souffrent de deux limitations principales :

1. Analyse statique : Elles échouent à capturer l'évolution dynamique des paramètres pendant le processus d'ajustement fin.
2. Aveuglement directionnel : Elles se concentrent sur l'ampleur des perturbations sans considérer les directions spécifiques des changements de paramètres qui entraînent la dégradation de la sécurité, rendant difficile l'isolement des risques spécifiques à la sécurité.

Par conséquent, il manque une méthode pour quantifier le risque des échantillons d'entraînement bénins individuels d'une manière qui explique pourquoi ils dégradent la sécurité et permette une évaluation continue des risques sur l'ensemble du corpus.

Méthodologie

1. Découverte du mécanisme : Dynamique des paramètres

Les auteurs investiguent le mécanisme de la dégradation de la sécurité en suivant les trajectoires des paramètres tout au long du processus d'ajustement fin, plutôt qu'en comparant simplement les points d'arrivée.

• Définition des directions : Ils définissent deux directions de référence dans l'espace des paramètres :
  • Direction de sécurité ($V_{safety}$) : Le déplacement des paramètres d'un modèle de base vers un état aligné sur la sécurité (via DPO sur PKU-SafeRLHF).
  • Direction de danger ($V_{danger}$) : Le déplacement des paramètres d'un modèle de base vers un état aligné sur le danger (via SFT sur des ensembles de données non sûrs comme Aegis et Beaver-Tails).
• Observation dynamique : En projetant la dérive cumulative des paramètres ($\Delta \theta_t$) sur ces directions pendant l'entraînement, les auteurs observent un mécanisme critique : l'ajustement fin bénin induit une dérive cumulative vers des directions alignées sur le danger, tandis que la projection sur la direction de sécurité reste proche de zéro.
• Dégradation non linéaire : Cette dérive présente un schéma en deux phases. Initialement, les paramètres dérivent rapidement dans la direction du danger avec une perte de sécurité modérée. Par la suite, même si le taux de dérive ralentit, la sécurité s'effondre de manière catastrophique dès que les paramètres sortent du « bassin sûr ».

2. Méthode proposée : Quantification au niveau de l'échantillon de la dégradation de la sécurité (SQSD)

Sur la base du constat que les échantillons contribuant davantage à la dérive vers les directions de danger posent des risques plus élevés, les auteurs proposent SQSD.

• Concept central : SQSD quantifie le risque d'un échantillon d'entraînement unique $z$ en mesurant l'écart de projection entre la mise à jour des paramètres induite par l'échantillon et les directions de sécurité par rapport au danger.
• Étapes de calcul :
  1. Calcul de la mise à jour : Calculer la mise à jour par descente de gradient en un pas ($\Delta W$) induite par l'échantillon $z$ sur les paramètres LoRA.
  2. Normalisation : Appliquer une normalisation par module à la mise à jour pour atténuer le biais lié à la longueur de la réponse (un problème connu dans le scoring basé sur les gradients où les réponses courtes produisent des gradients gonflés).
  3. Projection : Projeter la mise à jour normalisée sur la direction du danger ($\hat{V}_{danger}$) et la direction de sécurité ($\hat{V}_{safety}$).
  4. Agrégation : Calculer le score comme la différence entre ces projections :
     $$SQSD(z) = \sum_m \left( \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{danger, m} \rangle - \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{safety, m} \rangle \right)$$
     Un score plus élevé indique que l'échantillon pousse les paramètres plus fortement vers l'état de danger que vers l'état de sécurité.
• Base théorique : Les auteurs relient SQSD aux préférences de sortie en utilisant une approximation de Taylor du premier ordre. Ils démontrent que le produit scalaire de la mise à jour et d'une direction est corrélé au changement de perte (et donc de vraisemblance) pour cette direction. Ainsi, un SQSD élevé implique que l'échantillon augmente la préférence du modèle pour les sorties dangereuses par rapport aux sorties sûres.
• Sensibilité à l'initialisation : La méthode reconnaît que la quantification des risques dépend de l'état d'initialisation. Pour assurer la fiabilité, SQSD est calculé sur des états de paramètres présentant une sensibilité directionnelle élevée (identifiée via une analyse de sensibilité améliorée par la dérive).

Contributions clés

1. Insight mécanistique : L'article révèle que la dégradation de la sécurité lors d'un ajustement fin bénin est entraînée par la dérive cumulative des paramètres vers des directions alignées sur le danger, un processus dynamique négligé par les analyses statiques avant/après.
2. Méthode SQSD : Une nouvelle méthode pour la quantification continue des risques au niveau de l'échantillon. Contrairement aux travaux antérieurs qui identifient des sous-ensembles discrets « à haut risque » (entraînant un effondrement des frontières), SQSD fournit un score de risque pour chaque échantillon sur l'ensemble du spectre.
3. Validation empirique : Des expériences extensives sur trois modèles (Qwen3-8B, Llama-3.1-8B-Instruct, Llama-2-7B-Chat) et deux ensembles de données (Dolly, Alpaca) démontrent que SQSD prédit efficacement la dégradation de la sécurité.
4. Transférabilité : Les scores SQSD calculés sur une configuration (architecture de modèle, échelle des paramètres, ou méthode d'ajustement fin comme LoRA) se transfèrent de manière robuste aux autres, permettant une évaluation des risques sur des modèles plus petits ou des architectures différentes avant le déploiement.

Résultats

• Efficacité : Lorsque les ensembles de données sont partitionnés en sous-ensembles basés sur les scores de risque SQSD (S1 : risque le plus élevé à S5 : risque le plus faible), les modèles ajustés finement sur S1 présentent des taux de réussite d'attaque (ASR) significativement plus élevés et des scores de sécurité plus faibles que ceux sur S5.
  • SQSD a obtenu une dégradation monotone de la sécurité (diminution de l'ASR de S1 à S5) dans 10 configurations sur 12.
  • À l'inverse, les lignes de base (Reward Models, Bi-Anchor, Self-Inf-N, LARF) ont échoué à maintenir la monotonie dans la majorité des cas.
  • SQSD a démontré un pouvoir discriminatoire supérieur, avec une différence moyenne d'ASR ($\Delta$) de 49,86 % entre les sous-ensembles à risque le plus élevé et le plus faible, surpassant significativement la meilleure ligne de base (43,76 %).
• Transférabilité :
  • Architecture : Les scores se sont transférés efficacement entre les architectures Llama et Qwen.
  • Échelle : Les scores calculés sur des modèles de 8B ont prédit avec succès les risques pour des modèles de 14B et 32B.
  • Méthode : Les scores dérivés des gradients LoRA sont restés efficaces lorsqu'appliqués à des scénarios d'ajustement fin complet.
• Études d'ablation : Le retrait de la normalisation par module a causé une dégradation sévère des performances en raison du biais lié à la longueur de la réponse. L'utilisation de la seule direction du danger ou de la seule direction de sécurité a également échoué à maintenir la monotonie, confirmant la nécessité de contraster les deux directions.

Importance et revendications

L'article revendique que SQSD fournit un outil défensif pour les développeurs de modèles. En identifiant les échantillons bénins qui entraînent de manière disproportionnée la dégradation de la sécurité, les praticiens peuvent sélectionner les données d'entraînement pour préserver l'alignement de sécurité lors de l'adaptation en aval.

Les auteurs soulignent que si la technique pourrait théoriquement être détournée pour sélectionner des données qui dégradent au maximum la sécurité, l'objectif principal est défensif. Ils préconisent l'intégration de SQSD dans les algorithmes d'ajustement fin de sécurité pour créer des pipelines d'entraînement « conscients des risques » qui s'adaptent aux tâches en aval sans compromettre la sécurité. Le travail met en lumière que l'alignement de sécurité n'est pas une propriété statique mais un état dynamique vulnérable à des dérives directionnelles spécifiques, et que la quantification de ces dérives au niveau de l'échantillon est essentielle pour un déploiement robuste des LLM.