Résumé technique : Alignement de sécurité comme apprentissage continu par projection de gradient orthogonal

1. Énoncé du problème : La taxe d'alignement et l'interférence des gradients

Les grands modèles de langage (LLM) acquièrent des capacités générales étendues grâce à l'entraînement préalable, mais nécessitent un alignement de sécurité (par exemple, via un ajustement fin supervisé [SFT] ou une optimisation directe des préférences [DPO]) pour se conformer à l'intention humaine et aux contraintes de sécurité (Utile, Honnête, Inoffensif). Cependant, ce processus post-entraînement entraîne souvent une « taxe d'alignement », où les améliorations de la sécurité entraînent des régressions mesurables dans l'utilité générale, telles que la véracité, le raisonnement ou les capacités de codage.

Les auteurs identifient un mécanisme principal de cette taxe comme étant l'interférence des gradients au sein d'un cadre d'apprentissage continu (CL) hétérogène. Contrairement à l'apprentissage continu traditionnel où les tâches partagent des objectifs homogènes, l'alignement des LLM implique des étapes séquentielles (par exemple, pré-entraînement $\to$ SFT $\to$ DPO) avec des distributions de données et des objectifs d'optimisation changeants. Dans ce contexte, les gradients dérivés des objectifs de sécurité ($g_{safe}$) contiennent souvent des composantes qui chevauchent les directions de paramètres critiques pour la préservation des capacités générales pré-entraînées. Des mises à jour naïves le long de $g_{safe}$ perturbent ainsi involontairement ces directions de soutien des capacités, entraînant un oubli catastrophique.

Les stratégies d'atténuation existantes, telles que la relecture de données (mélange de données générales) ou la régularisation de proximité (pénalités KL), introduisent souvent une surcharge computationnelle significative, un réglage complexe des hyperparamètres, ou n'agissent que comme des contraintes souples qui échouent à éliminer explicitement les composantes de gradient interférentes.

2. Méthodologie : Projection de gradient orthogonal pour l'alignement de sécurité (OGPSA)

L'article propose OGPSA, une règle de mise à jour légère et plug-and-play conçue pour atténuer l'interférence des gradients en imposant des contraintes de préservation des capacités du premier ordre.

Concept central

OGPSA formule l'alignement de sécurité comme un problème d'optimisation sous contraintes. L'objectif est de descendre le paysage de perte de sécurité tout en garantissant que l'étape de mise à jour $\Delta\theta$ n'augmente pas la perte des objectifs de référence de capacités générales sélectionnés au premier ordre.

Étapes algorithmiques

1. Estimation du sous-espace : Au lieu de maintenir un grand tampon de données de relecture, OGPSA estime un sous-espace de référence de capacités générales de faible rang ($S_{gen}$). Celui-ci est construit à partir de gradients calculés sur un petit ensemble diversifié de jeux de données de référence ($D_{ref}$) représentant des capacités clés (par exemple, utilité, véracité).

   • Soit $\{g^{(i)}\}_{i=1}^M$ les gradients issus de $M$ pertes de référence.
   • Le sous-espace est $S_{gen}(\theta) = \text{span}\{g^{(1)}, \dots, g^{(M)}\}$.
   • Une base orthonormale $U$ pour ce sous-espace est construite périodiquement (toutes les $K$ étapes) en utilisant le processus de Gram-Schmidt pour filtrer les dépendances linéaires.

2. Projection orthogonale : Lors de la mise à jour d'alignement de sécurité (par exemple, SFT ou DPO), le gradient de sécurité standard $g_{safe}$ est projeté sur le complément orthogonal de $S_{gen}$.

   • Le gradient projeté est calculé comme suit :
     $$\tilde{g}_{safe} = g_{safe} - U(U^\top g_{safe}) = g_{safe} - \sum_{j=1}^{M'} \langle g_{safe}, u_j \rangle u_j$$
   • Cette opération élimine la composante de la mise à jour de sécurité qui réside dans le sous-espace des capacités générales, empêchant efficacement les augmentations d'ordre un des pertes de référence.

3. Mise à jour des paramètres : Les paramètres du modèle sont mis à jour en utilisant le gradient projeté :
   $$\theta \leftarrow \theta - \eta \tilde{g}_{safe}$$

Justification théorique

Les auteurs démontrent que, au sein de l'ensemble de contraintes local linéarisé défini par les gradients de référence, la direction du gradient projeté est la direction de descente réalisable la plus raide pour l'objectif de sécurité. Cela garantit que le modèle se déplace aussi rapidement que possible vers les objectifs de sécurité sans violer la préservation d'ordre un des capacités de référence.

3. Contributions clés

• Formulation du problème : L'article reformule l'ajustement fin post-entraînement de sécurité comme un problème d'apprentissage continu hétérogène en objectifs, identifiant explicitement l'interférence des gradients comme une cause concrète et testable de la taxe d'alignement.
• Conception de l'algorithme : Il introduit OGPSA, une méthode de projection de gradient opérant sur le complément orthogonal d'un sous-espace de référence de faible rang. Contrairement aux méthodes basées sur la relecture, elle ne nécessite que le calcul périodique de petits gradients de référence, évitant ainsi le stockage et le mélange de données à grande échelle.
• Validation empirique : La méthode est validée sur plusieurs familles de modèles (Llama3.1-8B, Qwen2.5-7B) et pipelines d'alignement (SFT, DPO et SFT séquentiel $\to$ DPO), démontrant des améliorations constantes dans le compromis sécurité-utilité.

4. Résultats expérimentaux

Les auteurs ont évalué OGPSA par rapport à des bases de référence standard (Ajustement naïf) et des stratégies d'atténuation (Fusion de poids, LoRA, Relecture de données générales) sur Llama3.1-8B-Instruct et Qwen2.5-7B-Instruct.

• Gains de performance : OGPSA a systématiquement obtenu le « Gain moyen » (une métrique combinant les scores de sécurité et de capacité générale) le plus élevé dans tous les scénarios.
  • Dans le pipeline séquentiel SFT$\to$DPO, le gain de performance moyen est passé de 19,74 % à 32,98 % sur Llama3.1-8B et de 33,98 % à 42,74 % sur Qwen2.5-7B par rapport à la base de référence instruct.
• Comparaison avec des bases de référence avancées : OGPSA a surpassé une base de référence d'apprentissage continu par projection de gradient (GPM) et un cadre d'alignement de sécurité de pointe (STAIR) en termes de gain agrégé et de métriques de capacités spécifiques, tout en maintenant des scores de sécurité compétitifs.
• Robustesse : La méthode a montré une résistance aux jailbreaks basés sur l'optimisation (I-GCG), réduisant le taux de réussite de l'attaque (ASR) par rapport aux bases de référence SFT et DPO standard.
• Études d'ablation :
  • Diversité du sous-espace : L'utilisation d'un sous-espace diversifié (par exemple, combinant des gradients d'utilité et de véracité) a produit un meilleur équilibre global que des projections à dimension unique.
  • Efficacité des données : OGPSA ne nécessitait que 100 à 200 échantillons par dimension de référence pour surpasser une base de référence de relecture de 10 000 échantillons, démontrant une grande efficacité des données.
  • Fréquence de mise à jour : Les mises à jour périodiques du sous-espace (par exemple, toutes les 5 étapes pour DPO) étaient cruciales ; les sous-espaces statiques dégradaient les performances à mesure que l'entraînement progressait.
• Évolutivité : L'approche s'est révélée efficace sur des tailles de modèles allant de 0,5 milliard à 7 milliards de paramètres.

5. Importance et revendications

L'article revendique qu'OGPSA fournit un mécanisme simple du premier ordre pour atténuer la régression des capacités lors de l'alignement de sécurité, sans les coûts computationnels élevés de la relecture à grande échelle. En éliminant explicitement les composantes interférentes des gradients de sécurité, la méthode permet aux modèles d'acquérir de nouvelles contraintes de sécurité tout en préservant la stabilité des connaissances générales pré-entraînées.

Les auteurs soulignent que leur contribution est une caractérisation locale du premier ordre de la direction de descente de sécurité sous contraintes de préservation. Ils ne revendiquent pas une garantie globale que toutes les métriques de capacités en aval seront préservées, ni ne prétendent que la méthode est Pareto-optimale en dehors des scénarios évalués. L'approche est présentée comme un composant léger et modulaire pouvant être intégré dans des pipelines SFT/DPO standard pour améliorer la frontière sécurité-utilité.

Limites reconnues :

• L'efficacité est limitée par l'approximation locale du premier ordre.
• Les performances dépendent de la diversité et de la représentativité des données de référence.
• Il existe une surcharge computationnelle mineure due au calcul périodique des gradients de référence, bien qu'elle soit nettement inférieure à une relecture complète.
• La méthode ne garantit pas la robustesse contre tous les jailbreaks ou scénarios de mauvaise utilisation ; elle doit faire partie d'un pipeline de sécurité plus large incluant des tests d'intrusion (red-teaming) et une surveillance.