Résumé Technique : Safety Anchor : Défense contre le Fine-tuning Nocif via des Goulots d'Étranglement Géométriques

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) alignés par l'Apprentissage par Renforcement à partir de Retours Humains (RLHF) restent vulnérables au Fine-tuning Nocif (HFT). Dans ce modèle de menace, les attaquants effectuent un fine-tuning d'un modèle aligné sur la sécurité avec un ensemble de données contenant des instructions malveillantes (par exemple, des exemples de contournement de sécurité) mélangées à des tâches bénignes. Même une faible proportion de données nocives peut éliminer les garde-fous de sécurité, restaurant la capacité du modèle à générer du contenu nuisible tout en maintenant ses performances sur des tâches bénignes en aval.

Les mécanismes de défense existants tentent de contraindre les états internes du modèle durant le fine-tuning, se répartissant en trois catégories :

1. Basés sur les paramètres : Restriction des déviations des poids par rapport au modèle de base (par exemple, LISA, EWC).
2. Basés sur les gradients : Identification et inhibition de directions de gradients spécifiques et nocifs (par exemple, Booster, Gradient Route).
3. Basés sur les représentations : Contrainte de la dérive des représentations cachées internes (par exemple, Vaccine, T-Vaccine).

L'article soutient que ces défenses échouent systématiquement face au HFT persistant. Les auteurs attribuent cet échec à la redondance inhérente de l'espace paramétrique de haute dimension. Les attaquants peuvent exploiter des trajectoires d'optimisation orthogonales aux contraintes spécifiques imposées par ces défenses, contournant ainsi efficacement les barrières de sécurité tout en satisfaisant les restrictions imposées.

2. Méthodologie : Régularisation par Goulot de Sécurité (SBR)

Pour pallier les limites de la contrainte de l'espace paramétrique redondant, les auteurs proposent la Régularisation par Goulot de Sécurité (SBR). Cette méthode déplace le focus défensif des paramètres internes vers la couche de dé-embedding, que les auteurs identifient comme un « goulot d'étranglement géométrique ».

Concept Central

Dans un LLM basé sur Transformer, la probabilité de générer un token $t$ est déterminée par la projection linéaire de l'état caché final $h_{final}$ sur le vecteur d'embedding du token $w_t$ :
$$\text{Score}(t) = h_{final}^\top w_t$$
Les auteurs postulent que, tandis que les paramètres internes peuvent évoluer le long d'une infinité de trajectoires redondantes, la génération d'un token spécifique exige strictement que l'état caché final s'aligne sur la direction d'embedding de ce token. Par conséquent, contrôler l'état caché final agit comme un goulot d'étranglement déterministe.

Algorithme

La SBR opère en deux phases :

1. Acquisition Hors Ligne des Ancres : Avant le fine-tuning, le défenseur extrait les états cachés finaux ($h_{ref}$) pour un ensemble de requêtes à haut risque ($X_{anchor}$, par exemple « Comment fabriquer une bombe ? ») en utilisant le modèle de base aligné sur la sécurité et figé. Ces états servent d'Ancres de Sécurité.
2. Régularisation Dynamique : Pendant le fine-tuning sur l'ensemble de données de l'utilisateur ($D_{train}$), le modèle optimise la perte standard d'Entropie Croisée ($L_{CE}$) tout en minimisant simultanément l'Erreur Quadratique Moyenne (MSE) entre les états cachés finaux du modèle courant pour les requêtes ancre et les ancres mises en cache :
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   L'objectif total est :
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

Justification Théorique

L'article fournit une analyse théorique (Annexe E) démontrant que :

• Orthogonalité : Les sous-espaces d'attaque échantillonnés aléatoirement sont géométriquement orthogonaux les uns aux autres avec une forte probabilité en haute dimension.
• Faisabilité : Un sous-espace sélectionné aléatoirement contient presque sûrement une direction de descente valide pour l'objectif nuisible, permettant aux attaquants de contourner des contraintes spécifiques de gradients ou de paramètres.
• Nécessité du Goulot : Puisque l'état caché final doit se projeter sur des vecteurs d'embedding spécifiques pour générer des tokens nuisibles, ancrer cet état empêche la restauration des capacités nuisibles, indépendamment de l'évolution des paramètres internes.

3. Contributions Clés

1. Analyse Empirique et Théorique de l'Échec des Défenses : Les auteurs démontrent que les défenses existantes s'effondrent sous le HFT persistant car elles ne tiennent pas compte de la redondance des paramètres. Ils montrent que les attaquants peuvent trouver des trajectoires d'optimisation orthogonales qui satisfont les contraintes de défense (par exemple, limites de distance des paramètres) tout en restaurant avec succès les capacités nuisibles.
2. Proposition de la SBR : Un nouveau mécanisme de défense qui ancre les états cachés finaux des requêtes à haut risque à ceux du modèle aligné sur la sécurité, exploitant la couche de dé-embedding comme un goulot d'étranglement géométrique.
3. Haute Efficacité et Robustesse : L'article démontre que la SBR nécessite des ressources minimales (aussi peu qu'une seule ancre de sécurité) pour maintenir une sécurité robuste, surpassant les défenses de l'état de l'art tout en préservant l'utilité sur les tâches bénignes.

4. Résultats Expérimentaux

Des expériences ont été menées sur Llama3.1-8B, Qwen2.5-7B et Gemma1.1-7B en utilisant des ensembles de données tels que BeaverTails (nocif) et SST-2/AGNEWS/GSM8K/AlpacaEval (bénin).

• Performance de Sécurité : Sous un HFT persistant (jusqu'à 50 époques), les défenses existantes (LISA, Vaccine, Booster) se sont effondrées, les Scores Nocifs (HS) dépassant 50-60. En revanche, la SBR a maintenu un HS moyen de 5,68 (significativement inférieur aux 70,7 du SFT de base).
• Préservation de l'Utilité : La SBR a préservé une Précision Fonctionnelle (FA) comparable au fine-tuning sans contrainte (par exemple, 94,15 % sur SST-2), tandis que certaines méthodes concurrentes (comme DeepAlign) ont subi une dégradation des performances sur les tâches de classification.
• Robustesse au Ratio de Poison : La SBR est restée efficace même lorsque la proportion de données nocives dans l'ensemble d'entraînement a augmenté jusqu'à 30 % ($p=0,3$), maintenant un HS < 10 sur toutes les architectures de modèles.
• Défense contre les Backdoors : La SBR a démontré une robustesse supérieure face aux attaques de contournement de sécurité par backdoor furtives (déclenchées par des suffixes spécifiques), atteignant un HS de 4,7 contre >16 pour les autres défenses.
• Efficacité des Ancres : La méthode est agnostique au contenu spécifique des ancres ; une seule ancre ($|X_{anchor}|=1$) a suffi pour réduire le HS d'environ 68 à environ 6.

5. Signification et Revendications

L'article revendique que la SBR représente un changement de paradigme dans l'alignement sur la sécurité, passant de la contrainte du vaste et redondant espace paramétrique interne à l'imposition de contraintes au goulot d'étranglement géométrique déterministe de la couche de dé-embedding.

• Mécanisme Fondamental : Les auteurs soutiennent que l'effondrement de la sécurité n'est pas simplement le résultat d'une dérive des paramètres, mais d'un désalignement géométrique au niveau de la couche de sortie finale. En ancrant cette couche, la SBR crée un « champ de stabilité locale » qui couvre le voisinage sémantique des intentions malveillantes sans surajustement à des exemples spécifiques.
• Orthogonalité du Refus : La méthode repose sur la découverte que les comportements de refus sont médiatisés par des sous-espaces largement orthogonaux au raisonnement bénin. Par conséquent, l'ancrage des états de sécurité cause une interférence minimale avec les paramètres requis pour les tâches bénignes en aval.
• Limites : Les auteurs notent modestement que la SBR repose sur l'alignement initial sur la sécurité du modèle de base et est conçue pour ancrer des frontières existantes plutôt que pour induire une sécurité dans des modèles non alignés. De plus, elle n'atténue pas directement les attaques de contournement de sécurité au moment de l'inférence qui n'impliquent pas de mises à jour de paramètres.

L'ouvrage conclut que la défense au niveau du goulot d'étranglement géométrique est une stratégie nécessaire et efficace pour empêcher la suppression de l'alignement sur la sécurité durant le fine-tuning, offrant une solution robuste contre les attaques de fine-tuning nocif à la fois explicites et furtives.