Résumé Technique : SPARD

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus adaptés à des domaines spécifiques via un service de fine-tuning. Cependant, ce processus compromet souvent l'alignement de sécurité obtenu lors du pré-entraînement. Cette vulnérabilité est exploitée par des attaques de fine-tuning malveillantes, où des données adverses sont injectées pour éliminer les garde-fous de sécurité et induire des comportements dangereux.

Les mécanismes de défense existants font face à deux limitations principales :

1. Contrôle Faible : Des méthodes comme SafeInstr et Lisa traitent les données sûres comme un régularisateur doux (terme de pénalité), offrant un contrôle indirect sur les contraintes de sécurité, ce qui rend difficile l'équilibre entre sécurité et utilité en aval.
2. Sélection de Données Sous-optimale : Les approches actuelles sélectionnent généralement des échantillons sûrs au hasard. Elles négligent le fait que les données sûres hautement pertinentes pour la tâche en aval fournissent des signaux correcteurs plus forts, tout en ignorant le besoin de diversité pour couvrir des espaces de risques larges.

Méthodologie

Les auteurs proposent SPARD (Safety Projection with Relevance–Diversity Data Selection), un cadre de défense comprenant deux composants principaux :

1. Gradient Alterné Projeté sur la Sécurité (SPAG)

SPARD formule le fine-tuning comme un problème d'optimisation sous contrainte de sécurité :
$$\min_{\theta} \mathcal{L}(D_{ft}, \theta) \quad \text{s.t.} \quad \mathcal{L}(D_{safe}, \theta) \leq \tau$$
où $D_{ft}$ est l'ensemble de données de fine-tuning, $D_{safe}$ est l'ensemble de données de sécurité, et $\tau$ est un seuil de sécurité.

Au lieu d'utiliser une relaxation basée sur des pénalités, SPAG emploie une stratégie de projection explicite :

1. Mise à jour de l'Utilité : Effectuer une étape de gradient sur les données de fine-tuning ($D_{ft}$) pour mettre à jour les paramètres $\theta$.
2. Projection de Sécurité : Projeter les paramètres mis à jour dans une région réalisable définie par la contrainte de sécurité.
   • La contrainte est linéarisée en utilisant un développement de Taylor du premier ordre autour des paramètres mis à jour.
   • La projection trouve le point dans le demi-espace de sécurité linéarisé le plus proche des paramètres mis à jour.
   • Un mécanisme de région de confiance limite la taille de l'étape de la projection pour éviter des mises à jour arbitrairement grandes qui pourraient déstabiliser l'entraînement.

Cette approche fournit une solution sous forme fermée qui garantit la faisabilité jusqu'au premier ordre sans nécessiter de réglage manuel des poids de pénalité.

2. Processus Ponctuel Déterminant (DPP) Pertinence–Diversité

Pour garantir l'efficacité de la projection de sécurité, SPARD introduit une méthode fondée sur des principes pour sélectionner un sous-ensemble compact de données sûres ($D_{safe}$) à partir d'un plus grand pool de candidats. La sélection équilibre deux facteurs :

• Pertinence : Les échantillons sûrs doivent s'aligner sur la distribution de la tâche en aval pour fournir des signaux correcteurs forts.
• Diversité : Les échantillons sélectionnés doivent couvrir un large éventail de comportements nuisibles distincts pour éviter le surapprentissage à un espace de risques étroit.

Les auteurs construisent un noyau DPP Pertinence–Diversité :
$$\tilde{K}_{ij} = (q_i \cdot q_j)^\beta \cdot K(x_i, x_j)$$
où $q_i$ est un score de pertinence (similarité cosinus maximale entre un candidat et les données de fine-tuning), $K(x_i, x_j)$ capture la similarité intrinsèque, et $\beta$ contrôle l'influence de la pertinence.

• Le terme $(q_i \cdot q_j)^\beta récompense les sous-ensembles contenant des échantillons hautement pertinents.
• Le terme déterminant $\det(L_C)$ impose la diversité parmi les échantillons sélectionnés.

Un algorithme de sélection glouton efficace est utilisé pour approximer le sous-ensemble du Maximum A Posteriori (MAP), évitant ainsi le coût computationnel de l'inférence DPP exacte.

Contributions Clés

1. Cadre SPARD : Une défense novatrice intégrant une optimisation projetée sur la sécurité avec une sélection de données consciente de la pertinence et de la diversité.
2. Algorithme SPAG : Une méthode d'optimisation fondée sur des principes qui alterne entre mises à jour d'utilité et projections de sécurité explicites, résolvant le fine-tuning sous contrainte de sécurité sans pénalités douces.
3. DPP Pertinence–Diversité : Une stratégie de sélection de données qui optimise conjointement l'alignement sur la tâche et la couverture comportementale, répondant aux problèmes de redondance et d'irrélevance dans l'échantillonnage aléatoire.
4. Validation Empirique : Des expériences extensives démontrant que SPARD surpasse les défenses de l'état de l'art dans la réduction des taux de succès d'attaque (ASR) tout en maintenant une haute précision en aval.

Résultats Expérimentaux

Les auteurs ont évalué SPARD sur GSM8K (raisonnement mathématique) et OpenBookQA (raisonnement scientifique) en utilisant Qwen-2.5-7B-Instruct et LLaMA-3.2-3B-Instruct sous quatre attaques de fine-tuning malveillantes (BeaverTails, I-BeaverTails, LatHarmful, Q-LatHarmful).

• Performance de Sécurité : SPARD a constamment obtenu le taux de succès d'attaque (ASR) moyen le plus bas et le score de nocivité (HS) le plus faible sur tous les modèles et ensembles de données. Par exemple, sur GSM8K avec Qwen, SPARD a réduit l'ASR moyen à 9,45 % (contre 19,12 % pour la forte base Lisa et 87,93 % pour le SFT standard).
• Préservation de l'Utilité : SPARD a maintenu une précision de tâche en aval compétitive, surpassant souvent des bases comme Lisa et SafeGrad. Sur GSM8K avec Qwen, SPARD a atteint une précision de 85,77 %, dépassant Lisa (78,45 %).
• Études d'Ablation :
  • Pertinence vs Diversité : Le retrait de la pertinence (sélection aléatoire) ou de la diversité (sélection de la qualité maximale) a entraîné un ASR plus élevé, confirmant que les deux facteurs sont nécessaires.
  • Hyperparamètres : La méthode est robuste aux variations modérées de l'exposant de pertinence ($\beta$) et du seuil de sécurité ($\tau$).
  • Efficacité : SPARD ajoute seulement 8,1 % de surcharge computationnelle par rapport au SFT standard, nettement inférieur à SafeGrad (+54,2 %).

Importance et Revendications

L'article revendique que SPARD offre une défense fondée sur des principes contre les attaques de fine-tuning malveillantes en allant au-delà des pénalités douces pour atteindre des contraintes géométriques explicites. En intégrant SPAG, la méthode garantit que les contraintes de sécurité sont strictement appliquées pendant l'entraînement. De plus, le DPP Pertinence–Diversité aborde l'idée clé que toutes les données sûres ne sont pas également efficaces ; sélectionner des données à la fois pertinentes pour la tâche et diversifiées dans leur couverture est essentiel pour un alignement de sécurité robuste.

Les auteurs affirment que SPARD fournit un équilibre robuste entre sécurité et utilité, surpassant les méthodes existantes (y compris PTST, SafeInstr, Lisa et SafeGrad) sans nécessiter de contraintes structurelles (comme des adaptateurs LoRA) ni de réglage manuel des poids. Le cadre est démontré comme généralisable à différentes architectures de modèles (Qwen et LLaMA) et tâches en aval (QA mathématique et scientifique).