Résumé Technique : PALETTE

Énoncé du Problème

L'alignement de sécurité actuel dans les modèles de base (LLM et VLM) adhère largement à un paradigme « unique pour tous », imposant des politiques de refus universelles à tous les utilisateurs et contextes. Bien que efficace pour la prévention générale des dommages, cette approche conduit souvent à un refus excessif, où les modèles rejettent des instructions légitimes dans des contextes professionnels autorisés spécifiques (par exemple, un chercheur en vaccins interrogeant sur un isolat viral, ou un développeur de jeux demandant un dialogue violent pour une narration).

Les solutions existantes à ce problème font face à des limitations significatives :

• Méthodes basées sur le réentraînement : Nécessitent une collecte de données coûteuse et une optimisation répétée pour chaque nouvelle exigence de sécurité ou profil d'utilisateur.
• Pilotage au moment de l'inférence (par exemple, CAST) : Offre une alternative plus légère mais souffre d'un contrôle imprécis (provoquant souvent une fuite de sécurité sur des domaines non liés), nécessite un réglage manuel des couches d'intervention et des intensités, et ajoute de la latence pendant l'inférence.
• Évolutivité : À mesure que le nombre de domaines autorisés augmente, le nombre de profils d'autorisation utilisateur possibles croît de manière exponentielle, rendant le réentraînement par utilisateur ou le pilotage manuel peu pratique.

Le défi central consiste à développer un cadre capable de relâcher sélectivement le comportement de refus pour les domaines cibles autorisés tout en préservant l'alignement de sécurité standard pour tous les autres contextes, sans sacrifier l'utilité générale du modèle ni exiger un réentraînement coûteux.

Méthodologie : PALETTE

Les auteurs proposent PALETTE, un cadre modulaire, contrôlable et efficace conçu pour un relâchement de l'alignement de sécurité autorisé à la demande. Le cadre fonctionne en trois étapes principales :

1. Recherche Multi-Objectif pour les Directions de Refus

Au lieu de sélectionner manuellement une direction de pilotage, PALETTE identifie automatiquement une direction de refus optimale grâce à une recherche multi-objectif.

• Génération de Candidats : Un pool de directions de refus candidates est généré en utilisant la méthode de la différence des moyennes sur les activations entre les prompts de conformité et de refus.
• Fonction Objectif : La recherche optimise deux objectifs concurrents :
  1. Contrôle de Sécurité : Maximiser la conformité sur l'ensemble Autorisé ($P_{allowed}$) tout en supprimant la conformité non intentionnelle sur l'ensemble Non Autorisé ($P_{disallowed}$). Ceci est quantifié par un objectif de score de contournement $O_{control}$.
  2. Préservation de l'Utilité : Minimiser la divergence KL entre les distributions originale et pilotée sur les prompts Sûrs ($P_{safe}$) pour garantir que l'utilité générale n'est pas dégradée.
• Sélection : La méthode sélectionne la direction candidate qui se situe sur la frontière de Pareto, équilibrant une haute contrôlabilité avec une perte d'utilité minimale.

2. Ajustement de Refus Internalisé via Adaptation Légère

Pour éviter la surcharge au moment de l'inférence, PALETTE internalise la direction de refus sélectionnée directement dans les paramètres du modèle.

• Mécanisme : Une adaptation légère (utilisant LoRA) est appliquée à un bloc spécifique (généralement le bloc $(n-1)$) pour encoder le changement de comportement.
• Objectif d'Entraînement : Le modèle est entraîné à reconstruire l'activation vanilla pour les prompts Sûrs et Non Autorisés (préservant la sécurité originale) tout en déplaçant l'état caché le long de la direction de refus négative ($-\lambda r^*$) pour les prompts Autorisés.
• Extraction de Negatifs Durs : Pour prévenir les fuites de sécurité sur les domaines non cibles, le cadre identifie des échantillons « durs » non autorisés (cas limites les plus susceptibles d'être pilotés) lors d'une phase préliminaire et les priorise pendant l'entraînement.

3. Fusion de Paramètres pour une Sécurité Composée

Une caractéristique architecturale clé est la capacité à composer des contrôles de sécurité pour plusieurs domaines sans réentraînement.

• Contrainte de Neutralité : Pendant l'entraînement d'un adaptateur spécifique à un domaine, le modèle est contraint de reconstruire les activations vanilla pour les domaines non cibles. Cela garantit que la mise à jour de l'adaptateur est approximativement nulle en dehors de son domaine spécifique.
• Fusion : Parce que les mises à jour sont localisées, les adaptateurs pour différents domaines (par exemple, « Haine » et « Désinformation ») peuvent être combinés par une simple addition de paramètres (fusion des poids LoRA). Cela permet la création de profils d'autorisation complexes et multi-domaines à la demande sans générer de nouvelles données d'entraînement ou de nouveaux modèles.

Contributions Clés

1. Cadre Modulaire : PALETTE introduit une approche novatrice de l'alignement de sécurité qui découple les contrôles de sécurité spécifiques à un domaine, permettant une gestion évolutive et auditable des politiques de sécurité personnalisées.
2. Contrôle Précis sans Réentraînement : La méthode atteint un relâchement précis du refus sur les domaines autorisés tout en maintenant une sécurité stricte sur les domaines non liés, le tout grâce à une adaptation légère plutôt qu'à un fine-tuning complet.
3. Capacité Composée : Le cadre prend en charge la fusion d'adaptateurs mono-domaine pour gérer des périmètres d'autorisation hétérogènes, résolvant ainsi le problème d'évolutivité de la croissance exponentielle des profils.
4. Efficacité : L'approche est hautement économe en ressources, capable d'adapter un modèle à l'échelle de 7B sur une seule RTX 4090 en quelques minutes, avec un impact négligeable sur les benchmarks d'utilité générale (MMLU, GSM8K).

Résultats Expérimentaux

Les auteurs ont évalué PALETTE sur quatre benchmarks (GenHarm, WMDP, CoSApien, MM-SafetyBench) et plusieurs architectures de modèles (LLaMA2/3, Qwen) et modalités (Texte et Vision-Langage).

• Contrôle Mono-Domaine : PALETTE surpasse significativement les bases de référence (AutoDAN, CAST, SFT). Par exemple, sur le benchmark WMDP, l'autorisation de la « Sécurité Chimique » a réduit le taux de refus de 0,964 à 0,072 tout en maintenant des taux de refus élevés pour la « Sécurité Biologique » et la « Sécurité Cybernétique » (proches des niveaux du modèle de base). À l'inverse, des bases de référence comme CAST ont montré des fuites de sécurité significatives.
• Contrôle Multi-Domaine : Grâce à la fusion de paramètres, PALETTE gère avec succès l'autorisation simultanée de plusieurs domaines (par exemple, autoriser à la fois la « Haine » et la « Désinformation »), avec une baisse des taux de refus uniquement pour les domaines autorisés, tout en maintenant la sécurité sur les autres.
• Préservation de l'Utilité : Sur tous les modèles, PALETTE a maintenu des scores d'utilité générale (MMLU, GSM8K, MMMU) presque identiques à ceux du modèle de base, alors que les approches basées sur SFT ont souvent dégradé les performances.
• Contrôle Fin : Sur le benchmark CoSApien, qui implique des configurations de sécurité nuancées spécifiques à un rôle (par exemple, Développeurs de Jeux vs Procureurs Publics), PALETTE a atteint une précision de réponse supérieure par rapport aux bases de référence.
• Robustesse : Les études d'ablation ont confirmé que la méthode est robuste aux domaines négatifs hors distribution, à condition que des échantillons négatifs se chevauchant sémantiquement soient inclus dans l'ensemble d'entraînement (validant ainsi la stratégie d'extraction de négatifs durs).

Signification et Revendications

L'article revendique que PALETTE offre une voie pratique vers des modèles de base qui s'adaptent à des besoins professionnels divers sans compromettre la sécurité ou l'utilité.

• Changement de Paradigme d'Alignement : Le travail suggère un passage d'un alignement de sécurité monolithique et statique à une approche modulaire et basée sur des couches. Cela permet de gérer la sécurité comme une couche composable plutôt que comme un artefact de modèle fixe.
• Avantages du Déploiement : La conception modulaire facilite l'auditable (chaque adaptateur a un périmètre documenté), la réversibilité (les adaptateurs peuvent être supprimés sans modifier le modèle de base) et le gestion de versions (les adaptateurs peuvent être mis à jour indépendamment à mesure que les politiques évoluent).
• Limites : Les auteurs notent explicitement que leur méthode suppose que l'autorisation utilisateur est déjà vérifiée par des mécanismes externes ; elle ne résout pas le problème de l'autorisation elle-même. De plus, la méthode repose sur des échantillons d'entraînement représentatifs, et une couverture incomplète pourrait entraîner des fuites de sécurité dans des cas non vus et apparentés.

En résumé, PALETTE fournit une solution évolutive, efficace et précise pour l'alignement de sécurité personnalisé, permettant aux modèles de base de servir des professionnels autorisés ayant des besoins légitimes tout en maintenant des garde-fous de sécurité robustes pour le grand public.