💬 NLP

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

Cet article propose un cadre de finetuning guidé par un enseignant du refus (Refusal-Teacher) qui améliore à la fois la sécurité et la performance sur les tâches aval sous des attaques de finetuning malveillantes en entraînant directement les modèles de base avec un guidage de sécurité, plutôt qu'en s'appuyant sur l'initialisation faible fournie par les poids pré-alignés.

Auteurs originaux : Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle en évolution rapide, une nouvelle capacité puissante a émergé : la capacité de prendre un modèle de langage généraliste massif et de l'adapter à des besoins spécifiques en utilisant les propres données d'un utilisateur. Ce service, souvent appelé « fine-tuning » (ajustement fin), permet aux entreprises et aux individus de personnaliser ces esprits numériques pour des tâches spécialisées, allant de l'écriture de code à l'analyse de dossiers médicaux. Cependant, cette flexibilité s'accompagne d'un danger caché. Si les données utilisées pour la personnalisation contiennent des instructions nuisibles — telles que des demandes pour construire des armes ou générer des discours de haine — le modèle peut apprendre à ignorer ses règles de sécurité. Cette vulnérabilité, connue sous le nom d'« attaque par fine-tuning malveillant », menace de transformer des outils utiles en outils dangereux. Le défi central pour les développeurs est de trouver un moyen de permettre aux utilisateurs de personnaliser leurs modèles sans leur apprendre accidentellement à être dangereux.

Pendant un certain temps, la solution standard à ce problème était un processus en deux étapes. D'abord, les développeurs prenaient un modèle de base et l'entraînaient intensivement sur des données de sécurité, lui apprenant à refuser les requêtes nuisibles. Cela créait un modèle « aligné sur la sécurité ». Ensuite, ils prenaient ce modèle déjà sûr et l'entraînaient davantage sur les données spécifiques de l'utilisateur. Des chercheurs de l'Institut supérieur de science et de technologie de Corée (KAIST) ont découvert que cette approche traditionnelle est défectueuse. Ils ont constaté que commencer avec un modèle qui a déjà été lourdement entraîné sur des règles de sécurité rend en réalité plus difficile l'apprentissage de nouvelles tâches pour le modèle. L'entraînement à la sécurité modifie les paramètres internes du modèle d'une manière qui n'est pas idéale pour l'apprentissage de nouvelles compétences, menant à un compromis où le modèle soit peu performant sur la tâche de l'utilisateur, ou, pire encore, oublie ses règles de sécurité lorsqu'il est exposé à des données malveillantes.

Pour résoudre cela, les chercheurs ont proposé une stratégie différente qui inverse la tendance. Au lieu de commencer avec un modèle qui a déjà été contraint d'être sûr, ils ont commencé avec un modèle de base brut et adaptable, et l'ont entraîné directement sur les données de l'utilisateur et les données de sécurité en même temps. Cependant, le simple fait de mélanger ces deux types de données crée un nouveau problème : le modèle est confus car les objectifs d'être utile et d'être sûr peuvent parfois tirer dans des directions opposées. Pour résoudre ce conflit, l'équipe a introduit un « Refusal-Teacher » (Enseignant du refus). Il s'agit d'un modèle distinct, entraîné à la sécurité, qui agit comme un guide. Il ne réalise pas l'apprentissage lui-même ; au lieu de cela, il observe le processus d'apprentissage et fournit deux services cruciaux. Premièrement, il filtre les instructions nuisibles des données de l'utilisateur avant que le modèle principal ne les voie, empêchant les mauvaises données de causer des dommages. Deuxièmement, il guide doucement le modèle sur la manière de gérer la sécurité sans être trop dur, en utilisant des exemples souples plutôt que des règles rigides pour aider le modèle à apprendre de manière fluide.

Les résultats de cette nouvelle méthode sont frappants. Dans des tests où les chercheurs ont introduit des quantités variables de données nuisibles — allant de aucune à la moitié de l'ensemble d'entraînement — leur approche a systématiquement surpassé les méthodes existantes. Lorsque les données d'entraînement contenaient 50 % de requêtes nuisibles, les méthodes traditionnelles n'ont pas réussi à maintenir la sécurité du modèle, les réponses nuisibles grimpant à près de 80 % dans certains cas. En revanche, la nouvelle méthode a maintenu les réponses nuisibles en dessous de 1 % tout en permettant au modèle d'apprendre la tâche de l'utilisateur avec une grande précision. Ce succès s'est vérifié à travers différents types de tâches, comme la résolution de problèmes mathématiques ou l'analyse d'articles de presse, et a fonctionné avec plusieurs architectures de modèles différentes. Les chercheurs ont également constaté que cette méthode réduisait la « tension » interne ou le conflit qui se produit lorsqu'un modèle tente d'apprendre deux choses opposées en même temps, menant à un processus d'apprentissage plus stable et efficace.

L'étude suggère que la clé d'une personnalisation sûre ne réside pas dans le durcissement préalable du modèle avec des règles de sécurité, mais dans le maintien de la flexibilité du modèle et dans son guidage attentif pendant l'apprentissage. En utilisant un enseignant pour filtrer le poison et distiller les leçons de sécurité, le système atteint un équilibre qui était auparavant hors de portée. Les chercheurs ont démontré que cette approche fonctionne même lorsque les données nuisibles sont déguisées ou proviennent de sources différentes, montrant une robustesse dont les défenses actuelles manquent. Bien que ce travail soit une étape significative, il souligne que la sécurité dans l'intelligence artificielle n'est pas un réglage unique, mais un processus dynamique qui nécessite un guidage intelligent et constant. Les conclusions offrent une voie claire pour que les fournisseurs de services puissent proposer la personnalisation sans sacrifier la sécurité des outils qu'ils déploient, garantissant qu'à mesure que ces modèles deviennent plus spécialisés, ils restent dignes de confiance.

Résumé Technique : Finetuning guidé par un Enseignant de Refus pour le FaaS Sécurisé

Problématique

L'article traite de la vulnérabilité du Finetuning-as-a-Service (FaaS) face aux attaques de finetuning malveillantes. Dans ce scénario, les utilisateurs soumettent des données de personnalisation contenant un mélange de prompts inoffensifs et de prompts malveillants (par exemple, des instructions pour générer du contenu dangereux). Si un fournisseur effectue le finetuning d'un grand modèle de langage (LLM) sur ces données, l'alignement de sécurité du modèle peut se dégrader, entraînant des sorties malveillantes.

Les auteurs identient une faille critique dans le pipeline à deux étapes prédominant utilisé pour atténuer ce risque :

Étape d'alignement : Les modèles pré-entraînés sont alignés avec des données de sécurité.
Étape de finetuning : Le modèle ainsi aligné sur la sécurité est soumis à un finetuning sur les données de l'utilisateur.

L'article soutient que cette approche est sous-optimale car les poids alignés sur la sécurité constituent une initialisation faible pour l'apprentissage de tâches en aval. Cela conduit à un compromis où le modèle soit souffre d'une faible performance de la tâche, soit perd son alignement de sécurité après le finetuning de l'utilisateur. De plus, le fait de procéder au finetuning direct d'un modèle de base sur les données de l'utilisateur et les données de sécurité simultanément (sans mécanisme spécifique) introduit des conflits de gradient entre les objectifs de sécurité et d'utilité, ce qui déstabilise l'entraînement.

Méthodologie : Finetuning guidé par un Enseignant de Refus (Refusal-Teacher)

Pour surmonter ces limites, les auteurs proposent un changement de paradigme : au lieu de faire le finetuning des poids déjà alignés sur la sécurité, ils proposent le finetuning des poids de base sous la guidance explicite d'un enseignant de sécurité. Ceci est implémenté via le cadre de finetuning guidé par le Refusal-Teacher (Ref-Teacher), qui se compose de deux étapes :

1. Étape de préparation de l'enseignant

L'objectif est d'entraîner un modèle enseignant aligné sur la sécurité, capable de distinguer les prompts malveillants des prompts inoffensifs et de générer des étiquettes de refus "douces" (soft labels).

Caractéristique de refus (Refusal Feature) : Le cadre exploite la "caractéristique de refus", un vecteur encodant le comportement de rejet des LLM alignés sur la sécurité. Elle est définie comme la différence moyenne entre les représentations de caractéristiques des prompts malveillants et inoffensifs à une couche $l$ spécifique.
Objectif d'entraînement : Le Ref-Teacher est entraîné à l'aide d'une perte combinée :
- Perte d'alignement de sécurité ( $L_{align}$ ) : Perte de finetuning supervisé standard associant les prompts malveillants à des réponses de refus et les prompts inoffensifs à des réponses utiles.
- Perte de régularisation ( $L_{regul}$ ) : Un terme de perte qui impose une séparation plus claire entre les caractéristiques des prompts malveillants et inoffensifs par rapport à la caractéristique de refus. Il pousse la similarité cosinus des caractéristiques malveillantes vers 1 et celle des caractéristiques inoffensives vers -1.
Mise à jour dynamique : Puisqu'un modèle pré-aligné peut ne pas être disponible pour extraire la caractéristique de refus initialement, le cadre met à jour dynamiquement la caractéristique de refus pendant l'entraînement en accumulant les caractéristiques des prompts dans des tampons (buffers).

2. Étape de Finetuning

Le LLM de base est soumis à un finetuning sur les données de l'utilisateur et les données d'alignement de sécurité sous la guidance gelée du Ref-Teacher. Cette étape emploie deux mécanismes complémentaires :

Distillation d'alignement (Alignment Distillation) : Au lieu d'étiquettes d'apprentissage strictes (hard labels), le Ref-Teacher génère des étiquettes de refus douces (soft refusal labels). Le modèle de base est entraîné pour correspondre au comportement sûr du Ref-Teacher sur les données d'alignement de sécurité en utilisant une perte de divergence KL. Cela fournit une supervision plus riche et des surfaces de perte plus lisses, atténuant les conflits de gradient entre sécurité et utilité.
Filtrage de données (Data Filtering) : Le Ref-Teacher utilise sa caractéristique de refus pour classifier les prompts dans les données de l'utilisateur. Les prompts ayant une similarité cosinus élevée avec la caractéristique de refus (dépassant un seuil $\tau$ ) sont identifiés comme malveillants et exclus de la perte de finetuning supervisé (pondérée par un indicateur binaire $\omega_i = 0$ ). Cela empêche les échantillons malveillants de déstabiliser le processus d'entraînement.

La fonction d'objectif globale combine la perte supervisée filtrée pour les tâches de l'utilisateur et la perte de distillation d'alignement pour la sécurité :
$L_{ft} = \frac{1}{N_{user}} \sum \omega_i \cdot \ell(x_i, y_i) + \alpha T^2 \cdot \frac{1}{N_{safety}} \sum KL(p^T_{t,i} || p^T_{s,i})$

Contributions Clés

Changement de Paradigme : L'article remet en question le pipeline standard à deux étapes (Alignement de Sécurité $\to$ Finetuning), démontrant qu'il produit une sécurité et une utilité sous-optimales. Il propose de passer au finetuning des poids de base sous la guidance d'un enseignant.
Cadre Ref-Teacher : L'introduction d'un cadre qui entraîne dynamiquement un modèle enseignant pour effectuer simultanément la Distillation d'Alignement (via des étiquettes douces) et le Filtrage de Données (via des caractéristiques de refus).
Atténuation des Conflits de Gradient : En combinant la distillation d'étiquettes douces et le filtrage de données, la méthode réduit efficacement les conflements de gradient entre les objectifs de sécurité et d'utilité, conduisant à un entraînement plus stable.
Aucune Exigence de Pré-alignement : L'étape de préparation de l'enseignant permet le calcul des caractéristiques de refus et des représentations discriminantes au cours d'un processus d'entraînement unique, supprimant la dépendance à un modèle de sécurité préexistant.

Résultats Expérimentaux

Le cadre a été évalué à travers diverses configurations, incluant des ratios variables de prompts malveillants ( $p$ ), des tailles de données utilisateur variées, des tâches en aval (GSM8K, SST2, AGNEWS, AlpacaEval) et des architectures de modèles (Llama3-8B, Gemma2-9B, Qwen2-7B).

Compromis Sécurité et Utilité : La méthode proposée a systématiquement obtenu le score malveillant (Harmful Score - HS) le plus bas et la précision de finetuning (Finetuning Accuracy - FA) la plus élevée pour tous les ratios malveillants par rapport aux bases de référence (ex: RepNoise, Vaccine, Booster, LDIFS, SafeInstruct).
Robustesse : Même avec des ratios élevés de données malveillantes ( $p=0.5$ ), la méthode a maintenu un HS bas (ex: 0,9 % pour la variante Ref-Teacher contre 71,3 % pour le SFT standard) tout en préservant une haute précision de tâche.
Généralisation : L'approche s'est bien généralisée à travers différents jeux de données de tâches inoffensives et différents backbones de modèles.
Études d'Ablation :
- Distillation d'Alignement (AD) seule : Réduit les conflits de gradient mais ne parvient pas à améliorer la sécurité si les prompts malveillants subsistent.
- Filtrage de Données seul : Élimine efficacement les prompts malveillants et réduit les conflits, mais risque le surapprentissage et une précision moindre en raison de la réduction du volume de données.
- Combinaison : La synergie des deux composants était nécessaire pour atteindre une sécurité et une utilité optimales.
Lissage de la Perte : La distillation d'alignement a réduit l'estimation de Lipschitz du gradient, indiquant une surface de perte plus lisse et un entraînement plus stable.

Signification et Revendications

L'article affirme que les poids alignés sur la sécurité ne sont pas suffisants comme initialisation pour l'adaptation en aval lorsque les données de l'utilisateur peuvent contenir des prompts malveillants. Les auteurs soutiennent que le pipeline standard à deux étapes crée un goulot d'étranglement où les objectifs de sécurité et d'utilité interfèrent.

La signification de ce travail réside dans la démonstration que le finetuning des poids de base sous la guidance explicite d'un enseignant de sécurité est un paradigme supérieur. En découplant l'application de la sécurité (via l'enseignant) de l'initialisation du modèle de base, le cadre préserve l'adaptabilité du modèle de base tout en imposant dynamiquement la sécurité. Cette approche résout efficacement la tension entre le maintien de l'alignement de sécurité et l'obtention de hautes performances sur les tâches spécifiques à l'utilisateur, même en présence d'attaques de finetuning malveillantes. Les auteurs soulignent que leur méthode ne nécessite pas de modèle pré-aligné pour démarrer, ce qui en fait une solution pratique pour les fournisseurs de FaaS.