🤖 machine learning

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

Cet article propose une méthode d'alignement de sécurité efficace en termes de paramètres pour les grands modèles de langage sur appareil, qui utilise des soft prompts distillés à partir de modèles de garde via la variation totale et la divergence KL, démontrant un compromis sécurité-utilité supérieur et un surcoût de ressources minimal par rapport aux techniques existantes telles que LoRA et les vecteurs de direction.

Auteurs originaux : Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le Goulot d'Étranglement de la « Double Vérification »

Imaginez que vous avez un artiste très talentueux mais parfois imprudent (le Grand Modèle de Langage ou LLM) qui peut écrire des histoires, répondre à des questions et résoudre des problèmes. Cependant, cet artiste s'emporte parfois et dessine quelque chose d'inapproprié ou de dangereux.

Pour garantir la sécurité, vous engagez un garde de sécurité strict (le Modèle de Garde) pour se tenir aux côtés de l'artiste. Chaque fois que l'artiste termine une phrase, le garde la vérifie.

Si c'est sûr, le garde dit : « Allez-y, montrez-le à l'utilisateur. »
Si c'est dangereux, le garde dit : « Stop ! Voici plutôt un message de refus poli. »

Le Piège : Ce système de « Double Vérification » fonctionne très bien pour la sécurité, mais il est incroyablement lent et coûteux. C'est comme demander à l'artiste de peindre un tableau, puis de s'arrêter pour attendre que le garde inspecte chaque coup de pinceau avant de passer au suivant. Sur un ordinateur puissant, cela va bien. Mais sur un smartphone (qui a une batterie et une mémoire limitées), cette « Double Vérification » est trop lourde. Cela épuise la batterie, utilise trop de mémoire et rend le téléphone lent.

La Solution : Apprendre à l'Artiste à Être son Propre Garde

Les chercheurs se sont posé une question simple : Pouvons-nous apprendre à l'artiste à être sûr par lui-même, afin de ne plus avoir besoin du garde de sécurité séparé debout à ses côtés ?

Ils ne voulaient pas réentraîner tout l'artiste à partir de zéro (ce qui reviendrait à renvoyer l'artiste à l'école d'art pendant des années). À la place, ils ont utilisé une technique appelée Distillation via Soft Prompts.

L'Analogie : Le « Bandeau Magique »

Considérez le Soft Prompt comme un bandeau spécial et invisible que l'artiste porte.

Ce bandeau n'est pas fait de métal lourd (comme si l'on changeait tout le cerveau de l'artiste).
C'est un accessoire minuscule et léger (quelques milliers de paramètres seulement) qui se place juste au début du processus de pensée de l'artiste.
Lorsque l'artiste met ce bandeau, cela modifie subtilement son état d'esprit. Cela lui murmure : « Rappelle-toi, ne dessine rien de mal », avant même qu'il ne commence à écrire.

Les chercheurs ont « entraîné » ce bandeau en lui montrant des milliers d'exemples de ce que le Garde de Sécurité aurait fait. Le bandeau a appris à imiter le comportement du garde si parfaitement que l'artiste refuse désormais les demandes malveillantes automatiquement, sans avoir besoin que le garde vérifie le travail après coup.

Comment Ils Ont Fait : La Recette de la « Variation Totale »

L'article compare différentes façons d'entraîner ce « Bandeau Magique ». Ils ont essayé plusieurs recettes :

Juste deviner quel devrait être le mot suivant (Perplexité) : Cela permettait à l'artiste de mieux écrire, mais cela ne l'empêchait pas vraiment de dessiner des choses mauvaises.
Apprentissage par Renforcement (REINFORCE) : C'était comme donner une friandise à l'artiste lorsqu'il était prudent. Cela fonctionnait assez bien, mais l'artiste oubliait parfois les règles face à des questions nouvelles et complexes.
Le Gagnant (TV-DiSP) : Les chercheurs ont développé une recette mathématique spécifique appelée Distillation de Variation Totale.
- Imaginez cela comme un professeur strict qui dit : « Ton résultat doit correspondre exactement à la décision du Garde. »
- Si le Garde dit « Sûr », l'artiste doit dire exactement la même chose.
- Si le Garde dit « Dangereux », l'artiste doit immédiatement passer au message de refus.
- Cette méthode (TV-DiSP) a été la plus efficace pour copier le comportement du garde sans briser la capacité de l'artiste à être utile.

Les Résultats : Rapide, Léger et Sûr

Les chercheurs ont testé cela sur de vrais smartphones (en utilisant des puces Qualcomm) et l'ont comparé à l'ancien système de « Double Vérification ».

Sécurité : Le « Bandeau Magique » (TV-DiSP) était presque aussi sûr que d'avoir le plein Garde de Sécurité debout là. Il a réussi à bloquer le contenu nuisible lors de tests impliquant des jailbreaks et des requêtes toxiques.
Vitesse et Mémoire : C'est la grande victoire.
- L'ancien système (Artiste + Garde) nécessitait deux calculs lourds pour chaque mot.
- Le nouveau système (Artiste + Bandeau) ne nécessite qu'un seul calcul.
- Mémoire : Le bandeau ajoute moins de 1 % à l'utilisation de la mémoire du téléphone. L'ancien système ajoutait environ 30 à 100 %.
- Batterie/Calcul : Le nouveau système utilise moins de 10 % de puissance de calcul supplémentaire par rapport à l'artiste de base, alors que l'ancien système doublait la charge de travail.

Pourquoi Cela Importe pour Votre Téléphone

L'article conclut que pour faire fonctionner une IA sûre sur votre téléphone, vous n'avez pas besoin d'un système lourd à deux modèles. Vous avez juste besoin d'équiper le modèle principal de ce petit « bandeau » appris (soft prompt).

C'est comme améliorer les fonctions de sécurité d'une voiture. Au lieu d'ajouter un second conducteur lourd dans la voiture pour surveiller la route (ce qui rend la voiture lente et lourde), vous installez un capteur intelligent et léger dans le tableau de bord qui dirige automatiquement la voiture loin du danger. La voiture roule tout aussi vite, consomme autant d'essence, mais est tout aussi sûre.

En bref : L'article prouve qu'en utilisant une méthode d'entraînement spécifique (Distillation de Variation Totale) pour apprendre à un petit « soft prompt » à imiter un garde de sécurité, nous pouvons rendre l'IA sûre pour les smartphones sans ralentir leur fonctionnement ni vider leurs batteries.

Résumé technique : Distillation de systèmes LLM sûrs via des soft prompts pour les environnements embarqués

Problématique

Le déploiement de grands modèles de langage (LLM) sur des dispositifs de bord aux ressources limitées (par exemple, les smartphones) présente un défi critique en matière de sécurité. Bien que les systèmes à double modèle — combinant un LLM de base avec un modèle de garde distinct pour classifier et filtrer les sorties non sécurisées — offrent des garanties de sécurité robustes, ils engendrent des coûts de mémoire et de calcul prohibitifs. La nature séquentielle de cette approche (génération d'une réponse, puis classification de celle-ci) double les passes avant, augmentant considérablement la latence (temps jusqu'au premier jeton) et l'empreinte mémoire, ce qui la rend inadaptée au déploiement sur les appareils de bord. Les alternatives existantes, telles que la quantification ou le réglage fin (fine-tuning) direct, compromettent souvent les capacités de généralisation ou échouent à équilibrer efficacement la sécurité et l'utilité du modèle.

Méthodologie

Le papier propose TV-DiSP (Total Variation Distillation via Soft Prompts), une approche de réglage fin efficace en paramètres (PEFT) qui distille les comportements de sécurité d'un système à double modèle dans un LLM unique équipé de soft prompts apprenables.

Cadre fondamental

Formulation du système : Les auteurs définissent un système de LLM sûr $p(r|x)$ qui combine un LLM de base $p(y|x)$ et un modèle de garde $p(s|x, y)$ . Si le modèle de garde juge une réponse $y$ non sécurisée ( $s=0$ ), le système produit un message de refus prédéfini $y_r$ ; sinon, il produit $y$ .
Objectif de distillation : L'objectif est d'apprendre un ensemble d'embeddings de prompts continus $W$ (soft prompts) tels que le modèle distillé $q(r|x, W)$ imite la distribution de sortie du système sûr $p(r|x)$ .
Optimisation via la variation totale (TV) :
- Les auteurs dérivent une garantie théorique (Théorème 3.1) montrant que la minimisation de la distance de Variation Totale entre le système sûr et le modèle distillé limite l'écart de performance sur toute tâche en aval.
- L'objectif d'optimisation (Équation 4) maximise la log-probabilité de la sortie correcte (soit la réponse du LLM de base pour les entrées sûres, soit le message de refus pour les entrées non sécurisées) pondérée par la probabilité de sécurité du modèle de garde.
- L'entraînement nécessite uniquement un jeu de données de prompts ; le modèle de garde étiquette dynamiquement ces derniers comme sûrs ou non sûrs durant le processus.
Schémas alternatifs : L'étude évalue également :
- KL-DiSP : Minimisation de la divergence de Kullback-Leibler, qui offre des garanties théoriques plus lâches que la TV.
- Baselines : Optimisation de la perplexité, REINFORCE (gradient de politique) et adaptations du cadre de distillation à LoRA et aux vecteurs de direction (Steering Vectors - SV).

Configuration expérimentale

Modèles : Les expériences ont été menées sur quatre LLM ajustés par instruction (Llama3-1B/3B, Qwen2-1.5B, Gemma2-2B) quantifiés en 4-bits pour simuler les contraintes des appareils de bord.
Modèles de garde : LlamaGuard3-1B a été utilisé pour l'entraînement de la distillation, et LlamaGuard3-8B pour l'évaluation.
Jeux de données : L'entraînement a utilisé les jeux de données Beavertails et Toxigen. L'évaluation comprenait des benchmarks hors distribution (HarmBench, Detect-JailBreak) et des benchmarks d'utilité (IFEval, GSM8K, MMLU).
Matériel : Des mesures sur l'appareil ont été effectuées sur des smartphones équipés de puces Qualcomm Snapdragon 8 Elite Gen 5.

Résultats clés

1. Compromis Sécurité-Calcul

Performance : TV-DiSP distille avec succès la sécurité du système à double modèle dans un modèle unique. Par exemple, sur le modèle Llama3-1B, la sécurité (mesurée par le Safety Guard Score, SGS) passe de 71 % (base) à 99 % (système dual), tandis que TV-DiSP atteint des gains de sécurité comparables avec un surcoût minimal.
Efficacité : Comparé au système à double modèle, qui double les exigences de mémoire et de calcul, TV-DiSP introduit moins de 1 % de surcharge de mémoire supplémentaire et moins de 10 % de surcharge de calcul supplémentaire (FLOPs par jeton).
Généralisation : La méthode démontre une forte robustesse face aux prompts adverses hors distribution (HarmBench, Detect-JailBreak) malgré un entraînement sur des jeux de données non adverses.

2. Comparaison avec les méthodes PEFT

Soft Prompts vs LoRA/SV : TV-DiSP (soft prompts) surpasse systématiquement TV-DiLoRA et TV-DiSV (Steering Vectors) à travers divers taux d'apprentissage. Les vecteurs de direction ont montré des résultats mitigés, dégradant parfois les performances sur les modèles plus larges, tandis que LoRA a été jugé trop intrusif pour les contextes de bord.
Objectifs d'optimisation :
- TV vs KL : Les distillations TV et KL ont toutes deux atteint des scores de sécurité élevés. Cependant, TV-DiSP a offert un meilleur équilibre entre sécurité et utilité.
- Perplexity & REINFORCE : L'optimisation de la perplexité a conduit au surapprentissage et à des chutes significatives de l'utilité. REINFORCE a maintenu l'utilité mais n'a pas apporté d'améliorations substantielles de la sécurité.

3. Préservation de l'utilité

Les évaluations sur l'appareil (IFEval et GSM8K) ont montré que TV-DiSP et KL-DiSP maintiennent une haute utilité.
Sur-refus (Over-refusal) : Une conclusion critique est que KL-DiSP présente un taux de sur-refus élevé (84,6 % sur les prompts sûrs), rejetant incorrectement des requêtes bénignes. En revanche, TV-DiSP maintient un taux de sur-refus (36,1 %) comparable à celui du système à double modèle, préservant la capacité du modèle à répondre aux questions sûres.

Signification et affirmations

Le papier établit que la distillation par soft prompt est l'approche privilégiée pour l'alignement de la sécurité dans le déploiement de LLM sur les appareils de bord. Ses principales contributions sont :

Compromis supérieurs : Il démontre que les soft prompts entraînés par distillation surpassent systématiquement LoRA, les vecteurs de direction et les autres objectifs d'entraînement en équilibrant sécurité, utilité et efficacité computationnelle.
Garanties théoriques : L'introduction de la distillation basée sur la Variation Totale fournit des garanties probabilistes sur la performance en aval, garantissant que le modèle distillé ne s'écarte pas significativement du comportement du système sûr.
Viabilité pratique : Validée sur plusieurs architectures et sur du matériel réel, la méthode atteint des niveaux de sécurité comparables aux systèmes à double modèle avec une surcharge de ressources négligeable (<1 % de mémoire, <10 % de calcul), ce qui en fait une solution pratique pour déployer des LLM sûrs sur des dispositifs aux ressources limitées.

Les auteurs concluent que, bien qu'aucune méthode n'offre une immunité complète contre les attaques adverses, TV-DiSP offre un mécanisme de défense robuste, efficace et généralisable qui réduit considérablement la surface d'attaque et la charge de calcul par rapport aux architectures traditionnelles avec modèle de garde.