🤖 machine learning

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute est un cadre d'alignement de sécurité à efficacité de paramètres qui emploie un routeur hiérarchique pour sélectionner et mélanger dynamiquement des experts de prompts spécifiques à chaque catégorie, permettant aux grands modèles de langage de concilier efficacement la sécurité face aux requêtes malveillantes tout en minimisant le sur-refus d'entrées bénignes.

Auteurs originaux : Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Publié 2026-08-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot super intelligent comment être un bon citoyen. Ce robot, connu sous le nom de Modèle de Langage Étendu (LLM), est incroyablement doué pour écrire des histoires, résoudre des problèmes mathématiques et discuter avec vous. Cependant, comme tout outil puissant, il peut être piégé pour dire des choses méchantes, révéler des secrets ou aider à de mauvaises idées si quelqu'un pose les mauvaises questions. Les scientifiques ont essayé de réparer cela en « ajustant » le cerveau du robot. L'ancienne méthode consistait à recâbler tout le cerveau du robot chaque fois que vous vouliez ajouter une nouvelle règle de sécurité, ce qui est coûteux et lent. Une méthode plus récente et plus intelligente est le « prompt tuning » (ajustement de l'invite), où vous donnez simplement une note ou une instruction spéciale au début de chaque conversation pour lui rappeler d'être prudent. Mais voici la partie délicate : si la note est trop vague, le robot pourrait refuser d'aider pour des questions inoffensives par excès de prudence (comme un videur qui expulse tout le monde du club). Si la note est trop spécifique, il pourrait manquer des dangers complexes qui mélangent différents types de comportements malveillants.

C'est là qu'une équipe de chercheurs de l'Université de Beihang intervient avec une idée nouvelle et ingénieuse appelée HiRoute. Considérez HiRoute comme un système de contrôle du trafic super organisé pour le cerveau du robot. Au lieu d'utiliser un seul panneau géant et ennuyeux qui dit « STOP » pour chaque voiture, HiRoute utilise un agent de circulation intelligent qui vérifie d'abord si une voiture est réellement dangereuse. Si la voiture est sûre, elle reçoit un feu vert et passe sans délai. Mais si la voiture semble risquée, l'agent de circulation ne se contente pas de l'arrêter ; il identifie exactement quel genre de problème elle pourrait poser (comme un excès de vitesse, un conducteur ivre ou une voiture volée) et remet ensuite au conducteur un guide spécifique et personnalisé sur la façon de corriger son comportement en toute sécurité. Les chercheurs ont découvert que cette approche en deux étapes — vérifier le risque d'abord, puis mélanger une règle de sécurité générale avec des conseils spécifiques — rend le robot beaucoup plus sûr sans le rendre grincheux ou inutile. Ils ont testé cela sur trois cerveaux de robots différents et ont montré que HiRoute bloque mieux les demandes malveillantes que les autres méthodes, tout en restant amical et utile pour les demandes légitimes.

Le Problème : Le dilemme du « Taille Unique »

Imaginez que vous soyez le gestionnaire d'une bibliothèque très intelligente mais malicieuse. Vous avez une règle : « Pas de livres dangereux autorisés ». Si vous utilisez une règle simple et stricte comme « Si un livre semble effrayant, bannissez-le immédiatement », vous pourriez accidentellement bannir un livre sur la construction d'un volcan pour un projet scientifique parce qu'il mentionne des « explosions ». C'est ce qu'on appelle l'over-refusal (le refus excessif). La bibliothèque devient sûre, mais aussi ennuyeuse et inutile.

D'autre part, si vous essayez d'écrire une règle spécifique pour chaque type de danger (une règle pour le feu, une pour les couteaux, une pour les poisons), vous pourriez manquer un livre qui mélange le feu et les poisons. Le robot devient confus et pourrait laisser passer le livre dangereux.

Les chercheurs ont réalisé que les méthodes existantes étaient coincées au milieu. Certaines utilisaient une instruction de sécurité unique et lourde qui bloquait tout, tandis que d'autres essayaient de mélanger différents prompts de sécurité mais manquaient d'un solide « filet de sécurité » pour attraper les dangers complexes et mixtes. Ils se sont demandé : Pouvons-nous geler le cerveau principal du robot (pour ne pas avoir à le réentraîner) et simplement lui apprendre une façon plus intelligente de lire la question de l'utilisateur et de choisir le bon conseil de sécurité ?

La Solution : La danse en deux étapes de HiRoute

HiRoute résout cela en agissant comme un videur doté d'une stratégie en deux parties : Le Gardien et L'Équipe de Spécialistes.

Étape 1 : Le Gardien (Le Routeur)
D'abord, Hiiste l'utilisation d'un « routeur » minuscule et léger (pensez à un garde de sécurité qui jette un coup d'œil rapide) pour examiner la question de l'utilisateur. Ce garde ne modifie pas le cerveau du robot ; il lit simplement la question et pose deux questions :

« Cette question est-elle dangereuse ? » (Oui/Non)
« Si oui, de quel type de danger s'agit-il ? » (ex: Est-ce lié au vol ? À la violence ? Au piratage ?)

Si la question est sûre (comme « Comment faire un gâteau ? »), le Gardien la laisse passer. Le robot répond immédiatement, sautant toutes les vérifications de sécurité. Cela permet au robot de rester rapide et amical pour les utilisateurs normaux.

Étape 2 : L'Équipe de Spécialistes (Les Experts en Prompts)
Si le Gardien repère un risque, la question est envoyée à l'« Équipe de Spécialistes ». Ici, HiRoute utilise un mélange astucieux de deux types de notes de sécurité :

Le Filet de Sécurité Partagé : Une règle de sécurité large et générale qui s'applique à tous les dangers (comme « Ne pas aider dans des activités illégales »). Cela sert de fondation solide pour que le robot n'oublie jamais les bases.
Les Experts Spécifiques au Risque : Un ensemble de notes spécialisées, chacune conçue pour un type de danger spécifique (une pour la cybercriminalité, une pour la vie privée, etc.).

La magie opère lorsque HiRoute combine ces éléments. Il ne se contente pas de choisir un expert ; il calcule une « recette » basée sur l'estimation du Gardien. Si une question est composée à 60 % de vol et à 40 % de violation de la vie privée, HiRoute mélange 60 % de la note sur le « vol » avec 40 % de la note sur la « vie privée », tout en gardant le « Filet de Sécurité Partagé » actif. Cela garantit que le robot donne une réponse utile et spécifique qui traite les risques exacts sans être trop vague ou trop sévère.

Ce qu'ils ont trouvé : La sécurité sans la mauvaise humeur

Les chercheurs ont testé HiRoute sur trois modèles de robots différents (Mistral, Vicuna et Zephyr) et l'ont comparé à d'autres méthodes de sécurité. Les résultats sont impressionnants :

Une meilleure sécurité : HiRoute a bloqué les demandes nuisibles mieux que les autres méthodes. Par exemple, sur le modèle Mistral, il a atteint un taux de sécurité de 93,2 %, surpassant nettement la méthode la plus proche.
Plus d'utilité : Crucialement, il n'a pas fait refuser de questions inoffensives au robot. Quand le robot devait effectivement dire non à une mauvaise requête, il expliquait pourquoi et proposait des alternatives sûres, obtenant un score élevé de « l'utilité » (environ 7,4 sur 10).
Moins de refus excessifs : C'est un point majeur. Les autres méthodes bloquent souvent des questions sûres par erreur. HiRoute n'a bloqué que 2,5 % des questions sûres sur le modèle Mistral, alors qu'une autre méthode populaire en a bloqué un énorme 40,5 %.

L'équipe a également joué avec la rigueur du « Gardien ». Ils ont découvert que s'ils rendaient le Gardien légèrement plus prudent (en augmentant le seuil à 0,95), la sécurité montait à 95,0 % lors des tests de jailbreak, tandis que la capacité du robot à faire des mathématiques (GSM8K) ne chutait que légèrement, passant de 50,5 % à 48,0 %. Cela suggère que l'on peut rendre le robot très sûr sans briser son cerveau.

Pourquoi cela importe

HiRoute montre que nous n'avons pas besoin de reconstruire entièrement le robot pour le rendre sûr. En utilisant un système intelligent à deux couches qui sépare « Est-ce dangereux ? » de « Comment gérer ce danger spécifique ? », nous pouvons créer une IA qui est à la fois un gardien strict et un ami utile. Cela prouve que la sécurité et l'utilité ne sont pas forcément ennemies ; avec un routage et un mélange appropriés des instructions de sécurité, le robot peut être les deux.

Les chercheurs notent que HiRoute n'est pas encore parfait. Il dépend de la capacité du Gardien à deviner correctement les risques, et il fonctionne principalement sur les conversations textuelles à un seul tour. Mais pour l'instant, il offre une manière prometteuse et efficace de garder nos amis numériques en sécurité sans les transformer en robots inutiles.

Résumé Technique : HiRoute

Problématique

Les grands modèles de langage (LLM) restent vulnérables aux requêtes malveillantes, aux attaques par jailbreak et aux requêtes à risques multiples. Bien que le réglage fin supervisé (SFT) et l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) puissent encoder des comportements de sécurité, ils entraînent des coûts d'entraînement et de stockage élevés et conduisent souvent à un compromis entre sécurité et utilité. Plus précisément, le renforcement uniforme des comportements de refus peut provoquer un « sur-refus » sur des entrées bénignes, dégradant ainsi les capacités générales.

Les méthodes existantes d'alignement de sécurité à efficacité de paramètres, telles que le prompt tuning, reposent généralement sur des mécanismes statiques. Ces approches se divisent généralement en deux catégories aux limitations complémentaires :

Prompts globaux à grain grossier : Un prompt de sécurité unique appliqué à toutes les entrées risquées établit une frontière de sécurité forte, mais aboutit souvent à des refus génériques et peu informatifs qui ne parviennent pas à fournir de conseils spécifiques au risque ou des alternatives sûres.
Prompts routés à grain fin : Les méthodes qui assignent des prompts spécifiques à des catégories de risques peuvent générer des réponses sûres plus ciblées et utiles. Cependant, elles peinent à maintenir une frontière de sécurité stable, particulièrement lorsque les entrées ne s'alignent pas précisément sur les catégories de risques prédéfinies ou lorsque l'appariement expert est insuffisant.

Le défi central est de savoir comment équilibrer la constructivité des réponses à grain fin avec la sécurité inter-catégories via une composition de prompts adaptative à l'entrée, sans geler l'intégralité du modèle de base.

Méthodologie : HiRoute

Les auteurs proposent HiRoute (Hierarchical Routed Prompt Tuning), un cadre adaptatif à l'entrée qui sépare le contrôle de sécurité agnostique à la catégorie du guidage de réponse spécifique à la catégorie. Le cadre opère sur un LLM ajusté aux instructions et gelé, et comprend trois composants principaux :

1. Routage hiérarchique des risques

Un routeur léger est entraîné sur des représentations extraites du LLM gelé pour effectuer deux tâches :

Détection à grain grossier : Détermine si une entrée est malveillante ou bénigne ( $p_{safe}$ vs. $p_{risk}$ ).
Prédiction de risque à grain fin : Prédit des scores de risque multi-labels pour des catégories spécifiques (ex: cybercriminalité, violations de la vie privée, crimes économiques, violence).
Le routeur produit une distribution de probabilité utilisée pour pondérer dynamiquement les experts de prompts à grain fin.

2. Composition de prompts hiérarchique

HiRoute apprend deux types d'embeddings de prompts continus :

Prompt grossier partagé ( $P_c$ ) : Fournit une frontière de sécurité agnostique à la catégorie, applicable à toutes les entrées risquées.
Experts de prompts à grain fin ( $\{P_k\}$ ) : Un ensemble de $K$ experts, chacun correspondant à une catégorie de risque spécifique.
Pour une entrée $x$ donnée, le prompt à grain fin $P_f(x)$ est construit comme une somme pondérée des experts basée sur les scores de risque prédits par le routeur :
$P_f(x) = \sum_{k=1}^{K} \alpha_k(x) P_k$
où $\alpha_k(x)$ sont des poids normalisés. Le prompt final dépendant de l'entrée est $P(x) = [P_f(x); P_c]$ .

3. Optimisation découplée en deux étapes

L'entraînement se déroule en deux étapes distinctes pour éviter que l'objectif de génération ne modifie la frontière de décision de risque :

Étape I (Apprentissage du routeur) : Le routeur est entraîné en utilisant l'entropie croisée (CE) pour la classification à grain grossier et l'entropie croisée binaire (BCE) pour la classification multi-label à grain fin. Le modèle de base reste gelé.
Étape II (Optimisation du prompt) : Le modèle de base et le routeur entraîné sont gelés. Seuls les paramètres de prompt ( $P_c$ et $\{P_k\}$ ) sont optimisés à l'aide de l'optimisation de préférence directe (DPO) sur des triplets de préférence (sûr/utile vs malveillant/basse qualité). Pour réduire l'interférence, les auteurs emploient une mise à jour de gradient alternée : lors de la mise à jour de $P_c$ , les gradients de $P_f(x)$ sont masqués (stop-gradient), et vice versa.

4. Inférence adaptative à l'entrée

Lors de l'inférence, le routeur calcule d'abord la probabilité de sécurité $p_{safe}(x)$ .

Entrées bénignes : Si $p_{safe}(x) > \tau_s$ (un seuil de sécurité), le système contourne tous les prompts de sécurité et génère directement à partir du modèle de base gelé, préservant l'utilité générale.
Entrées risquées : Si $p_{safe}(x) \leq \tau_s$ , le système active la branche de sécurité, construisant le prompt hiérarchique $P(x)$ pour conditionner la génération.

Principales contributions

Validation empirique des compromis : Les auteurs démontrent que les prompts grossiers partagés offrent une sécurité plus forte mais une utilité moindre, tandis que les mélanges de prompts routés à grain fin améliorent l'utilité mais produisent des gains de sécurité plus faibles.
Cadre HiRoute : Ils proposent une nouvelle architecture qui combine un prompt grossier partagé (pour une frontière de sécurité stable) avec des experts routés à grain fin dynamiques (pour un guidage spécifique au risque). Cette conception évite l'intervention inutile sur les entrées bénignes via une porte de sécurité.
Évaluation complète : La méthode est validée sur trois modèles ajustés aux instructions (Mistral-7B, Vicuna-7B, Zephyr-7B) et plusieurs benchmarks, montrant qu'elle maintient une sécurité et une utilité élevées tout en préservant l'utilité générale.

Résultats expérimentaux

Les expériences ont été menées sur trois modèles contre des bases de référence incluant les modèles de base, RPO (Robust Prompt Optimization), DRO (Dynamic Risk Optimization) et ACD (Adversarial Contrastive Decoding).

Sécurité et Utilité : HiRoute a atteint les taux de sécurité moyens les plus élevés sur tous les modèles (ex: 93,2 % sur Mistral, 97,7 % sur Vicuna, 94,8 % sur Zephyr) tout en atteignant simultanément les scores d'utilité des réponses sûres les plus élevés ou proches du maximum. Il a surpassé les bases de référence les plus fortes de 1,3 à 2,9 points de pourcentage en termes de sécurité.
Utilité Générale : Contrairement aux méthodes qui dégradent les capacités générales, HiRoute préserve les performances sur GSM8K (raisonnement mathématique), MT-Bench (suivi d'instructions) et TruthfulQA. Par exemple, sur Mistral, il augmente la sécurité de 53,2 % à 93,2 % tout en conservant 48,0 % de précision sur GSM8K.
Sur-refus : HiRoute réduit considérablement le sur-refus sur les entrées bénignes (XSTest). Sur Mistral, il atteint un taux de sur-refus de 2,5 %, une amélioration massive par rapport à RPO (40,5 %) et DRO (18,0 %).
Études d'ablation :
- Stratégie d'entraînement : L'entraînement conjoint alterné (mettant à jour les prompts dans un contexte composé cohérent) a nettement surpassé l'entraînement séquentiel (« Grossier après fin »), faisant passer la sécurité moyenne de 74,8 % à 93,2 %.
- Longueur des prompts : Une répartition 15/5 entre la longueur du prompt grossier et du prompt fin (total de 20) offrait le meilleur équilibre entre sécurité et utilité.
- Seuil : L'augmentation du seuil de porte de sécurité $\tau_s$ renforce le contrôle de la sécurité avec un impact minimal sur la capacité générale.

Signification et Revendications

L'article affirme que HiRoute traite efficacement la tension entre sécurité et utilité dans l'alignement des LLM. En découplant l'identification du risque de la génération de réponse et en employant une structure de prompt hiérarchique et adaptative à l'entrée, la méthode :

Établit une frontière de sécurité stable et agnostique à la catégorie sans dépendre de refus uniformes agressifs.
Fournit un guidage constructif spécifique au risque et des alternatives sûres pour les requêtes malveillantes.
Minimise le sur-refus en permettant aux entrées bénignes de contourner entièrement le prompting de sécurité.
Atteint ces objectifs avec une efficacité de paramètres, en gelant le modèle de base et en n'optimisant que peu de paramètres de prompt et un routeur léger.

Les auteurs concluent que le prompting hiérarchique dépendant de l'entrée offre une solution robuste pour l'alignement de sécurité qui équilibre sécurité, qualité de réponse, efficacité des paramètres et utilité générale. Ils reconnaissent les limites concernant la précision du routeur sur les risques composés hors distribution et l'accent actuel mis sur les interactions textuelles à tour unique, suggérant des travaux futurs dans la reconnaissance de risques à ensemble ouvert et les contextes multimodaux.