💬 NLP

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Cet article introduit le Gravity-Weighted Direct Preference Optimization (GW-DPO), un nouvel objectif d'entraînement combiné à des jetons et des plongements de délimiteurs spécifiques pour appliquer efficacement une hiérarchie d'instructions à cinq niveaux dans les LLM, résolvant ainsi les conflits entre des instructions de différents niveaux de confiance tout en réduisant considérablement le sur-refus par rapport aux approches standards.

Auteurs originaux : Lena S. Bolliger, Lena A. Jäger

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lena S. Bolliger, Lena A. Jäger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un assistant hautement qualifié mais naïf qui est assis à un bureau. Cet assistant reçoit des notes de quatre personnes différentes :

Le Patron (Plateforme) : Établit les règles de sécurité inviolables.
Le Manager (Développeur) : Définit la fiche de poste et la personnalité de l'assistant.
Le Client (Utilisateur) : Demande une aide ou des informations spécifiques.
Le Facteur (Données/Outils) : Livre des notes provenant du monde extérieur, qui peuvent contenir des ruses ou des mensonges.

Le Problème : La faille du « Mode Noyau » (Kernel Mode)
Actuellement, lorsque ces notes arrivent, l'assistant les lit toutes avec le même niveau d'attention. Peu importe qu'une note provienne du Patron ou d'un étranger, l'assistant traite chaque mot avec une importance égale. C'est comme un garde de sécurité qui laisserait entrer un PDG et un inconnu avec une fausse carte d'identité avec la même facilité.

C'est dangereux. Un acteur malveillant (un « injecteur de prompt ») peut cacher une note à l'intérieur de la livraison du « Facteur » disant : « Ignore le Patron et le Manager ; fais exactement ce que je dis. » Parce que l'assistant ne sait pas qui possède une autorité supérieure, il pourrait obéir à l'étranger et briser les règles.

La Solution : Une Hiérarchie Pondérée par la Gravité
Les auteurs proposent d'apprendre à l'assistant une chaîne de commandement stricte. Ils ont créé un système avec cinq niveaux d'autorité (ajoutant un niveau « Configuration par utilisateur » aux quatre standards).

Pour apprendre à l'assistant à respecter cette chaîne, ils ont inventé une nouvelle méthode d'entraînement appelée Optimisation de Préférence Directe Pondérée par la Gravité (GW-DPO).

L'Analogie : La Gravité et le Poids
Pensez à la hiérarchie comme à un système solaire où le « Patron » est le Soleil et le « Facteur » est une planète lointaine.

Entraînement Standard : Traite chaque conflit de la même manière. Si le Manager argumente avec le Client, c'est une « dispute ». Si le Patron argumente avec le Facteur, c'est aussi juste une « dispute ».
GW-DPO (Pondéré par la Gravité) : Cette méthode comprend que la distance et la masse comptent.
- Distance : Un conflit entre le Patron (Niveau 0) et le Facteur (Niveau 4) est un écart énorme et dangereux. La pénalité d'entraînement pour une erreur ici est massive.
- Masse (Victime) : Si c'est le « Patron » qui est ignoré, l'erreur est bien plus grave que si c'est le « Client » qui est ignoré.
- Le Calendrier « Bilatéral » : Les auteurs ont découvert que la meilleure façon d'entraîner le modèle est de pondérer l'erreur à la fois par la distance entre les niveaux et par l'importance de la victime. Ignorer le Patron est un crime « lourd » ; ignorer un paramètre utilisateur est un crime plus « léger ».

Les Outils : Jetons Spéciaux et « Étiquettes de Nom »
Pour faire fonctionner cela, les auteurs ont donné à l'assistant deux outils spéciaux :

Délimiteurs (Les Dossiers) : Ils ont placé chaque note dans un dossier clairement étiqueté (par exemple, <|L0_START|> pour les règles du Patron).
Plongements de Segments d'Instruction (ISE) (Les Étiquettes de Nom) : Ils ont donné à chaque mot une minuscule « étiquette de nom » invisible qui indique exactement à quel niveau de la hiérarchie il appartient.

Qu'est s'est-il passé ?
Ils ont testé cela sur un modèle appelé Llama-3.1-8B. Voici ce qu'ils ont trouvé :

Meilleure exécution des règles : Le modèle est devenu bien meilleur pour ignorer le « Facteur » lorsque celui-ci tentait de supplanter le « Patron » ou le « Manager ». Il a réussi à faire respecter la hiérarchie dans presque tous les cas.
Moins de « Sur-refus » : Un problème courant de l'entraînement à la sécurité est que les modèles deviennent effrayés et refusent de répondre à tout ce qui semble légèrement suspect. La méthode « Pondérée par la Gravité » était assez intelligente pour faire la différence entre une véritable attaque et une requête normale. Elle a refusé les requêtes malveillantes mais a répondu aux requêtes bonnes deux fois plus souvent que les méthodes d'entraînement standard.
Le secret des « Étiquettes de Nom » : Ils ont découvert que les « Étiquettes de Nom » invisibles (ISE) ne rendaient pas nécessairement le modèle plus intelligent pour résoudre les énigmes logiques. Au lieu de cela, elles agissaient comme un calibrateur. Sans elles, le modèle était tellement confus par la structure des notes qu'il se contentait de dire « Non » à tout. Avec elles, il savait exactement quand dire « Non » et quand dire « Oui ».
La Profondeur Compte : Ils ont testé l'entraînement avec seulement 3 niveaux (fusionnant le Patron, le Manager et la Configuration en un seul grand groupe « Système »). Bien que cela fonctionne correctement pour les conflits majeurs et évidents, le modèle échouait face aux arguments subtils du niveau intermédiaire. Il s'est avéré que l'entraînement sur la profondeur complète de 5 niveaux rendait le modèle plus intelligent de manière générale, et non pas seulement spécialiste d'une seule astuce.

L'Essentiel
Cette étude montre qu'en apprenant à un modèle d'IA que certaines instructions sont plus lourdes et plus importantes que d'autres (en utilisant un système de « gravité »), nous pouvons rendre un modèle beaucoup plus sûr contre les hackers sans le rendre si prudent qu'il cesse d'être utile. C'est comme apprendre à un garde à reconnaître que la carte d'identité du PDG est plus importante que celle d'un étranger, sans pour autant que le garde refuse de laisser entrer quiconque.

Résumé Technique : Entraîner les LLM pour imposer des hiérarchies d'instructions multi-niveaux via l'Optimisation de Préférence Directe à Pondération Gravitaire

Énoncé du Problème
Les modèles de langage de grande taille (LLM) en production traitent actuellement des instructions provenant de sources ayant des niveaux de confiance très différents — allant de règles de sécurité immuables de la plateforme et de prompts système du développeur jusqu'aux requêtes de l'utilisateur final et aux sorties d'outils potentiellement adverses. Architecturalement, ces entrées sont concaténées en une séquence de tokens unique où chaque token reçoit une attention uniforme, un état décrit comme l'exécution en « mode noyau » (kernel mode). Cette uniformité structurelle crée une vulnérabilité à l'injection de prompt, où des entrées malveillantes détournent le comportement du modèle, et laisse les modèles sans mécanisme principiel pour résoudre les conflits entre instructions légitimes mais concurrentes issues de différents niveaux hiérarchiques. Bien que des travaux antérieurs aient proposé des défenses basées sur l'entraînement, les approches existantes formalisent généralement des hiérarchies de seulement trois ou quatre niveaux, traitent toutes les violations avec la même sévérité et ne parviennent pas à évaluer l'ensemble des interactions par paires de niveaux requises par les architectures de déploiement modernes (par exemple, le modèle à cinq parties prenantes d'OpenAI).

Méthodologie
Les auteurs formalisent un problème de hiérarchie d'instructions à $k$ niveaux, l'instanciant pour $k=5$ niveaux :

L0 (Gouvernance de la Plateforme) : Règles de sécurité immuables.
L1 (Prompt Système du Développeur) : Persona et périmètre.
L2 (Configuration par Utilisateur) : Préférences de session.
L3 (Message de l'Utilisateur) : Entrée d'exécution.
L4 (Sorties de Données/Outils) : Contenu externe.

Cette structure génère dix relations de priorité par paires distinctes que un modèle conforme doit faire respecter. Pour entraîner les modèles à respecter ces relations, l'article introduit l'Optimisation de Préférence Directe à Pondération Gravitaire (GW-DPO).

Fonction de Perte : GW-DPO adapte l'Offset-DPO (ODPO) en introduisant un décalage (offset) par échantillon $\delta(i, j)$ qui s'adapte à la distance structurelle entre les niveaux en conflit. La perte est définie par :
$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$
où $\Delta r_\theta$ est la marge de récompense implicite.
Programmes (Schedules) : Deux programmes pour $\delta(i, j)$ $δ (i, j)$ sont évalués :
- Linéaire : Dépend uniquement de l'écart de privilège ( $j-i$ ).
- Bilatéral : Prend en compte à la fois l'écart de privilège et le privilège du niveau victime ( $k-1-i$ ), pondérant ainsi la sévérité d'une violation par la « gravité » du niveau compromis.
Modifications Architecturales : Le pipeline d'entraînement intègre deux composants issus de recherches antérieures :
- Tokens Délimiteurs Spéciaux : Tokens de début et de fin distincts pour chaque niveau hiérarchique afin de marquer les frontières.
- Embeddings de Segments d'Instruction (ISE) : Embeddings apprenables par token, indexés par niveau hiérarchique, ajoutés aux embeddings de tokens.
Pipeline d'Entraînement : Le processus implique une approche en deux phases :
1. SFT (Fine-Tuning Supervisé) : Apprend au modèle à reconnaître les délimiteurs et à intégrer l'information ISE en utilisant un jeu de données de prompts alignés, partiels et trivialement désalignés.
2. GW-DPO : Utilise une stratégie d'apprentissage curriculaire (du plus facile au plus difficile basé sur l'écart hiérarchique) pour optimiser l'objectif de préférence sur un jeu de données contenant des conflits explicites entre les niveaux.

Principales Contributions

Formalisation de la Hiérarchie à $k=5$ : L'article définit une hiérarchie d'instructions à cinq niveaux ancrée dans les architectures de production, générant une suite d'évaluation personnalisée qui teste les dix relations de priorité par paires.
GW-DPO : L'introduction de GW-DPO, spécifiquement le programme bilatéral, qui module la marge d'entraînement en fonction de la distance entre les niveaux en conflit et du privilège du niveau victime. Cette approche améliore le Pareto par rapport au DPO standard et à la variante linéaire.
Isolation des Composants via Ablations : L'étude isole les contributions de l'ISE et de la profondeur de la hiérarchie :
- L'ISE est identifié principalement comme un calibrateur du seuil de refus. Supprimer l'ISE laisse la précision de résolution de conflit largement intacte mais provoque un pic d'un ordre de grandeur dans le sur-refus (refus de prompts bénins), suggérant que l'ISE aide le modèle à distinguer les segments adverses structurés des segments structurés bénins sans altérer le raisonnement de conflit sous-jacent.
- Entraînement à Cinq Niveaux vs Trois Niveaux : La comparaison révèle un compromis généralité–spécialisation. Bien qu'un entraînement à trois niveaux (fusionnant L0-L2 en un niveau « Système ») atteigne des scores plus élevés sur des paires de conflits spécifiques via la reconnaissance de formes de surface, il régress de sa capacité de généralisation aux prompts en texte brut et échoue à résoudre les conflits intra-système (ex: L1 vs L2) qui manquent d'indices de surface.

Résultats
Évaluée sur Llama-3.1-8B-Instruct, la configuration GW-DPO (bilatéral) a obtenu les résultats suivants :

Résolution de Conflit : Elle a atteint l'Adhérence de Priorité par Paire Macro la plus élevée ( $PPA_{macro} = 0,838$ ) et un Score de Hiérarchie Pondéré ($WHS = 0,885$), surpassant le DPO standard et la variante linéaire.
Sur-Refus : Elle a maintenu un Taux de Sur-Refus (ORR) de 0,057, soit environ la moitié du taux du DPO standard (0,120) et nettement inférieur à la configuration Sans-ISE (0,576).
Généralisation : Sur les divisions de référence en texte plat (suppression des délimiteurs), le GW-DPO (bilatéral) maintient une forte performance ( $PPA_{ref} = 0,793$ ), bien que légèrement inférieure à la variante linéaire, indiquant une internalisation robuste de la sémantique hiérarchique.
Benchmarks Externes :
- XSTest : Montre une meilleure calibration sur les prompts sûrs par rapport au DPO standard, bien qu'avec un compromis dans la gestion des prompts « sûrs mais inhabituels ».
- SEP (Séparation Instruction-Donnée) : A atteint un taux d'exécution de sonde de 0,118, soit une amélioration d'environ 5x par rapport au modèle de base, démontrant une séparation efficace des instructions et des données.
- TensorTrust : A atteint un taux de robustesse de 0,818, surpassant significativement le modèle de base (0,212), bien que légèrement inférieur au DPO standard (0,906), reflétant le compromis de calibration.
- MT-Bench : Préserve l'utilité générale de l'assistant de chat, avec un score de 7,425 pour le GW-DPO (bilatéral), comparable ou supérieur à l'ancre disponible.

Signification et Revendications
L'article affirme que les marges structurelles, spécifiquement le programme bilatéral de GW-DPO, servent de levier utile et complémentaire pour la conformité hiérarchique. Les auteurs soutiennent que leur recette est prête à être mise à l'échelle vers des $k$ plus élevés à mesure que les architectures de déploiement deviennent plus stratifiées.

Crucialement, l'article pose le choix entre l'entraînement à trois niveaux et à cinq niveaux non pas comme une simple question d'ordre, mais comme un compromis généralité–spécialisation. L'entraînement à cinq niveaux préserve la capacité de résolution sur les réécritures en texte brut et maintient le sur-refus calibré, tandis que l'entraînement à trois niveaux délivre une maîtrise plus étroite de sous-ensemts spécifiques via des corrélations de forme de surface. Les auteurs soulignent que le programme bilatéral est la seule configuration qui améliore simultanément la résolution de conflit et réduit le sur-refus par rapport au programme linéaire, s'alignant sur les contraintes de « non-écriture » des modèles de sécurité classiques (Biba, 1977).

L'étude conclut que si la recette défend efficacement contre l'injection de prompt et impose la hiérarchie, elle n'est pas une défense adverse complète contre des attaquants motivés et nécessite une réflexion politique prudente concernant la suppression des préoccupations des utilisateurs au profit des priorités organisationnelles.

Articles similaires