A Lightweight Explainable Guardrail for Prompt Safety

Ce papier présente LEG, une barrière de sécurité légère et explicable qui utilise l'apprentissage multi-tâches, des données synthétiques atténuant les biais et une nouvelle fonction de perte pondérée par l'incertitude pour atteindre des performances de pointe en matière de classification de la sécurité des invites et d'explication, avec une taille de modèle nettement plus réduite.

L'essentiel

Imaginez que vous avez un assistant robot très puissant et créatif (un Modèle de Langage à Grande Échelle, ou LLM) capable d'écrire des histoires, de résoudre des problèmes de mathématiques et de discuter avec vous. Mais comme tout outil puissant, il peut parfois être trompé pour dire quelque chose de dangereux, comme comment fabriquer une bombe ou propager la haine.

Pour empêcher cela, nous plaçons généralement un « garde de sécurité » devant le robot. Si quelqu'un pose une mauvaise question, le garde l'arrête avant même que le robot ne l'entende.

Le problème avec les gardes de sécurité actuels est qu'ils sont soit :

1. Trop lourds et lents : Ils sont comme des tanks géants et lents qui prennent beaucoup de temps pour vérifier chaque question.
2. Silencieux : Ils disent « Non », mais ils ne peuvent pas expliquer pourquoi ils ont dit non. C'est comme un videur qui vous éjecte sans vous dire quelle règle vous avez enfreinte.

Ce papier présente un nouveau type de garde appelé LEG (Garde Léger Explicable). Imaginez LEG comme un analyste de sécurité aux yeux perçants et à l'esprit rapide, assez petit pour tenir dans votre poche mais assez intelligent pour repérer les ennuis et expliquer exactement ce qui s'est mal passé.

Voici comment LEG fonctionne, décomposé en parties simples :

1. Le Détective Deux-en-Un (Apprentissage Multi-Tâches)

La plupart des gardes de sécurité n'ont qu'un seul travail : décider si une question est « Sûre » ou « Non sûre ». LEG a deux tâches simultanément :

• Tâche A : Décider si la question est sûre.
• Tâche B : Pointer du doigt les mots spécifiques dans la question qui l'ont rendue non sûre.

L'Analogie : Imaginez un professeur notant la dissertation d'un élève.

• Un garde normal met simplement un gros « F » rouge sur la copie.
• LEG met un « F » rouge et surligne la phrase spécifique qui a enfreint les règles, en disant : « Vous avez échoué parce que vous avez utilisé ces trois mots. »

2. La Formation « Avocat du Diable » (Données Synthétiques)

Pour apprendre à LEG à repérer les mauvais mots, les chercheurs avaient besoin de nombreux exemples. Mais les humains sont occupés, et les données existantes ne contenaient pas les « mots surlignés » nécessaires pour enseigner à LEG.

Ainsi, ils ont utilisé un tour de passe-passe avec une autre IA pour générer les données d'entraînement. Ils ont joué à un jeu de « l'Avocat du Diable » contre l'IA d'entraînement :

• Ils ont demandé à l'IA : « Pourquoi cette question est-elle sûre ? » (Même si elle était en réalité non sûre).
• Ensuite, ils ont demandé : « Pourquoi cette question est-elle non sûre ? »
• Le Tour de Passe-passe : Si l'IA était confuse par son propre biais (pensant que la question était sûre simplement parce qu'ils avaient demandé « pourquoi est-elle sûre ? »), les chercheurs jetaient cette réponse. Ils ne conservaient que les réponses où l'IA argumentait correctement contre le biais.
• Le Résultat : LEG a appris à partir d'exemples de « contre-biais » de haute qualité, lui apprenant à examiner le contexte des mots, et non pas seulement les mots eux-mêmes.

3. Le Mécanisme de « Concentration » (La Fonction de Perte)

Lorsque LEG apprend, il est parfois confus par des exemples piégeants. Les chercheurs ont donné à LEG un outil spécial de « concentration ».

• L'Analogie : Imaginez que LEG étudie pour un examen. S'il répond correctement à une question facile, il n'a pas besoin de la réétudier. Mais s'il se trompe sur une question difficile, LEG reçoit une « pichenette » pour étudier cette question spécifique encore plus intensément.
• Cela garantit que LEG consacre son énergie aux cas difficiles et confus plutôt que de perdre du temps sur des questions faciles.

4. Pourquoi LEG est un Changement de Jeu

Le papier affirme que LEG surpasse les meilleurs gardes de sécurité actuels de trois manières majeures :

• Il est Rapide et Léger : Tandis que les autres gardes sont comme des camions lourds (occupant d'énormes quantités de mémoire informatique et de temps), LEG est comme un scooter. Il est minuscule (certaines versions sont 75 fois plus petites que la concurrence) mais tout aussi rapide, sinon plus.
• Il est Honnête (Fiable) : Parce que LEG surligne les mots spécifiques qu'il a utilisés pour prendre sa décision, nous savons qu'il ne fait pas que deviner. Les chercheurs l'ont testé en « étouffant » les mots que LEG avait surlignés. Lorsqu'ils l'ont fait, LEG s'est confondu et n'a plus pu prendre la bonne décision. Cela prouve que LEG examine réellement les bons indices.
• Il est Intelligent dans de Nouvelles Situations : LEG a été testé sur des questions qu'il n'avait jamais vues auparavant (Hors-Domaine). Même lorsque les questions étaient totalement nouvelles, LEG a performé aussi bien que, ou mieux que, les gardes géants et lents.

Résumé

Le papier présente LEG comme un nouveau garde de sécurité pour l'IA, minuscule et rapide. Contrairement aux gardes actuels qui sont lents et silencieux, LEG réagit rapidement et peut pointer exactement les mots qui rendent une question dangereuse. Il a appris cette compétence en jouant à un jeu astucieux de « l'Avocat du Diable » avec d'autres IA pour créer son propre manuel d'entraînement, et il a prouvé qu'il pouvait gérer des situations piégeuses sans avoir besoin d'un ordinateur massif pour fonctionner.

Résumé technique

1. Énoncé du problème

Le déploiement des modèles de langage de grande taille (LLM) nécessite des mécanismes de sécurité robustes pour empêcher la génération de contenu nuisible, illégal ou inapproprié. Les solutions de sécurité existantes font face à trois limitations critiques :

• Manque d'explicabilité : La plupart des modèles de sécurité (par exemple, Llama Guard, ShieldGemma) agissent comme des "boîtes noires", signalant les prompts comme non sûrs sans fournir de raisons interprétables ni mettre en évidence des mots problématiques spécifiques. Cela entrave la transparence et l'audit.
• Surcharge computationnelle élevée : Les garde-fous de pointe reposent souvent sur de grands LLM (par exemple, 7 à 8 milliards de paramètres), entraînant une latence d'inférence et une utilisation de la mémoire élevées, ce qui est inadapté aux applications en temps réel.
• Rigidité : Les méthodes basées sur l'alignement (RLHF, DPO) nécessitent de réentraîner le LLM de base pour répondre à de nouvelles préoccupations de sécurité, ce qui est coûteux et peu flexible.

Les auteurs proposent LEG (Lightweight Explainable Guardrail), une solution modulaire à faible latence qui classe simultanément la sécurité des prompts et fournit des explications fidèles au niveau des mots.

2. Méthodologie

LEG emploie une architecture d'Apprentissage Multi-Tâches (MTL) conçue pour optimiser conjointement la classification des prompts et la génération d'explications.

A. Architecture

• Encodeur partagé : Un encodeur Transformer léger (basé sur DeBERTa-v3) sert de colonne vertébrale.
• Deux têtes :
  1. Classificateur de prompts : Une tête linéaire qui prédit une étiquette binaire (Sûr/Non sûr) pour l'ensemble du prompt.
  2. Classificateur d'explications : Une tête linéaire au niveau des tokens qui attribue une étiquette binaire (Sûr/Non sûr) à chaque mot de l'entrée, identifiant les termes spécifiques qui pilotent la décision.
• Efficacité : Le modèle est considérablement plus petit (22 à 304 millions de paramètres) par rapport aux garde-fous existants (souvent >1 milliard de paramètres).

B. Génération de données synthétiques (Réponse à la pénurie de données)

Puisque les jeux de données existants manquent d'étiquettes d'explication au niveau des mots, les auteurs introduisent une stratégie novatrice pour générer des données d'explication synthétiques en utilisant un LLM (GPT-4o-mini) tout en atténuant le biais de confirmation :

1. Requêtes adverses : Pour un prompt donné, le LLM est interrogé deux fois avec des hypothèses opposées :
   • Requête 1 : "Pourquoi ce prompt est-il sûr ? Listez les mots."
   • Requête 2 : "Pourquoi ce prompt est-il non sûr ? Listez les mots."
2. Vérification de cohérence : Le système vérifie si le LLM s'aligne correctement sur l'étiquette de vérité terrain dans une requête et contredit l'hypothèse opposée dans l'autre.
3. Extraction d'étiquettes : Si le raisonnement du LLM est cohérent avec la vérité terrain dans les deux requêtes, l'intersection des mots identifiés est utilisée comme étiquette synthétique. Si le LLM succombe au biais de confirmation (par exemple, justifiant un prompt non sûr comme sûr), aucune étiquette de mot n'est générée pour cette instance.

C. Entraînement conjoint et fonction de perte

Le modèle est entraîné en utilisant une nouvelle Fonction de Perte Conjointe qui combine une supervision forte avec une supervision faible :
$$L = \frac{1}{2\sigma_1^2} L_{pc} + \frac{1}{2\sigma_2^2} L_{ec} + \log \sigma_1 + \log \sigma_2$$

• $L_{pc}$ (Perte de classification des prompts) : Combine l'entropie croisée avec la Focal Loss, modulée par un signal de supervision faible ($\delta_p$). Ce signal augmente le poids de la perte pour les instances difficiles ou mal classées en fonction des statistiques de polarisation globale des tokens.
• $L_{ec}$ (Perte d'explicabilité) : Combine de manière similaire l'entropie croisée et la Focal Loss au niveau des tokens, modulée par un signal de polarisation au niveau des tokens ($\delta_t$).
• Mise en pondération par l'incertitude : Les paramètres $\sigma_1$ et $\sigma_2$ sont apprenables, équilibrant dynamiquement les deux tâches pour empêcher l'une de dominer l'optimisation.

3. Contributions clés

1. Architecture MTL novatrice : Un modèle léger qui apprend conjointement la classification de sécurité et l'explication au niveau des mots, garantissant que les explications sont fidèles au processus de décision.
2. Données synthétiques résistantes aux biais : Une stratégie pour générer des étiquettes de haute qualité au niveau des mots en exploitant et en contrebalançant le biais de confirmation des LLM, permettant un entraînement supervisé pour l'explicabilité sans annotation humaine massive.
3. Fonction de perte avancée : Une perte conjointe intégrant une pondération basée sur l'incertitude et une modulation de la Focal Loss pour gérer efficacement le déséquilibre des classes et les cas difficiles.
4. Évaluation complète : Tests rigoureux dans des scénaires intra-domaine et extra-domaine (OOD), démontrant que LEG surpasse ou égale des modèles beaucoup plus grands.

4. Résultats expérimentaux

Les auteurs ont évalué LEG sur trois jeux de données : AEGIS2.0, WildGuardMix et ToxicChat0124.

• Performance de classification des prompts :
  • LEG (spécifiquement la variante "Large" de 304M) a atteint des performances de pointe (SOTA) ou proches du SOTA dans les configurations intra-domaine et OOD.
  • Il surpasse significativement l'API de modération OpenAI (61,41 % contre 69,98 % de F1 sur ToxicChat OOD) et égale des modèles de 8 milliards de paramètres (comme Llama Guard 3) malgré une taille environ 25 fois inférieure.
• Performance d'explicabilité :
  • LEG a obtenu des scores F1 de pointe pour la classification d'explications au niveau des mots, surpassant significativement les méthodes post-hoc comme LIME et SHAP, ainsi que les classificateurs de tokens indépendants.
  • Évaluation de la fidélité : Un test de perturbation par masquage de mots a confirmé que masquer les mots identifiés par LEG comme "non sûrs" entraînait une baisse significative de la précision de classification, prouvant que les explications sont causalement liées à la décision du modèle.
• Efficacité computationnelle :
  • Temps d'inférence : LEG xs (22M de paramètres) traite les entrées en 7,81 ms, contre 26 à 36 ms pour GuardReasoner et >57 ms pour Llama Guard 3.
  • Mémoire : LEG utilise 1,01 Go de mémoire GPU, tandis que GuardReasoner nécessite jusqu'à 78 Go.
• Robustesse :
  • LEG a maintenu de solides performances sur XSTest (prompts bénins avec des mots-clés nuisibles), montrant qu'il repose sur le contexte plutôt que sur des heuristiques de mots-clés superficiels.
  • Il s'est bien généralisé à des sujets de risque inédits et à des catégories de sécurité fines.

5. Importance

Cet article comble une lacune critique dans la sécurité des LLM en fournissant une solution qui est légère, modulaire et explicable.

• Déploiement pratique : Sa faible latence et son empreinte mémoire rendent possible une intégration en temps réel dans divers pipelines de LLM sans nécessiter de réentraînement coûteux du modèle de base.
• Confiance et transparence : En fournissant des explications fidèles au niveau des mots, LEG permet aux auditeurs de sécurité et aux développeurs de comprendre pourquoi un prompt a été bloqué, facilitant un meilleur alignement des politiques et le débogage.
• Innovation méthodologique : L'approche de génération de données d'explication synthétiques en contrebalançant le biais de confirmation offre un nouveau paradigme pour créer des jeux de données supervisés pour des tâches d'explicabilité où les annotations humaines sont rares.

En résumé, LEG démontre que des garde-fous de sécurité performants et explicables ne nécessitent pas de ressources computationnelles massives, remettant en question l'hypothèse prédominante selon laquelle la sécurité et l'explicabilité doivent se faire au détriment de l'efficacité.