Résumé technique : GLiGuard : Classification conditionnée par schéma pour la protection des LLM

Énoncé du problème

Le déploiement généralisé des modèles de langage de grande taille (LLM) nécessite des systèmes de modération de contenu robustes et en temps réel pour prévenir la génération de contenus nuisibles, illégaux ou trompeurs. Les modèles de garde-fous les plus avancés actuels (par exemple, LlamaGuard, ShieldGemma, WildGuard) reposent principalement sur des architectures de décodeur autoregressif (7 à 27 milliards de paramètres). Ces modèles reformulent la classification de sécurité comme une tâche de génération de texte séquentielle. Ce choix de conception introduit des inefficacités fondamentales :

1. Latence élevée : La génération de sorties de classification token par token évolue avec la longueur de la sortie.
2. Mauvais parallélisme : Ils peinent à évaluer simultanément plusieurs dimensions de sécurité.
3. Intensité des ressources : Ils utilisent des milliards de paramètres pour une tâche qui est fondamentalement une classification, et non une génération.

L'article postule que la reformulation de la modération de sécurité en un problème de classification conditionnée par schéma utilisant un encodeur bidirectionnel compact peut atteindre une précision compétitive avec des coûts d'inférence considérablement réduits.

Méthodologie

GLiGuard est un encodeur bidirectionnel conditionné par schéma de 0,3 milliard de paramètres, adapté de l'architecture GLiNER2 (Zaratiana et al., 2025). Contrairement aux garde-fous autoregressifs qui traitent la sécurité comme une génération suivant des instructions, GLiGuard la traite comme une tâche de classification multi-aspect où les définitions des tâches et les sémantiques des étiquettes sont encodées directement dans la séquence d'entrée.

1. Architecture conditionnée par schéma

L'innovation centrale est la représentation d'entrée conditionnée par schéma. Au lieu de coder en dur des têtes de sortie, le modèle reçoit, au moment de l'inférence, une séquence de tokens linéarisée comprenant :

• Préfixe de schéma : Une séquence structurée de définitions de tâches ($\tau_k$) et de leurs étiquettes candidates ($Y_k$).
• Texte d'entrée : L'invite utilisateur ou la réponse du modèle à modérer.
• Tokens spéciaux : [P] (délimiteur de tâche), [L] (préfixe d'étiquette) et [SEP] (séparateur schéma/texte).

La séquence d'entrée est construite comme suit :
$$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$$
Où chaque bloc de tâche $T(\tau_k, Y_k)$ est sérialisé sous la forme [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ...

2. Encodage bidirectionnel et extraction d'étiquettes

La séquence de tokens est traitée par un encodeur de transformateur bidirectionnel préentraîné (par exemple, DeBERTa, ModernBERT). Les caractéristiques clés incluent :

• Attention totale : L'encodeur porte une attention bidirectionnelle à la fois aux tokens du schéma et au texte d'entrée. Cela permet au modèle de construire simultanément des « représentations de texte conscientes des étiquettes » et des « représentations d'étiquettes conscientes du texte ».
• Embeddings d'étiquettes contextualisés : Les états cachés aux positions des tokens [L] sont extraits. Ces embeddings sont informés par l'ensemble du texte d'entrée et toutes les autres étiquettes du schéma, fournissant un contexte riche pour la classification.
• Tête de classification partagée : Un classifieur léger à deux couches MLP partagé est appliqué indépendamment à chaque embedding d'étiquette pour produire des logits.
  • Les tâches à étiquette unique (par exemple, Sécurité, Refus) utilisent Softmax.
  • Les tâches à étiquettes multiples (par exemple, Catégories de préjudice, Stratégies de contournement) utilisent Sigmoid.

3. Modération unifiée multi-tâches

GLiGuard prend en charge quatre tâches de modération distinctes, qui peuvent être composées en un seul schéma pour un seul passage avant non autoregressif :

1. Classification de sécurité : Classification binaire (Sûr/Non sûr) pour les invites et les réponses.
2. Détection de refus : Classification binaire (Conformité/Refus) pour les réponses.
3. Classification par catégorie de préjudice : Classification à étiquettes multiples en 14 catégories de préjudice fines (par exemple, Violence, Informations Personnellement Identifiables, Haine).
4. Détection de stratégies de contournement : Classification à étiquettes multiples en 11 stratégies d'attaque adverses (par exemple, Injection d'invite, Contournement par jeu de rôle).

4. Pipeline d'inférence et règles de décision

Le pipeline d'inférence implique la sérialisation du schéma, un seul passage d'encodeur et un décodage parallèle. Le verdict final de sécurité est déterminé par des règles de décision rigides qui composent les prédictions des tâches auxiliaires :

• Sécurité de l'invite : Si le classifieur de sécurité prédit Non sûr OU si une catégorie de préjudice ou une stratégie de contournement (autre que BÉNIN) est détectée, le verdict est NON SÛR.
• Sécurité de la réponse : Si le classifieur de sécurité prédit Non sûr, le verdict est NON SÛR. Cependant, si un refus est détecté, le verdict est remplacé par SÛR (pour éviter les pénalités de refus excessif).

Contributions clés

1. Architecture conditionnée par schéma : Adaptation de GLiNER2 à la modération, permettant la composition dynamique des blocs de tâches et d'étiquettes au moment de l'inférence sans réentraînement ni redéfinition d'invite.
2. Cadre unifié multi-tâches : Un seul passage avant évaluant simultanément la sécurité des invites/réponses, 14 catégories de préjudice et 11 stratégies de contournement.
3. Précision compétitive à petite échelle : Démontrant qu'un encodeur de 0,3 milliard peut rester compétitif face aux garde-fous basés sur des décodeurs de 7 à 27 milliards.
4. Efficacité d'inférence : Atteinte d'une latence drastiquement plus faible et d'un débit plus élevé grâce à la nature non autoregressive du modèle.

Résultats expérimentaux

Les auteurs ont évalué GLiGuard sur neuf benchmarks de sécurité établis (par exemple, OpenAI Moderation, Aegis 2.0, HarmBench, WildGuardTest) par rapport à six modèles de garde-fous autoregressifs les plus avancés (allant de 7 à 27 milliards de paramètres).

• Précision :
  • Nocivité des invites : GLiGuard a obtenu un F1 moyen de 87,7, à 1,7 point du meilleur référentiel (PolyGuard-Qwen-7B à 89,4) et surpassant plusieurs modèles plus grands comme LlamaGuard4-12B (82,5) et ShieldGemma-27B (69,6).
  • Nocivité des réponses : GLiGuard a obtenu un F1 moyen de 82,7, le deuxième meilleur parmi les modèles comparés, derrière uniquement Qwen3Guard-8B-Gen (84,1) et devant WildGuard-7B (82,4).
• Efficacité :
  • Débit : GLiGuard a délivré un débit jusqu'à 16,2 fois plus élevé (133 échantillons/seconde contre 8,2 échantillons/seconde pour un modèle de 8B avec une taille de lot de 4).
  • Latence : GLiGuard a atteint une latence jusqu'à 17 fois plus faible (26 ms contre 426 ms pour un modèle de 8B avec une longueur de séquence de 64).
• Efficacité de Pareto : Le modèle occupe une région compétitive de Pareto, offrant des scores F1 comparables à des modèles beaucoup plus grands avec 23 à 90 fois moins de paramètres.

Importance et affirmations

L'article affirme que les encodeurs bidirectionnels compacts peuvent approcher la précision de modèles de garde-fous beaucoup plus grands tout en réduisant drastiquement les coûts d'inférence. Les auteurs soutiennent que pour la modération de contenu, la qualité des données, la stratégie d'entraînement et la spécialisation du modèle sont plus critiques que l'échelle seule, comme en témoigne la sous-performance de modèles plus grands (par exemple, ShieldGemma-27B) par rapport à des alternatives plus petites et spécialisées.

GLiGuard est présenté comme une solution pour des environnements contraints par la latence et la mémoire, permettant une surveillance en temps réel sans les goulots d'étranglement associés à la génération autoregressive. Ce travail suggère que la reformulation de la sécurité en un problème de classification conditionnée par schéma est une alternative viable et efficace au paradigme actuel consistant à utiliser de grands modèles génératifs pour les garde-fous.

Note : L'article reconnaît des limitations, notamment la sensibilité aux mots déclencheurs de surface dans des contextes bénins (faux positifs) et les défis liés aux contournements adverses intégrés dans des récits de fiction élaborés (faux négatifs). Des travaux futurs sont suggérés pour résoudre ces problèmes spécifiques de robustesse.